centos 源码mysql5.6(centos8安装docker)

大家好,今天小编来为大家解答centos 源码mysql5.6这个问题,centos8安装docker很多人还不知道,现在让我们一起来看看吧!

如何在linux上安装php5.6,谢谢,

不知道你问的linux,是哪个发行版本,常用的如 ubntu,centos,debian等。

我列一个centos7(服务器常用这个版本)的安装方法吧

centos7默认使用yum install来安装程序,但默认源安装的php是5.4的,版本比较低,

要安装高版本的,要么下载源代码手动编译安装,但对不熟悉的,万一出点错误,会越搞越乱。我一般使用epel源安装php,里面各个版本都有,最新的php7.3

首先安装epel

rpm-ivh

这里面的url是目前我用的,如果提示出错,就是换url了,可以在电脑上手动打开epel源列表去检查 epel-release是哪个版本,换上对应的名字

按版本安装php

rpm-Uvh

yuminstallphp56wphp56w-mysqlphp56w-pdophp56w-gdphp56w-sslphp56w-mbstringphp56w-cliphp56w-xmlphp56w-bcmath

我这里列的是一些常用的php扩展,如果需要其它的,手动加上即可

如果需要安装php其它版本,把包名里的56改成对应版本即可,如

yuminstallphp71wphp71w-mysqlphp71w-pdophp71w-gdphp71w-sslphp71w-mbstringphp71w-cliphp71w-xmlphp71w-bcmath

yuminstallphp72wphp72w-mysqlphp72w-pdophp72w-gdphp72w-sslphp72w-mbstringphp72w-cliphp72w-xmlphp72w-bcmath

可对应安装php7.1和php7.2,这种安装方法,会默认配置好对应的设置,php.ini在/etc/中查找,命令行也默认启用了(php-cli)

如何用cloudera manager接管已有hadoop的cdh版本集群

本文介绍如何搭建cloudera manager去接入已有hadoop组件(cdh),搜索国内资料并无整体介绍,没有任何参考文章可以借鉴;通过大数据qq交流群当中某老师提供的国外某篇cloudera cto的文章得到解决思路,经实验调试可以实现此功能。

下面进入本文主题。

一、下载必备文件:

1.cloudera manager:

大部分公司内大数据集群环境都无公网访问权限,针对当前集群系统环境和想要接入的cm版本找到对应版本离线包,对于redhat、centos系统来说el6就是redhat6、centos6系统,之后找到想要安装的cm版本,本文搭建过程采用cloudera-manager-el6-cm5.9.0_x86_64.tar.gz

2.cdh安装包:

本搭建过程采用CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel、CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1,parcel文件为cdh压缩包,执行安装过程会进行解压并且上传到各节点;sha1文件内为压缩包的校验码

3.mysql的jdbc驱动jar包:

4.mysql5.6:

本搭建过程采用mysql5.6社区版源码包mysql-5.6.35.tar.gz

二、cloudera manager安装:

1.server端安装配置mysql5.6:

解压mysql安装包后执行

1 yuminstallcmakencurses-*-y

其余看编译输出,缺少什么包就再yum安装什么

进入mysql解压目录,执行

12 cmake-DCMAKE_INSTALL_PREFIX=/export/mysql5.6make&&makeinstall

如果没有报错继续执行

顺利执行过后将/etc/my.cnf删除或移走,在mysql安装目录当中简单编写my.cnf并启动,具体配置请根据自身环境进行设置,本文不对此内容赘述

2.解压cloudera-manager-el6-cm5.9.0_x86_64.tar.gz到安装目录:

默认cloudera和cm-5.9.0目录放置在/opt下,如果想放在其他目录须留意对应配置

3.导入数据,执行完成后会有cm库:

1/export/tmp/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.shmysqlcm-hlocalhost-uroot--scm-host127.0.0.1scmscmscm

4.登录mysql,进行必要的修改配置:

12 setglobalbinlog_format='ROW';grantallon*.*to'scm'@'%'identifiedby'scm';

否则默认binlog格式为statement,cm会启动报错

对scm进行所有主机的授权

5.cloudera manager server端配置:

创建用户

1 useradd--system--home=/opt/cm-5.9.0/run/cloudera-scm-server/--no-create-home--shell=/bin/false--comment"clouderaSCMuser"cloudera-scm

在之前的cloudera目录下创建parcel-repo目录,将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel和CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1放在此目录下,重命名sha1文件为sha,否则cm找不到sha文件无法进行校验,会重新去公网上下载压缩包

1 mvCDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

6.mysql jar包放入lib库:

将解压mysql-connector-java-5.1.40.tar.gz得到的文件放在/opt/cm-5.9.0/share/cmf/lib下

7.配置db连接信息:

1 vim/opt/cm-5.9.0/etc/cloudera-scm-server/db.properties

host由于mysql就装在本机所以写127地址即可,库名、用户名、密码遵循上面创建用户和授权的内容进行填写

8.配置cm启动脚本的java环境:

123 vim/opt/cm-5.9.0/etc/init.d/cloudera-scm-agentvim/opt/cm-5.9.0/etc/init.d/cloudera-scm-serverexportJAVA_HOME=/usr/java/jdk1.7.0_51

9.agent配置:

1 vim/export/tmp/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

server_host配置server端的ip或者主机名

server_port和port没有修改,使用默认的即可

listening_ip可以不做修改

之后将/opt/cm-5.9.0此目录拷贝到其他agent节点的对应目录

注:须确保/opt/cm-5.9.0/lib/cloudera-scm-agent下的uuid文件删掉,否则会出现cm web中主机显示冲突的情况

10.启动服务:

server端执行

1/opt/cm-5.9.0/etc/init.d/cloudera-scm-serverstart

agent端执行

1/opt/cm-5.9.0/etc/init.d/cloudera-scm-agentstart

server端启动端口7180 7182

agent端启动端口9000

三、web配置:

1.添加cloudera management service:

浏览器访问server端地址的7180端口,用户名密码默认admin admin

登录后不按照提示进行安装,直接点击左上方主页,然后选择右边添加管理服务

填入管理员登录mysql的连接信息即可

审核更改页不用做任何更改

之后等待安装完成,安装过后会发现集群监控已经有数据,点选所有主机,检查所有主机检查各节点状态

回到主页,点击cluster1右侧的添加服务

2.添加hdfs服务:

选择hdfs继续,根据原有集群情况进行主机选择

审核更改部分可以根据现有集群配置进行填写,左侧会有对应参数名

需要注意的是,datanode数据目录不管原来所有者是谁必须要修改为hdfs,否则无法通过cm启动,并且原有集群对应进程要先停掉

点击继续后不要等待进程进行,直接返回主页,会发现hdfs集群角色已经添加

进入hdfs配置journalnode目录dfs.journalnode.edits.dir

之后启动集群,观察监控数据

注:其余hadoop组件接入原则也是停掉原有进程,修改对应目录属主为组件名称的用户,比如hdfs,yarn,同时修改cm上对应的关键配置。此种做法对程序环境改造很大,很多标准必须遵循cloudera manager的规则,而且有丢失hdfs元数据风险。

四、后记:

此次搭建cm集群遇到一些问题,比如添加hdfs角色后无法启动namenode,报错java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but got txid 16,可能数据不连续,通过hadoop namenode-recover命令进行修复后可以启动,此命令不敢保证在生产环境执行没有问题;又或者datanode无法启动,遇到以下报错Operation not permitted

之后发现原集群的对应目录所有者为hadoop,而根据其他角色启动进程的所有者hdfs来进行权限修改后datanode可以启动

阅读剩余
THE END