Archive: 2016/3

CDH_5.X_CentOS安装

概述Cloudera企业级数据中心的安装主要分为4个步骤: 集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等; 安装Cloudera管理器; 安装CDH集群; 集群完整性检查,包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。 准备工作 集群规模5个节点 1234567Cloudera管理器节点: 172.31.46.113CDH节点: 172.3

cloudera相关说明

相关目录 /var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件(相关服务的及CM的)。 /usr/share/cmf/ : 程序安装目录。 /usr/lib64/cmf/ : Agent程序代码。 /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。 /usr/bin/postgres

cloudera-scm-server dead but pid file exists

问题: 系统磁盘或者内存问题导致cloudera server挂掉,启动异常。进程已死,pid文件存在。1234# service cloudera-scm-server start$> Starting cloudera-scm-server: [ OK ]# service cloudera-scm-server status

Storm安装配置

我们使用3台机器搭建Storm集群:123192.168.4.142 h1192.168.4.143 h2192.168.4.144 h3 首先要保证zookeeper集群正常运行,假设zk也同样部署在h1, h2, h3机器上,端口为为默认的2181。然后,在h1节点上,执行如下命令安装:12345$> cd /usr/local/$> wget http://mirro

Kafka安装配置

我们使用3台机器搭建Kafka集群:123192.168.4.142 h1192.168.4.143 h2192.168.4.144 h3 在安装Kafka集群之前,这里没有使用Kafka自带的Zookeeper,而是独立安装了一个Zookeeper集群,也是使用这3台机器,保证Zookeeper集群正常运行。首先,在h1上准备Kafka安装文件,执行如下命令:12345$> c