CDH_5.X_CentOS安装

概述Cloudera企业级数据中心的安装主要分为4个步骤：集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；安装Cloudera管理器；安装CDH集群；集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。准备工作集群规模5个节点 1234567Cloudera管理器节点: 172.31.46.113CDH节点: 172.3

2016-03-16

cloudera相关说明

相关目录 /var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件（相关服务的及CM的）。 /usr/share/cmf/ : 程序安装目录。 /usr/lib64/cmf/ : Agent程序代码。 /var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。 /usr/bin/postgres

2016-03-14

cloudera-scm-server dead but pid file exists

问题: 系统磁盘或者内存问题导致cloudera server挂掉，启动异常。进程已死，pid文件存在。1234# service cloudera-scm-server start$> Starting cloudera-scm-server: [ OK ]# service cloudera-scm-server status

2016-03-02

Storm安装配置

我们使用3台机器搭建Storm集群:123192.168.4.142 h1192.168.4.143 h2192.168.4.144 h3 首先要保证zookeeper集群正常运行，假设zk也同样部署在h1, h2, h3机器上，端口为为默认的2181。然后，在h1节点上，执行如下命令安装：12345$> cd /usr/local/$> wget http://mirro

2016-03-02

Kafka安装配置

我们使用3台机器搭建Kafka集群：123192.168.4.142 h1192.168.4.143 h2192.168.4.144 h3 在安装Kafka集群之前，这里没有使用Kafka自带的Zookeeper，而是独立安装了一个Zookeeper集群，也是使用这3台机器，保证Zookeeper集群正常运行。首先，在h1上准备Kafka安装文件，执行如下命令：12345$> c

2016-02-29

Vector Clock

在一些分布式数据库中，如Dynamo，Project Voldemort，为了控制同一record的不同版本，常常会使用Vector Clock这样的概念。向量时钟(vector clock)实际上是一个(node,counter)对列表(即(节点，计数器)列表)。矢量锁是与每个对象的每个版本相关联。通过审查其向量时钟，我们可以判断一个对象的两个版本是平行分枝或有因果顺序。如果第一个时钟对象上

2016-02-29

别把自己当个超人

—-给初级程序员的一点小小建议—-原文地址：http://www.ituring.com.cn/article/62907 有一天我和朋友Simone一起喝咖啡，期间我们聊起一些工作上的事情。我们俩都管理着一些员工，为了说明给初级职员分派任务时出现的问题，她打了一个绝妙的比方。这就像你让他们挂一幅画，但他们从来没有干过这样的活。你明白你要做什么——只要让他们这么做就行了。事实上，你认为有些东西不

2016-02-29

乐观锁VS悲观锁

锁机制解决的并发导致的数据更新问题: 更新丢失：一个事务的更新覆盖了其他事务的更新结果. 脏读：用户AB看到的值都是6，B把值改成了2，但是用户A读到的值仍为6. 为了解决这些问题，必须引入并发控制机制，及锁。悲观锁：顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多

2016-02-26

使用ID3生成决策树

ID3算法是一种贪心算法，用来构造决策树。ID3算法起源于概念学习系统（CLS），以信息熵的下降速度为选取测试属性的标准，即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准，然后继续这个过程，直到生成的决策树能完美分类训练样例。优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型例如我

2016-02-26

MySQL连接问题123

首先要排查网络问题和防火墙的问题这个是必须的，你要是MySQL的服务器都连不上，那还访问什么？怎么检查呢？ping 192.168.0.11，如果ping 的通的话，再去检查一下 3306端口是不是被防火墙给挡掉了，telnet 192.168.0.11 3306 或者干脆把防火墙关掉，service iptables stop (Redhat) 或 ufw disable(ubuntu)

Archive: 2016