baoliangquan
- 浏览: 8267 次
- 性别:
-
最新评论
文章列表
kafka笔记
1/kafka是一个分布式的消息缓存系统
2/kafka集群中的服务器都叫做broker
3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接
4/kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载
5/每一个分区都可以有多个副本，以防止数据的丢失
6/某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader来更新
7/消费者可以分组，比如有两个消费者组A和B，共同消费一个topic ...
1.上传hbase安装包
2.解压
3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）
注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_55
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
vim hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 ...
Hive只在一个节点上安装即可
1.上传tar包
2.解压
tar -zxvf hive-0.9.0.tar.gz -C /cloud/
3.配置mysql metastore（切换到root用户）
配置HIVE_HOME环境变量
rpm -qa | grep mysql
rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm
rpm -ivh MySQL-client-5.1.73-1.glibc23.i386.rpm
修 ...
hadoop 高可用集群配置
- 博客分类：
- 大数据
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA
注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上 ...
sqoop安装：安装在一台节点上就可以了。
1.上传sqoop
2.安装和配置
在添加sqoop到环境变量
将数据库连接驱动拷贝到$SQOOP_HOME/lib里
3.使用
第一类：数据库中的数据导入到HDFS上
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --columns 'id, account, income, expenses'
指定输出路径、指定数据分隔符
sqoo ...
hive可能遇到的问题
- 博客分类：
- 大数据
http://blog.csdn.net/xuejingfu1/article/details/52442920
linux下安装mysql
- 博客分类：
- 大数据
http://www.open-open.com/lib/view/open1425872518654.html
hadoop ha 高可用配置
- 博客分类：
- 大数据
http://blog.csdn.net/dr_guo/article/details/50975851
Unable to load native-hadoop library
warning解决产生这个warning的原因是apache hadoop2.7需要使用2.1.4的glibc而我们云主机操作系统的lib是2.1.2：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
1.
# ll /lib64/libc.so.6 //查看当前系统glibc版本
...
http://blog.csdn.net/stark_summer/article/details/42424279一、环境说明1、机器：一台物理机 和一台虚拟机2、Linux版本：[Spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)3、JDK: [spark@S1PA11 ~]$ Java -versionJava version "1.6.0_27"Java(TM) SE Runtime Environment (build 1.6.0_27-b07)J ...
https://my.oschina.net/u/1169607/blog/175899
http://www.linuxidc.com/Linux/2012-05/61346.htm
ssh-keygen -t dsa
scp bao1:/root/.ssh/id_rsa.pub /root/.ssh/tmp
cat tmp >> authorized_keys
rm tmp
安装教程地址
http://blog.csdn.net/shirdrn/article/details/7183503
问题
[myid=3]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@382] - Cannot open channel to 1 at election address os1.example.com/192.168.31.21:3888
java.net.ConnectException: 拒绝连接
我的环境是VM下3个centos7虚拟机桥接网络，zookeeper三个都启动了还算拒绝连接
hosts与hostname都配置好了 ...
两台主机均为CentOS系统，主机名分别为node0和node1，node0的IP为10.141.4.36，node1的IP为10.141.4.39，两台主机均使用用户名cluster。
1. 在node0和node1上进行如下操作：
在/etc/hosts文件中添加如下内容：
10.141.4.36 node0
10.141.4.39 node1
在/home/cluster目录下执行如下命令，生成.ssh目录：
ssh-keygen -t rsa
2. 在node1的/home/cluster/.ssh目录下执行如下命令：
scp node0:/home ...
目前，要为另一个项目提供接口，接口是用HTTP URL实现的，最初的想法是另一个项目用JQuery post进行请求。
但是，很可能另一个项目是部署在别的机器上，那么就存在跨域问题，而JQuery的post请求是不允许跨域的。
这时，就只能够用HttpClient包进行请求了，同时由于请求的URL是HTTPS的，为了避免需要证书，所以用一个类继承DefaultHttpClient类，忽略校验过程。
1.写一个SSLClient类，继承至HttpClient
import java.security.cert.CertificateException;
import java.secur ...