flyingdutchman
- 浏览: 358414 次
- 性别:
- 来自: 上海
-
最新评论
-
希恩杰：
采样器的目的是啥？使数据均匀分布到所有分区？使key的数量均匀 ...
Hadoop深入学习：Hadoop全排序中的Sampler采样器 -
lawlietwf：
三篇文章中有两篇链接地址一样，po主看下
Hadoop中的快速排序算法 -
坏小四：
...
《Hbase权威指南》深入学习hbase：表，列族，列标识，版本和cell -
fbwfbi：
发现使用pika-0.9.13的版本依然出错：Tracebac ...
RabbitMQ：使用python发布/订阅消息 -
hehu158：
centos6.5 chmod +x qq2012.tra.g ...
CentOS 6.4安装qq2012
文章列表
在本节中，我们着重学习MapReduce编程模型中的Combiner组件。
每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。
1）、Combiner最基本是实现本地key的聚合，对map输出的key排序、value进行迭代。如下所示：引用
map:(key1,value1) ——> list(key2,value2)
conbine:(key2,list( ...
在本章中，我们将来重温一下和Hadoop的作业提交和执行流程。
看下图，我们来比较详细的学习一下该流程：
从上图中可以看出，分为4个阶段：
Job作业提交
1、 编写MapReduce job程序，通过命令行向Hadoop提交并开始执行作业：引用
# hadoop fs -put xxx.jar /path //或者使用hadoop fs -copyFromLocal xxx.jar /path 向copy文件
# chown -R had ...
在本章中学习如何在CentOS 6.4上安装配置Hadoop开发环境。
配置ssh及生成密码对
首先需要安装ssh：引用
# yum install ssh
紧接着启动ssh，并将之设置开机运行：引用
# service sshd start
# chkconfig sshd on
好，现在已经安装并启动了sshd，接下来我们来为hadoop生成面登录的密码对：引用
# ssh-keygen
...
本章中我们来学习如何在CentOS 6.4上安装Apache + Subversion服务。
安装Apache Server
我们先来安装Apache Server，首先来下载httpd的tar文件，当然也可意识用yum来安装：引用
# yum install httpd // ...
本章中我们来学习如何在CentOS 6.4上安装Git。
第一步，在安装Git之前，我们先要安装一些依赖包：引用
# yum -y install zlib-devel openssl-devel perl cpio expat-devel gettext-devel
# yum install autoconf
当然在安装这些以来之前，可以先确认上面的那些以来已经安装了，shell命令如下：引用
# rpm -qa | grep zlib-devel
第二步，下载 ...
在本章中，我们来看一下怎么在CentOS 6.4上安装和配置Tornado Server服务器。
首先让我们来看一下Tornado是什么？Tornado是使用Python编写出來的一个极轻量级、高可伸缩性和非阻塞IO的Web Server服务器软件，跟其他主流的Web服务器框架（主要是Python框架）不同是采用epoll非阻塞IO，响应快速，可处理数千并发连接，特别适用用于实时的Web服务。
下面我们来看一下Tornado Server的安装步骤：
第一步，先安装python和tornado文件，之前已经安装过python了，现在 ...
之前已经介绍过怎么安装python-pip了，本节在这里介绍安装easy_install。
在安装之前先要安装setuptools-0.6c11-py2.7.egg，具体安装过程见Centos 6 上安装python-pip。
easy_install的安装命令如下：引用
#wget http://peak.telecommunity.com/dist/ez_setup.py
#chmod +x ez_setup.py
#python ez_setup.py
或： ...
在使用Python时，需要导入一些第三方工具包，一般情况下，鼓励使用pip来安装管理这些第三方的包，这里我们来看一下如何在CentOS 6.4上安装Python-pip。
第一步，下载python-pip的tar包：引用
# wget https://pypi.python.org/packages/source/p/pip/pip-1.3.1.tar.gz --no-check-certificate
由于下载pip是基于https协议的，故需要在wget url后面加上--no-check-certificate，否则不能下载: ...
由于安装了双系统，先看一些Windows上的视频，但是CentOS 6.4上默认的视频播放器不不能播放，故需要安装一款视频播放器。
在安装之前，需要安装一些其他文件包，比如EPEL等，具体安装请参看CentOS 6.4安装qq2012，下面是安装操作： 引用
#cd /etc/yum.repos.d/
#wget http://pkgrepo.linuxtech.net/el6/release/linuxtech.repo
#yum --enablerepo=linuxtech-testing install vlc
...
在CentOS 6.4安装qq2012，需要经过一下几个步骤：
第一步，在安装之前需要先安装一些依赖包EPEL和wine：引用
#rpm -ivh http://mirrors.sohu.com/fedora-epel/6/i386/epel-release-6-8.noarch.rpm
#yum -y install wine
第二步，下载并解压qq的文件包qq2012.tar.gz：引用
#chmod +x qq2012.tar.gz
#tar -xzvf qq2012.tar. ...
本人的台式机上安装了双系统Windows + CentOS 6.4，由于几乎所有的资料都存放在Windows上，并且Windows的分区都是NTFS格式的，所以想在Linux上直接看Windows上的资料，故在网上查找了一些资料，安装了一些软件完成了在CentOS(ext4)上看Windows上的资料的愿望！
下面是整个操作过程：
第一步，做预备工作，下载rpmforge文件包：引用
#wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.3-1.el6.r ...
在本节中我们来看一下如何在CentOS上安装RabbitMQ。我们使用的rabbitmq的版本是rabbitmq-server-3.1.1.tar.gz，CentOS的版本是CentOS 6.4。
在安装rabbitmq之前需要先安装python和erlang，这两部分的安装过程请参看在 CentOS 6.4上安装python和在 CentOS 6.4上安装Erlang，这里不再赘述。
安装rabbitmq的具体步骤如下：
1、下载rabbitmq-server-3.1.1.tar.gz文件，并解压之：引用
#cd /u ...
本人在安装CentOS 6.4的后，发现其默认时区是美国波士顿所在的时区，为了以后在安装hadoop的时候会因为时间的问题而产生错误，故需要调整时区。
需要做一下步骤：
#yum install ntp
#ntpdate us.pool. ...
在CentOS 6.4上配置中文输入法，只需要在终端上以root的身份执行：
yum install "@Chinese Support"
然后就可以设置快捷键了：引用
系统 ——> 首选项 ——> 输入法 //在弹出框中设置输入法切换的快捷键
在本节中，我们将来学习如何在CentOS 6.4上安装erlang，具体的Erlang版本是R15B03-1。
在安装之前，需要先要安装一些其他的软件，否则在安装中间会出现一些由于没有其依赖的软件模块而失败。
1、首先要先安装GCC GCC-C++ Openssl等以来模块：
yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel
2、再安装ncurses模块
yum -y install ncurses-de ...