第九讲
土豆在线视频地址(44分钟)
超清原版下载地址
压缩高清下载地址
1、 安装win上的nutch运行环境Cygwin
cygwin路径不要有空格
把安装好的JDK拷贝到用户主目录
把nutch的文件拷贝到用户主目录
下载解压ant,加入path
2、 运行nutch
Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
https://issues.apache.org/jira/browse/HADOOP-7682
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
修改hadoop-1.1.2\src\core\org\apache\hadoop\fs\FileUtil.java,搜索 Failed to set permissions of path,找到689行,把thrownew IOException改为LOG.warn
修改hadoop-1.1.2\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置
执行ant
用新生成的hadoop-core-1.1.3-SNAPSHOT.jar替换nutch的hadoop-core-1.0.3.jar
第十讲
土豆在线视频地址(58分钟)
超清原版下载地址
压缩高清下载地址
1、HADOOP单机本地模式
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
export PATH=/home/ysc/hadoop-1.1.2/bin:$PATH
切换到nutch的deploy目录运行命令
2、HADOOP单机伪分布式模式
新建用户和组
addgroup hadoop
adduser --ingroup hadoop hadoop
注销root以hadoop用户登录
配置SSH
ssh-keygen -t rsa(密码为空,路径默认)
cp .ssh/id_rsa.pub .ssh/authorized_keys
准备HADOOP运行环境
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
在/home/hadoop/.bashrc 中追加:
export PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH
重新登录就生效
ssh localhost
which hadoop
配置HADOOP运行参数
vi conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
vi conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/mapreduce/local</value>
</property>
格式化名称节点并启动集群
hadoop namenode -format
启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
停止集群
stop-all.sh停止集群
3、执行Nutch的crawl命令
第十一讲
土豆在线视频地址(64分钟)
超清原版下载地址
压缩高清下载地址
1、配置Cygwin支持无密码SSH登陆
安装SSH
默认的Cygwin没有安装ssh,所以重新运行http://www.cygwin.com/setup.exe
在Select Packages的时候,在search输入ssh,选择openssh:The OpenSSH server and client programs
配置SSH服务(以管理员身份运行cygwin)
ssh-host-config
Should privilege separation be used? yes
Do you want to install sshd as a service? yes
默认确认
Do you want to use a different name? no
Create new privileged user account 'cyg_server'? yes
输入密码
cygrunsrv -S sshd
如果需要重新安装sshd服务,可以用cygrunsrv -R sshd
生成SSH Key
ssh-keygen -t rsa(密码为空,路径默认)
cp .ssh/id_rsa.pub .ssh/authorized_keys
登陆
ssh localhost
2、win上的HADOOP单机伪分布式
准备HADOOP运行环境
下载解压并拷贝到Cygwin的用户主目录
http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
1.x版本有BUG,参考:
https://issues.apache.org/jira/browse/HADOOP-7682
https://issues.apache.org/jira/browse/HADOOP-8274
BUG修复请参考:
http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin
在/home/ysc/.bashrc 中追加:
export JAVA_HOME=/home/ysc/jdk1.7.0_17
export PATH=/home/ysc/hadoop-0.20.2/bin:$JAVA_HOME/bin:$PATH
在hadoop-0.20.2/conf/hadoop-evn.sh中追加
export JAVA_HOME=/home/ysc/jdk1.7.0_17
export HADOOP_LOG_DIR=/tmp/logs
创建符号链接
mklink /D C:\tmp C:\cygwin\tmp
重新登录就生效
ssh localhost
which hadoop
配置HADOOP运行参数
vi conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
vi conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
格式化名称节点并启动集群
hadoop namenode -format
启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
停止集群
stop-all.sh停止集群
3、 执行wordcount命令
hadoop jar hadoop-0.20.2-examples.jar wordcount input output
第十二讲
土豆在线视频地址(30分钟)
超清原版下载地址
压缩高清下载地址
1、 HADOOP多机完全分布式模式
三台机器
host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)
host6(DataNode、TaskTracker)
host8(DataNode、TaskTracker)
vi /etc/hostname(分别给每一台主机指定主机名)
vi /etc/hosts(分别给每一台主机指定主机名到IP地址的映射)
新建用户和组
三台机器上面都要新建用户和组
addgroup hadoop
adduser --ingroup hadoop hadoop
更改临时目录权限
chmod 777 /tmp
注销root以hadoop用户登录
配置SSH
在host2上面执行
ssh-keygen -t rsa(密码为空,路径默认)
该命令会在用户主目录下创建 .ssh 目录,并在其中创建两个文件:id_rsa 私钥文件,是基于 RSA 算法创建,该私钥文件要妥善保管,不要泄漏。id_rsa.pub 公钥文件,和 id_rsa 文件是一对儿,该文件作为公钥文件,可以公开
cp .ssh/id_rsa.pub .ssh/authorized_keys
把公钥追加到其他主机的authorized_keys 文件中
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host6
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host8
可以在host2上面通过ssh无密码登陆host6和host8
ssh host2
ssh host6
ssh host8
准备HADOOP运行环境
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
在/home/hadoop/.bashrc 中追加:
export PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH
重新登录就生效
ssh localhost
which hadoop
配置HADOOP运行参数
vi conf/masters
把localhost替换为:host2
vi conf/slaves
删除localhost,加入两行:
host2
host6
host8
vi conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://host2:9000</value>
</property>
vi conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>host2:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/mapreduce/local</value>
</property>
复制HADOOP文件到其他节点
scp -r /home/hadoop/hadoop-1.1.2 hadoop@host6:/home/hadoop/hadoop-1.1.2
scp -r /home/hadoop/hadoop-1.1.2 hadoop@host8:/home/hadoop/hadoop-1.1.2
格式化名称节点并启动集群
hadoop namenode -format
启动集群并查看WEB管理界面
start-all.sh
访问http://localhost:50030可以查看 JobTracker 的运行状态
访问http://localhost:50060可以查看 TaskTracker 的运行状态
访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
停止集群
stop-all.sh停止集群
第十三讲
优酷在线视频地址(29分钟)
1、改变负载
三台机器,改变负载
host2(NameNode、DataNode、TaskTracker)
host6(SecondaryNameNode、DataNode、TaskTracker)
host8(JobTracker、DataNode、TaskTracker)
指定SecondaryNameNode为host6:
vi conf/masters指定host6
scp conf/masters host6:/home/hadoop/hadoop-1.1.2/conf/masters
scp conf/masters host8:/home/hadoop/hadoop-1.1.2/conf/masters
vi conf/hdfs-site.xml
<property>
<name>dfs.http.address</name>
<value>host2:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>host6:50090</value>
</property>
scp conf/hdfs-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/hdfs-site.xml
scp conf/hdfs-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/hdfs-site.xml
指定JobTracker为host8:
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>host8:9001</value>
</property>
scp conf/mapred-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/mapred-site.xml
scp conf/mapred-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/mapred-site.xml
vi conf/core-site.xml
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoop/dfs/filesystem/namesecondary</value>
</property>
scp conf/core-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/core-site.xml
scp conf/core-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/core-site.xml
配置host8:
host8上的脚本start-mapred.sh会启动host2和host6上面的TaskTracker,所以需要对host8执行:
ssh-keygen -t rsa(密码为空,路径默认)
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host2
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host6
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host8
可以在host8上面通过ssh无密码登陆host2和host6
ssh host2
ssh host6
ssh host8
在/home/hadoop/.bashrc 中追加:
export PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH
host2: 执行start-dfs.sh
host8: 执行start-mapred.sh
2、SecondaryNameNode
ssh host6
停止secondarynamenode
hadoop-1.1.2/bin/hadoop-daemon.sh stop secondarynamenode
强制合并fsimage和eidts
hadoop-1.1.2/bin/hadoop secondarynamenode -checkpoint force
启动secondarynamenode
hadoop-1.1.2/bin/hadoop-daemon.sh start secondarynamenode
3、启用回收站
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
第十四讲
优酷在线视频地址(26分钟)
1、 动态增加DataNode节点和TaskTracker节点
以host226为例
在host226上执行:
指定主机名
vi /etc/hostname
指定主机名到IP地址的映射
vi /etc/hosts
增加用户和组
addgrouphadoop
adduser--ingroup hadoop hadoop
更改临时目录权限
chmod777 /tmp
在host2上执行:
vi conf/slaves
增加host226
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host226
scp-r /home/hadoop/hadoop-1.1.2 hadoop@host226:/home/hadoop/hadoop-1.1.2
在host8上执行:
vi conf/slaves
增加host226
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host226
在host226上面执行:
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
在/etc/hosts的配置文件中,localhost到ip地址的映射要放到ipv4的最后面
第十五讲
优酷在线视频地址(30分钟)
1、限制hadoop节点连接
NameNode:
vi conf/hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>/home/hadoop/hadoop-1.1.2/conf/include</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/home/hadoop/hadoop-1.1.2/conf/exclude</value>
</property>
加入集群节点
vi /home/hadoop/hadoop-1.1.2/conf/include
JobTracker:
vi conf/mapred-site.xml
<property>
<name>mapred.hosts</name>
<value>/home/hadoop/hadoop-1.1.2/conf/include</value>
</property>
<property>
<name>mapred.hosts.exclude</name>
<value>/home/hadoop/hadoop-1.1.2/conf/exclude</value>
</property>
加入集群节点
vi /home/hadoop/hadoop-1.1.2/conf/include
重启集群
2、动态删除DataNode节点和TaskTracker节点
vi /home/hadoop/hadoop-1.1.2/conf/exclude
增加待删除的节点host226
在NameNode上面执行:
hadoop dfsadmin -refreshNodes
vihadoop-1.1.2/conf/slaves (去掉host226)
vi hadoop-1.1.2/conf/include(去掉host226)
hadoop dfsadmin -refreshNodes(使include的更改生效)
rmhadoop-1.1.2/conf/exclude
exclude主要是使一个datanode节点安全退役
删除tasktracker方式一:
vi /home/hadoop/hadoop-1.1.2/conf/exclude
增加待删除的节点host226
在JobTracker上面执行:
hadoop mradmin -refreshNodes
vihadoop-1.1.2/conf/slaves (去掉host226)
vi hadoop-1.1.2/conf/include(去掉host226)
hadoop mradmin -refreshNodes(使include的更改生效)
rmhadoop-1.1.2/conf/exclude
删除tasktracker方式二:
vi /home/hadoop/hadoop-1.1.2/conf/include
删除待删除的节点host226
在JobTracker上面执行:
hadoop mradmin -refreshNodes
vihadoop-1.1.2/conf/slaves (去掉host226)
第十六讲
优酷在线视频地址(27分钟)
1、运行基准测试
hadoop jarhadoop-test-1.1.2.jar
hadoop jarhadoop-test-1.1.2.jar DFSCIOTest -write -nrFiles 12 -fileSize 1000 -resFiletest
hadoop jarhadoop-test-1.1.2.jar DFSCIOTest -read -nrFiles 12 -fileSize 1000 -resFile test
hadoop jarhadoop-test-1.1.2.jar DFSCIOTest -clear
相关推荐
资源名称:Nutch相关框架视频教程资源目录:【】Nutch相关框架视频教程1_杨尚川【】Nutch相关框架视频教程2_杨尚川【】Nutch相关框架视频教程3_杨尚川【】Nutch相关框架视频教程4_杨尚川【】Nutch相关框架视频教程5_...
教程名称:Nutch相关框架视频教程(20集)课程目录:【】Nutch相关框架视频教程01【】Nutch相关框架视频教程02【】Nutch相关框架视频教程03【】Nutch相关框架视频教程04【】Nutch相关框架视频教程05【】Nutch相关...
### Nutch相关框架知识点概述 #### 一、Nutch与Hadoop、Tika、Gora的关系 **Nutch**是一个开源的Web抓取框架,它不仅能够帮助开发者抓取网络上的数据,还促进了多个重要开源项目的诞生和发展。通过Nutch项目,衍生...
### Nutch相关框架知识点概述 #### 一、Nutch与Hadoop、Tika、Gora的关系 1. **Nutch的衍生项目**:Nutch不仅仅是一个独立的项目,它的研究和发展过程中孕育出了多个重要的开源项目,包括Hadoop、Tika和Gora。这...
Nutch的很多代码是用Map Reduce和HDFS写的,哪里还能找到比Nutch更好的Hadoop应用案例呢? 大数据这个术语最早的引用可追溯到Nutch。当时,大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据...
在本Java搜索及网页爬虫视频教程中,你将深入学习如何使用Java语言构建高效的搜索引擎和网络爬虫。这些技术是现代数据驱动应用的核心部分,能够帮助开发者从互联网上抓取和处理海量信息。 首先,我们要理解Java搜索...
### Java爬虫教程及工具应用 #### 一、Java爬虫概述 在互联网时代,数据成为了一种重要的资源。爬虫技术就是一种自动化获取网络数据的有效手段。Java作为一种广泛使用的编程语言,在爬虫开发领域也占据着重要的...
- **分布式爬虫**:面对大规模网站,可将任务分散到多台机器上,如使用Scrapy-Redis或Nutch框架。 4. **爬虫策略**: - **深度优先搜索(DFS)**:沿着链接一直深入到某个深度,然后再回溯。 - **广度优先搜索(BFS...
Apache Hadoop 是一个开源的分布式计算框架,专为处理和存储大规模数据集而设计。它最初源自Apache Nutch项目,由Doug Cutting创建,其名称灵感来源于他的孩子对一个大象玩具的命名。Hadoop的设计目标是提供可靠、可...