下班回来有开始投入。进一步验证了，nutch运行在hadoop分布式之上时，使用的配置文件是build目录下面的conf，够折腾的。还有就是不要想着使用telnet去验证redhad企业版linux是否连通，因为默认情况下telnet是被关闭的。把配置文件里面的所有hostname改成ip地址，运行，一切ok。抓了depth5的，完了后用luke看的时候发现内容好像太少，只有一个document，看抓取输出的log有很多timeout：java.net.SocketTimeoutException:Accept timed outatjava.net.PlainSocketImpl.socketAccept(Native Method)atjava.net.PlainSocketImpl.accept(PlainSocketImpl.java:384)atjava.net.ServerSocket.implAccept(ServerSocket.java:453)atjava.net.ServerSocket.accept(ServerSocket.java:421)atorg.mortbay.util.ThreadedServer.acceptSocket(ThreadedServer.java:432)atorg.mortbay.util.ThreadedServer$Acceptor.run(ThreadedServer.java:631)
可能是本子跑两个虚拟机太费劲了，导致页面都没有抓下来；还有就好多读配置文件IO异常：DEBUG conf.Configuration -java.io.IOException: config()
atorg.apache.hadoop.conf.Configuration.<init>(Configuration.java:157)atorg.apache.hadoop.mapred.JobConf.<init>(JobConf.java:158)atorg.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:669)atorg.apache.hadoop.mapred.TaskTracker.startNewTask(TaskTracker.java:1306)atorg.apache.hadoop.mapred.TaskTracker.offerService(TaskTracker.java:946)atorg.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1343)atorg.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2352)需要进一步分析。
不过总算是成了，庆祝……
更多信息请查看 java进阶网 http://www.javady.com
分享到：
相关推荐
1. **环境准备**：确保所有节点都安装了相同版本的操作系统，并配置好Java环境，因为Hadoop是基于Java开发的。 2. **安装Hadoop**：下载Hadoop的tar.gz文件到所有节点，解压到同一目录，然后配置环境变量，如`...
【标题】"hadoop-cluster-build"涉及的知识点主要围绕着Hadoop集群的构建，这是一个大数据处理的核心技术。Hadoop是一个开源框架，它允许在廉价硬件上进行大规模数据处理，具有高度可扩展性和容错性。 【描述】...
Hadoop cluster planning guide
hadoop-cluster-docker, 在 Docker 容器中运行 Hadoop 在 Docker 容器内运行Hadoop集群博客：在 Docker 更新中运行Hadoop集群。博客：基于Docker搭建Hadoop集群之升级版 3节点Hadoop集群 1.拉 Docker 图像sudo do
### Hadoop集群部署详解 ...通过深入了解Hadoop集群的部署过程和管理技巧，企业能够更好地发挥其优势，实现数据价值的最大化。随着技术的不断进步，Hadoop也将继续发展和完善，为用户提供更多可能性。
指导Hadoop集群部署的资料, 注意: 内容是英文的, 可能有些同学会失望
Hadoop在centOS系统下的安装文档，系统是虚拟机上做出来的，一个namenode,两个datanode，详细讲解了安装过程。
[Packt Publishing] Hadoop Operations and Cluster Management Cookbook (E-Book) ☆ 图书概要：☆ Over 60 recipes showing you how to design, configure, manage, monitor, and tune a Hadoop cluster ...
Hadoop Multi Node Cluster 安装步骤.pdf
人工智能-Hadoop
### Hadoop集群搭建详解 #### 一、目的 本文档旨在详细介绍如何安装、配置和管理非简单的Hadoop集群，这些集群可能包含从几台到数千台节点不等的大规模集群。如果你想要尝试Hadoop的基本功能，可以先在单机上进行...
Hadoop Single Node Cluster的详细安装，master主机与data1、data2、data3三台节点连接。
This distributed framework makes it possible to pass the load on to thousands of nodes across the whole Hadoop cluster. The nature of distributed framework also allows for node failure without ...
The full dataset is stored on Amazon S3 in the hadoopbook bucket, and if you have an AWS account you can copy it to a EC2-based Hadoop cluster using Hadoop’s distcp command (run from a machine in the...
zabbix 监控 hdfs 和 纳闷的进程
8. "HadoopCluster_Vol.10.rar"、"HadoopCluster_Vol.7.rar"、"HadoopCluster_Vol.8.rar"：这些可能是Hadoop集群搭建过程的多个阶段，可能包含了更多关于集群管理、监控、优化等方面的内容。 综上所述，这个压缩包...
hadoop集群在集群上设置和运行作业。 集群和作业被描述为数据映射。介绍bin/hadoop脚本是用于构建集群和运行作业的命令行界面。... { :cluster-prefix " hc1 " :groups { :master { :node-spec { :hardware {