yangshangchuan
- 浏览: 2473262 次
- 性别:
- 来自: 北京
-
最新评论
-
masuweng：
你好, 根据机器码计算注册码的代码是在哪个包下的哪个类了.
APDPlat中的机器码生成机制 -
masuweng：
我的那个项目跑起来为什么503了
APDPlat中的机器码生成机制 -
masuweng：
APDPlat中的机器码生成机制 -
liutaochn：
可以用，thanks
Cygwin运行nutch报错：Failed to set permissions of path -
qbuer：
The Google Web Search API is no ...
使用Java调用谷歌搜索
文章列表
1、三台机器
host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)
host6(DataNode、TaskTracker)
host8(DataNode、TaskTracker)
vi /etc/hostname（分别给每一台主机
1、准备HADOOP运行环境
下载解压并拷贝到Cygwin的用户主目录
http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
1.x版本有BUG,参考：
https://issues.apache.org/jira/browse/HADOOP-7682https://issues.apache.org/jira/browse/HADOOP-8274
BUG
1、安装SSH
默认的Cygwin没有安装ssh，所以重新运行http://www.cygwin.com/setup-x86_64.exe
在Select Packages的时候，在search输入ssh，选择openssh:The OpenSSH server and client programs
2、配置SSH服务（以管理员身份运行cygwin）
执行
1、新建用户和组
addgroup hadoop
adduser --ingroup hadoop hadoop
注销root以hadoop用户登录
2、配置SSH
ssh-keygen -t rsa（密码为空，路径默认）
cp .ssh/id_rsa.pub .ssh/authorized_keys
3、准备HADOOP运行环境
wget http://archive.apache.org/dist/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz
tar -xzvf hadoop-1.1.2.tar.gz
在/h ...
错误信息：
Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
官方BUG参考：
https://issues.apache.org/jira/browse/HADOOP-7682
解决方法：
1、下载并解压http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1 ...
错误信息：java.io.IOException: java.sql.BatchUpdateException: Incorrect string value: '\xD6\xD0\xB9\xFA\xB9\xA4...' for column 'content' at row 1at org.apache.gora.sql.store.SqlStore.flush(SqlStore.java:340)at org.apache.gora.sql.store.SqlStore.close(SqlStore.java:185)at org.apache.gora.mapreduce.GoraR ...
软件业的奥斯卡奖：JOLT奖
Jolt大奖素有“软件业界的奥斯卡”之美誉，共设通用类图书、技术类图书、语言和开发环境、框架库和组件、开发者网站等十余个分类，每个分类设有一个“震撼奖”（Jolt Award）和三个“生产力奖”（Productivity Award）。一项技术产品只有在获得了Jolt奖之后才能真正成为行业的主流，一本技术书籍只有在获得了Jolt奖之后才能真正奠定经典的地位。赞助商Jolt可乐的广告词是“震撼全世界”，Jolt奖就让我们看到，是谁在震撼着我们今天的世界。虽然Jolt并不起决定作用，但代表了某种技术趋势与潮流。JOLT大奖共设有：通 ...
Nutch2.1通过gora对存储层进行了扩展，可以选择使用HBase、Accumulo、Cassandra 、MySQL 、DataFileAvroStore、AvroStore中任何一种来存储数据，但其中一些并不成熟。在我的反复测试中发现，整体来说，Nutch2.1比起Nutch1.6的性能要差得多，最重要的是不能长期稳定运行。Nutch1.6使用Hadoop Distributed File System (HDFS)来作为存储，稳定可靠。下面分别说说每一种存储方式的情况： HBase（column stores），支持输入分割，以Region为最小 ...
一、nutch1.2
二、nutch1.5.1
三、nutch2.0
四、配置SSH
五、安装Hadoop Cluster（伪分布式运行模式）并运行Nutch
六、安装Hadoop Cluster（分布式运行模式）并运行Nutch
七、配置Ganglia监控Hadoop集群和HBase集群
八、Hadoop配置Snappy压缩
九、Hadoop配 ...