Taoo
- 浏览: 293838 次
- 性别:
- 来自: 北京
-
最新评论
-
白Rime：
楼主在吗，我在装 libxml2 时，出现该问题，有些地方还是 ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
fuzzball：
bo_hai 写道楼主的办法解决我了的问题。给你32个 兄弟有 ...
python安装是 -fPIC问题的解决 -
fuzzball：
silent1 写道编译ganglia的时候出现此问题，按楼主 ...
python安装是 -fPIC问题的解决
文章列表
namenode无法启动，解决
- 博客分类：
- hadoop
hadoop集群关闭后，重新开启
Namenode无法启动。
现象：
执行start-all.sh后，
在master机器是哪个，jps里虽然显示有NameNode进程，
但是web查看hdfs无法进行，也无法执行hadoop fs相关命令。
查看logs/hadoop-hadoop-namenode-xxx.log
发现在启动过程的读edits文件花了3000+s，
读完这个文件之后，接下来的环节就会报出错误信息如下：
/************************************************************
STARTUP_MSG: Starting Nam ...
hadoop 批量移除 dataNode
- 博客分类：
- hadoop
其实就是编辑一个文本，文本内容就是写出要移除机器的ip地址。
然后在mapred-site.xml 设置dfs.hosts.exclude参数，其值为刚提到ip地址文件的路径。
然后执行hadoop dfsadmin -refreshNodes
ok，
这个时候，机器就会把那些有待移除的节点上的数据，开始搬移。其实这个时间比我想象的要快，具体多久，也没注意，出去吃顿饭，两个多小时移除了大概100G吧。
移除好后，在web界面上看，那些节点会变成dead nodes。
移除好之后，修改slaves文件，移除那些ip，然后在修改那个ip地址文件将里面的内容删去。
然后可以手动执行hadoop-d ...
修改过程
1，停掉hadoop集群。
2，拷贝原始logs路径下和tmp路径下的内容到新的路径下（目标路径）。其实删除tmp路径下内容也可以。
3，修改配置文件，hadoop-env.sh和core-site.xml。（如后文所示）
4，启动hadoop集群。
修改hadoop logs路径
在hadoop-env.sh中，修改为
# Where log files are stored. $HADOOP_HOME/logs by default.
# export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_LOG_DIR=/新的 ...
数据挖掘领域的主要会议 【转载】
http://blogger.org.cn/blog/more.asp?name=zhaoyong04&id=24556
一流的：数据库三大顶级会议SIGMOD，VLDB，ICDE，数据挖掘KDD，实际相关的还有机器学习ICML,还有信息检索的SIGIR；数据库的理论会议PODS，但它是 ...
为了备份数据，折腾了一个mysql
折腾了将近三天。
遇到的问题与解决记录如下：
安装，
平台，redhat 5.5 x86-64bit，去官网下载相应版本的mysql-server 和 mysql-client
采用rpm包安装。
root权限运行
rpm -ivh MySQL-server-5.5.8-1.rhel5.x86_64.rpm
rpm -ivh MySQL-client-community-5.1.54-1.rhel5.x86_64.rpm
拷贝配置文件
将/usr/share/mysql/my-xxx.cnf考到/etc/my.cnf中。
设置root密码，
这个不难 ...
http://blog.csdn.net/flykobesummer/archive/2010/01/02/5122057.aspx
3种形式的协同过滤（Collaborative Filtering）算法：
1、user-based：相同（相似）用户的喜好相同
2、item-based：能够引起使用者兴趣的项目，必定与其之前评分高的项目相似
3、model-based：先用历史资料得到一个模型，再用此模型进行预测
参考：http://gengrenjie.com/2009/04/12/%E5%8D%8F%E5%90%8C%E8%BF%87%E6%BB%A4%E6%89%AB%E7 ...
对于在hadoop已经存在的路径或文件，
可以修改其备份个数，命令为：./hadoop fs -setrep -w 2 -R /
解释：将“/”目录下的所有内容，递归的将其被备份个数设置为2.
文件的备份数目，由客户端写入时决定，如果在客户端写入时没有设置，默认值为三。
要修改写入时的备份个数需要配置
Configuration conf = new Configuration();
conf.set("hadoop.job.ugi", superuser + "," + supergroup);
co ...
http://www.ixpub.net/thread-619016-1-1.html
tar命令
[root@linux ~]# tar [-cxtzjvfpPN] 文件与目录 ....
参数：
-c ：建立一个压缩文件的参数指令(create 的意思)；
-x ：解开一个压缩文件的参数指令！
-t ：查看 tarfile 里面的文件！
特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！
因为不可能同时压缩与解压缩。
-z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？
-j ：是否同时具有 bzip2 的属性？亦即是否需要用 bzip2 压缩？
- ...
之前赶新潮，装了最新版hadoop-0.21.0
后来反映，Hbase0.26不支持0.21.0，只支持到0.20.2。
无奈只能退回。
其实很简单的工作，却搞了一晚上。
还是一些细节问题吧，整理如下：
1，权限问题，老问题。记得改bin下文件的权限，添加上执行权限。（HADOOP_HOME/hdfs/bin还有一个bin）
2，HADOOP_HOME配置问题。默认情况下HADOOP_HOME在 hadoop-evn.sh里没有配置，可以添加上。
3，版本升级：停止集群，然后从新版本./start-dfs.sh -upgrade运行。（当然，新版本的配置文件要配置好，注意下HADOOP ...
分布式基础学习【一】 —— 分布式文件系统
http://flyvenus.net/?p=114
http://www.cnblogs.com/duguguiyu/archive/2009/02/22/1396034.html
分布式基础学习【二】 —— 分布式计算（Map/Reduce）
http://flyvenus.net/?p=118
http://www.cnblogs.com/duguguiyu/archive/2009/02/28/1400278.html
【IBM】用 Hadoop 进行分布式并行编程, 第 1 部分
http://www.ibm.com/develope ...
clementine, 视频, 教程, 经典
Clementine数据挖掘方法概述_管理窗口
http://you.video.sina.com.cn/b/12311138-1240959563.html
Clementine数据挖掘方法概述-学生_选项面板
http://you.video.sina.com.cn/b/12311116-1240959563.html
Clementine数据挖掘方法概述-聚类分析
http://you.video.sina.com.cn/b/12312175-1240959563.html
Clementine数据挖掘方法概述_因子分析
http://y ...
http://linux.chinaitlab.com/command/39131.html
大致总结了一下linux下各种格式的压缩包的压缩、解压方法。但是部分方法我没有用到，也就不全，希望大家帮我补充，我们将随时修改完善，谢谢！
.tar
解包： tar xvf FileName.tar
...
http://www.ibm.com/developerworks/cn/linux/filesystem/lvm/lvm-2/
我的分区和他文章中有些差别。
我的系统redhat5.20不支持 reised 文件系统，所以我采用ext3文件系统。
ext3文件系统的创建语句 mke2fs -j -L LABEL /volumeGroup/ddd
增加分区的磁盘空间（444G）：
lvextend -L+444G /dev/hdvg/lv_hdfs
resize2fs /dev/hdvg/lv_hdfs
reboot
今天配置hadoop 0.21.0
有几点与 0.20.2 的区别如下：
1，需要配置环境变量 HADOOP_HOME=xx/hadoop-0.21.0。这个现在是known bug
2，start-all.sh and stop-all.sh被废除了，
start-all.sh 用start-dfs.sh 与 start-mapred.sh代替。
stop-all.sh也用相应的两个代替。
另外在这次部署中新遇到的问题：
1，hadoop-0.21.0/bin下的文件权限默认为 644，需要全部改为755
2，ssh的端口需要全部统一。在hadoop-env.sh 里面可以配 ...
前面的一个帖子中谈到了在决策树模型下计算AUC的问题，主要是讨论如何用决策树得到test samples的更为合理的rank。但是，关于怎么计算AUC却没有详细说明。本文试图总结和理清楚AUC计算这个问题，这么做，除了因为AUC本身比较 ...