无意中在cloudera网站上看到的bigtop介绍:
http://www.cloudera.com/blog/2012/04/apache-bigtop-0-3-0-incubating-has-been-released/
Apache Bigtop 0.3.0 (incubating) is now available. This is the first fully integrated, community-driven, 100% Apache Big Data management distribution based on Apache Hadoop 1.0. In addition to a major change in the Hadoop version, all of the Hadoop ecosystem components have been upgraded to the latest stable versions and thoroughly tested:
Apache Hadoop 1.0.1
Apache Zookeeper 3.4.3
Apache HBase 0.92.0
Apache Hive 0.8.1
Apache Pig 0.9.2
Apache Mahout 0.6.1
Apache Oozie 3.1.3
Apache Sqoop 1.4.1
Apache Flume 1.0.0
Apache Whirr 0.7.0
给我的直观感觉就是,可以用yum来安装hadoop以及相关组件,这些组件之间的依赖有着统一的管理。
按照bitop的教程,尝试了下。
教程:https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop
教程很详细,自己很粗心,所以遇到了好些问题。
这货的hadoop安装路径是/usr/lib/hadoop,
貌似这货不需要设置环境变量HADOOP_HOME。
只需要在/etc/default/hadoop中设置 JAVA_HOME就行。
启动hadoop遇到一个问题读写log相关时报错:Too many levels of symbolic links
后来发现是两个链接文件互相指向,然后陷入死循环了。
lrwxrwxrwx 1 root root 15 Apr 13 16:57 /etc/alternatives/hadoop-log -> /var/log/hadoop
lrwxrwxrwx 1 root root 28 Feb 3 18:03 /var/log/hadoop -> /etc/alternatives/hadoop-log
我把/var/log/hadoop链接文件删了,然后新建了一个/var/log/hadoop文件夹,改好权限就可以了。
安装的hadoop默认用伪分布,不过貌似可以用alternatives 工具设置,
具体明天研究吧。
2012年4月14日 21:34:22
通过alternative可以指定使用的配置文件,方法如下:
//查看当前使用的配置文件情况
alternatives --display hadoop-conf
//指定新的配置文件,优先级大于其他的即可。
alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.vbaby 100
启动jobTracker与taskTracker。
启动jobTacker时,会需要在hdfs上存在mapred账户有读写权限的一个/tmp目录,
这个目录是在core-site.xml里面配置的。
新的hdfs没有,需要手工建立/tmp目录。
然后service hadoop-jobtracker start就行,
当然datanode上用hadoop-tasktracker。
2012年4月15日 22:34:14
tobe continue...
分享到:
相关推荐
您可以将其用作hadoop的“沙箱”来进行尝试。 这不是“生产”食谱! 当前使用的bigtop版本是0.7.0 这不是为了“生产”:这是为了学习/测试/开发hadoop生态系统/ bigtop。 Vagrant正在用于为此用例提供虚拟化环境。 ...
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
wrf转mp4播放器1.1.1
内容概要:本文档详细介绍了如何在Simulink中设计一个满足特定规格的音频带ADC(模数转换器)。首先选择了三阶单环多位量化Σ-Δ调制器作为设计方案,因为这种结构能在音频带宽内提供高噪声整形效果,并且多位量化可以降低量化噪声。接着,文档展示了具体的Simulink建模步骤,包括创建模型、添加各个组件如积分器、量化器、DAC反馈以及连接它们。此外,还进行了参数设计与计算,特别是过采样率和信噪比的估算,并引入了动态元件匹配技术来减少DAC的非线性误差。性能验证部分则通过理想和非理想的仿真实验评估了系统的稳定性和各项指标,最终证明所设计的ADC能够达到预期的技术标准。 适用人群:电子工程专业学生、从事数据转换器研究或开发的技术人员。 使用场景及目标:适用于希望深入了解Σ-Δ调制器的工作原理及其在音频带ADC应用中的具体实现方法的人群。目标是掌握如何利用MATLAB/Simulink工具进行复杂电路的设计与仿真。 其他说明:文中提供了详细的Matlab代码片段用于指导读者完成整个设计流程,同时附带了一些辅助函数帮助分析仿真结果。
国网台区终端最新规范
《基于YOLOv8的智慧农业水肥一体化控制系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计
GSDML-V2.33-LEUZE-AMS3048i-20170622.xml
微信小程序项目课程设计,包含LW+ppt
微信小程序项目课程设计,包含LW+ppt
终端运行进度条脚本
幼儿园预防肺结核教育培训课件资料
python,python相关资源
《基于YOLOv8的智慧校园电动车充电桩状态监测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计
deepseek 临床之理性软肋.pdf
SM2258XT量产工具(包含16种程序),固态硬盘量产工具使用
RecyclerView.zip
水务大脑让水务运营更智能(23页)
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
大众捷达轿车前轮制动器设计
《基于YOLOv8的智能工厂压缩空气泄漏检测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计