Taoo
- 浏览: 293863 次
- 性别:
- 来自: 北京
-
最新评论
-
白Rime：
楼主在吗，我在装 libxml2 时，出现该问题，有些地方还是 ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
fuzzball：
bo_hai 写道楼主的办法解决我了的问题。给你32个 兄弟有 ...
python安装是 -fPIC问题的解决 -
fuzzball：
silent1 写道编译ganglia的时候出现此问题，按楼主 ...
python安装是 -fPIC问题的解决
文章列表
rpm -qpl xxxxxx.rpm
1.如何安装rpm软件包
rmp软件包的安装可以使用程序rpm来完成。执行下面的命令
rpm -i your-package.rpm
其中your-package.rpm是你要安装的rpm包的文件名，一般置于当前目录下。
安装过程中可能出现下面的警告或者提示：
... conflict with ... 可能是要安装的包里有一些文件可能会覆盖现有
的文件，缺省时这样的情况下是无法正确安装的可以用
rpm --force -i 强制安装即可
... is needed by ...
... is not installed ... 此包需要的一些软件你没有安 ...
zz hadoop常见问题
- 博客分类：
- hadoop
http://www.hadoopor.com/thread-71-1-1.html
Hadoop技术论坛
注册 登录
论坛
导航
RSS
Hadoop技术论坛 » Hadoop综合 » Hadoop使用常见问题以及解决方法
123下一页
返回列表 发帖
版主
Rank: 7Rank: 7Rank: 7
十级勋章
1# 跳转到 » 倒 ...
mysql 数据表修复
- 博客分类：
- mysql
由于断电原因，
mysql数据表损坏，
运气比较好，损坏的并不严重，
通过简单修复 （myisamchk -r -q）就解决啦。
主要参照链接：
http://www.chinahtml.com/0610/mysql-11619183797660.html
教你用Myisamchk进行崩溃恢复MySQL
发表时间:2006-10-27内容来 ...
现象就是在root下 ssh host1 一直卡住没反应，
然后用ssh的debug模式查看ssh -v host1,显示如下：
OpenSSH_4.3p2, OpenSSL 0.9.8e-fips-rhel5 01 Jul 2008
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: Applying options for *
debug1: Connecting to vbaby2 [10.1.60.175] port 22.
debug1: Connection established.
debug1: perm ...
启动有几个部分：
1，hdfs；
其中包括、namenode、datanode、secondaryNamenode、backupNode
在namenode上执行：./start-dfs.sh 即可启动nn、dn、snn，
backupNode需要在backupNode上去执行：
nohup ./hdfs namenode -backup > backupNode.out &
2，yarn的启动：
直接./start-yarn.sh即可，没啥难的。
这个脚本自动会将resourcemanager和 resourceNode启动。
然后就可以准备跑第一MapReduce程序啦。 ...
yarn的配置比hdfs那几个点点简单多了，
网上随便找个教程应该都可以搞定。
遇到的几个问题，记录以下。
1，尼玛yarn-env.sh 与 hadoop-env.sh，启动dfs的时候只会读取hadoop-env.sh，
启动yarn时，运行./start-yarn.sh，会先执行hadoop-env.sh再执行yarn-env.sh，也就是说后者级别高，会覆盖前者。
2，yarn的log路径问题。看yarn-default.xml里面说yarn.nodemanager.log-dirs参数是指定log存放的，可是我怎么折腾都没效果，它会把路径设置为/logs，这个比较痛苦。后 ...
折腾了一天，
装0.23的hdfs。
版本是0.23.1
官方文档写的这个是alpha，折腾了一下午，这个尼玛果然是alpha，一堆东西有问题。
废话少说，直入主题。
首先是下载官网上的安装包。
官网上也推荐把hdfs、mapred、yarn三个帐号分开。
...
hadoop 配置文件配置
hadoop-metrics.properties
修改如下：
# Configuration of the "dfs" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext ...
一些故障的排除，
在用bigtop安装hadoop时，运行yum install hadoop，会报错如下：
warning: rpmts_HdrFromFdno: Header V4 DSA signature: NOKEY, key ID 9475bd5d
GPG key retrieval failed: [Errno 14] HTTP Error 404: Not Found
只有两台机器报这个错误，其他机器都不报，找了一圈没有发现问题。
google下，可以增加参数，让yum不chech key，执行如下命令：
yum install hadoop --nogpgcheck
解决。
...
Hive 部署与其他
- 博客分类：
- hive
按照hadoop权威指南中文版第二版中，374页的内容，
部署hive。
部署模式 remote metastore。
1，配置好mysql。
2，按照mysql的url、数据库名称，用户名、密码，配置hive的javax.jdo.*参数。
3，启动matestore服务。hive --service metastore
默认端口用的是9083，也可以通过METASTORE_PORT环境变量指定。
（nohup ./bin/hive --service metastore >> metastoreServer.log 2>&1 &）
4，配置hive的c ...
hbase 无法启动问题 时间设置
- 博客分类：
- hbase
hbase启动时，有些regionserver起不来，
看了日志发现，应该是系统时间不同步导致。
于是把所有机器时间以master为标准同步。
之后启动正常。
时间校准的方法。
由于集群无法访问外网，不能internet，又因为懒得弄时间服务器，
机器不多，手工设置了下时间。
date --set "11/19/11 10:00:00" (月/日/年 时:分:秒)
regionserver的log中错误代码如下：
2011-11-19 08:58:46,453 DEBUG org.apache.hadoop.hbase.regionserver.Priority ...
只是升级hadoop和Hbase两个组件。
参考的主要是
http://www.iteye.com/topic/515848
和
http://caibinbupt.iteye.com/blog/283811
分割线---转载部分----
1：运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2：备份dfs.namenode.dir下文件
3：停止所有节点 bin/stop-all.sh
4：在所有节点上重新部署hadoop 并替换conf文件夹下所有文件（就是将原有的hadoop-0.19.1更名为hadoop-0. ...
错误一，hbase版本统一
报出一堆getMaster的错误，或者各种看不懂的错误，结果发现是部署的hbase版本和，开发程序依赖的hbase版本不匹配。所以版本问题首先要解决，统一版本。
错误二，伪分布和单机模式要区别。
hbase-site.xml中有个“hbase.cluster.distributed”参数，如果这个参数为false，则意味着hbase将依赖的是本地文件系统来建立，相应的“hbase.rootdir”也应该是file:///xxxxx。
如果“hbase.cluster.distributed”参数为ture，则意味着hbase将在HDFS文件系统中建立，相应的“hba ...
因为一个程序把hadoop集群整死了。
集群重启后，hbase死活无法正常启动。
现象：
master上HMaster进程有，slaves上的zookeeper和regionserver进程也有，
但是web无法访问hbase，hbase shell也起不来。
总之，hbase无法提供服务。
查看hbase master日志，
发现启动过程中，对hdfs/hbase/.logs下的某个文件创建失败，
提示该文件已经存在神马的。
然后备份.logs文件夹，把.logs文件夹删了。
重新启动hbase，
ok，起来了。
初步看来，hbase里面的表都在。