Taoo
- 浏览: 293866 次
- 性别:
- 来自: 北京
-
最新评论
-
白Rime：
楼主在吗，我在装 libxml2 时，出现该问题，有些地方还是 ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
yeelor：
$./configure --prefix=/usr/loca ...
python安装是 -fPIC问题的解决 -
fuzzball：
bo_hai 写道楼主的办法解决我了的问题。给你32个 兄弟有 ...
python安装是 -fPIC问题的解决 -
fuzzball：
silent1 写道编译ganglia的时候出现此问题，按楼主 ...
python安装是 -fPIC问题的解决
文章列表
创建数据库，赋予权限
- 博客分类：
- mysql
create database xxdb;
GRANT ALL PRIVILEGES ON xxdb.* TO 'username'@'%' IDENTIFIED BY 'passwd' WITH GRANT OPTION;
python安装是 -fPIC问题的解决
- 博客分类：
- python
尼玛真是头疼。
在安装好numpy、scipy、theano后。
在python代码中，敲入：import theano，报错如下：
Problem occurred during compilation with the command line below:
g++ -shared -g -m64 -fPIC -I/usr/local/lib/python2.7/site-packages/numpy/cor
e/include -I/usr/local/include/python2.7 -o /root/.theano/compiledir_Linux-2
.6.18 ...
参考：http://deeplearning.net/software/theano/install.html
为了安装python软件方便，先安装pip。
安装方法，见google
安装Theano的先决条件：
1，python 2.6以上；
2，BLAS
3，numpy（依赖BLAS，虽然没有亦可以安装，但是无法使用BLAS的加速）
4，Sci ...
oozie 与jdk 版本
- 博客分类：
- oozie
用的oozie-3.1.3
jdk从1.6 升级到1.7 就无法启动了。
报错如下：
2012-11-22 11:13:06,686 INFO HadoopAccessorService:539 - USER[-] GROUP[-] NAME_NODE_WHITELIST :[ ], Total entries :0
2012-11-22 11:13:06,778 FATAL Services:533 - USER[-] GROUP[-] TOKEN[-] APP[-] JOB[-] ACTION[-] E0130: Could not parse workflow schemas file/ ...
在使用stop-dfs.sh、stop-mapred.sh、stop-all.sh、hadoop-deame.sh脚本关闭某个服务时，
经常汇报：“no xxxxNode to stop”
以下是解答
http://nourlcn.ownlinux.net/2012/06/no-namenode-to-stop-error-in-hadoop.html
引用为什么会这样呢？
因为Hadoop用来保存进程id的文件默认是在/tmp目录下，而/tmp会被系统定期清理，这样stop-all.sh或stop-dfs.sh的时候就有可能找不到namenode的进程pid。不能正常关闭nam ...
linux查询网卡相关信息
- 博客分类：
- linux
ethtool ethX
查询详细的网卡、网络信息；
推荐
引用
Ethtool是用于查询及设置网卡参数的命令。
概要：
ethtool ethX //查询ethX网口基本设置
ethtool –h //显示ethtool的命令帮助(help)
ethtool –i ethX //查询ethX网口的相关信息
ethtool –d ethX //查询ethX网口注册性信息
ethtool –r ethX //重置ethX网口到自适应模式
ethtool –S ethX //查询ethX网口收发包统计
ethtool –s ethX [speed 1 ...
lvm中物理卷的删除
- 博客分类：
- linux
1，umount相应分区：umount /xxx/xxx/xx
2，删除相应的逻辑卷（lv）
可以通过 lvdiplay 命令查看所有逻辑卷信息，然后找到要删除的逻辑卷；
通过 lvremove 逻辑卷名称 来删除逻辑卷。
3，将要删除的物理卷对应的PV从VG中移除。
命令是vgreduce vg名称 pv名称
可以通过vgdisplay -v 查看信息。
4，删除pv；
命令是pvremove pv名称
可以通过pvdispay命令查看。
5，重新对物理卷格式化；fdisk /dev/sdb
6，重新生成文件系统；mkfs.xfs /dev/sdb1
以 ...
安装 alfresco
- 博客分类：
- alfresco
1，官网下载安装文件：http://wiki.alfresco.com/wiki/Download_and_Install_Alfresco
2，然后在linux下运行，
./alfresco-community-4.0.e-installer-linux-x64.bin ---mode text
3，安装过程中，选择高级安装，并不要安装PostgreSQL。
4，根据提示配置mysql相关内容：
db.url=jdbc:mysql://xx.xx.xx.xx/alfresco?useUnicode=yes&characterEncoding=UTF-8
db.driver=org ...
不知道为什么bin/addwar.sh里面说只支持0.20.x，
于是修改这个文件，addhadoopjar函数里面添加内容，修改后的函数为：
#get the list of hadoop jars that will be injected based on the hadoop version
function getHadoopJars() {
version=$1
hadoopVer=$version
if [ "${version}" = "0.20.1" ]; then
#List is separated ...
pig-0.10.0版本是支持hadoop 23的。
但是需要重新编译pig；
编译命令如下：
ant -Dhadoopversion=23
编译好之后，把原来的pig的jar包删了就行。
当然了，hadoop的几个环境变量还是要配置的：
HADOOP_HOME
参考资料：http://hortonworks.com/blog/new-features-in-apache-pig-0-10/
引用Pig 0.10.0 supports Hadoop 0.23.X. All unit and end-to-end tests passed with hadoop-0.23. To r ...
反正就是各种报错，超出内存什么的。
涉及到两个配置文件：yarn-site.xml 和 mapred-site.xml；
yarn-site.xml主要涉及这两个参数：
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1536</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation ...
错误和解决方案都可以参加该链接：
http://grokbase.com/p/cloudera/cdh-user/126wqvfwyt/hive-refuses-to-work-with-yarn
现象就是，当hive启动mr任务是报错如下：
引用
Error during job, obtaining debugging information...
Examining task ID: task_1347634167505_0004_m_000000 (and more) from job job_1347634167505_0004
Exception in thread " ...
linux用户的uid相关内容
- 博客分类：
- linux
在linux中，用户有用户名，也有uid。
uid是一个数字，用来唯一确定某个用户的身份。
linux系统中的文件权限实际上是与uid绑定的，而不是表面上看上去的用户名。
创建用户时指定uid的方法：
useradd [usernamen] -u [uid]
uid必须是数字，必须没有被占用，必须大于等于500，（500以下的uid由系统管理）
修改某个用户的uid：
usermod -u [username] [uid]
替换文件系统中的文件权限uid；
find /path/xxx/ -user [uid_1] -exec chown [uid_1] {} \;
...
hadoop 2.0.1 HA配置部署
- 博客分类：
- hadoop
今天折腾HA，那叫一个顺利啊，
我原本准备花一周时间来折腾的，结果今天一天基本搞定，没遇到什么大问题。
要写总结，我也不知道写啥了。
大致流程罗列一下吧。
主要分三步，
第一步，弄清楚HA原理架构，这个参考官方文档，说的很清楚。
http://hadoop.apache.org/docs/r2.0.0-alpha/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailability.html
http://www.cloudera.com/blog/2012/03/high-availability-for-the-hadoop-distributed-file- ...
在apache上下载的hbase，默认的编译版本是根据hadoop-1.0.3的。
需要用其他版本的hadoop的，要对hbase进行重新编译。
编译并不难，但是第一次，还是出了很多很多状况。
PS：HBase版本：hbase-0.94.1
hadoop版本 2.0.1
1，下载maven。（hbase是用maven编译的，hadoop用ant）
2，hbase的pom.xml里面hadoop 2.0用的是2.0.0-alpha，编辑pom.xml，
把<hadoop.version>2.0.0-alpha</hadoop.version>
改成： < ...