justinyao
- 浏览: 40479 次
- 性别:
- 来自: 广州
-
最新评论
-
bestlovetoad：
<env-entry-value>/put/you ...
solr error:404 missing core name in path with solr -
咖啡豆子：
yongqi 写道我也写一个，我认为是人在过桥，桥只是一个资源 ...
java 多线程小练 -
Technoboy：
这个贴的回复，真是杀人啊
java 多线程小练 -
yongqi：
我也写一个，我认为是人在过桥，桥只是一个资源，不知道是否正确， ...
java 多线程小练 -
咖啡豆子：
共享资源通常就是要锁定的对象，每个人启一个线程，用wait/n ...
java 多线程小练
文章列表
安装了CDH5.2,配置了oozie的mysql数据元存储。运行coordinator时，发现不能运行
报以下错误：
start time is after or equal to coordinator job's pause time
最后GOOGLE解决了问题：
那是oozie 的mysql表字段值有问题
解决：
change table coord_jobs column:pause_time(timestamp) to default null
把表coord_jobs 的pause_time字段，设置默认null
问题一
IOException thrown while collecting data from host: No route to host
因为agent机器开启了防火墙
解决:
service iptables stop
问题二
在以下主机上，组 'hadoop' 不包括用户 'hdfs'：
解决:
usermod -a -G hadoop hdfs
问题三
Initialization failed for block pool Block pool BP-470954207-10.108.74.237-1392171421251 ( ...
使用cloudera manager安装hadoop,过程中日志记录错误如下:
Could not initialize database server.
This usually means that your PostgreSQL installation failed or isn't working properly.
PostgreSQL is installed using the set of repositories found on this machine. Please
ensure that PostgreSQL can be installed. ...
前言
以前部署hadoop集群,一直使用cloudera提供的tarball部署安装,今天尝试使用CM在新机器部署hadoop,因为使用它使用起来简单方便,并且提供了一系列的监控功能.但由于CM的安装是要联网的,而且cloudera还在中国没有源,所以安装过程 ...
由于公司机房机器不允许上网,所以需要一个离线安装ganglia的方案,网上的教程都是有联网的,所以自己写一编 ganglia离线安装教程.
机器系统: redhat 5.6 64位
安装rrdtools
注:由于机房机器能连接外网,所以需要下载好相关的包,上传到机器上.
http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.2.27.tar.gz
今天使用jps命令,发现没有了hadoop的相关进程,如datanode,namenode,jobtracker,tasktracker等,都看不到了,但使用pe -ef|grep hadoop是看到相关进程的,而且hadoop是正常运行当中,能跑mr程序.这个问题导致的后果就是不能对hadoop进程停启了,因为机器认不到namenode/datanode进程,影响还是挺大的.
网上也没找到解决方案,最后发现是因为linux下的tmpwatch把/tmp目录的一个特殊文件删除了(定时清理),这个文件保存的是用户启动进程的pid信息.解决方法是修改相关文件,防止/ ...
以前用过linux下的mysql-proxy,感觉很好用,今天需要在一台windows服务器上装个mysql-proxy,看着官网一步一步的实现,过程如下:
我使用的是MySQL Proxy 0.8.3 alpha版本,下载地址 http://dev.mysql.com/downloads/mysql-proxy/
选择windows平台版本.
...
sqoop是一款数据互导工具,利用它可以在关系数据库与hbase/hive/hdfs进行数据互导,过程中会生成一个mapreduce任务，也就说是sqoop是基于hadoop的.淘宝也有自己的数据互导工具，叫datax,它跟sqoop实现原理不同，没有基于hadoop.
sqoop目前还没有很好的支持不同的导数据业务,比如数据库字段名称不能与java关键字同名、row-key不支持整型导入等，所以还需要对sqoop进行扩展，使其能很好地支持我们的业务。今天实现了row-key支持整形导入
继承PutTransformer类
public class ToIntPutT ...
hadoop自带的wordcount
- 博客分类：
- hadoop
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount
2、通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt
3、通过命令运行例子，使用命令如下：bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.t ...
官方说明：
http://wiki.nginx.org/NginxChsHttpMainModule#worker_cpu_affinity
http://wiki.nginx.org/NginxChsHttpMainModule#worker_processes
worker_cpu_affinity这个参数要结合 worker_processes来一起使用。
其中 先说 worker_processes。
worker_processes指明了nginx要开启的进程数，据官方说法，一般开一个就够了，多开几个，可以减少机器io带来的影响。 一般为当前机器总cpu核心数的1到2倍 ...
相信在自己的电脑上Windows 与Linux 同时并存的童鞋不在少数，因为就算你是个超级Linux控，有时候也还离不开Win，比如当你想在淘宝拍东西用网银时，国内绝大部分网银都还不支持Linux。虽然大部分新版（如2009、2010年发行的）Linux发行版，像Ubuntu 9、10和Fedora 12、13等都已经默认支持NTFS分区自动挂载，但是如果你是像偶这样喜欢用CentOS这样的服务器版本来做桌面的，就需要看看偶这篇总结了，好，废话不说了~~
Linux下想访问NTFS分区，现在普遍的方法是利用ntfs-3g 或者内核模块来实现。
一、安装ntfs-3g模块
1. 使用yum ...
CentOS下自带了firefox,但没有flash插件的,按它自己的提示安装不成功,需要手动安装,如下:
1.打开flash官网,http://labs.adobe.com/downloads/flashplayer11-2.html
下载插件tar.gz格式的,解压后里面有一个usr文件夹,一个libflashplayer.so和一个readme.txt文件.
主要是那个libflashplayer.so文件,在终端下,进行root角色,把libflashplayer.so文件拷贝到firfox文件夹的/plugins目录下:
$ cp libflashplayer.so /usr/ ...
CentOS 5.8 中文乱码解决方案
- 博客分类：
- linux
今天安装了centos5.8,发现原生系统显示中文时全是乱码,google后终于搞好中文环境,特记录一下:
一、安装中文支持：
# yum install "@Chinese Support"
二、用 yum 安装中文字体
#yum install fonts-chinese.noarch
三、修改配置文件
#vi /etc/sysconfig/i18n
将LANG="en_US.UTF-8"
SYSFONT="latarcyrheb-sun16"
修改原内容为
LANG="zh_CN.GB1803 ...
一个server包含多个service，一个service包含多个监听端口、多个context和一个引擎
<Server>元素它代表整个容器,是Tomcat实例的顶层元素.由org.apache.catalina.Server接口来定义.它包含一个<Service>元素.并且它不能做为任何元素的子元素.
<Server port="8005" shutdown="SHUTDOWN" debug="0">
1>className指定实现org.apache.catalina.Ser ...
今天需要部署一个新的solr应用,使用熟悉的1.4版本,当把服务部署在tomcat时, http://ip:port/solr 页面可以打开
,但进入http://ip:port/solr/admin页面的时候却报出了错误:404 missing core name in path with solr,google上关于
这个问题的解决方案很少,试了几个都不管用,比如拷贝core0文件夹到solr.home目录,或修改web.xml文件,加上
<env-entry>
<env-entry-name>solr/home</env-entry-name&g ...