BlackWing
- 浏览: 200546 次
- 性别:
- 来自: 广州
-
最新评论
-
永立s：
这篇博客帮我解决了一个问题,十分感谢.
HBase表增加snappy压缩 -
BlackWing：
日志是job运行日志，看你怎么配置了，一般就在hadoop安装 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误 -
heymaomao：
heymaomao 写道有两个问题，想请教下楼主 第一是日志楼 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误 -
heymaomao：
有两个问题，想请教下楼主 第一是日志楼主到底看的是哪个日志文件 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误 -
atomduan：
本地的Unix 进程创建失败，检查下服务器内存是否够用，是不是 ...
解决Exception from container-launch: ExitCodeException exitCode=1的另类错误
文章列表
资源所限，只能先在本机上模拟hadoop集群。（见文章:http://blackwing.iteye.com/admin/blogs/1502476）
开动之前，需要启动hadoop，并且创建好一个hbase目录：
hadoop fs -mkdir hbase
这样就能在hadoop中开辟一个hbase存放数据的地方。
可以通过命令
hadoop fs -ls /
查看到刚才创建的目录。
hbase的主要配置文件：
1. hbase-site.xml
<configuration>
<property>
<name>hbase.r ...
hadoop集群的教程网上很多，看起来不难，但自己动手时，却总是遇到这样那样的问题，今天终于成功运行了3台集群，稍微有点紧张，先记录下来。
期间主要参考这位兄弟的文章：
http://blog.csdn.net/hguisu/article/details/7237395
1. 安装JDK、hadoop
在/etc/profile中，添加hadoop的bin和主目录。
2. 3台centos 6.2的集群要ssh无密码访问。
因为是用vmware虚拟出来的3台服务器，所以最好是先配好一台后，用克隆，克隆多两台，这样会节省很多时间。
虽然生成rsa并且无密码访问另外几台机器，但第一次ssh ...
很多人都是这么做，运行虚拟机，windows上进行开发。
在linux上运行tomcat，并且windows中能ping通虚拟机，但就不能通过虚拟机ip访问到8080端口上的tomcat，真折腾。
终于后来搜索到解决方法，主要是因为linux的防火墙问题。暴力点的办法是禁用iptables，合理的是添加允许访问的规则。
禁用iptables：
chkconfig iptables off
这样很暴力，永久生效。
而当前状态生效，重启后失效的办法：
service iptables stop
而最好是修改/etc/sysconfig/iptables添加允许访问的规则。
终于让老夫遇到这个crontab不执行的问题，我的解决办法是，调试。
首先crontab -e修改自己的自动程序，假设是：
*/1 * * * * sh /home/blackwing.sh
如果发现它其实没有执行，那么很可能：
1. shell脚本的执行权限问题
2. 脚本写错
一般来说，都是建议其中命令、路径都要绝对路径。最直观的是看看程序执行有没异常。以上自动程序修改为：
*/1 * * * * sh /home/blackwing.sh > /dev/null 2>/home/blackwing/errors.log
这样只要看看errors.log就知道哪里出错了。 ...
之前tomcat的catalina.out等日志，记录的中文都是???，非常不直观，开始以为是linux系统编码问题，但设置了/etc/sysconfig/i18n为中文也不能解决。
其实这个挺简单，只要在catalina.sh或者startup.sh中添加：
JAVA_OPTS="$JAVA_OPTS -Dclient.encoding.override=UTF-8 -Dfile.encoding=UTF-8 -Duser.language=zh -Duser.region=CN"
export JAVA_OPTS;
但记得，若是添加在 catalina.sh中， ...
在项目访问量不断增加时，tomcat下logs也迅速增大，有时甚至因为填满了所在分区而出现无空间写入日志而导致程序出问题。
这时要更改logs的默认目录，指向更大的磁盘。修改主要有两步：
1. 修改tomcat/conf下的logging.properties
############################################################
# Handler specific properties.
# Describes specific configuration info for Handlers.
################## ...
在windows下安装hadoop，需要cygwin模拟linux环境，具体安装可以参考其他文章。国外有篇很详细介绍windows下安装hadoop的各个步骤，可惜其中一步没有说明。文章地址：
http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html
主要的一步是把windows下的JAVA_HOME软连接到cygwin下，由于java默认是安装在program files下，这个文件夹的空格造成不少麻烦。后来在hbase官网看到了正确解决办法：
LN -s /cygdrive/c/Program\ Files/Java/jd ...
在Apache.Solr.3.Enterprise.Search.Server中，作者强烈建议使用多内核，并且与其后面的4.0版本多核有可能是默认设置，刚好项目需要用到多核，研究配置成功，其实也很简单。
因为要用到的两个核是不同索引，不同solrconfig和schema，所 ...
摘自官网：
How does the slave replicate?
The master is totally unaware of the slaves. The slave continuously keeps polling the master (depending on the 'pollInterval' parameter) to check the current index version the master. If the slave finds out that the master has a newer version of the index it i ...
因为IK实在第一次分词时才加载词典，可能会导致第一次分词较慢，所以打算在Tomcat启动时就加载到内容，提高速度。步骤如下：
1. 实现ServletContextListner接口
在contextInitialized(ServletContextEvent arg0)方法中，初始化加载：
System.out.println("tomcat启动：初始化词典");
org.wltea.analyzer.dic.Dictionary.initial(org.wltea.analyzer.cfg.Configuration.getInstance());
2. 在程 ...
由于项目要用到最新版本的IK jar包，所以要把它添加到ivy的公共库，其实步骤很简单，3步走：
1. 从ivysetting.xml中找到ivy服务器，用资源管理器打开词路径
2. 把新把复制黏贴到ivy服务器
3. 修改项目中ivy.xml的依赖包，添加新包的依赖关系：
<dependency org="IK" name="IKAnalyzer" rev="2012" transitive="false"/>
其中要注意的是，ivysettings.xml中，shared库的jar包格 ...
一般的mm参数设置，比较容易理解（从右到左读，更加好理解），但复杂点的则需要花点时间：
3<90%
A positive integer, followed by the less-than symbol, followed by any of the previously mentioned specifiers is a conditional specification. It indicates that if the number of optional clauses is equal to (or less than) the integer, they are all ...
以前面试，被问到过做过项目代码量多少，一时回答不上，就想着自己写个了。代码其实很简单，分两部分：
1.一部分是很多例子都有的，列出文件夹下所有文件。
2.计算一个文件的代码行数。
代码如下：
package com.blackwing.test;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io ...
把solr运行起来，还不容易，折腾了不少时间。
之前，需要把tomcat/conf/server.xml中的Connector添加UTF-8处理能力：
<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443"
URIEncoding="UTF-8" />
1.把刚下载的solr下dist下的apache-solr-xxx.war拷贝到tomcat的webapp ...
近日遇到小测试题，要求把例如“-124abaad>132”类型字符串，转化为“-124”，也就是说截取前部分整数。
重温了正则表达式，我的写法是："^([-+]?)([0-9]+)(.*)"
把待处理字符串分组，后面用Matcher的gourp(int count)把整数提取出来转型就行。
开始一下代码一直报错：
String p3="^([-+]?)([0-9]+)(.*)";
Pattern pattern=Pattern.compile(p3);
System.out.printl ...