eryk
- 浏览: 582126 次
- 性别:
- 来自: 北京
-
最新评论
-
maleking：
太感谢了。新手搭建hadoop集群环境，dat ...
启动hadoop后没有datanodes的问题 -
system_mush：
NoClassDefFoundError: com/google/common/collect/Maps -
di1984HIT：
呵呵，我学习一下。
Katta源码分析 -
di1984HIT：
呵呵， 不管怎么说，挺好的。
zookeeper3.3学习笔记2：配置参数介绍 -
zoezhang：
谢谢了，可以解决
maven2报cannot be cast to javax.servlet.Filter错误解决
文章列表
1 . PermGen space
全称是Permanent Generation space,是指内存的永久保存区域.
用于存放,Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域.所以当我们的应用服务器在启动的时候会加载很多的CLASS的时候会出现OutOfMemoryError: PermGen ...
十个最好的Java性能故障排除工具
- 博客分类：
- Java
推荐十个最好的Java性能故障排除工具：
1.jconsole是随着JDK 1.5而推出的。这是一个Java监测和管理控制台-JMX兼容的图形工具来监测Java虚拟机。它能够同时监测本地和远程的JVMs。详情可查看：jconsole工具介绍
2.VisualVM ...
如何提高和优化Lucene搜索速度
- 博客分类：
- lucene
确认你在使用Lucene的最新版本
尽量使用本地文件系统
远程文件系统一般来说都会降低搜索速度。如果索引必须分布在远程服务器，可以尝试将远程文件系统设置为只读。在某些情况下，这样可以提高性能。
使用更快的硬件设备，特别是更快的IO设备
Lucene搜索可以很好的工作在基于闪存的固态硬盘上。固态硬盘的寻道时间大概比传统的以磁盘为基础的硬盘快100倍。这意味着，配备固态硬盘的机器用于文件缓存的内存将变少，搜索需要较少的热身时间，能够更加迅速作出反应。
加大你的机器内存容量，给Java虚拟机分配更多的内存
索引越大，在搜索时需要使用更多的内存。如果你的机器没有足够大的内存或 ...
如何提高和优化Lucene索引速度
- 博客分类：
- lucene
• 确认你在使用最新的Lucene版本。
• 尽量使用本地文件系统
远程文件系统一般来说都会降低索引速度。如果索引必须分布在远程服务器，请尝试先在本地生成索引，然后分发到远程服务器上。
• 使用更快的硬件设备，特别是更快的IO设备
• 在索引期间复用单一的IndexWriter实例
• 使用按照内存消耗Flush代替根据文档数量Flush
在Lucene 2.2之前的版本，可以在每次添加文档后调用ramSizeInBytes方法，当索引消耗过多的内存时，然后在调用flush()方法。这样做在索引大量小文档或者文档大小不定的情况下尤为有效。你必 ...
1 lucene简介
1.1 什么是lucene
Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。
1.2 lucene能做什么
要回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库表的若干个字段索引起来，那就不用再担心因为 ...
进程间通信IPC、LPC、RPC
- 博客分类：
- hadoop
进程间通信（IPC，Inter-Process Communication），指至少两个进程或线程间传送数据或信号的一些技术或方法。进程是计算机系统分配资源的最小单位。每个进程都有自己的一部分独立的系统资源，彼此是隔离的。为了能使不同的 ...
linux修改ip地址
- 博客分类：
- linux
vim /etc/sysconfig/networking/devices/ifcfg-eth0
hadoop的一个恶心错误
- 博客分类：
- hadoop
今早机器被网管重启了，启动hadoop发现节点都启动不了
slave一直是 not available yet,Zzzzz...
看了一下master的端口 netstat - lpnt
发现9000端口的IP是127.0.0.1
然后把master的/etc/hosts文件里的127.0.0.1删掉以后，重启集群就正常了。。。
有些版本的linux重启机器后会在/etc/hosts文件上面加上127.0.0.1，删掉就可以了
1 TODO
表示需要实现，但目前还未实现的功能
2 XXX
勉强可以工作，但是需要改进的功能
3 FIXME
代码是错误的，不能工作，需要修复
4.自定义标签
window-->preferences-->java-->compiler-->tags
选择new，输入tag，选择priority，ok
上述所有注释都会被eclipse task视图所收集。在项目发布前，检查一下task视图是一个很好的习惯
Java 小技巧（持续更新）
- 博客分类：
- Java
1.当输入的参数值和系统参数比较选用一个较低或者较高的值，可以使用：
value = Math.min(inputValue,systemValue);
使用Lucene的API遍历Lucene索引
一般使用Lucene的人都很少需要对索引进行遍历之类的操作，因为使用Lucene一般都不会对其索引文件产生太大兴趣，只注重将Lucene作为一个全文检索工具来使用而已，并不在意其内部实现和结构。但是很多学习Lucene的朋友都希望可以看见完整的Lucene索引内容，至少包含索引词、索引词出现的文档、索引词在文档中的位置（这里指的位置并不是词在原文中的位置，而是指其在Lucene对文档进行过滤后得到的新文档的位置）等信息。前几个月笔者就因为在实验室里的一个实验性的项目做了一些需要遍历Lucene索引的工作。
事实上，如果我们需要观察Lucen ...
遍历目录文件和子目录
- 博客分类：
- Java
import java.io.File;
import base.tools.ZipUtils;
public class TestZipUtils {
public static void main(String[] args) throws Exception {
listAllFiles(args[0], args[1]);
}
public static void listAllFiles(String dirName, String unzipDir) throws Exception {
/**
* 如果目录，返回
...
package com.run.hbase.dataImport;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConf ...
Hadoop的配置类是由资源指定的，资源可以由一个String或Path来指定：
String：在classpath中寻找
path: 直接从本地文件系统中查找
我们可以通过addResource()方法为Configuration添加资源。
值得注意的是，Hadoop在默认情况下在classpath中按次序指定读取以下两个文件：
core-default.xml: Hadoop的只读属性
core-site.xml: 某个给定hadoop的site-specific的配置。
配置参数可以指定为final，这样的话后续载入的资源 ...
Ubuntu下Java6中文乱码的问题
- 博客分类：
- linux
安装完JRE6并运行程序，界面有些汉字会显示成方框。 方法就是给jre中添加一个中文字体 cd /usr/lib/jvm/java-6-sun-1.6.0.14/jre/lib/fonts sudo mkdir fallback cd fallback sudo ln -s /usr/share/fonts/truetype/wqy/wqy-zenhei.ttf（这里选择的是文泉驿正黑） sudo mkfontdir sudo mkfontscale