gcgmh
- 浏览: 358935 次
- 性别:
- 来自: 北京
-
最新评论
-
menghuannvxia：
您好，我通过java上传文件到hadoop速度特别慢，怎么回事 ...
hadoop hdfs 一些用法 -
ydsakyclguozi：
ydsakyclguozi 写道david.org 写道错了. ...
hadoop修改默认的心跳检测的时间 -
ydsakyclguozi：
david.org 写道错了. heartbeat.reche ...
hadoop修改默认的心跳检测的时间 -
mypotatolove：
我现在想做用HttpClient从微博中爬取微博动态，能不能跟 ...
httpclient 设置user-agent -
青春的、脚步：
再者请教：如果查询的字段没有在配置文件的字段中加 termVe ...
solr morelikethis功能
文章列表
下载linux64位的eclipse起动时报错，查询好象是某些依赖包没有，
用 yum -y install xulrunner*，安装一下xulrunner的包，在启动，正常
- 2009-04-29 15:08
- 浏览 1034
- 评论(0)
1.不带排序的方法
TopDocCollector collector = new TopDocCollector(100);
chinaMSearcher.search(query1,null,collector);
ScoreDoc[] cHits = collector.topDocs().scoreDocs;
Hits cHits = chinaMSearcher.search(query1, sort);
2.带排序的
Sort sort = new Sort(new SortField[]{new SortField ...
- 2009-04-11 13:55
- 浏览 1472
- 评论(0)
Solr调优
Schema设计的思考
索引字段的数量(Indexed Fields)
索引字段会增加如下开销：
<!--[if !supportLists]-->1. <!--[endif]-->建立索引时的内存使用率
<!--[if !supportLists]-->2. <!--[endif]-->Segment合并时间
<!--[if !supportLists]-->3. <!--[endif]-->索引优化时间
<!--[if !supportLists ...
- 2009-03-18 08:50
- 浏览 2131
- 评论(0)
I scoured the InterTubes for example hadoop/hbase startup scripts and found absolutely none! I ended up creating a minimal one that is so far only suited for the Pseudo-Distributed Operation mode as it just calls the start-all / stop-all scripts.
/etc/init.d/hadoop
Create the place it will put its s ...
- 2009-03-06 13:37
- 浏览 2256
- 评论(0)
cron 是linux的内置服务，但它不自动起来，可以用以下的方法启动、关闭这个服务：
引用:
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
/sbin/service crond restart //重启服务
/sbin/service crond ...
- 2009-03-04 21:31
- 浏览 2664
- 评论(1)
一个使用HBase的例子，如下。
import java.io.IOException;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Scanner;
import org.apache.hadoop.hbase.io.BatchUpdate;
import org.apache.hadoop.hbase.io.Cell;
import org.apache.hadoop.hbase.io.RowResult;
public class MyClien ...
- 2009-03-02 15:25
- 浏览 2219
- 评论(0)
Solr 及 lucene 的 query 使用方法初級解說
1. 首先假設我的資料裡fields有:name, subbranch, tel, address 預設的搜尋是name這個欄位, 如果要搜尋的資料剛好就是 name 這個欄位,就不需要指定搜尋欄位名稱.
2. 查詢規則:
如欲查詢特定欄位(非預設欄位),請在查詢詞前加上該欄位名稱加 “:” (不包含”號) 符號,
例如: address:台北台北市中正區重慶南路一段xxx號 tel:23xxxxx1
1. q代表query input
2. version代表solr版本(建議不要變動此變數)
3. start代表顯示結果從 ...
- 2009-03-02 13:29
- 浏览 2220
- 评论(0)
java每个版本的发布都会伴随发布一个 html javaAPI,每次查看相应的类都需要找到index.html然后查看，是不是很不方便呢？我们更希望在编程的时候需要查看API时能立即可达。
很幸运的是，MyEclipse提供了这样一种将API关联的方法。
wondows->preference->java->installed jres
在右边窗口中选择你的JDK，然后点击 edit，选择...rt.jar并点开其子目录，双击有@符合的行，修改里面的doc路径，并设置path within archive 指向...api(eg.html/zh ...
- 2009-02-28 11:50
- 浏览 2022
- 评论(0)
一、 醒目显示的查询参数1. q Solr 中用来搜索的查询。有关该语法的完整描述，请参阅 参考资料 中的 “Lucene QueryParser Syntax”。可以通过追加一个分号和已索引且未进行断词的字段（下面会进行解释）的名称来包含排序信息。默 ...
- 2009-02-27 10:52
- 浏览 1826
- 评论(0)
通过jericho包获取meta里的keywords及description的方法一：
// 获取meta里的keywords和description
List segments = source.findAllElements(Tag.META);
getKeywordsDesc(segments);
if (null != segments) {
String keywordsStr = null;
String descriptionStr = null;
int sumSegments = segments.size ...
- 2009-02-26 10:11
- 浏览 1906
- 评论(0)
方法一：
/**
* 检查从页面上提取出的url是不是一个正确的url // *
*
* @param parentURL
* @param link
* @return
*/
private boolean checkLink(URL parentURL, String link) {
boolean linkFlag = true;
link = link.toLowerCase();
if (link.length() < 5) {
linkFlag = false;
} else {
String ...
- 2009-02-26 10:03
- 浏览 1139
- 评论(0)
用惯了vc下的va，现在转向了使用eclipse IDE，苦于eclipse需要使用“.”和Alt+/激活content assist，终于找到了解决方法，分享如下：
问题描述：比如我在一个方法里定义了一个变量名为request，之后只要输入首字母r即能自动补全为request，虽然按alt + /会出现提示，但还是要多按一次按键，太麻烦了
解决办法：
Window -> preferences -> Java -> Editor -> Content assist -> Auto-Activation下，Auto activation triggers for J ...
- 2009-02-25 08:59
- 浏览 3726
- 评论(0)
ByteArrayOutputStream arrayOutputStream ＝new ByteArrayOutputStream();
GZIPOutputStream gop = new GZIPOutputStream(arrayOutputStream);
byte[] buffer = new byte[1024];
int len = 0;
while ((len = inputStream.read(buffer)) != -1) {
gop.write(buffer, 0, len);
}
gop.finish(); //这个在写入arrayOutput ...
- 2009-02-21 23:49
- 浏览 7441
- 评论(0)
#log4j中有五级logger
#FATAL 0
#ERROR 3
#WARN 4
#INFO 6
#DEBUG 7
Log4j提供的appender有以下几种：
org.apache.log4j.ConsoleAppender（控制台），
org.apache.log4j.FileAppender（文件），
org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件），
org.apache.log4j.RollingFileAppender（文件大小到达指定尺寸的时候产生一个新的文件），
org.apache.log4j.Writ ...
- 2009-02-21 22:36
- 浏览 914
- 评论(0)
一.安装jdk6,tomcat5.5。
二.解压solr1.3，创建以下目录：
/usr/local/solr/solrApps: 保存的是solr.war
/usr/local/solr/multicore : 保存的是多核 solr的配制文件
拷贝solr1.3解压目录里的dist/apache-solr-1.3.0.war到solrApps里，example/multicore里的文件到multicore里。
三.配制如下：
1.在tomcat/conf/Catalina/localhost目录里增加solr.xml内容如下：
<?xml version=&quo ...
- 2009-02-21 10:51
- 浏览 1888
- 评论(0)