清风
- 浏览: 30773 次
- 性别:
- 来自: 北京
-
最新评论
-
yhsniaw：
你好，请问下你怎么处理写入到HDFS后的小文件问题呢？
solr改造篇 -
hq2999：
为什么会报这个错啊？？Unknown command: 'wa ...
将Django运行于Tomcat -
范三山：
尝试了下，说manage.py 没有war这个命令
感觉不可用 ...
将Django运行于Tomcat -
javaeyename：
性能咋样呀！现在rail这么火，django要挺起来呀！
将Django运行于Tomcat -
supercode：
这样部署就方便了，支持django1.0吗
将Django运行于Tomcat
文章列表
1. 安装步骤
将Django运行于Tomcat
1.1. 下载Jython
svn co https://jython.svn.sourceforge.net/svnroot/jython/trunk/jython/ jython-dev
1.2. 编译Jython
cd jython-dev
ant
编译后,会在jython-dev目录下,生成一个dist目录,里面是编译后的jython,将jython重命名为一个短名字
alias jython25="jython-dev/dist/bin/jython"
1.3. 安装Dja ...
可以利用到hadoop的map/reduce和hdfs，感觉还是很爽，需要注意的几点总结如下:
1.自定义命令类可以单独作一个jar，但要记得部署到<wbr></wbr>每个节点，否则会无法执行
2.记得启动maper服务，否则无法进行map/re<wbr></wbr>duce计算
3.自定义命令调用方法bin/nutch CLASSNAME 参数
4.目前没有找到更简便的调试方式，目前都是编译完，打<wbr></wbr>包上传，执行，步骤觉得复杂了一些
5.nutch0.8不能使用最新的hadoop0.1<wbr& ...
- 2007-09-16 14:59
- 浏览 1688
- 评论(0)
在改造solr的过程中，发现代码越写越驱近于nutc
<wbr></wbr>h。。。。。再次打开nutch的代码进行研读，发现n<wbr></wbr>utch对于hadoop的支持更为自然(但nutch<wbr></wbr>不支持最新的hadoop0.14版本，只支持到had<wbr></wbr>oop-0.12版本，如果强行升级会因为hadoop<wbr></wbr>0.14去除了一些方法而失败)。目前想到的方案，用n<wbr></wbr>utch来完 ...
- 2007-09-14 17:33
- 浏览 3087
- 评论(2)
solr本身支持分布式索引，是利用rsync来做的，
详见文档:
http://wiki.apache.org/solr/CollectionDistribution
但是，我是想利用hdfs来作这件事，在看了solr的源代码后，发现其并不能配置为直接支持hdfs，他默认就是读取写入本地文件系统，代码片段如下:
File dirFile = new File(getIndexDir());
Directory dir = FSDirectory.getDirectory(d
irFile, !indexExists);
目前手工hack了SolrCore.java，让其支持HDFS ...
- 2007-09-14 00:35
- 浏览 3462
- 评论(2)
这几天一直在捣鼓solr,lucene,hdfs这几个东西，在此记录几个关键点
1.solr
是一个很好的中间系统，他把lucene很好的进行了包装，几乎各个部分都可以进行自己的扩展。我们会用到的部分:
自定义数据源格式，并添加索引
将原始文件和索引添加到hfs
目前搜索的部分已经够用
Cache
Rpc式的搜索
我们要用到的一些特性solr都提供了，而且很容易扩展
2.lucene
强大的索引功能，但不得不说其索引文件不支持直接写入hdfs，不得不说是一个挺麻烦的部分，查阅了很多文档，对于分布式文件系统，例如nfs，lucene的索引并不能直接写在文件系统上，需要先写到本地文件系统 ...
- 2007-09-14 00:32
- 浏览 6505
- 评论(0)
这几天的工作一直在围绕Hadoop进行,记录一些随手心得.
Hadoop有价值的部分:
1.HDFS
一个分布式的文件系统,我们的目标是用HDFS来完成数据的分布式保存和索引文件的分布式保存
2.Map/Reduce
用来做分布式运算,摆脱SQL的束缚,完全利用索引,来进行数据的检索.然后用Map/Reduce来进行我们需要的统计计算,利用分布式机制提高运算速度
Lucene,以前只是比较皮毛的接触过Lucene,这次会有一次比较深入的应用,利用Lucene的索引提高检索速度,并配合HDFS,将索引文件分布式存储
目前还一个很重要的工作,就是解决FreeBSD下diablo-jdk1.5 ...
- 2007-09-14 00:30
- 浏览 7135
- 评论(2)