peigang
- 浏览: 170569 次
- 性别:
- 来自: 北京
-
最新评论
-
小桔子：
u 棒棒哒！按照你的搞定了，之前搞了好久！u 棒棒哒！！！ ...
Ubuntu为Tomcat启用80端口 -
u011938035：
我用的是nutch1.7，org.apache.nutch.n ...
nutch1.4 URLNormalizers 详解 -
peigang：
试试跟踪一下脚本，应该是环境变量的问题。
nutch1.4：爬虫定时抓取设置 -
zhangmj10：
你好，看这帖子是好久以前的，不知道你能不能看到。不知道能不能帮 ...
nutch1.4：爬虫定时抓取设置 -
shinide1989：
楼主你好，我正需要修改html的解析，并想把结果存为其他格 ...
nutch1.4插件开发
文章列表
solr3.5 schema.xml解析
- 博客分类：
- solr
schema.xml中注释比较详细，这里简单概括介绍一下，结构参考example/solr/conf/schema.xml
<types>： fields类别定义，对应solr内部类别实现。需要重点注意的是solr.TextField类型的索引查询设置，整个结构如下：
1、
<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index ...
<dataDir>${solr.data.dir:}</dataDir>
索引文件的默认路径，默认在solr项目conf下创建索引文件，可以根据实际情况修改该目录。
to be continue!
最近发现nutch1.4的index部分采用了solr所以对solr的索引方式进行了一下了解。nutch团队采用solr有他们的道路，没有去分析代码，根据找到的资料显示，nutch的索引没有利用好HDFS，索引还是本地存储的。假设索引也是分布式的，在检索的时候，mapreduce的合并效率也是不高的，为了达到排序的目的会产生大量的网络传输。solr采用索引复制的机制提高IO吞吐量，这也是稳定可靠的方式。
据官方资料显示最新的solr3.5配合lucune3.5可以大幅降低内存的使用，这么说了性能也是有很高的提升。solr的目标是企业级的全文检索，如果复制技术用好了，我想绝大部分检索应用都是没有 ...
hadoop集群配置
- 博客分类：
- hadoop
参考《hadoop开发者》第一期中的内容配置了hadoop集群。
软件环境：
ubuntu-10.04.1-server-i386
jdk-7u3-linux-i586.tar.gz
hadoop-1.0.0.tar.gz
linux的版本选型比较麻烦，需要考虑版权和稳定性，经过查找资料和多方面的比较最后选择ubuntu server版本。
jdk在ubuntu中安装还是使用tar文件方便，直接解压后配置环境变量即可使用。相关环境环境变量配置请参考附录文章：
安装前注意：
1、 ssh 必须安装；
2、 NTP：集群的时钟要保证基本的一致。如果你查询的时候或者是遇到奇怪 ...
格式： tar 选项 文件目录列表 功能： 对文件目录进行打包备份 选项： -c 建立新的归档文件 -r 向归档文件末尾追加文件 -x 从归档文件中解出文件 -O 将文件解开到标准输出 -v 处理过程中输出相关信息 -f 对普通文件操作 -z 调用gzip来压缩归档文件，与-x联用时调用gzip完成解压缩 -Z 调用compress来压缩归档文件，与-x联用时调用compress完成解压缩 例如： 1.将当前目录下所有.txt文件打包并压缩归档到文件this.tar.gz，我们可以使用 tar czvf this.tar.gz ./*.txt 2.将当前目录下的th ...
转:ubuntu怎么安装tar.gz
- 博客分类：
- OS
刚开始使用Ubuntu的用户时常有这样的问题,我要安装新软件怎么办?.exe文件在哪里,怎么软件有这么多格式?RPM包,.tar.gz是什么?怎么就是安装不了啊?等等等等。的确,在Windows下安装文件只需要双击即可,所以很多人在Ubuntu下觉得很不习 ...
Ubuntu 设置IP
- 博客分类：
- OS
Ubuntu的网络参数保存在文件 /etc/network/interfaces中，默认设置使用dhcp，内容如下：
# The primary network interface auto eth0 iface eth0 inet dhcp 设置静态ip的方法如下： (1)编辑 /etc/network/interfaces (1.1)将dhcp 一行屏蔽 # The primary network interface auto eth0 #iface eth0 inet dhcp (1.2)添加和静态ip有关的参数 # The primary network interface ...
方法一：安装开源jdk
先运行执行java 或者javac测试jdk是否安装
使用java -version 查看当前jdk版本
openjdk安装方法
sudo apt-get install open-jdk6-jdk
安装程序会自动运行安装相关pakage
方法二：安装SUN官方JDK
下载：jdk-7u3-linux-i586.tar.gz
执行如下命令解压该文件：
sudo tar zxvf ./
jdk-7u3-linux-i586.tar.gz
解压成功后当前目录中生成jdk1.7.0_03
在文件 /etc/pro ...
Ubuntu FTP服务配置
- 博客分类：
- OS
1.安装vsftpd 直接从源里面安装，easy 代码:sudo apt-get install vsftpd安装完毕后或许会自动生成一个帐户"ftp"，/home下也会增加一个文件夹。如果没有生成这个用户的话可以手动来，生成了就不用了：代码:sudo useradd -m ftpsudo passwd ftp有"ftp"帐户后还要更改权限代码:sudo chmod 777 /home/ftp 在这个目录下我建立一个文件夹专门保存需要共享的内容2.配置文件通过sudo gedit /etc/vsftpd.conf修改。配置文件比较简单，如下代码:#独立模式 ...
org.apache.hadoop.conf.Configuration 实现了Iterable接口
将hadoop运行相关xml配置文件url缓存到内存中。
org.apache.nutch.crawl.Injector
public class Injector extends Configured implements Tool 从继承类和实现接口可以看出，Injector封装了Hadoop并在构造函数中初始化Hadoop配置参数Configuration( Configuration 内部机制请参考博文hadoop学习笔记1.Configuration)，这也是nutch封装Hadoop的一种机制。
Injector
包含两个属性： /** metadata key reserved for setting a custom sco ...
nutch学习笔记1.crawl
- 博客分类：
- nutch
org.apache.nutch.crawl.crawl 类为nutch抓取封装类，引入并整合了如下几部分：
Injector injector = new Injector(conf); ///URL注入器对象；数据下载入口 Generator generator = new Generator(conf); ////生成器；生成待下载URL列表 Fetcher fetcher = new Fetcher(conf); //抓取器；按照HTTP协议访问互联网，获取网页数据具体内容。下载过程由下载列表和操作参数控制，直到下载完毕。 ParseSegment parseS ...
select count(*)from v$process--当前的连接数 select value from v$parameter where name='processes'--数据库允许的最大连接数--修改最大连接数:alter system set processes=300 scope=spfile;--重启数据库:shutdown immediate; startup;--查看当前有哪些用户正在使用数据 SELECT osuser, a.username,cpu_time/executions/1000000||'s', sql_fulltext,machine from v$se ...
一般的系统采用的都是Spring提供的声明式事务。而我们系统由于历史遗留问题，采用了offbiz的基于模型配置的架构体系，此套体系中事务的开启以及关闭都是通过编程式事务完成。编程式事务在事务范围控制方面比较灵活，但是在灵活的同时也存在潜在的风险。如果事务开启后没有正常结束，那么事务也就会一直占用连接而得不到释放。虽然可以通过设置事务超时值从而在事务超时杀掉事务释放连接，这种方式个人觉得还是存在一定得不可控性。所以对于编程式事务的使用，还应该注意一下几点：
第一点，有开有关：事务管理层有事务开启必须有事务关闭，可以通过设置事务旗标在finally中进行事务管理；示意性代码如 ...
安装软件 进行安装前，请退出所有浏览器并关闭系统中正在运行的所有应用程序，包括其它 Adobe 应用程序、聊天应用程序和 Microsoft Office 应用程序。此外，还建议在安装过程中暂时关闭病毒防护程序。 您必须具有管理权限，或者能够通过管理员身份验证。 执行下列操作之一：在 Windows 上安装 Flash Builder 4.5.1：以 Windows 管理员身份或以计算机管理员身份（拥有管理员权限的用户帐户）登录。注意：如果您尝试在没有管理员权限的情况下进行安装，则完成的相应安装将带有明显问题。而且，您安装的 Flash Builder 是不完整版本，且无法运行。在安装之前，请 ...