ITeye博客专栏首页

博客专栏推荐

本月博客排行

年度博客排行

博客频道 → 博客专栏

博客专栏最新文章

[开源软件] Heritrix源码分析(九) Heritrix的二次抓取以及如何让Heritrix抓取你不想抓取的URL

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/644396 欢迎加入Heritrix群(QQ)：109148319 ...

SQL Solr QQ Web lucene

guoyunsky 有7892人浏览 2010-04-15 11:09 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(八) Heritrix8个处理器(Processor)介绍

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/643367 欢迎加入Heritrix群(QQ)：109148319 Heritrix采用多线程去抓取数据，每次运行基本都要经过以下8个处理器处理(种子URL、先决条件URL除外)，如此形成一整个流程。下面就大概介绍下每个处理 ...

正则表达式 Solr QQ lucene 配置管理

guoyunsky 有7156人浏览 2010-04-14 09:13 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(七) Heritrix总体介绍

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/642794 欢迎加入Heritrix群(QQ)：109148319 ...

lucene 多线程 Solr QQ 正则表达式

guoyunsky 有6214人浏览 2010-04-13 14:32 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(六) Heritrix的文件结构分析

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/642618 欢迎加入Heritrix群(QQ)：109148319 每通过Heritrix运行一次抓取后,发现在该Job目录下就会有很多文件。这里说明下每个文件的作用，同时更主要介绍它的日志文件，因为我们可以通过日志文件发现Heri ...

数据结构 Solr QQ lucene 数据挖掘

guoyunsky 有6380人浏览 2010-04-13 11:41 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/642550 欢迎加入Heritrix群(QQ)：109148319 在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种：一种是通过tomcat或者JBOSS或者Jetty等Web容器，还有一种自然就是不通过Web直 ...

编程 IDE Solr XML QQ

guoyunsky 有7280人浏览 2010-04-13 11:01 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(四) 各个类说明(二)

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/632191 欢迎加入Heritrix群(QQ)：109148319 9.org.archive.crawler.fetcher 序号类说明 1 FetchDNS 获取DNS数据,如IP 2 FetchFTP 获取F ...

配置管理 Solr QQ lucene JavaScript

guoyunsky 有7603人浏览 2010-04-04 11:34 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(四) 各个类说明(一)

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/630347 欢迎加入Heritrix群(QQ)：109148319 Heritrix的类的确很繁琐,往往继承了一层又一层,最多的继承好像有7层。下面就一个包一个包的说明每个类的作用，由于里面Heritrix组件分明，很多组件没 ...

配置管理正则表达式 Solr QQ UI

guoyunsky 有7804人浏览 2010-04-01 20:42 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(三) 修改配置文件order.xml加快你的抓取速度

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/629891 欢迎加入Heritrix群(QQ)：109148319 Heritrix的order.xml分了很多组件，可以灵活的配置各个抓取参数。但很多人都关心如何使得抓取更快更久更多，这里首先从Heritrix自身着手吧，修 ...

XML Solr QQ lucene Blog

guoyunsky 有7885人浏览 2010-04-01 12:44 专栏：Heritrix源码分析

[编程语言] word文件批量另存为txt

声明：本神奇的Perl系列为刘兴(http://deepfuture.iteye.com/)原创，未经笔者授权，任何人和机构不能转载 use warnings;use strict;use Win32::OLE;use Win32::OLE::Const 'Microsoft Word';my $word = CreateObject Win32::OLE 'Word.Application' o ...

Perl Microsoft

deepfuture 有4217人浏览 2010-03-30 09:15 专栏：神奇的perl

[编程语言] Perl处理输入输出-2

声明：本神奇的Perl系列为刘兴(http://deepfuture.iteye.com/)原创，未经笔者授权，任何人和机构不能转载 6.say、print、<STDIN>与Chomp 2个新疑问产生了，� ...

Perl

deepfuture 有2846人浏览 2010-03-29 08:40 专栏：神奇的perl

[编程语言] Perl处理输入输出-1

声明：本神奇的Perl系列为刘兴(http://deepfuture.iteye.com/)原创，未经笔者授权，任何人和机构不能转载 1.第一个Perl任务我们先放松想像一下：你是公司一个普通的开发人员，一大早，阳光明媚，你急不可待打开QQ,跟最近泡上的MM聊天。此时项目组长急勿勿过来了，交给你一个紧急任务，将perl1-2.txt中的人员按城市分别存为几个文本文件，文件名是 ...

Perl JavaScript Pascal CSS QQ

deepfuture 有3978人浏览 2010-03-24 17:26 专栏：神奇的perl

[编程语言] 拥抱Perl

声明：本神奇的Perl系列为刘兴(http://deepfuture.iteye.com/)原创，未经笔者授权，任何人和机构不能转载拥抱Perl Perl是什么? Perl 最初的设计者为Larry Wall， Perl借取了C、sed、awk、shell scripting以及很多其他程序语言的特性。Perl 一般被称为“实用报表提取语言”（PracticalExtraction andR ...

Perl IDE C C++C#

deepfuture 有3236人浏览 2010-03-24 15:36 专栏：神奇的perl

[研发管理] Bitnami Redmine 安装笔记

1.简介 1) redmine的介绍不想多说..自己google吧... 项目管理工具 2) bitnami: 专业为开源软件包装, 把好的开源软件友好地呈现给用户. 他们提供的安装包可谓是真正的"傻瓜式"/"一站式" 安装包. 即使不同技术的人也可以根据安装向导"下一步"->...."安装& ...

MySQL Socket SQL Server SQL 配置管理

atian25 有22815人浏览 2010-03-20 11:00 专栏：项目管理软件-redmine

[开源软件] Heritrix源码分析(二) 配置文件order.xml介绍

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/613412 欢迎加入Heritrix群(QQ)：109148319 order.xml是整个Heritrix的核心,里面的每个一个配置都关系到Heritrix的运行情况,没读源码之前我只能从有限的渠道去获知这些配置的运用.读完之后才知道 ...

XML 配置管理正则表达式网络协议嵌入式

guoyunsky 有11910人浏览 2010-03-11 18:22 专栏：Heritrix源码分析

[开源软件] Heritrix源码分析(一) 包介绍

本博客属原创文章,欢迎转载！但转载请务必注明出处:http://guoyunsky.iteye.com/blog/613249欢迎加入Heritrix群(QQ)：109148319 之前说过要分享下我的爬虫经验，但一直找不到突破口，现在才感觉写点东西真的很难，所以大家真的要感谢那些无私的前辈们，在网上留下的一篇篇可以指点迷津的文章。想了很久，还是先从Heritrix的包开始说起，然后再说 ...

配置管理 Apache Solr QQ .net

guoyunsky 有11404人浏览 2010-03-11 16:34 专栏：Heritrix源码分析

[互联网] 搜索引擎开发lucene-笔者博客的大部分lucene习作源码

有一个小小较完整的实例，详见说明.txt 见附件，解压密码：http://deepfuture.javaeye.com/

lucene 搜索引擎 Hibernate

deepfuture 有6083人浏览 2010-03-01 20:36 专栏：lucene等搜索引擎解析

[操作系统] win32汇编-送消息给其它应用程序

２个函数invoke postmessage,hwnd,msg,wparam,lparaminvoke sendmessage,hwnd,msg,wparam,lparam对于不同的ＭＳＧ，ＷＰＡＲＡＭ和ＬＰＡＲＡＭ所代表的信息是不同的1、postmessageMSDNThe PostMessage function places (posts) a message in the messagequ ...

Windows thread Microsoft XP UP

deepfuture 有2903人浏览 2010-02-20 16:42 专栏：WIN32汇编语言学习应用

[操作系统] WIN32汇编之菜单、加速键、快捷键

（一）Invoke checkmenuitem,hmenu,ebx,eax.elseif eax>=IDM_BIG&&eax<=DM_DETAILinvokecheckmenuradioitem,hmenu,IDM_BIG,IDM_DETAIL,eax,MF_BYCOMMAND.endif重点与难点：1、关于checkmenuitemThe CheckMenu ...

XP Windows UP thread

deepfuture 有3136人浏览 2010-02-20 16:38 专栏：WIN32汇编语言学习应用

[操作系统] WIN32汇编学习应用之defwindowproc

defwindowproc窗口过程对一些消息的默认处理方式WM_PAINT 发送WM_ERASEBKGND消息来擦除背景WM_ERASEBKGND 用窗口类结构中的HBRBACKGROUND刷子来绘画窗口背景WM_CLOSE 调用destroywindow来摧毁窗口WM_NCLBUTTONDBLCLK这是非客户区(如标题栏)鼠标双击消息，DefWindowProc测试鼠标的位置，然后再采取相应的措施 ...

deepfuture 有2696人浏览 2010-02-20 16:36 专栏：WIN32汇编语言学习应用

[操作系统] windows中WM_CLOSE消息和WM_DESTORY消息的不同之处

１、WM_CLOSE仅代表用户发出了关闭的指令，但窗口过程可以不理睬该消息，因为怎么处理这个消息完全由自己决定。.elseif meax==WM_CLOSEinvoke DestroyWindow,hwinmain ;销毁窗口invoke PostQuitMessage,Null ;向消息循环中发出退出消息如果在这里不调用DestroyWindow，窗口是不会自动销毁的但如果把这个消息交给Destr ...

Windows

deepfuture 有2424人浏览 2010-02-20 16:33 专栏：WIN32汇编语言学习应用

« 上一页 1 2 … 179 180 181 … 188 189 下一页 »