- 浏览: 564904 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
搜索引擎学习资源收集
一、搜索引擎技术/动态资源
<一>、综合类
1、卢亮的搜索引擎研究 http://www.wespoke.com/
卢亮属于搜索引擎开发上的专家,以前开发过一个搜索引擎"博索"(http://booso.com/),好像现在已经停止开发了,目前他服务于博客网。在他的这个blog上可以了解许多搜索引擎开发的技术和经验,值得持续关注。
2、laolu'blog
有不少来自国外的关于搜索引擎方面的资料,偏重于资料和数字
3、哈斯日志 http://www.loverty.org/
在这里可以看到国内外几大搜索引擎的最新动态,值得关注搜索发展形势的人多看看
4、北京奕天锐新科技有限公司 http://www.21cnbj.com/
搜索引擎、SEO、SEM等行业新闻动态
5、中文搜索引擎指南网 http://www.sowang.com/
搜索引擎最新动态,各种搜索技巧、方法
6、中文全文检索网 http://www.fullsearcher.com/
FullSearcher.Com是有两个对搜索爱好的年轻人创办,我们的目标是让中文互联网全面进入搜索时代,让搜索无处不在。通过搜索改变人们的生活。
FullSearcher提供全文检索的相关知识、垂直搜索引擎知识、搜索的相关新闻等搜索相关内容。
7、周博——每天9点档的搜索引擎动态
8、李彦宏的博客 http://hi.baidu.com/liyanhong
9、中科院软件所- 张俊林博客 http://blog.csdn.net/malefactor/
搜索引擎技术研究
<二>、Google动态
Google官方博客:Google 黑板报 http://googlechinablog.com/
Google 中国的博客网志,走近我们的产品、技术和文化
1、Gfans http://gfans.org/
2、G速客 http://www.gseeker.com/
<二>、其他搜索引擎动态
1、雅虎搜索日志 http://ysearchblog.cn/
记录雅虎搜索引擎的动态、产品、技术等
2、搜狗实验室 http://www.sogou.com/labs/
搜狗实验室(Sogou Labs)是搜狗搜索核心研发团队对外交流的窗口,包含创意产品、原型演示、资料下载、学术论文四个栏目。实验室热烈欢迎一直以来关注搜狗、支持搜狗的各位互联网玩家;对于致力于中文互联网研究的学术界同仁们的经常来访,也予以热切的期待。我们期望通过这个平台,展现搜狗研发团队强大的研发、创新能力;推动学术界和产业界的交互;了解用户对新产品的需求。我们的目标:为中文网民的互联网生活提供更加全面、更加优质的服务。
搜狗实验室博客 http://labs.blog.sohu.com/
3、百度的空间 http://hi.baidu.com/baidu
百度的动态
4、有道搜索博客 http://i.yodao.com/
网易新推搜索引擎--有道搜索的近期动态
5、Live Search's WebLog http://blogs.msdn.com/livesearch/
Microsoft Live Search's news http://windowslivebeta.spaces.live.com/
二、搜索引擎代码资源
一>、搜索引擎/网络蜘蛛程序代码
国外开发的相关程序
1、Nutch
官方网站 http://www.nutch.org/
中文站点 http://www.nutchchina.com/
最新版本:Nutch 0.7.2 Released
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具,可以建立自己内部网的搜索引擎,也可以针对整个网络建立搜索引擎。自由(Free)而免费(Free)。
2、Lucene
官方网站 http://lucene.apache.org
中文站点 http://www.lucene.com.cn/
Lucene 是apache软件基金会 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包[用Java写的],即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
3、Larbin: http://larbin.sourceforge.net/index-eng.html
larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。
国内开发的相关程序
1、SQLET - 开放源码的中文搜索引擎
官方网站 http://www.sqlet.com/
SQLET,是Search & Query &Link, 加后缀 let,表示小的,小型的意思.打算建立一个能搜上亿张网页的基于主题功能的中文搜索引擎.支持3种索引方式:MySql_table_Index, Lucene_Index,SQLET_Index.网页抓取可以保存在文件系统及数据库里。自带WebServer.
2、菲度垂直搜索引擎代码
菲度http://www.faydu.net 为一个垂直在线搜索的演示版,主要对国内一些购物站点进行搜索整理,
现在开源测试版本的代码,供大家讨论。下载说明:
1》因为本程序是在服务器上运行,是在多个处理器下运行的,个人电脑上请控制线程数量
2》包含一个data 的数据库 还原到sql server
3》收集完毕默认在bin目录有licene生成的反排的索引文件
4》下载地址:http://www.faydu.net/download/code.rar
开放日期:2006-4-18 来源:http://blog.csdn.net/faydu/archive/2006/04/18/667997.aspx
语言:VB.net(c#)
二>、中文分词程序代码
1、计算所汉语词法分析系统 ICTCLAS
中国科学院计算技术研究所在多年研究基础上,耗时一年研制出了基于多层隐马模型的汉语词法分析系统 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),该系统的功能有:中文分词;词性标注;未登录词识别。分词正确率高达97.58%(最近的973专家组评测结果),基于角色标注的未登录词识别能取得高于90%召回率,其中中国人名的识别召回率接近98%,分词和词性标注处理速度为31.5KB/s。ICTCLAS 和计算所其他14项免费发布的成果被中外媒体广泛地报道,国内很多免费的中文分词模块都或多或少的参考过ICTCLAS的代码。
下载页面:http://www.nlp.org.cn/project/project.php?proj_id=6
由于 ICTCLAS 是由 C 语言写成的,现在主流的开发工具用起来不太方便,于是有一些热心的程序员把 ICTCLAS 改为 Java 和 C# 等其他语言。
(1)fenci,Java 的 ICTCLAS,下载页面:http://www.xml.org.cn/printpage.asp?BoardID=2&id=11502
(2)AutoSplit,另一个 Java 的 ICTCLAS,已经找不到下载页面,点击本地下载
(3)小叮咚中文分词,曾经有下载页面,现在找不到了。据作者介绍,从 ICTCLAS 中改进,有 Java,C# 和 C++ 三个版本,介绍页面:http://www.donews.net/accesine
2、海量智能分词研究版
海量智能计算技术研究中心为了使中文信息处理领域的研究者们能够共同分享海量智能中心的研究成果,共同提高中文信息处理水平,特此发布《海量智能分词研究版》,供专家、学者和爱好者进行研究。
下载页面:http://www.hylanda.com/cgi-bin/download/download.asp?id=8
3、其他
(1)CSW中文智能分词组件
运行环境:Windows NT、2000、XP 或更高,可以在 ASP,VB 等微软的开发语言中调用。
简介: CSW中文智能分词DLL组件,可将一段文本自动的按常规汉语词组进行拆分,并以指定方式进行分隔,且可对其拆分后的词组进行语义、词频标注。其广范应用于各行各业的信息资料检索、分析。
下载页面:http://www.vgoogle.net/
(2) C# 写的中文分词组件
据作者介绍,一个 DLL 文件,可以做中英文分词组件。完全C#托管代码编写,独立开发。
三>、开源spider一览
spider是搜索引擎的必须模块.spider数据的结果直接影响到搜索引擎的评价指标.
第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目
Spier定义(关于Spider的定义,有广义和狭义两种).
* 狭义:利用标准的http协议根据超链和web文档检索的方法遍历万维网信息空间的软件程序.
* 广义:所有能利用http协议检索web文档的软件都称之为spider.
其中Protocol Gives Sites Way To Keep Out The 'Bots Jeremy Carl, Web Week, Volume 1, Issue 7, November 1995 是和spider息息相关的协议,大家有兴趣参考robotstxt.org.
Heritrix
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project.
Heritrix (sometimes spelled heretrix, or misspelled or missaid as heratrix/heritix/ heretix/heratix) is an archaic word for heiress (woman who inherits). Since our crawler seeks to collect and preserve the digital artifacts of our culture for the benefit of future researchers and generations, this name seemed apt.
语言:JAVA, (下载地址)http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980
WebLech URL Spider
WebLech is a fully featured web site download/mirror tool in Java, which supports many features required to download websites and emulate standard web-browser behaviour as much as possible. WebLech is multithreaded and comes with a GUI console.
语言:JAVA, (下载地址) http://sourceforge.net/project/showfiles.php?group_id=38170
JSpider
A Java implementation of a flexible and extensible web spider engine. Optional modules allow functionality to be added (searching dead links, testing the performance and scalability of a site, creating a sitemap, etc ..
语言:JAVA, (下载地址)http://sourceforge.net/project/showfiles.php?group_id=65617
WebSPHINX
WebSPHINX is a web crawler (robot, spider) Java class library, originally developed by Robert Miller of Carnegie Mellon University. Multithreaded, tollerant HTML parsing, URL filtering and page classification, pattern matching, mirroring, and more.
语言:JAVA, (下载地址)http://sourceforge.net/project/showfiles.php?group_id=48810
PySolitaire
PySolitaire is a fork of PySol Solitaire that runs correctly on Windows and has a nice clean installer. PySolitaire (Python Solitaire) is a collection of more than 300 solitaire and Mahjongg games like Klondike and Spider.
语言ython , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=86107
The Spider Web Network Xoops Mod Team
The Spider Web Network Xoops Module Team provides modules for the Xoops community written in the PHP coding language. We develop mods and or take existing php script and port it into the Xoops format. High quality mods is our goal.
语言 hp , (下载地址) http://sourceforge.net/projects/tswnmoddev
Fetchgals
A multi-threaded web spider that finds free porn thumbnail galleries by visiting a list of known TGPs (Thumbnail Gallery Posts). It optionally downloads the located pictures and movies. TGP list is included. Public domain perl script running on Linux.
语言 erl , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=110338
Where Spider
The purpose of the Where Spider software is to provide a database system for storing URL addresses. The software is used for both ripping links and browsing them offline. The software uses a pure XML database which is easy to export and import.
语言:XML , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=115931
Sperowider
Sperowider Website Archiving Suite is a set of Java applications, the primary purpose of which is to spider dynamic websites, and to create static distributable archives with a full text search index usable by an associated Java applet.
语言:Java , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=90254
SpiderPy
SpiderPy is a web crawling spider program written in Python that allows users to collect files and search web sites through a configurable interface.
语言ython , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=55531
Spidered Data Retrieval
Spider is a complete standalone Java application designed to easily integrate varied datasources. * XML driven framework * Scheduled pulling * Highly extensible * Provides hooks for custom post-processing and configuration
语言:Java , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=90769
webloupe
WebLoupe is a java-based tool for analysis, interactive visualization (sitemap), and exploration of the information architecture and specific properties of local or publicly accessible websites. Based on web spider (or web crawler) technology.
语言:java , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=121963
ASpider
Robust featureful multi-threaded CLI web spider using apache commons httpclient v3.0 written in java. ASpider downloads any files matching your given mime-types from a website. Tries to reg.exp. match emails by default, logging all results using log4j.
语言:java , (下载地址)http://sourceforge.net/project/showfiles.php?group_id=126578
larbin
Larbin is an HTTP Web crawler with an easy interface that runs under Linux. It can fetch more than 5 million pages a day on a standard PC (with a good network).
语言:C++, (下载地址)http://sourceforge.net/project/showfiles.php?group_id=42562
三、SEO相关资源
1、域名信息查询
★ 查询国际顶级域名的信息(.aero, .arpa, .biz, .com, .coop, .edu, .info, .int, .museum, .net, .org),可以通过ICANN授权的域名注册商来查询,也可以直接到INTERNIC网站查询,网址是
http://www.internic.com/whois.html
http://www.iwhois.com/
★ 查询全球各个地理顶级域名是否已经被注册可以到下列网址查询(其中也包括国内域名.cn):
http://www.uwhois.com/cgi/domains.cgi?User=NoAds
★ 查询国内域名的注册情况,
http://ewhois.cnnic.net.cn/index.jsp
★ 万网的域名注册信息查询
http://www.net.cn/
★ IP地址查询、域名注册信息Whois查询
http://ip.zahuopu.com/
2、alexa相关与搜索排行榜
★ 中文排名500强
http://www.alexa.com/site/ds/top ... &lang=zh_gb2312
★ Google Zeitgeist--Google搜索排行榜
http://www.google.com/press/intl-zeitgeist.html#cn
★ 百度中文搜索风云榜
http://top.baidu.com/
★ 雅虎搜索排行榜
http://misc.yahoo.com.cn/top_index.html
★ 搜狗搜索指数
http://www.sogou.com/top/
3、搜索关键词查询
★ google关键字查询 https://adwords.google.com/select/KeywordSandbox
★ 百度关键字查询 http://www2.baidu.com/inquire/dsquery.php
★ 搜狐关键词 http://db.sohu.com/regurl/pv_price/query_consumer.asp
4、外部链接查询
★ 搜狗Link查询 http://www.sogou.com/features/
5、seo项目/工具
★网页质量 http://category.booso.com/cgi-bin/category/category.cgi
★关键词密度 http://www.21ql.com/seo/keyword.asp
★搜索引擎蜘蛛模拟器 http://www.webconfs.com/search-engine-spider-simulator.php
★Google Dance查询工具:http://www.google-dance-tool.com/
6、seo网站
英文网站:
搜索观察 http://www.searchenginewatch.com/
seochat http://www.seochat.com
中文网站
在这里可以获取最新的SEO行业信息
搜索引擎优化交流中心 http://www.seoonline.cn
四、各大搜索引擎公司相关资料
1、联系方式
Google
http://www.google.com/intl/zh-CN/contact.html
公司总部
1600 Amphitheatre Parkway
Mountain View, CA
94043 USA
phone: (650) 253-0000
fax: (650) 253-0001
电子邮件:chinese_s@google.com
百度
http://d.baidu.com/contact/index.html
电话 (010)82621188
传真 (010)82607007 82607008
E-mail webmaster@baidu.com
地址 北京市北四环西路58号理想国际大厦12层
邮编 100080
雅虎/一搜
http://cn.yahoo.com/docs/sales/040203_contact.htm
总机:010-65811221
地址:北京市朝阳区光华东路和乔大厦B座5层雅虎中国搜索事业部
邮编:100026
传真:010-65812440
在线问题提交:http://www.yisou.com/search_feedback.html
中国搜索
http://www.zhongsou.com/kefu/kfzs.htm
地址:北京市西直门北大街42号华星大厦a座15.16层
邮编:100088
总机:010-62266296
传真: 010-82211302
搜狐搜索
http://www.sohu.com/about/lianxi.htm
地址:北京市海淀区中关村东路1号清华科技园9号威新国际大厦10层
邮编: 100084
电话: 86-10-62726666
传真: 86-10-62728300
新浪搜索
http://ads.sina.com.cn/contact.html
北京市北四环西路58号理想国际大厦20层
邮编:100080
Tel:(86-10)82628888
Fax:(86-10)82607166
搜索引擎咨询电话:010-82628888转6688
搜索引擎联系信箱 searchcn@staff.sina.com.cn
网易搜索
http://so.163.com/contactus.shtml
北京市东城区东长安街1号东方广场东方经贸城东三办公楼1901室
邮编/Zip:100738
网易搜索引擎客服热线:
电话:010-82110163-8350、8121、8136
E-mail:adp_complaint@service.netease.com
发表评论
-
关于Web推荐系统的一些博客资料
2011-01-11 15:43 1811A.关于推荐系统的综述说明 推荐系统:主要推 ... -
搜索引擎技术二(帖子收藏)
2011-01-05 20:02 1253网络爬虫技术 搜索 ... -
搜索引擎技术一(帖子收藏)
2011-01-05 20:01 1291利用Sphinx实现实时全文检索 ... -
互联网上五个最高级的搜索引擎
2010-12-04 13:26 991搜索引擎是互联网上的百科全书,借助它你可查找和过 ... -
国外最被看好的十大垂直搜索引擎
2010-11-30 08:53 1108以下是福布斯杂志评选出来的2008年最值得关注、最被看好的 ... -
什么是垂直搜索-全面了解垂直搜索引擎
2010-11-30 08:51 1176垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸 ... -
垂直搜索引擎深度分析
2010-11-30 08:50 10281.何为垂直搜索引擎所 ... -
Google's BigTable 原理 (翻译)
2010-11-27 10:28 827题记:google 的成功除了一个个出色的创意外,还因为 ... -
Google File System(中文翻译)
2010-11-27 10:27 868Google文件系统 GFS是一个可扩展的分布式文件系统,用于 ... -
MapReduce:超大机群上的简单数据处理
2010-11-27 10:26 1059摘要 MapReduce是一个 ... -
哈尔滨工业大学软件工程研究室的主要研究方向
2010-11-21 20:41 1307一、网络信息检索: 1、文本检索:研究Lin ... -
ELFHash 算法
2010-11-21 19:59 1151上个学期上Distributed Software Devel ... -
推荐个垂直搜索网站(国外)
2010-11-19 20:40 1040http://verticalsearch.com/index ... -
垂直搜索小组
2010-11-19 20:24 959垂直搜索引擎 -
搜你所想 分享国外八大独具特色的搜索引擎
2010-11-18 10:10 1156在茫茫网海中,想要找 ... -
淘宝正式踏足搜索领域
2010-11-15 17:18 928新华网杭州11月15日电(记者张道生)记者15日从淘宝网获 ... -
精准搜索的基础:网站页面逻辑关系分析技术
2010-11-14 21:24 1000精准搜索的基础:网站页面逻辑关系分析技术 http://u. ... -
垂直搜索网站
2010-11-07 10:03 975垂直搜索网站【推荐】 垂直搜索网站一栏表分 ...
相关推荐
总的来说,这份光盘资料提供了搜索引擎开发的基础知识和实践经验,涵盖了从数据获取到结果展示的关键步骤。无论是对搜索引擎技术感兴趣的初学者,还是希望提升自己在这个领域技能的开发者,都能从中获益匪浅。通过...
综上所述,《搜索引擎:原理、技术与系统》这本书全面覆盖了搜索引擎的各个关键环节,是学习和研究搜索引擎技术的重要参考资料。通过深入阅读和实践,读者可以掌握构建和优化搜索引擎所需的核心技能。
### 搜索引擎系统学习与开发总结 #### 一、搜索引擎概述 **搜索引擎的发展历史** 互联网初期,信息资源有限,寻找所需资料相对简单。但随着互联网的快速发展,信息量激增,用户面临查找所需资料的巨大挑战。为了...
这个"精品推荐 搜索引擎优化SEO资料大全"压缩包文件,可能包含了一系列关于SEO的专业教程、工具、指南和其他资源,帮助用户深入了解并实践SEO策略。 SEO的主要目标是理解和满足搜索引擎的算法,这些算法用于确定...
3. **学术与教育**:在学术研究和教育工作中,全文搜索引擎用于查找学术论文、研究报告、课程资料等,促进学术交流和教学质量提升。 4. **医疗领域**:在医疗领域,全文搜索引擎帮助医生和研究人员快速查找相关的...
这一对比突显出用户在工作日期间对搜索引擎的高度依赖,主要用于查找资料、搜集信息,满足办公需求。而在非工作时间,用户更多地转向娱乐活动,如观看视频、玩游戏或社交媒体互动,搜索引擎的使用频率相对较低。 ##...
在互联网信息高速发展的今天,搜索引擎优化(SEO)成为网站运营者提升网站可见性的必备手段。随着搜索引擎技术的不断进步,SEO策略也在不断进化,而伪原创方法作为SEO中的一种技巧,对于提高网站在搜索引擎中的排名...
为了收集网页数据,搜索引擎通常会使用网络爬虫。爬虫程序自动遍历互联网,抓取网页内容并存储到本地。开发者需要了解HTTP协议、URL解析、网页抓取策略(如深度优先、广度优先)以及如何处理JavaScript动态加载的...
为了高效地从海量信息中获取所需资料,搜索引擎扮演着至关重要的角色。然而,搜索引擎技术仍面临许多挑战,其中之一就是网页重复问题。重复网页不仅影响用户的查询体验,还会占用宝贵的存储空间和检索时间。因此,...
"电信设备-基于搜索引擎的实时信息查看方法及服务器"这个主题涉及到的是如何利用先进的搜索引擎技术来实现对电信设备的高效监控和信息获取。以下是该主题的详细解释: 一、实时信息查看的重要性 在电信网络中,设备...
《基于图片特征信息的图片搜索方法及图片搜索引擎服务器》这篇资料深入探讨了现代信息技术中一个重要的领域——图像识别与检索。在当前的信息化社会,图片搜索引擎服务器已经成为人们获取信息、交流思想的重要工具,...
### 基于搜索引擎的一站式检索平台设计与实现 #### 摘要与背景 本文探讨了一种基于搜索引擎的一站式检索平台的设计与实现方案,旨在解决当前图书馆电子资源分散且需在各自平台上单独检索的问题。随着图书馆电子...
1. 利用网络:互联网是获取信息的海量资源库,通过搜索引擎输入关键词,可以找到所需的各种信息。 2. 参加会议和展览:这些活动聚集了不同领域的专业人士,是建立人脉和获取最新资讯的理想场所。 3. 媒体资源:报纸...
第二代搜索引擎开始采用机器抓取技术,通过爬虫程序自动从互联网上收集信息,显著提高了搜索的查准率。然而,这也带来了信息过载的问题,用户往往需要从海量的搜索结果中筛选出真正需要的信息。因此,第三代搜索引擎...
通过以上内容,我们可以看到网络搜索不仅涉及到了搜索引擎本身的应用技巧,还包括了如何有效地组织和使用搜索结果,以及在特定场景下如何利用搜索引擎解决实际问题等方面的知识。掌握这些技巧不仅可以提高我们的工作...