lzj0470
- 浏览: 1263833 次
- 性别:
- 来自: 深圳
-
文章分类
- 全部博客 (608)
- 数据结构 (2)
- AJAX (3)
- 设计模式 (3)
- java (117)
- js (14)
- css (9)
- jsp (10)
- 杂文 (49)
- htmlparser (6)
- 数据库 (29)
- 算法 (14)
- 数据挖掘 (11)
- 电脑杂症 (12)
- 网络爬虫 (7)
- 应用服务器 (9)
- PHP (2)
- C# (14)
- 测试 (3)
- WEB高性能开发 (3)
- swt (1)
- 搜索引擎 (16)
- HttpClient (4)
- Lite (1)
- EXT (1)
- python (1)
- lucene (4)
- sphinx (9)
- Xapian (0)
- linux (44)
- 问题归类 (1)
- Android (6)
- ubuntu (7)
- SEO (18)
- 数学 (0)
- 农业资讯 (12)
- 游戏 (3)
- nginx (1)
- TeamViewer (1)
- swing (1)
- Web前 端 (1)
- 主页 (0)
- 阿萨德发首发身份 (0)
- 软件设计师 (0)
- hibernate (5)
- spring3.0 (5)
- elastic (1)
- SSH (3)
- ff (0)
- oracle 10g (9)
- 神经网络 (1)
- struts2.0 (2)
- maven (1)
- nexus (1)
- 辅助工具 (3)
- Shiro (1)
- 联通项目 (0)
- 2014年专业选择 (0)
- freemarker (1)
- struts1.2 (8)
- adfasdfasfasf (0)
- TortoiseSVN (1)
- jstl (1)
- jquery (1)
- eclipse plugin (0)
- 游戏外挂 (1)
- 推广 (0)
- 按键精灵 (1)
- ibatis3.0 (1)
最新评论
-
水野哲也：
不不不, 这个您真错了!其实是你引用的那个jsp和本身的jsp ...
解析关于jsp页面指令冲突问题contentType="text/html;charset=UTF-8" -
caobo_cb：
import xx.cn.weibo.Util;
[ java版]新浪微博之ruquest_token篇 -
caobo_cb：
你好 Util包没有
[ java版]新浪微博之ruquest_token篇 -
小桔子：
你好！我遇到个问题 max_allowed_packet值总是 ...
mysql查询占用内存,优化的技巧 -
donghustone：
谢谢大神！
用JSmooth制作java jar文件的可执行exe文件教程(图文)
GOOGLE
---------------------------------------------------------------------
66.249.70.212 - - [11/Jan/2009:00:03:35 -0700] "GET www.vidun.com/user-f2fc990265c712c49d51a18a32b39f0c.html?umid=f2fc990265c712c49d51a18a32b39f0c HTTP/1.1" 200 8148 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.212 - - [11/Jan/2009:03:27:23 -0700] "GET www.youxigao.com/images/pink/demo.gif HTTP/1.1" 200 2367 "-" "Googlebot-Image/1.0"
Referer: ""
UserAgent: "Googlebot-Image/1.0"
209.85.238.7 - - [11/Jan/2009:00:02:58 -0700] "GET www.youxigao.com/rss/c/1009 HTTP/1.1" 404 37 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"
Referer: ""
UserAgent: "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"
百度
---------------------------------------------------------------------
60.28.22.38 - - [11/Jan/2009:01:28:09 -0700] "GET www.vidun.com/vwsoft-vwantileechs-download.html?pr=vwantileechs&vi=download HTTP/1.1" 200 27406 "http://www.vidun.com/" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Referer: ""
UserAgent: "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
YAHOO
---------------------------------------------------------------------
202.160.180.81 - - [11/Jan/2009:00:02:44 -0700] "GET www.vidun.com/ HTTP/1.0" 200 14250 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
67.195.37.167 - - [11/Jan/2009:00:23:00 -0700] "GET www.vidun.com/postmsg-tech-2-120.html?type=tech&id=2&tid=120 HTTP/1.0" 200 12609 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
有道
---------------------------------------------------------------------
2008-03-04 09:54:12 W3SVC226223753 222.33.192.54 GET /index.php - 80 - 61.135.219.7 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) - 200 0 0
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
61.135.249.120 - - [11/Jan/2009:09:44:46 -0700] "GET vidun.com/robots.txt HTTP/1.1" 404 - "-" "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
SOSO
---------------------------------------------------------------------
58.61.164.207 - - [11/Jan/2009:03:13:53 -0700] "GET www.vidun.com/robots.txt HTTP/1.1" 404 - "http://www.vidun.com/robots.txt" "Sosospider+(+http://help.soso.com/webspider.htm)"
Referer: ""
UserAgent: "Sosospider+(+http://help.soso.com/webspider.htm)"
2008-03-04 10:48:28 W3SVC226223753 222.33.192.54 GET /index.php - 80 - 124.115.4.218 Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) http://www.tatabao.com/ 200 0 0
Referer: ""
UserAgent: "Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)"
Sogou
---------------------------------------------------------------------
219.234.81.41 - - [11/Jan/2009:03:26:49 -0700] "GET www.vidun.com/ HTTP/1.0" 200 14250 "-" "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
Referer: ""
UserAgent: "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
220.181.61.217 - - [11/Jan/2009:13:10:57 -0700] "GET www.youxigao.com/play/3615?id=3615 HTTP/1.1" 302 5 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
220.181.19.74 - - [11/Jan/2009:06:20:37 -0700] "GET www.vidun.com/vwsoft-vwantileechs-download.html?pr=vwantileechs&vi=download HTTP/1.1" 200 27406 "-" "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
220.181.19.78 - - [11/Jan/2009:10:55:18 -0700] "GET www.vidun.com/robots.txt HTTP/1.1" 404 - "http://pic.sogou.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
Referer: "http://pic.sogou.com/"
UserAgent: "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
219.234.81.27 - - [11/Jan/2009:23:53:41 -0700] "GET www.vidun.com/ HTTP/1.1" 200 14271 "-" "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"
Referer: ""
UserAgent: "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"
2008-03-04 17:23:59 W3SVC226223753 222.33.192.54 HEAD /index.php - 80 - 220.181.19.107 Sogou+head+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) - 200 0 0
---------------------------------------------------------------------
66.249.70.212 - - [11/Jan/2009:00:03:35 -0700] "GET www.vidun.com/user-f2fc990265c712c49d51a18a32b39f0c.html?umid=f2fc990265c712c49d51a18a32b39f0c HTTP/1.1" 200 8148 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.70.212 - - [11/Jan/2009:03:27:23 -0700] "GET www.youxigao.com/images/pink/demo.gif HTTP/1.1" 200 2367 "-" "Googlebot-Image/1.0"
Referer: ""
UserAgent: "Googlebot-Image/1.0"
209.85.238.7 - - [11/Jan/2009:00:02:58 -0700] "GET www.youxigao.com/rss/c/1009 HTTP/1.1" 404 37 "-" "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"
Referer: ""
UserAgent: "Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 10 subscribers; feed-id=8474979256887526569)"
百度
---------------------------------------------------------------------
60.28.22.38 - - [11/Jan/2009:01:28:09 -0700] "GET www.vidun.com/vwsoft-vwantileechs-download.html?pr=vwantileechs&vi=download HTTP/1.1" 200 27406 "http://www.vidun.com/" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Referer: ""
UserAgent: "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
YAHOO
---------------------------------------------------------------------
202.160.180.81 - - [11/Jan/2009:00:02:44 -0700] "GET www.vidun.com/ HTTP/1.0" 200 14250 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"
67.195.37.167 - - [11/Jan/2009:00:23:00 -0700] "GET www.vidun.com/postmsg-tech-2-120.html?type=tech&id=2&tid=120 HTTP/1.0" 200 12609 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
有道
---------------------------------------------------------------------
2008-03-04 09:54:12 W3SVC226223753 222.33.192.54 GET /index.php - 80 - 61.135.219.7 Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) - 200 0 0
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
61.135.249.120 - - [11/Jan/2009:09:44:46 -0700] "GET vidun.com/robots.txt HTTP/1.1" 404 - "-" "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
Referer: ""
UserAgent: "Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )"
SOSO
---------------------------------------------------------------------
58.61.164.207 - - [11/Jan/2009:03:13:53 -0700] "GET www.vidun.com/robots.txt HTTP/1.1" 404 - "http://www.vidun.com/robots.txt" "Sosospider+(+http://help.soso.com/webspider.htm)"
Referer: ""
UserAgent: "Sosospider+(+http://help.soso.com/webspider.htm)"
2008-03-04 10:48:28 W3SVC226223753 222.33.192.54 GET /index.php - 80 - 124.115.4.218 Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) http://www.tatabao.com/ 200 0 0
Referer: ""
UserAgent: "Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)"
Sogou
---------------------------------------------------------------------
219.234.81.41 - - [11/Jan/2009:03:26:49 -0700] "GET www.vidun.com/ HTTP/1.0" 200 14250 "-" "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
Referer: ""
UserAgent: "Sogou Web Sprider(compatible; Mozilla 4.0; MSIE 6.0; Windows NT 5.1; SV1; Avant Browser; InfoPath.1; .NET CLR 2.0.50727; .NET CLR1.1.4322)"
220.181.61.217 - - [11/Jan/2009:13:10:57 -0700] "GET www.youxigao.com/play/3615?id=3615 HTTP/1.1" 302 5 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
220.181.19.74 - - [11/Jan/2009:06:20:37 -0700] "GET www.vidun.com/vwsoft-vwantileechs-download.html?pr=vwantileechs&vi=download HTTP/1.1" 200 27406 "-" "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
Referer: ""
UserAgent: "Sogou Orion spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
220.181.19.78 - - [11/Jan/2009:10:55:18 -0700] "GET www.vidun.com/robots.txt HTTP/1.1" 404 - "http://pic.sogou.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
Referer: "http://pic.sogou.com/"
UserAgent: "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"
219.234.81.27 - - [11/Jan/2009:23:53:41 -0700] "GET www.vidun.com/ HTTP/1.1" 200 14271 "-" "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"
Referer: ""
UserAgent: "Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)"
2008-03-04 17:23:59 W3SVC226223753 222.33.192.54 HEAD /index.php - 80 - 220.181.19.107 Sogou+head+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) - 200 0 0
分享到：
发表评论
-
小卒：关键词竞争度分析方法
2012-04-11 01:01 871关键词分析在SEO中的地 ... -
404页面该怎么做？
2012-04-11 00:51 879404页面的目的是：告诉浏览者其所请求的页面不存在或链接错误， ... -
濮阳SEO：RSS也可以增加外链
2012-04-09 23:18 1370第一种是比较简单的直接提交到RSS目录站;主要是搜藏，书签等R ... -
如何分析关键字优化的难度？了解你的关键字竞争力
2012-04-09 09:06 893如何分析关键字优化的 ... -
浅谈如何建设高质量外链
2012-04-07 11:13 950做外链有许多渠道，人 ... -
教你如何分析百度蛛蛛Baiduspider日志
2011-03-02 13:47 1197今天将昨日的网站日志进行下分析，很多人都不知道网站日志该如何分 ... -
seo-关键字优化:关键字(一)
2011-02-23 17:24 1606seo-关键字优化:关键字 ... -
提升网站在GOOGLE中排名的方法
2011-02-19 10:31 981此文将介绍如何让你的网站成为google搜索中的焦点，如果你是 ... -
百度和谷歌更新日期和时间
2011-02-18 13:28 1070作为一名网站站长，来 ... -
网站收录减少怎么办
2011-02-17 22:49 922网站收录的突然减少往 ... -
什么是反向链接?
2011-02-17 14:15 781举个简单的例子，看上面这行内容中， “农联网”这三个字的链接指 ... -
robots 中 Sitemap 的 XML 格式 和 用法
2011-02-14 15:35 6204此文档介绍适用于 Sitemap 协议的 XML 架构。 S ... -
百度只收录一页的解决方法
2011-02-13 00:18 1176百度只收录一页，我想 ... -
百度只收录首页怎么办
2011-02-13 00:15 926对搜索引擎来说，最讨厌的就是JS，框架，漫天广告，弹窗。 所 ... -
让百度迅速收录的方法
2011-02-12 11:35 8451.在百度提交网址 但现 ... -
如何让搜索引擎更快的收录一个新站
2011-01-24 09:56 988目前，虚拟网络世界中，搜索引擎可以说占有很重要的地位。网民查找 ... -
新手怎样利用博客推广
2010-04-01 08:02 789第一招，撒网捕鱼!百度空间，新浪，雅虎，网易，阿里巴巴，和讯这 ...
相关推荐
在给定的代码片段中，可以看到几种不同的JavaScript方法来检测访问者是通过搜索引擎（通常被称为“蜘蛛”或“爬虫”）还是直接输入URL或点击书签访问的。这些方法主要是通过检查`document.referrer`属性，它会返回前...
在ASP.NET(C#)开发中，捕捉搜索引擎蜘蛛和机器人是一项重要的任务，这有助于网站管理员监控网站的抓取情况，分析流量来源，以及优化SEO策略。搜索引擎蜘蛛和机器人是自动访问网站并索引网页内容的程序，如Googlebot...
`checkrobot()`函数使用了两个静态数组，一个包含了常见的搜索引擎蜘蛛关键词，如"bot"、"crawl"等，另一个包含了常见浏览器的关键字。如果`HTTP_USER_AGENT`中包含浏览器关键字但不包含搜索引擎关键字，则认为是...
首先，我们需要理解搜索引擎蜘蛛的工作原理。搜索引擎爬虫是搜索引擎用来抓取网页内容的自动化程序。它们通过遍历网页链接来发现新的页面，并抓取页面内容以供搜索引擎索引。每个爬虫都有其独特的用户代理字符串...
### 如何准确判断请求是搜索引擎爬虫（蜘蛛）发出的请求 在当今互联网时代，网站管理者经常面临的一个问题是如何区分访问其网站的请求是来自真实的用户还是搜索引擎爬虫（也称为蜘蛛）。这个问题对于网站优化（SEO...
在IT领域，网络爬虫和搜索引擎是两个非常关键的技术，特别是在大数据分析和信息提取中。本文将深入探讨如何使用C#这一编程语言来实现这两项技术。 首先，让我们从网络爬虫开始。网络爬虫，也称为网页抓取器或蜘蛛，...
在互联网上，搜索引擎的爬虫会定期抓取网站内容，以更新索引并提供搜索结果。然而，有时候网站管理员可能希望限制或屏蔽这些爬虫的访问，以保护服务器资源、防止过量抓取或者处理隐私问题。在PHP中，可以通过检查`$_...
那么下面分享一款用php写的获取各搜索蜘蛛爬行记录代码 支持搜索引擎如下 可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录! php代码如下 复制代码 代码如下: <?php function get_naps_bot() { $...
在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法, 1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。 ...
在互联网世界中，搜索引擎爬虫（也称为蜘蛛）扮演着重要的角色，它们通过抓取网页内容来更新搜索引擎的索引。对于网站管理员来说，了解这些爬虫的访问情况有助于优化网站SEO策略、分析流量来源以及识别潜在的问题。...
在SEO（搜索引擎优化）领域，开发者有时需要判断访问者是否为搜索引擎的爬虫（也称蜘蛛），以便采取不同的处理策略。本文将详细解释如何使用JavaScript脚本来判断蜘蛛的来源。 首先，我们需要理解`document....
网络蜘蛛在搜索引擎优化（SEO）、数据分析和网站维护等领域有着广泛的应用。 Perl蜘蛛（Spider）的工作原理是通过模拟用户浏览行为，遍历网站的链接结构，将获取到的数据存储或进一步处理。"fetchgals-5.6" 版本...
文档中还提到了一个使用Django框架、Python语言以及`BeautifulSoup`库组合实现的垂直搜索引擎爬虫。垂直搜索引擎爬虫通常针对特定领域的网站进行爬取。文档中提到了Django模型的创建以及爬虫代码的编写： 1. **...
这个工具对于Web开发者和SEO专家来说非常有用，因为它可以帮助他们确保网站的代码质量，提高搜索引擎的友好度，并可能提升用户体验。 首先，我们要理解 `Perl` 语言。Perl 是一种高级的、通用的、解释型、动态的...
这个程序的设计灵感来源于对特定内容的搜索需求，尤其是当需要收集大量电子邮件地址时，普通的搜索引擎无法满足这样的特定任务。因此，开发者通过编写C语言程序，模拟网络蜘蛛的行为，从一个网页爬向另一个网页，...
更改用户代理可让您模仿，欺骗或伪造其他浏览器，设备或搜索引擎蜘蛛。 该扩展程序无法以与所选网页相同的方式呈现网页。 User-Agent Switcher主要面向想要测试页面如何响应不同浏览器的开发人员。 用户代理切换...
它通常用于数据挖掘、搜索引擎索引、网站内容分析等多种用途。使用 Perl 编写的 Webspider 可以高效地跟踪链接，下载网页，并对抓取的数据进行处理。 Perl 在 Web 爬虫中的优势： 1. 正则表达式支持：Perl 的正则...
2. spider：蜘蛛或爬虫，指的是自动抓取网页信息的程序，常用于搜索引擎索引或数据采集。 3. lua：lua是一种轻量级的脚本语言，因其简洁和高效而在很多领域得到应用，包括游戏开发和Web服务器扩展。 4. limit：在...