博客首页 → robot meta

最新文章列表

【转】Robots.txt和Robots META

Robots Text File Robots.txt robots.txt是一套指示搜索引擎（蜘蛛）如何抓取你的网页内容的一张地图，他告诉蜘蛛哪些需要抓取，哪些不要抓取（当然，这只是针对那些遵守这个协定的搜索引擎）。robots.txt文件必须存放在网站的根目录下。 robots.txt中包括两部分主要内容： User-agent:* Disallow: User-agent代表搜索引擎，可以指 ...
robot meta 
xiewenbo 评论(0) 有1233人浏览 2011-11-21 22:08

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics