`

【转】如何设置robots.txt文件

    博客分类:
  • Web
阅读更多

      robots.txt是搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。
搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件(robots.txt),如果不存在该文件,则搜索引擎机器人默认这个网站允许其全部抓取。

   robots.txt是一个简单的纯文本文件(记事本文件),搜索引擎机器人通过robots.txt里的“说明”,理解该网站是否可以全部抓取或部分抓取。

    如果你希望搜索引擎收录你网站的全部网页,则你可以不设置robots.txt或上传一个命名为robots.txt的空记事本到根本目录。
      上传你的robots.txt后,通过 你的域名/robots.txt 可以正常访问。 注意,robots.txt的命名,都应该是小写
robots.txt文件的内容主要就是一个代码:Disallow:
注意,robots.txt文件中一定要包含一个Disallow:
如果都允许收录,你可以写一行Disallow:/search.html 这个文件(search.html)本来就不存在也没事。

格式如:
Disallow: /search.html
|Disallow: /index.php?
Disallow: /tempweb/

说明:
User-agent: * 星号说明,允许所有的搜索引擎来收录,包括百度、google、yahoo等。
Disallow: /search.html 说明不允许收录 /search.html 这个文件。
Disallow: /index.php? 说明不允许收录以index.php?为前缀的链接如:index.php?122.html、index.php?=12、index.php?/baidu等等
Disallow: /tempweb/ 说明不允许收录/tempweb/里的所有文件。但可以收录如:/tempwebtaim.html 的链接。


这里介绍的是常用的几个代码。
如果需要了解更多关于Disallow:的用法,请了解百度官方的介绍:http://www.baidu.com/search/robots.html

1、当你的网页已被收录,但想用robots.txt删除掉,一般需要1-2个月。
2、结合Google网站管理员工具,你可以马上删除被Google收录的网页。

 

参考文章:http://www.seoweb-sh.com/208.html

分享到:
评论

相关推荐

    robots.txt用法与写法

    Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;...

    robots.txt解析器_Ruby_下载.zip

    在IT行业中,`robots.txt` 文件是一个非常重要的概念,它被用来指导网络爬虫如何抓取网站内容。这个压缩包“robots.txt解析器_Ruby_下载.zip”显然包含了一个使用Ruby编程语言编写的用于解析`robots.txt`文件的工具...

    搜索引擎机器人文件robots.txt让你的网站得到更好的优化

    在探讨如何通过robots.txt文件来优化网站之前,我们首先需要了解什么是robots.txt以及它在搜索引擎优化(SEO)中的作用。 **robots.txt**是一种文本文件,用于指示网络爬虫(如搜索引擎机器人)哪些页面或文件应被...

    搜索蜘蛛:什么是robots.txt,要怎么写?

    `robots.txt`是一个放置在网站根目录下的文本文件,用于告诉网络爬虫(也称为搜索引擎机器人或搜索蜘蛛)哪些页面或文件可以被抓取,哪些则不可以。这有助于控制搜索引擎对网站内容的索引方式。 #### 1. robots.txt...

    如何写robots.txt?

    ### 如何编写robots.txt文件 在互联网世界里,搜索引擎蜘蛛(也称为爬虫或机器人)是网站流量的重要来源之一。为了更好地控制哪些页面被搜索引擎收录,哪些页面不被收录,就需要用到一个非常重要的文件——robots....

    robots.txt文件在线生成工具.zip

    robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。 此工具本人找了很久,源码...

    用来生成robotstxt文件的Vuepress插件

    针对这个需求,Vuepress 提供了一个插件——"用来生成robotstxt文件的Vuepress插件",用于自动化生成 `robots.txt` 文件,以确保网站的SEO优化和隐私保护。 这个插件的使用主要是为了方便 Vuepress 用户自定义他们...

    robots写法.txt

    通过合理设置 `robots.txt` 文件,可以帮助网站管理者更好地控制网站内容被搜索引擎收录的方式与范围。 #### 二、基本语法 `robots.txt` 文件主要包含以下几种指令: - **User-agent**:指定该规则适用于哪个或...

    易优cms robots文件生成器插件.zip

    1. **自动生成**:插件能根据网站的结构和设置,自动生成robots.txt文件,避免手动编写时可能出现的错误。 2. **权限控制**:允许用户指定哪些目录或页面对搜索引擎开放,哪些进行屏蔽。例如,可以隐藏后台管理页面...

    帝国CMS中robots.txt文件用法

    在帝国CMS中,`robots.txt`文件是一个至关重要的元素,它用于指导搜索引擎爬虫如何抓取网站的内容。本文将详细探讨`robots.txt`文件的原理、作用以及在帝国CMS中的具体应用。 **robots协议的原理** `robots协议`,...

    易优robots文件生成器插件.zip

    4. 设置完成后,点击“保存”按钮,插件会自动生成符合你设置的robots.txt文件,并将其上传到网站根目录下。 5. 为了验证效果,你可以直接在浏览器中输入"http://你的域名/robots.txt"查看生成的文件内容,也可以...

    一个经典的wordpress的robots.txt的写法

    一个经典的wordpress的robots.txt的写法 下载后直接复制就行了 略微调一下也行的 文件来自:www.52jiwai.com 分享时请注明来处!

    robots.txt的NuxtJS模块_TypeScript_JavaScript_下载.zip

    总结一下,本篇文章介绍了如何在NuxtJS项目中处理robots.txt文件,包括手动创建中间件和使用`nuxt-robots`插件。通过理解robots.txt的规则和NuxtJS的中间件机制,我们可以更好地控制网站的搜索引擎可见性,从而提升...

    禁止搜索引擎/蜘蛛抓取的规则文件 robots.txt模板

    通过合理设置 `robots.txt` 文件,可以有效地控制网站内容的曝光度,保护隐私信息,同时也有助于优化搜索引擎的索引效率。 #### 二、文件结构与语法 `robots.txt` 文件的格式非常简单,主要包括两个关键字:`User-...

    Laravel开发-laravel-robotstxt

    在Laravel框架中,`laravel-robotstxt`是一个扩展包,用于根据应用程序的当前环境动态生成`robots.txt`文件。`robots.txt`文件是一个简单的文本文件,它告诉网络爬虫(如Googlebot)哪些页面可以抓取,哪些应该避免...

    robots.txt在SEO中作用

    2. **定期检查**:确保robots.txt文件始终保持最新,避免误封重要页面。 3. **非强制性**:不是所有搜索引擎都遵循robots.txt,因此不应依赖此文件作为唯一的隐私保护手段。 4. **不适用于用户**:robots.txt对实际...

    Laravel开发-laravel-robots-txt

    在视图文件中,你可以使用`@robotstxt`指令来输出这些元标签,它们会根据你为路由定义的规则自动调整内容。 ```blade <!DOCTYPE html> <meta name="robots" content="{{ \Spatie\Robots\Facades\Robots::tags...

    如何写robots,robots.txt是一个纯文本文件

    对于网站管理员来说,正确设置 `robots.txt` 文件至关重要,因为它能帮助控制搜索引擎收录的内容,保护隐私信息,以及优化网站的SEO表现。 **基本结构与语法** `robots.txt` 文件通常包含以下两个主要部分: 1. *...

    robotstxt-webpack-plugin:一个Webpack插件,用于生成robots.txt文件

    robotstxt-webpack-plugin 使用webpack生成robots.txt 。 为什么您需要 ? 用于软件包的Webpack插件。入门首先,您需要安装robotstxt-webpack-plugin : npm install --save-dev robotstxt-webpack-plugin webpack....

    自动为您的站点创建robots.txt的Gatsby插件_JavaScript_下载.zip

    1. **robots.txt文件**:这是一个纯文本文件,位于网站根目录下。它通过使用`User-agent`和`Disallow`指令来指定对特定爬虫的行为。例如,`User-agent: *`表示针对所有爬虫,`Disallow: /private/`则会阻止所有爬虫...

Global site tag (gtag.js) - Google Analytics