<meta name="robots" content="noarchive">
以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写
<meta name="Baiduspider" content="noarchive">
需要注意的是,这样的标记仅仅是禁止搜索引擎为你的网站建立快照,如果你要禁止搜索引擎索引你的这个页面的话,请参照后面的办法。
第二种情况:禁止搜索引擎抓取本页面。
在SEO中,禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因此我们需要对这一部分重点做一次讨论。
为了让搜索引擎禁止抓取本页面,我们一般的做法是在页面的元标记中加入如下的代码:
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
在这里,META NAME="ROBOTS"是泛指所有的搜索引擎的,在这里我们也可以特指某个搜索引擎,例如META NAME="Googlebot"、META NAME="Baiduspide"等。content部分有四个命令:index、noindex、follow、nofollow,命令间以英文的“,”分隔。
INDEX命令:告诉搜索引擎抓取这个页面
FOLLOW命令:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。
NOINDEX命令:告诉搜索引擎不允许抓取这个页面
NOFOLLOW命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
根据以上的命令,我们就有了一下的四种组合
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接。
这里需要注意的是,不可把两个对立的反义词写到一起,例如
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
或者直接同时写上两句
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
这里有一个简便的写法,如果是
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">的形式的话,可以写成:
<META NAME="ROBOTS" CONTENT="ALL">
如果是
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">的形式的话,可以写成:
<META NAME="ROBOTS" CONTENT="NONE">
当然,我们也可以把禁止建立快照和对于搜索引擎的命令写到一个命令元标记中。从上面的文章中我们得知,禁止建立网页快照的命令是noarchive,那么我们就可以写成如下的形式:<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW,noarchive">
如果是对于单独的某个搜索引擎不允许建立快照,例如百度,我们就可以写成:
<META NAME=" Baiduspider" CONTENT="INDEX,FOLLOW,noarchive">
如果在元标记中不屑关于蜘蛛的命令,那么默认的命令即为如下
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW, archive">
因此,如果我们对于这一部分把握不准的话,可以直接写上上面的这一行命令,或者是直接留空。
在SEO中,对于蜘蛛的控制是非常重要的一部分内容,所以希望各位看官准确把握这部分的内容。
分享到:
相关推荐
<meta name="robots" content="index, follow, noarchive" /> <meta name="googlebot" content="noarchive" /> </head> ``` 1. **属性的使用** - `http-equiv` 属性类似于HTTP头部,用于向浏览器发送信息,如...
用于网页编辑的软件 ...<meta name="ROBOTS" content="NOODP"> <meta name="description" content="hao123网址之家——,从hao123开始。"> <title>hao123--我的上网主页</title> <style type="text/css">
* 设置搜索方式:<META NAME="ROBOTS" CONTENT="VALUE"> 三、超链接和多媒体文件 * 发送E-mail:<A href="mailto://A@B.C">发送E-mail</A> * 插入多媒体文件:<embed src="file-url" width=value height=value ...
<br/> <META NAME="robots" CONTENT="none"> <br/> CONTENT的参数有all,none,index,noindex,follow,nofollow。默认是all。 <br/><br/> 6.收藏夹图标 <br/> <link rel = "Shortcut Icon" href="favicon.ico"><br/...
<meta name= "robots " content= "noindex "> <meta content= "text/html;charset=gb2312 " http-equiv= "content-type "> <title> Welcome To RptSystem </title> </head> <frameset name="fsthead" rows=...
<meta name="robots" content="noindex, nofollow"> ``` 5. `refresh`:用于设置页面自动刷新或跳转: ```html <meta http-equiv="refresh" content="5;URL='http://example.com/'"> ``` 在提供的`demo.html`...
用法:<Meta name="Description" Content="这是一个关于 meta 标签的详细介绍"> meta 标签对搜索引擎优化,页面显示,缓存控制等方面都有着重要的影响。因此,对 meta 标签的理解和合理使用是建设一个优秀的个人...
此外,HTML文件应遵循一定的命名规范,如`<meta name="filename" content="index.html">`用于标识文件名,`<meta name="author-date" content="01jun09">`记录制作日期,`<meta name="author" content="华">`记录...
- `<meta name="robots" content="index,follow/noindex,nofollow">`控制搜索引擎抓取和索引页面的方式。 了解并正确使用这些<head>标签,可以提升网页的可用性、搜索引擎排名以及跨平台的兼容性。在编写HTML文档...
- `Robots`: 控制搜索引擎爬虫的行为,如`<meta name="Robots" content="index,follow">`表示允许爬虫索引和跟踪页面链接。 2. **http-equiv属性**: - `Content-Type`: 定义文档类型和字符编码,例如`<meta ...
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1"> </head> <body> <h3>This is a demo of b2evo_captcha.class.php</h3> <?PHP require_once('b2evo_captcha.config.php'); require_once...
+ `<meta name=”robots” content=”all”>`:告诉搜索机器人需要索取的页面,默认全部 + `<meta http-equiv=”expires” content=”web,26 feb 2010 08:21:57 GMT”>`:设定网页到期时间 + `<meta ...
5. `<meta name="Robots" content="">`:这个标签用于指示搜索引擎如何处理网页。不同的值(all, none, index, noindex, follow, nofollow)控制着网页是否被索引,链接是否被跟踪。 6. `<meta ...
用法:<Meta name=”Author” Content=”John”> 2. Keywords(关键字):定义页面的关键字,用于搜索引擎优化。 用法:<Meta name=”Keywords” Content=”HTML, Meta, SEO”> 3. Description(描述):定义页面...
<meta name="name" content="string"> ``` 或者 ```html <meta http-equiv="http-equiv-value" content="string"> ``` 其中,`name`属性用于指定元信息的名称,而`content`属性则包含相应的值。 二、参数解析 1. `...
5. robots标签:`<meta name="robots" content="">`可以控制搜索引擎爬虫的行为,如是否索引、是否跟随链接等,以控制网站的抓取策略。 6. viewport标签:`<meta name="viewport" content="">`在移动设备上用于设置...
<meta name="description" content="这是一段关于Web前端开发技术课程的描述"> ``` 2. `http-equiv`属性则模拟HTTP响应头,例如设置字符编码、刷新页面、控制缓存等。例如: ```html <meta ...
<meta name="description" content="这是一个关于HTML meta标签的详细说明"> <meta name="keywords" content="HTML, meta, SEO"> ``` 在这里,`description`提供了页面的简洁描述,而`keywords`列出了与页面内容相关...
<meta name="robots" content="{{ \Spatie\Robots\Facades\Robots::tags() }}"> ... </head> <body> ... </body> </html> ``` 总结来说,`laravel-robots-txt`组件简化了Laravel项目中robots.txt文件的管理和...
<meta name="name" content="string"/> ``` 或 ```html <meta http-equiv="http-equiv-value" content="string"/> ``` 其中,`name`和`http-equiv`是属性,`content`是对应的值。 ### 二、属性解析 **a. name项...