`

和robots和sitemap

阅读更多

转载自:http://soft.whsjsoft.com/go/477812.html

 

这是google网站管理员工具提供的最新报告。 robots.txt文件内容可当一个robots的参考范例:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/

几乎所有搜索引擎都尊从robots协议,并按网站根目录下的robots.txt文件进行网站的抓取。 这个例子的意思是:允许所有搜索引擎抓取,并且/wp-admin/、/wp-content/、 /wp-includes/这三个目录不可以抓取。有关 robots.txt 语法的更多信息,请参阅 robotstxt.org。谷歌对有关robots.txt的设置信息请参考:http://www.google.com/support/webmasters/bin/answer.py?answer=40364&topic=8846&hl=zh_CN

在robots.txt文件无法访问或按要求验证时,提交的sitemap都会提示有相关错误,比如:robots.txt文件无法访问等。我提交了两次都失败了,可能是不存在robots.txt文件的问题,后来一查这个文件是存在的,又提交了一次终于成功了。不知道这个robots.txt文件是不是YO2后来生成的,这个问题无法考证了。

按谷歌帮助文档的说法,robots.txt文件是可以不存在的,但在提交sitemap时又必须先检查robots.txt文件,如果返回404错误,则会在以后重新访问网站并开始抓取。后来我要检查时robots.txt又存在了,sitemap才通过。如果这个文件真的不存,那谷歌是不是按照帮助文档的说法呢?不得而知了。
  看到一些网友搜索”如何写sitemap文件”进入本站,有些奇怪,本之前并未写过这样的文章,竟然在百度和谷歌中排名第一,搜索结果是这篇文章:sitemap和robots的关系,robots如何写?

为了不负众望吧,本文解释一些与sitemap相关的知识与大家分享。

什么是 Sitemap 文件?为什么网站需要它?

通过Sitemap 文件,您可以告诉谷歌关于您网站上的所有网页;另外,还可以选择是否告诉谷歌关于这些网页的信息,如哪些网页最重要以及更改频率。Sitemap 有助于加速网页的查找,这也是抓取网页和编制索引重要的第一步,但还有其他很多因素会影响抓取/编制索引过程。Sitemap 可让您告诉google关于您网页的信息(您认为哪些网页最重要,这些网页的更改频率如何)。

Sitemap是对原来robots.txt的扩展,它使用XML格式来记录整个网站的信息并供Google读取,使搜索引擎能更快更全面的收录网站的内容。Sitemap的作用就好像为网站提供了整站的RSS,而Google就是这些RSS的订阅者,只要网站有更新就会自动通知Google。这样一来,搜索引擎的收录由被动的Pull变成了主动的Push。

更多sitemap的帮助信息请参考:http://www.google.com/support/webmasters/bin/topic.py?topic=8476

另外谷歌希望网站所有者只创建一个 Sitemaps 文件供所有搜索引擎使用。这与很多有关Sitemaps 文件最好只包含100个以内的网址的说法并不相符,所以我们尽可相信谷歌官方的说法:您可以提供多个 Sitemap 文件,但每个 Sitemap 文件包含的网址不得超过 50,000 个,并且未压缩时不能大于 10MB。Sitemap 索引文件最多可以列出 1,000 个 Sitemap。

sitemap文件可以通过第三方程序自动生成,地图生成工具页面: http://www.sitemapspal.com/

1、在这个网站可以自动生成sitemap文件,进入这个网站后找到如下图中的黄色选框,输入要添加Google Sitemap的网站地址,例如: www.whsjsoft.com(前面“http://”默认显示,不要删掉。),然后回车。

2、回车后,第一屏页面下方的文本框中,会生成一段代码。用鼠标全部选中文本框中的代码,打开记事本等工具,复制上去。然后,把这个文件保存为:Sitemap.xml.

3、把保存的Sitemap.xml文件上传到你的站点的根目录下。

4、在谷歌网站管理员工具中提交sitemap文件。

当然,除了用工具生成sitemap.xml文件,也可以自己动手写,以弥补工具可能产生的错误。范例:本博客的sitemap为http://soft.whsjsoft.com/sitemap.xml
手动写sitemap文件需要尊守如下规则:

Sitemaps 协议格式由 XML 标记组成。Sitemaps 的所有数据数值应为实体转义过的。文件本身应为 UTF-8 编码的。

以下是只包含一个网址并使用所有可选标记的 Sitemaps 示例。可选标记为斜体。简单范例:

< ?xml version="1.0" encoding="UTF-8"?>
< urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>
< url>
< loc>http://www.example.com/< /loc>
< lastmod>2005-01-01< /lastmod>
< changefreq>monthly< /changefreq>
< priority>0.8< /priority>
< /url>
< /urlset>
Sitemaps 应:

以 < urlset> 开始标记开始,以 < /urlset> 结束标记结束。
每个网址包含一个作为父标记的 < url> 条目。
每一个 < url> 父标记包括一个 < loc> 子标记条目。
请参考相关信息:XML 标记定义,Sitemaps 索引 XML 标记定义

要验证手工写的sitemap.xml文件是否正确,可以用个简单的方法,用IE打开它,如果不报错,基本上正确了,然后才可以上传到网站根目录下并提交给谷歌。注意:sitemap.xml文件中一定不能包含纯汉字,否则一定会报错。

相关文章:Google网站管理员工具为什么要重复验证?

来自:首佳管理软件博客,转载请注明!

分享到:
评论

相关推荐

    alexnet模型-通过CNN卷积神经网络的动漫角色识别-不含数据集图片-含逐行注释和说明文档.zip

    本代码是基于python pytorch环境安装的。 下载本代码后,有个环境安装的requirement.txt文本 首先是代码的整体介绍 总共是3个py文件,十分的简便 本代码是不含数据集图片的,下载本代码后需要自行搜集图片放到对应的文件夹下即可 需要我们往每个文件夹下搜集来图片放到对应文件夹下,每个对应的文件夹里面也有一张提示图,提示图片放的位置 然后我们需要将搜集来的图片,直接放到对应的文件夹下,就可以对代码进行训练了。 运行01生成txt.py,是将数据集文件夹下的图片路径和对应的标签生成txt格式,划分了训练集和验证集 运行02CNN训练数据集.py,会自动读取txt文本内的内容进行训练,这里是适配了数据集的分类文件夹个数,即使增加了分类文件夹,也不需要修改代码即可训练 训练过程中会有训练进度条,可以查看大概训练的时长,每个epoch训练完后会显示准确率和损失值 训练结束后,会保存log日志,记录每个epoch的准确率和损失值 最后训练的模型会保存在本地名称为model.ckpt 运行03pyqt界面.py,就可以实现自己训练好的模型去识别图片了

    电商购物网站 SSM毕业设计 附带论文.zip

    电商购物网站 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B

    题目源码2024年强网杯全国网络安全挑战赛 Pwn题目chat-with-me源码

    强网杯

    mobilenet模型-基于深度学习AI算法对建筑装饰风格识别-不含数据集图片-含逐行注释和说明文档.zip

    本代码是基于python pytorch环境安装的。 下载本代码后,有个环境安装的requirement.txt文本 首先是代码的整体介绍 总共是3个py文件,十分的简便 本代码是不含数据集图片的,下载本代码后需要自行搜集图片放到对应的文件夹下即可 需要我们往每个文件夹下搜集来图片放到对应文件夹下,每个对应的文件夹里面也有一张提示图,提示图片放的位置 然后我们需要将搜集来的图片,直接放到对应的文件夹下,就可以对代码进行训练了。 运行01生成txt.py,是将数据集文件夹下的图片路径和对应的标签生成txt格式,划分了训练集和验证集 运行02CNN训练数据集.py,会自动读取txt文本内的内容进行训练,这里是适配了数据集的分类文件夹个数,即使增加了分类文件夹,也不需要修改代码即可训练 训练过程中会有训练进度条,可以查看大概训练的时长,每个epoch训练完后会显示准确率和损失值 训练结束后,会保存log日志,记录每个epoch的准确率和损失值 最后训练的模型会保存在本地名称为model.ckpt 运行03pyqt界面.py,就可以实现自己训练好的模型去识别图片了

    2-数字化转型对企业劳动力就业的影响的研究数据(2001-2021年).zip

    随着数字技术和企业数字化转型的推进,企业的人力资源管理方式也在不断的变化,尤其是企业数字化转型对劳动力就业产生了深远的影响。 传统制造企业的工作模式一般是人工操作,处于低劳动力成本下的位置,而数字化转型要求企业应用物联网、云计算、大数据等先进技术,提高生产效率和减少人力成本。 数字化转型对企业劳动力就业的影响是多方面的,除替代性影响外,还会给企业带来新的机会,促进员工自我提升和企业人力资源管理意识的提高。本数据的整理让大家能够更清晰了解数字化转型对有关企业劳动力就业的影响。 相关数据指标 企业年龄 , 资产负债率 , 流动比率 , 股权集中度 , 所有制性质, 总资产收益率, 地区人均GDP

    非常好的电子设计小软件GIF2BMP非常好用的软件.zip

    非常好的电子设计小软件GIF2BMP非常好用的软件.zip

    学报稿件管理系统 SSM毕业设计 附带论文.zip

    学报稿件管理系统 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B

    OpenSSL 1.1加密开源库

    OpenSSL 是一个用于实现安全通信的软件包,它由一组密码学函数库组成。它的主要目标是通过使用公开的密码学算法来保护数据的机密性、完整性和身份验证。它支持对称加密、非对称加密、数字签名、证书管理等功能。

    文书用电子小印生成器V124

    可以根据需要生成小印章,自己输入文字、选择日期、调整颜色。

    锐捷三擎云办公解决方案3.0全面提升用户体验和数据安全

    内容概要:文章介绍了锐捷三擎云办公解决方案3.0的关键技术和应用场景。该解决方案通过多项技术创新提升了用户体验和数据安全性,支持多层防护、自研协议、多终端适配和高效资源管理等功能。 适用人群:企业IT管理人员和技术爱好者。 使用场景及目标:该方案适用于各种企业的云办公需求,包括普通办公、研发、移动办公等,主要目标是提高用户办公体验,加强数据安全管理和提升资源利用效率。 其他说明:解决方案还包括全面的用户管理、桌面管理和策略管理,确保系统的整体稳定性和易管理性。同时,支持第三方设备和平台的灵活纳管,实现业务敏捷。

    springboo母婴商城

    摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本母婴商城系统就是在这样的大环境下诞生,其可以帮助管理者在短时间内处理完毕庞大的数据信息,使用这种软件工具可以帮助管理人员提高事务处理效率,达到事半功倍的效果。此母婴商城系统利用当下成熟完善的SSM框架,使用跨平台的可开发大型商业网站的Java语言,以及最受欢迎的RDBMS应用软件之一的Mysql数据库进行程序开发.母婴商城系统的开发根据操作人员需要设计的界面简洁美观,在功能模块布局上跟同类型网站保持一致,程序在实现基本要求功能时,也为数据信息面临的安全问题提供了一些实用的解决方案。可以说该程序在帮助管理者高效率地处理工作事务的同时,也实现了数据信息的整体化,规范化与自动化。 关键词:母婴商城系统;SSM框架;Mysql;自动化

    w 是一个大于10的无符号整数,若 w 是 n (n ≥ 2)位的整数,函数求出w的低 n-1位的数作为函数值返回

    c语言基础代码练习题

    基于Java的SQL慢查询镜像分析工具设计源码

    该项目是一款基于Java语言开发的SQL慢查询镜像分析工具源码,总共有53个文件,其中包含38个Java源文件、4个XML配置文件、3个属性文件、2个Git忽略文件、2个PNG图片文件、1个Markdown文件、1个JPG图片文件、1个SQL文件和1个YML文件。该工具旨在辅助开发人员高效识别和解决MyBatis数据库操作中的性能瓶颈,尤其是针对那些可能导致应用程序响应缓慢或资源消耗过高的慢SQL查询问题。

    【java毕业设计】KTV点歌系统源码(ssm+jsp+mysql+说明文档+LW).zip

    功能说明: 实现功能包括管理员:个人中心、用户管理、歌曲库管理、歌曲类型管理、点歌信息管理,用户:个人中心、歌曲库管理、点歌信息管理等功能。 环境说明: 开发语言:java 框架:ssm jdk版本:jdk1.8 数据库:mysql 5.7+ 数据库工具:Navicat11+ 管理工具:maven 开发工具:idea/eclipse 部署容器:tomcat7+

    Screenrecorder-2024-11-07-21-33-20-304.mp4

    Screenrecorder-2024-11-07-21-33-20-304.mp4

    stata软件安装包(stata18)(stata软件安装包下载与安装)

    软件主体:stata软件安装包。版本:stata18。价格:免费。安装教程:请阅读本人相对应的安装教程文章。描述:安装教程保姆级别仔细,直接按步骤来就行了。本人申明:本安装包需要的人可以免费获取,不用于商业买卖,只用于学术研究。(如果可以帮到大家就给个关注吧)

    基于C++云飞针图像,把麻将的每张牌分离并识别,其中使用了颜色直方图和25维像素占比两种特征,识别方法采用了SVM

    【作品名称】:基于C++云飞针图像,把麻将的每张牌分离并识别,其中使用了颜色直方图和25维像素占比两种特征,识别方法采用了SVM 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】: 基于C++云飞针图像,把麻将的每张牌分离并识别,其中使用了颜色直方图和25维像素占比两种特征,识别方法采用了SVM 基于C++云飞针图像,把麻将的每张牌分离并识别,其中使用了颜色直方图和25维像素占比两种特征,识别方法采用了SVM 基于C++云飞针图像,把麻将的每张牌分离并识别,其中使用了颜色直方图和25维像素占比两种特征,识别方法采用了SVM 基于C++云飞针图像,把麻将的每张牌分离并识别,其中使用了颜色直方图和25维像素占比两种特征,识别方法采用了SVM 【资源声明】:本资源作为“参考资料”而不是“定制需求”,代码只能作为参考,不能完全复制照搬。需要有一定的基础看懂代码,自行调试代码并解决报错,能自行添加功能修改代码。

    IMG_3659.JPG

    IMG_3659.JPG

    数据分析 - 机器学习写诗 - python

    数据分析 - 机器学习写诗 - python Chinese_poem、lyrics_writer、poet_master

    性能优化与加载时间控制.docx

    性能优化与加载时间控制.docx

Global site tag (gtag.js) - Google Analytics