代码如下:
User-agent: * Disallow: / Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /cache/ Disallow: /class/ Disallow: /images/ Disallow: /include/ Disallow: /install/ Disallow: /kernel/ Disallow: /language/ Disallow: /templates_c/ Disallow: /themes/
另外介绍下robots:
User-agent: * 允许所有蜘蛛爬行。当然也可以有选择性的进行筛选。
例如:User-agent: Googlebot (还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。) Baiduspider(百度蜘蛛).
Disallow: / 禁止蜘蛛爬行目录。
Allow: / 允许爬行的目录。
Allow: /~modules/news 允许访问特定目录中的部分url.
Disallow: /~modules/ 禁止访问特定目录中的部分url.
Allow: .htm$ 仅允许抓取 .htm结尾的url 当然也可以对其他文件进行设置 例如:(Allow: .jpg$).
Disallow: .jpg$ 则相反.
代码如下:
另外介绍下:User-agent: * 允许所有蜘蛛爬行。当然也可以有选择性的进行筛选。例如:User-agent: Googlebot
(还有一种叫做Mediabot,这种蜘蛛也是Google的,它的目的是抓取网页来匹配Google AdSense与内容相关广告的。)
Baiduspider(百度蜘蛛).
Disallow: / 禁止蜘蛛爬行目录。Allow: / 允许爬行的目录。
Allow: /~modules/news 允许访问特定目录中的部分url.Disallow: /~modules/ 禁止访问特定目录中的部分url.
Allow: .htm$ 仅允许抓取 .htm结尾的url 当然也可以对其他文件进行设置 例如:(Allow: .jpg$).Disallow: .jpg$ 则相反.
参考网站:http://www.robotstxt.org/
原创文章,转载请注明: 转载自Martin
本文链接地址: xoops robots 写法 以及robots规则简单介绍
相关推荐
### XOOPS系统详细介绍 #### 一、XOOPS概述 XOOPS是一个开源的内容管理系统(Content Management System, CMS),主要用于构建动态交互式的社区、企业门户、内部网和博客等。它支持多语言环境,并且拥有丰富的插件和...
XOOPS的设计理念是模块化和可扩展性,使得用户可以根据需求安装和配置不同的模块来满足特定功能。 XOOPS的核心特性包括: 1. **模块化设计**:XOOPS允许用户通过安装不同的模块来扩展其功能,如新闻发布、论坛、...
本教程将详细介绍如何使用XOOPS来构建一个专业的门户网站。 首先,我们需要准备必要的环境。XOOPS 需要在Web服务器上运行,这里推荐使用集成的开发环境Appserv,它集成了Apache服务器、PHP解释器和MySQL数据库。...
xoops是一个开源的内容管理系统(CMS),它允许用户轻松创建和管理网站。"xoops2.30版"是这个系统的最新版本,提供了许多改进和增强的功能,旨在提供更好的用户体验和更强大的管理工具。 首先,我们来看看xoops的...
XOOPS CMS 提供了一个模块化的架构,使得添加和扩展功能变得简单易行。 **XOOPS特点** 1. **模块化设计**:XOOPS 的核心功能可以通过安装不同的模块来扩展,如新闻模块、论坛模块、图片展示模块等,可以根据需求...
在这个详细开发例子中,我们将深入探讨如何构建一个xoops模块,理解其架构,以及如何利用xoopsms这个压缩包文件进行实践。 首先,了解XOOPS模块的基本结构至关重要。一个xoops模块通常包含以下几个关键部分: 1. *...
XOOPS是eXtensible Object Oriented Portal System的缩写,直译为面向对象的可扩展门户系统,是一个强大的基于web的内容管理平台。 XOOPS 2.5.7 Final 发布,此版本完全兼容 PHP 5.5,其他包括安全更新,bug 修复...
模块必须遵循一定的编码规则才能在XOOPS环境中运行,例如,每个模块都必须包含一个名为xoops_version.php的文件,以便XOOPS识别模块的存在。 #### 三、XOOPS模块与区块 XOOPS的模块可以看作是商场内的店铺,而区块...
Xoops 是一个强大的web管理平台 Xoops 稳健灵活、扩展性强、安全快速的性能被各类应用对象所认同接受,应用遍及各个领域。
【XOOPS2 網站架設】是一個專門介紹如何使用XOOPS2這個內容管理系統(CMS)建立網站的主題。XOOPS2是從MyPHPNuke的一個分支演變而來,旨在提供更高效、靈活的網站管理體驗。以下是关于这个主题的详细知识点: 1. **...
安装和升级指南通常会指导用户如何从旧版本升级到XOOPS 2.3.3,以及如何配置和定制系统以满足特定需求。 对于想要使用或升级到XOOPS 2.3.3的用户,建议先备份现有站点数据,然后按照官方提供的升级步骤进行操作。...
- **模块安装与配置**:详细介绍如何安装和配置xoops中的各个模块,以实现特定的功能需求。 - **自定义模块**:教授高级技巧,如如何创建自己的模块来扩展网站功能。 #### 2.3 内容管理 - **内容创建与编辑**:...
5. 文档和语言包:可能包括README文件,介绍如何安装和配置模块,以及多语言支持文件。 总的来说,xoops频道管理模块是一个强大且实用的工具,它提升了xoops平台的导航功能,让网站管理者能更便捷地控制内容展示,...
本教程详细介绍了如何创建一个简单的XOOPS模块,该模块包含一个表单及提交表单时的动作。通过以上步骤,你可以轻松地开发出自己的XOOPS表单模块,并根据实际需求进一步扩展其功能。希望本教程对你有所帮助!
本文档主要介绍XOOPS的应用程序接口(Application Programming Interface, API)之一——XOOPS ORM(Object Relational Mapping)的使用方法,包括如何创建基于XoopsObject的数据存取类以及XOOPS ORM的具体应用实例。...