Ryee
- 浏览: 283175 次
- 性别:
- 来自: 上海
-
最新评论
-
onlyjing：
你好！我是猎头顾问only ,有北京知名网络安全公司高级web ...
python:web搭建 -
dr88：
有时间也来做一个，谢谢分享
Wordpress自动采集更新、发布文章插件AutoBlogged2.578最新破解版 -
Ryee：
百度赚钱依靠页面看来承载广告，所以1、增加页面2、提升单位页面 ...
百度如何赚钱 -
jeans_1312：
路过，学习一下
Wordpress自动采集更新、发布文章插件AutoBlogged2.578最新破解版 -
Ryee：
坚持喝了一周的红豆薏米汤，适当的运动量辅助排汗，湿气除的不错。 ...
夏季南方去体内湿气-养生方法
文章列表
URL规范化(url normalization)其实就是一个标准化URL的过程，其实也就是将一个URL转化为一个符合规范的等价URL(如http://www.blog.com /shudo转化为http://www.blog.com/shudo/)，这样程序可以确定这两个URL是等价的。
URL规范化用于搜索引擎可以减少对页面的重复索引，同时也可以减少爬虫的重复抓取。浏览器端识别用户是否访问过一个URL也需要使用URL规范化。
* 1 URL组成
* 2 不规范的URL
* 3 URL规范化过程
* 4 SEO URL规范化
URL组成:
protocol ...
这张图很形象的说明了搜索引擎的Spider在抓取网页时，一些不友好的元素会对其形成较坏的影响
1. Orphan Pages；Spider是根据链接抓取网页，没有链接的网页，自然使spider抓取困难。
2. Unfriendly SEO-CMS System；CMS对SEO不友好的话，会对spider形成一定的干扰，比如js、ajax、链接分布、frame结构等等。
3. Bad server Configuration；如阻止搜索引擎spider访问、302重定向、访问权限等等，以及服务器的稳定性，都有可能对spider造成致命的打击。
4. Cloaking；比 ...