URL唯一的重要性

最近一直遇到URL重复的问题，相信有很多大中型网站都会遇到。这类网站多以动态生成页面，所在在服务器端配置时总会有一些非人为能考虑到的情况。

所谓URL重复是指一个完全相同的页面对应多个URL。这是严格意义上的重复，另外还有一种页面相似度非常大，在大型网站中多条件的list和我们经常遇到的翻页问题。

特点：
1、细节非常细小得不到产品重视
2、修改效果不容易评估
3、技术解决相对复杂

记录一下遇到的重复URL的情况：
1、推广URL与产品URL的重复
2、跳转地址的URLrewrite规则
3、历史遗留问题（历史积淀了很多重复的URL）
4、产品URL规则问题（产生了一类重复页面）
5、session问题，写入URL中

影响：
1、不同URL传递权重的渠道不同，无法积累到一个目标URL上
2、跳转规则的不匹配导致权重无法至目标地址，若不同URL内容上有样式差别，更加影响用户体验
3、历史遗留问题，最可怕。影响范围难以评估，导致爬虫异常或对主线产品权重影响难以排查
4、生成系列的URL排查工作较难
5、session关闭问题

可以近期看到的影响：
1、主线产品的关键词排名下降，在谷歌中的表现相对易读，百度不是特别容易理解
2、收录影响，数量反复波动


小结：
1、尽可能的梳理大致范围，先k掉最最重要的事件
2、需要耗费较大的经历来fix这些问题，并且取决于你所在组织的认识程度
3、每周都推进一点，不要指望在短期内全部解决掉，耐心很重要，尤其是看到流量的变化，沉住气。