本周任务备忘

本周任务备忘：

1、网页内repeatable pattern的自动识别，block repeat script，block repeat的crawl.
[repeatable pattern的detect算法通过对抽象出来的模型使用动态规划已经解决，复杂度O(m+n)，已做了一些试验，效果很好]
2、网页中pagination的自动识别，建立pagination模型，dectect Next Page Link,网页间的
repeatable pattern的自动识别，page repeat script,page repeat crawl.
[由于网页的分页方式比较多，只建立了简单的模型，仍未实现自动识别，用户仍需自己标示出pagination block，可以生
成page repeat script，可以进行crawl,用户需要参与的操作已经很少]