WebCollector爬虫学习记录（一）

一、爬取国际石油网知识板块

要爬取的网站为：http://oil.in-en.com/zhishi/

网站结构比较标准，新闻列表页单一且包含href链接，下一页链接等信息

1.1 添加种子

	}else if (crawler.webMoudle == 38) {
			if (crawler.mk.equals("Sybk")) {
				/* 起始页 */
				crawler.addSeed("http://oil.in-en.com/zhishi/");
				crawler.addRegex("http://oil.in-en.com/html/oil.*");
			}	
		}

 1.2 visit覆写

1. 先提取列表页的Elements，他的class为”clist sborder“
2. 过滤其中的a[href]，如果包含"http://oil.in-en.com/html/oil"就加入清洗和入库
3. 如果indexOf("下一页")就next.add(href);，即将此链接设置为下一页的种子

else if (this.webMoudle == 38) {
				Elements pageHaveClass = page.select("div[class]");
				for (Iterator it = pageHaveClass.iterator(); it.hasNext();) {
					Element pageSelectedClass = (Element) it.next();
					String classAttr = pageSelectedClass.attr("class");
					if (classAttr.equals("clist sborder")) {
						Elements es = pageSelectedClass.select("a[href]");
						for (Iterator itHref = es.iterator(); itHref.hasNext();) {
							Element e = (Element) itHref.next();
							String href = e.attr("abs:href");
							if (e.text().indexOf("下一页") >= 0) {
								next.add(href);
							}
							if (href.indexOf("http://oil.in-en.com/html/oil") != -1) {

								String title = e.text();
								datebaseByContentExtractor(href, title);
							}
						}
					}
				}
			}

 

清洗、时间条件过滤、关键词过滤和入库的过程此处省略

在过滤class="clist sborder"的步骤好像麻烦了，但是jsoup的css选择器对于属性中间有空格的解决方法这边不是很了解，也没有查到，看下面可不可以解决。