使用Selectable抽取元素

使用Selectable抽取元素

Selectable相关的抽取元素链式API是WebMagic的一个核心功能。使用Selectable接口，你可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。

在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口。这个接口包含一些重要的方法，我将它分为两类：抽取部分和获取结果部分。

抽取部分API：

方法	说明	示例
xpath(String xpath)	使用XPath选择	html.xpath("//div[@class='title']")
$(String selector)	使用Css选择器选择	html.$("div.title")
$(String selector,String attr)	使用Css选择器选择	html.$("div.title","text")
css(String selector)	功能同$()，使用Css选择器选择	html.css("div.title")
links()	选择所有链接	html.links()
regex(String regex)	使用正则表达式抽取	html.regex("\(.\*?)\")
regex(String regex,int group)	使用正则表达式抽取，并指定捕获组	html.regex("\(.\*?)\",1)
replace(String regex, String replacement)	替换内容	html.replace("\","")

获取结果的API：

当链式调用结束时，我们一般都想要拿到一个字符串类型的结果。这时候就需要用到获取结果的API了。我们知道，一条抽取规则，无论是XPath、CSS选择器或者正则表达式，总有可能抽取到多条元素。WebMagic对这些进行了统一，你可以通过不同的API获取到一个或者多个元素。

方法	说明	示例
get()	返回一条String类型的结果	String link= html.links().get()
toString()	功能同get()，返回一条String类型的结果	String link= html.links().toString()
all()	返回一条String类型的结果	List links= html.links().all()
match()	是否有匹配结果	if (html.links().match()){ xxx; }

例如，我们知道页面只会有一条结果，那么可以使用selectable.get()或者selectable.toString()拿到这条结果。

这里selectable.toString()采用了toString()这个接口，是为了在输出以及和一些框架结合的时候，更加方便。因为一般情况下，我们都只需要选择一个元素！

selectable.all()则会获取到所有元素。


示例代码

package com.lsiding.msg.page;

import java.util.ArrayList;
import java.util.List;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

/**
 * 建造师列表页面抓取
 * 
 * @author liyixing
 *
 */
public class BuilderListPageProcessor implements PageProcessor {
	/**
	 * 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
	 */
	private Site site = Site
			.me()
			.setRetryTimes(3)
			.setSleepTime(100)
			.setUserAgent(
					"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36");
	/**
	 * 是否已经获取所有的分页列表
	 */
	private boolean isAddTargetRequests = false;

	/**
	 * process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
	 */
	@Override
	public void process(Page page) {
		// 部分二：定义如何抽取页面信息，并保存下来
		// 姓名
		page.putField(
				"name",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[2]/a/allText()")
						.get());
		page.putField(
				"click",
				"http://location/"
						+ page.getHtml()
								.xpath("//div[@class='addProject']//table//td[2]/a/@onclick")
								.replace("winopen\\('", "")
								.replace("',1000,600,'人员证书轨迹查看'\\);", "").get());
		// 企业名称
		page.putField(
				"company",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[3]/tidyText()")
						.get());
		// 注册编号
		page.putField(
				"registerNumber",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[4]/tidyText()")
						.get());
		// 证书编号
		page.putField(
				"cerNumber",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[5]/tidyText()")
						.get());
		// 資格證書编号
		page.putField(
				"qualCerNumber",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[6]/tidyText()")
						.get());
		// 状态
		page.putField(
				"status",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[7]/tidyText()")
						.get());
		// 注册专业
		page.putField(
				"company",
				page.getHtml()
						.xpath("//div[@class='addProject']//table//td[8]/tidyText()")
						.get());
		// 注册有效期
		page.putField(
				"valTime",
				page.getHtml().xpath(
						"//div[@class='addProject']//table//td[9]/tidyText()"));

		ResultItems resultItems = page.getResultItems();

		for (String key : resultItems.getAll().keySet()) {
			System.out.println(page.getResultItems().get(key));
		}

		// 部分三：从页面发现后续的url地址来抓取
		if (!isAddTargetRequests) {
			// 根据分页数，增加爬取链接
			Integer allNumber = Integer
					.valueOf(page
							.getHtml()
							.xpath("//div[@class='paging']//span[@class='localPage'][2]/tidyText()")
							.get());

			//
			List<String> urls = new ArrayList<String>();
			// 计算总共有多少页
			int pageMaxSize = allNumber / 50;

			if (allNumber % 50 != 0) {
				pageMaxSize++;
			}

			for (int x = 2; x <= pageMaxSize; x++) {
				urls.add("http://location/outQualificationQuery?pageSize=50&pageIndex="
						+ x + "&q_certStatus=0");
			}

			page.addTargetRequests(urls);
			isAddTargetRequests = true;
		}
	}

	@Override
	public Site getSite() {
		return site;
	}

	public static void main(String[] args) {
		Spider.create(new BuilderListPageProcessor())
				// 从"某个地址再试抓取"开始抓
				.addUrl("http://location/outQualificationQuery?pageSize=50&pageIndex=1&q_certStatus=0")
				// 开启5个线程抓取
				.thread(5)
				// 启动爬虫
				.run();
	}
}