python 爬虫相关技术

python 爬虫相关技术


phantomjs :一个基于 WebKit 的服务器端 JavaScript API,就是一个提供了js接口的无界面浏览器。

selenium：Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化操作，不同是Selenium可以直接运行在浏览器上，它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。

Selenium库里有一个叫WebDriver的API。WebDriver可以控制浏览器的操作，它可以像BeautifulSoup或者其它Selector对象一样用来查找页面元素，与页面上的元素进行交互(发送文本、点击等)，以及执行其他动作来运行网络爬虫。

就是一个可以模拟人操作的软件(如输入内容，产生点击等)，主要用于与浏览器的交互操作


PyQuery：PyQuery库也是一个非常强大又灵活的网页解析库，用于解析HTML中的元素和内容，类似jquery,主要用于查找相关的元素，减少难度（相对于正则表达式）,也可以进行一些DOM的操作


Pyspider:爬虫框架，有WEB页面进行管理和调试爬虫过程，有任务调度功能。基实就是一个python的应用，你可以创建一些符合Pyspider标准的爬虫代码（或叫一个爬虫任务）,当你运行时Pyspider就会创建任务并执行你的代码来完成你想要的功能。（可以进行分布式搭建）