Java写爬虫爬取今日头条推荐文章和头条号文章

闲来无事，写了个爬虫爬取今日头条的文章信息，然后使用ECharts展示出统计结果。

那么怎样爬取今日头条的信息呢？

首先，分析头条页面，文章是通过ajax获取的，所以要找到调用的url，然后跟踪代码查看url所需的参数，然后使用Java拼装成调用的url即可获得返回的json数据。

上图为ajax调用的url地址，接下来就是拼接所需的参数

参数拼接完成后即可调用接收返回的json，然后从json中提取你需要的数据。将数据存入库，然后使用ECharts将统计结果以图表形式展现。

演示地址：www.weare.net.cn/toutiao.html

源码地址：https://git.oschina.net/xiaozhangbadao/TodayTopSplider

如有问题，请留言联系

评论

1 楼 嚣张把刀 2016-12-21