1、接口
/**
*报纸采集器
* @author 杨尚川
*/
public interface PaperCollector {
/**
* 下载当日报纸，一个文件对应一个版面
* @return 报纸
*/
List<File> collect();
/**
* 下载指定日期的报纸，一个文件对应一个版面
* @param date 指定日期
* @return 报纸
*/
List<File> collect(Date date);
}
2、抽象类
/**
*报纸采集器抽象类，通用采集功能实现
* @author 杨尚川
*/
public abstract class AbstractPaperCollector implements PaperCollector{
protected final Logger LOG = LoggerFactory.getLogger(getClass());
@Override
public List<File> collect() {
return collect(new Date());
}
/**
* 根据下载链接提取文件夹名称
* @param href 下载链接
* @return 文件夹名称
*/
protected abstract String getPath(String href);
/**
* 根据下载链接提取文件名称
* @param href 下载链接
* @return 文件名称
*/
protected abstract String getFile(String href);
protected List<File> downloadPaper(List<String> hrefs){
final List<File> files = new ArrayList<>();
List<Thread> ts = new ArrayList<>();
LOG.info("报纸有"+hrefs.size()+"个版面需要下载:");
for(final String href : hrefs){
Thread t = new Thread(new Runnable(){
@Override
public void run() {
File file = downloadPaper(href);
if(file != null){
files.add(file);
}
}
});
t.start();
ts.add(t);
}
for(Thread t : ts){
try {
t.join();
} catch (InterruptedException ex) {
LOG.error("下载报纸出错：",ex);
}
}
return files;
}
protected File downloadPaper(String href){
try{
LOG.info("下载报纸："+href);
String path = getPath(href);
LOG.debug("报纸保存目录："+path);
String file = getFile(href);
LOG.debug("报纸保存文件："+file);
File dir = new File(path);
if(!dir.exists()){
LOG.debug("创建目录："+dir.getAbsolutePath());
dir.mkdirs();
}
File absoluteFile = new File(path, file);
LOG.debug("报纸保存绝对路径："+absoluteFile.getAbsolutePath());
Tools.copyFile(new URL(href).openStream(), absoluteFile);
LOG.info("报纸下载成功："+href);
LOG.info("报纸成功保存到："+absoluteFile.getAbsolutePath());
return absoluteFile;
}catch(IOException e){
LOG.error("报纸下载失败："+e);
}
return null;
}
protected void run() {
//今天
List<File> files = collect();
int i = 1;
for(File file : files){
LOG.info((i++)+" : " + file.getAbsolutePath());
}
//昨天
Date date = new Date();
date.setTime(System.currentTimeMillis()-24*3600*1000);
files = collect(date);
i = 1;
for(File file : files){
LOG.info((i++)+" : " + file.getAbsolutePath());
}
//前天
date = new Date();
date.setTime(System.currentTimeMillis()-2*24*3600*1000);
files = collect(date);
i = 1;
for(File file : files){
LOG.info((i++)+" : " + file.getAbsolutePath());
}
}
}
3、采集新华日报
/**
* 新华日报
* @author 杨尚川
*/
public class XHRBPaperCollector extends AbstractPaperCollector{
private static final String paperName = "新华日报";
private static final String paperPath = "http://xh.xhby.net/newxh/";
private static final String url = paperPath+"html/";
private static final String hrefPrefix = paperPath+"page/1/";
private static final String start = "node_2.htm";
private static final String pdfCssQuery = "html body table tbody tr td table tbody tr td table tbody tr td table tbody tr td div table tbody tr td a";
private static final SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM/dd/");
@Override
public List<File> collect(Date date) {
List<String> hrefs = new ArrayList<>();
try {
LOG.debug("url: "+url);
String paper = url + sf.format(date) + start;
LOG.debug("paper: "+paper);
Document document = Jsoup.connect(paper).get();
LOG.debug("pdfCssQuery: " + pdfCssQuery);
Elements elements = document.select(pdfCssQuery);
for(Element element : elements){
String href = element.attr("href");
if(href != null && href.endsWith(".pdf")){
LOG.debug("报纸链接："+href);
href = href.replace("../../../", "");
LOG.debug("报纸链接："+href);
hrefs.add(paperPath+href);
}else{
LOG.debug("不是报纸链接："+href);
}
}
} catch (IOException ex) {
LOG.error("采集出错",ex);
}
return downloadPaper(hrefs);
}
@Override
protected String getPath(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
attrs = attrs[0].split("-");
StringBuilder str = new StringBuilder();
str.append(paperName)
.append(File.separator)
.append(attrs[0])
.append("-")
.append(attrs[1])
.append(File.separator)
.append(attrs[2]);
return str.toString();
}
@Override
protected String getFile(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
String file = attrs[1]+".pdf";
return file;
}
public static void main(String[] args) {
new XHRBPaperCollector().run();
}
}
4、采集楚天都市报
/**
* 楚天都市报
* @author 杨尚川
*/
public class CTDSBPaperCollector extends AbstractPaperCollector{
private static final String paperName = "楚天都市报";
private static final String host = "http://ctdsb.cnhubei.com/";
private static final String paperPath = host+"ctdsb/";
private static final String url = host+"html/ctdsb/";
private static final String hrefPrefix = paperPath;
private static final String start = "index.html";
private static final String pdfCssQuery = "html body center table tbody tr td table tbody tr td table tbody tr td table tbody tr td div table tbody tr td.info3 a";
private static final SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd/");
@Override
public List<File> collect(Date date) {
List<String> hrefs = new ArrayList<>();
try {
LOG.debug("url: "+url);
String paper = url + sf.format(date) + start;
LOG.debug("paper: "+paper);
Document document = Jsoup.connect(paper).get();
LOG.debug("pdfCssQuery: " + pdfCssQuery);
Elements elements = document.select(pdfCssQuery);
int count=0;
for(Element element : elements){
String text = element.text();
if(text != null && text.startsWith("第")){
LOG.debug("报纸文本："+text);
count++;
}else{
LOG.debug("不是报纸文本："+text);
}
}
//有的版面缺失，而文件名是顺序递增的
for(int i=1; i<=count; i++){
String seq = Integer.toString(i);
if(i<10){
seq="0"+seq;
}
hrefs.add(paperPath + sf.format(date) + "page_"+seq+".jpg");
}
} catch (IOException ex) {
LOG.error("采集出错",ex);
}
return downloadPaper(hrefs);
}
@Override
protected String getPath(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
StringBuilder str = new StringBuilder();
str.append(paperName)
.append(File.separator)
.append(attrs[0].substring(0, 4))
.append("-")
.append(attrs[0].substring(4, 6))
.append(File.separator)
.append(attrs[0].substring(6, 8));
return str.toString();
}
@Override
protected String getFile(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
String file = attrs[1].split("_")[1];
return file;
}
public static void main(String[] args) {
new CTDSBPaperCollector().run();
}
}
5、采集京九晚报
/**
* 京九晚报
* @author 杨尚川
*/
public class JJWBPaperCollector extends AbstractPaperCollector{
private static final String paperName = "京九晚报";
private static final String paperPath = "http://epaper.cnsq.com.cn/jjwb/";
private static final String url = paperPath+"html/";
private static final String hrefPrefix = paperPath+"page/10/";
private static final String start = "node_11.htm";
private static final String pdfCssQuery = "html body table tbody tr td table tbody tr td table tbody tr td table tbody tr td div table tbody tr td a";
private static final SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM/dd/");
@Override
public List<File> collect(Date date) {
List<String> hrefs = new ArrayList<>();
try {
LOG.debug("url: "+url);
String paper = url + sf.format(date) + start;
LOG.debug("paper: "+paper);
Document document = Jsoup.connect(paper).get();
LOG.debug("pdfCssQuery: " + pdfCssQuery);
Elements elements = document.select(pdfCssQuery);
for(Element element : elements){
String href = element.attr("href");
if(href != null && href.endsWith(".pdf")){
LOG.debug("报纸链接："+href);
href = href.replace("../../../", "");
LOG.debug("报纸链接："+href);
hrefs.add(paperPath+href);
}else{
LOG.debug("不是报纸链接："+href);
}
}
} catch (IOException ex) {
LOG.error("采集出错",ex);
}
return downloadPaper(hrefs);
}
@Override
protected String getPath(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
StringBuilder str = new StringBuilder();
str.append(paperName)
.append(File.separator)
.append(attrs[0])
.append(File.separator)
.append(attrs[1]);
return str.toString();
}
@Override
protected String getFile(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
String file = attrs[2]+".pdf";
return file;
}
public static void main(String[] args) {
new JJWBPaperCollector().run();
}
}
6、采集信息时报
/**
* 信息时报
* @author 杨尚川
*/
public class XXSBPaperCollector extends AbstractPaperCollector{
private static final String paperName = "信息时报";
private static final String host = "http://informationtimes.dayoo.com/";
private static final String paperPath = host+"page/1019/";
private static final String url = host+"html/";
private static final String hrefPrefix = paperPath;
private static final String start = "node_1019.htm";
private static final String pdfCssQuery = "html body#content div.container div.leftcolumn div.leftcolumncontent div.pagebuttontwo div.con p.right span.dfive a";
private static final String subCssQuery = "html body#listcontent div.container div.rightcolumn div.subcbga div.listcontent div#all_article_list.list h4 span.left a";
private static final String contentCssQuery = "html body div.container div.leftcolumn div.tbga div.bbga div.cbga div.left div.pagepicture div map area";
private static final SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM/dd/");
@Override
public List<File> collect(Date date) {
List<String> hrefs = new ArrayList<>();
try {
LOG.debug("url: "+url);
String paper = url + sf.format(date) + start;
LOG.debug("paper: "+paper);
Document document = Jsoup.connect(paper).get();
//1、找到子报纸
LOG.debug("subCssQuery: " + subCssQuery);
Elements elements = document.select(subCssQuery);
for(Element element : elements){
String text = element.text();
String href = element.attr("href");
if(text != null && text.contains("：") && href != null && href.endsWith(".htm")){
String subPaperURL = url + sf.format(date) + href;
LOG.debug("子报纸文本："+text+" , "+href);
LOG.debug("subPaperURL："+subPaperURL);
//2、找到内容页面
LOG.debug("contentCssQuery: " + contentCssQuery);
Elements contentElements = Jsoup.connect(subPaperURL).get().select(contentCssQuery);
for(Element contentElement : contentElements){
String h = contentElement.attr("href");
if(h != null && h.startsWith("content_") && h.endsWith(".htm")){
String contentURL = url + sf.format(date) + h;
LOG.debug("contentURL："+contentURL);
//3、找PDF
LOG.debug("pdfCssQuery: " + pdfCssQuery);
Elements pdfElements = Jsoup.connect(contentURL).get().select(pdfCssQuery);
for(Element pdfElement : pdfElements){
String pdf = pdfElement.attr("href");
if(pdf != null && pdf.endsWith(".pdf")){
LOG.debug("报纸链接："+pdf);
pdf = pdf.replace("../../../", "");
LOG.debug("报纸链接："+pdf);
hrefs.add(host+pdf);
}else{
LOG.debug("不是报纸链接："+pdf);
}
}
//有多个content，选择一个即可
break;
}
}
}else{
LOG.debug("不是子报纸文本："+text+" , "+href);
}
}
} catch (IOException ex) {
LOG.error("采集出错",ex);
}
return downloadPaper(hrefs);
}
@Override
protected String getPath(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
StringBuilder str = new StringBuilder();
str.append(paperName)
.append(File.separator)
.append(attrs[0])
.append(File.separator)
.append(attrs[1]);
return str.toString();
}
@Override
protected String getFile(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
String file = attrs[2]+".pdf";
return file;
}
public static void main(String[] args) {
new XXSBPaperCollector().run();
}
}
7、采集羊城晚报
/**
* 羊城晚报
* @author 杨尚川
*/
public class YCWBPaperCollector extends AbstractPaperCollector{
private static final String paperName = "羊城晚报";
private static final String paperPath = "http://www.ycwb.com/ePaper/ycwb/";
private static final String url = paperPath+"html/";
private static final String hrefPrefix = paperPath+"images/";
private static final String start = "node_2081.htm";
private static final String pdfCssQuery = "html body div.cbody div.areaL div.box div.conBox2 div div.xx h2 em a.px12";
private static final SimpleDateFormat sf = new SimpleDateFormat("yyyy-MM/dd/");
@Override
public List<File> collect(Date date) {
List<String> hrefs = new ArrayList<>();
try {
LOG.debug("url: "+url);
String paper = url + sf.format(date) + start;
LOG.debug("paper: "+paper);
Document document = Jsoup.connect(paper).get();
LOG.debug("pdfCssQuery: " + pdfCssQuery);
Elements elements = document.select(pdfCssQuery);
for(Element element : elements){
String href = element.attr("href");
if(href != null && href.endsWith(".pdf")){
LOG.debug("报纸链接："+href);
href = href.replace("../../../", "");
LOG.debug("报纸链接："+href);
hrefs.add(paperPath+href);
}else{
LOG.debug("不是报纸链接："+href);
}
}
} catch (IOException ex) {
LOG.error("采集出错",ex);
}
return downloadPaper(hrefs);
}
@Override
protected String getPath(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
StringBuilder str = new StringBuilder();
str.append(paperName)
.append(File.separator)
.append(attrs[0])
.append(File.separator)
.append(attrs[1]);
return str.toString();
}
@Override
protected String getFile(String href) {
String path = href.replace(hrefPrefix, "");
String[] attrs = path.split("/");
String file = attrs[2]+".pdf";
return file;
}
public static void main(String[] args) {
new YCWBPaperCollector().run();
}
}
相关推荐
对于"采集地方报刊电子版本的爬虫"这个主题，我们将深入探讨如何利用Python编程语言来实现这样一个系统。 首先，我们要理解爬虫的基本原理。爬虫是一个自动遍历网页并抓取所需信息的程序。它通常由以下几个关键部分...
1. 内容采集：电子报纸系统首先需要从源头获取内容，这通常涉及对纸质报纸的扫描或直接接收电子版的新闻稿件。扫描过程中可能需要用到光学字符识别（OCR）技术，将图片中的文字转换为可编辑的文本。 2. 内容编辑：...
应用领域：1、采集人物信息2、采集电子报纸3、使用NekoHTML和XPath解析百度搜索返回结果4、使用JSoup和CSSPath解析百度搜索返回结果5、使用Google AJAX API获取谷歌搜索结果 标签：search
点击一个你想要查看的报纸，是点击旁边的超链接而不是图片，然后软件就会自动联网下载该报纸的电子板，稍等片刻就可以开始阅读了。有个明了的下载进度条方便你查看该报纸的下载完成度。 最值得一提的是在8点后就可以...
电子报是一种数字化的报纸形式，它利用互联网技术将传统纸质报纸的内容转化为电子格式，以便于读者在线阅读或下载。在“电子报电子报电子报连接”这个主题中，我们可以深入探讨电子报的制作、分发、阅读以及其与传统...
在互联网信息采集方法中，利用电子邮件、电子论坛、电子公告板、网络新闻、远程登录和文件传输协议FTP等工具是常见的手段。此外，网络检索工具如Gopher和WWW也起到了关键作用。 搜索引擎是网上搜索信息的主要方法。...
电子邮件（EMAIL）、电子论坛、电子公告板（BBS）、网络新闻、远程登录（TELNET）和文件传输协议（FTP）也是常见的信息采集手段。网络检索工具如Gopher和WWW则进一步提升了信息获取的效率。 搜索引擎是网上搜索信息...
这个压缩包中的"报纸制作系统以及报纸的制作方法.pdf"很可能详细阐述了从新闻采集到印刷发行的全过程，涵盖了多个关键步骤和相关技术。 首先，报纸制作的起点通常是新闻采集。这包括记者的现场报道、新闻发布会、...
2. 内容管理系统：用于存储、管理和发布电子报纸，支持分类、索引、搜索等功能。 3. 用户界面：提供友好的阅读界面，支持多种阅读模式（如模拟报纸、网页形式等）和个性化设置。 4. 数据安全：确保内容的安全存储和...
数据采集可能包括扫描纸质版报纸、接收PDF版或XML版的电子版报纸等。 2. 内容处理：采集到的数据需要进行预处理，如图像文字识别（OCR）将图片中的文字转换为可编辑文本，以便搜索引擎能抓取和索引。同时，还要进行...
报纸虽然在发布手段上受到限制，但在新闻采集速度上可以与电子媒体同步。报社可以通过设立新闻线索呼叫中心，结合人工和自动语音服务，全天候收集新闻线索，为新闻采访提供丰富的来源。同时，增强新闻记者的机动性，...
电子政务，全称为电子政府服务，是利用信息技术和网络技术，通过互联网或其他电子通信手段，实现政府服务的现代化、高效化。"报箱投递电子提示装置"是电子政务在公共服务领域的一个具体应用，旨在提高报箱管理的智能...
8. 数字化转型：随着互联网的发展，许多报纸开始向数字化转型，推出电子版、APP、网站等，利用数字出版平台进行内容发布。这涉及到服务器、数据库管理、内容管理系统等技术，以及SEO优化、数据分析等。 报纸制作...
主流报纸媒体的运营模式包括传统印刷发行、电子版阅读、以及现在流行的多平台媒体融合运营。传统印刷报纸由于成本和发行周期限制，正在逐渐转向电子化和数字化，以适应现代社会的阅读习惯。 5. 主流报纸媒体面临的...
认证系统负责采集和识别用户身份，应用分级机制确定买卖双方的等级，采用城市内通用的智能卡实现支付功能。 物流配送问题是城市电子商务应用的另一个重要因素。为了解决这个问题，需要考虑多种配送模式，如报纸业的...
快递是指将物品从一个地方运输到另一个地方的过程，包括包裹、信件、报纸、杂志等各种物品的运输。 知识点2: 电子商务概念 电子商务是指通过互联网或其他电子手段进行的商务活动，包括在线购物、在线支付、供应链...
数据采集应以用户体验优先，无缝融入用户需求。通过社交活动、增值服务、内容跳转、定制内容订阅、电子报注册等方式收集数据，并通过后台分析用户行为。数据运用包括内容分发优化、新闻定制、用户细分、广告策略调整...
4. 节省资源：电子报纸减少了纸张和印刷成本，有利于环保。 5. 新业务模式：在线读报也为广告商提供了新的投放渠道，如横幅广告、插屏广告等。 6. 数据驱动决策：系统后台收集的用户行为数据，可以帮助报纸出版方...