package com.web.tool;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;
import com.tjh.robot.Robot;
import com.tjh.robot.book.Book;
public class DownLoad_qidian {
/**
* 模块功能: 专门用来下载 起点中文网 的小说
* @author Administrator
* 2009-10-10
*/
public static void main(String[] args) {
String url = "http://www.qidian.com/Book/BookPotentialList.aspx?Type=Book";
try {
String path = "config/qidian.properties"; // 配制文件的路径
List<Book> list = new Robot(path).parseBooks(url);
System.out.println("下载清单 如下:" + "\n共 " + list.size() + " 篇小说");
for (int i = 0; i < list.size(); i++) {
Book book = list.get(i);
System.out
.println("------------------------------------------\n"
+ "书名:"
+ book.getName()
+ "\n"
+ "下载地址:"
+ book.getTxtUrl()
+ "\n------------------------------------------\n");
//循环下载到本地
download(book.getTxtUrl(), "d:/" + book.getName() + ".txt");
}
System.out.println("ok");
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
/**
* 下载文件到本地
*/
public static void download(String urlString, String filename)
throws Exception {
// 构造URL
URL url = new URL(urlString);
// 打开连接
URLConnection con = url.openConnection();
// 输入流
InputStream is = con.getInputStream();
// 输出流
OutputStream os = new FileOutputStream(filename);
// 2K的数据缓冲
byte[] bs = new byte[2048];
// 读取到的数据长度
int len;
// 开始读取
while ((len = is.read(bs)) != -1) {
os.write(bs, 0, len);
}
// 完毕,关闭所有链接
os.close();
is.close();
}
}
分享到:
相关推荐
我国的网络小说推荐系统已经相当成熟,以起点中文网为代表的平台已经建立了完善的商业模式,包括VIP订阅制度,吸引了大量作者和读者。网络小说推荐系统通常分为免费和付费两部分,为读者提供了丰富的选择。此外,...
在本Java搜索及网页爬虫视频教程中,你将深入学习如何使用Java语言构建高效的搜索引擎和网络爬虫。这些技术是现代数据驱动应用的核心部分,能够帮助开发者从互联网上抓取和处理海量信息。 首先,我们要理解Java搜索...
基于SSM开发实现的小说网站毕设源码(仿起点中文网)+项目说明 主要针对计算机相关专业的正在做毕设的学生和需要项目实战的Java学习者。 也可作为课程设计、期末大作业。包含:项目源码、数据库脚本、项目说明等,该...
【新闻文章】起点9小说整站系统(采集+wap) v2.0_qidian9.zip 是一个用于构建网络小说站点的软件解决方案,它包含了采集、移动端适配(wap)等功能,专为创建类似起点中文网的在线阅读平台设计。在这个压缩包中,用户...
Java语言的基础语法包括了变量、数据类型、运算符、控制流程等核心内容,是每位Java程序员学习的起点。面向对象编程原则,如封装、继承和多态,则是构建Java应用程序的三大支柱,它们能够帮助开发者编写出可复用、可...
【标题】"基于ssm+mysql牛码小说网源码数据库.zip"是一个包含完整源代码和数据库的项目,主要用于展示如何使用Java的SSM(Spring、SpringMVC、MyBatis)框架与MySQL数据库构建一个在线小说阅读平台。这个项目可能是...
6. **需求文档**:描述了网络小说微信小程序的功能需求和设计目标,可能是开发的起点。 7. **接口文档**:列出后端提供的API接口,包括请求方式、URL、参数及返回值,方便前端调用。 这个项目可以帮助学习者深入...
在**爬虫**过程中,为了下载笔趣阁所有的小说,我们需要遍历网站的目录结构,通常这涉及到对分页和链接的处理。可以使用Jsoup获取每一页的链接,然后递归地处理每个页面,直到遍历完所有小说列表。同时,为了避免...
总的来说,这两套杰奇1.7自适应模板为小说网站提供了一个良好的起点,但使用它们需要一定的技术背景,包括对杰奇CMS的理解、前端开发技能以及网站优化知识。确保正确配置和定制模板,才能充分利用其潜力,打造一个...
起点中文网是中国知名的网络文学平台,用户可能需要这样的工具来自动化一些重复性操作,比如自动翻页阅读小说、点击投票等。 以下是关于这类工具可能涉及的IT知识点: 1. **网络爬虫技术**:此类工具可能运用了...
8. **Android 文件下载功能Java多线程下载功能的例子实例源码**:此源码展示了如何实现文件的后台下载,涉及到了多线程和网络编程,是网络编程和用户体验优化的学习实例。 9. **Android 小项目开发示例大全--20个...
在Android开发中,PDF阅读器是一个常见的需求,用于展示PDF文档。本教程将带你了解如何在Android应用中集成一个简单的PDF阅读器——PdfViewer,它适用于开发者,特别是...不过对于初学者,PdfViewer是一个很好的起点。
LearnedAndProTest 这是一个我学习新语言(框架)时所尝试建立的简单的项目集合。 ChangeLog Latest 2021/04/01 ...利用 Python3.5 + Selenium + Phantomjs,对起点中文网特定小说进行投票(推荐票);
它的名字来源于19世纪科幻小说中的一个术语,代表了外表类似人类的机器人。 2. **Android系统版本历史**: - **Android 1.1 (纸杯蛋糕)**:2008年9月发布,是首款Android系统,引入了WebKit浏览器和基本功能。 - ...