var http = require('http');
var fs = require('fs');
var request = require('request');
function base64_decode (data) {
var b64 = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
var o1, o2, o3, h1, h2, h3, h4, bits, i = 0, ac = 0, dec = "", tmp_arr = [];
if (!data) {return data;}
data += '';
do {
h1 = b64.indexOf(data.charAt(i++));
h2 = b64.indexOf(data.charAt(i++));
h3 = b64.indexOf(data.charAt(i++));
h4 = b64.indexOf(data.charAt(i++));
bits = h1<<18 | h2<<12 | h3<<6 | h4;
o1 = bits>>16 & 0xff;
o2 = bits>>8 & 0xff;
o3 = bits & 0xff;
if (h3 == 64) {
tmp_arr[ac++] = String.fromCharCode(o1);
} else if (h4 == 64) {
tmp_arr[ac++] = String.fromCharCode(o1, o2);
} else {
tmp_arr[ac++] = String.fromCharCode(o1, o2, o3);
}
} while (i < data.length);
dec = tmp_arr.join('');
dec = utf8_decode(dec);
return dec;
}
function base64_encode (data) {
var b64 = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
var o1, o2, o3, h1, h2, h3, h4, bits, i = 0, ac = 0, enc="", tmp_arr = [];
if (!data){return data;}
data = utf8_encode(data+'');
do {
o1 = data.charCodeAt(i++);
o2 = data.charCodeAt(i++);
o3 = data.charCodeAt(i++);
bits = o1<<16 | o2<<8 | o3;
h1 = bits>>18 & 0x3f;
h2 = bits>>12 & 0x3f;
h3 = bits>>6 & 0x3f;
h4 = bits & 0x3f;
tmp_arr[ac++] = b64.charAt(h1) + b64.charAt(h2) + b64.charAt(h3) + b64.charAt(h4);
} while (i < data.length);
enc = tmp_arr.join('');
switch (data.length % 3) {
case 1:
enc = enc.slice(0, -2) + '==';
break;
case 2:
enc = enc.slice(0, -1) + '=';
break;
}
return enc;
}
function utf8_decode ( str_data ) {
var tmp_arr = [], i = 0, ac = 0, c1 = 0, c2 = 0, c3 = 0;
str_data += '';
while ( i < str_data.length ) {
c1 = str_data.charCodeAt(i);
if (c1 < 128) {
tmp_arr[ac++] = String.fromCharCode(c1);
i++;
} else if ((c1 > 191) && (c1 < 224)) {
c2 = str_data.charCodeAt(i+1);
tmp_arr[ac++] = String.fromCharCode(((c1 & 31) << 6) | (c2 & 63));
i += 2;
} else {
c2 = str_data.charCodeAt(i+1);
c3 = str_data.charCodeAt(i+2);
tmp_arr[ac++] = String.fromCharCode(((c1 & 15) << 12) | ((c2 & 63) << 6) | (c3 & 63));
i += 3;
}
}
return tmp_arr.join('');
}
function utf8_encode ( argString ) {
var string = (argString+'');
var utftext = "";
var start, end;
var stringl = 0;
start = end = 0;
stringl = string.length;
for (var n = 0; n < stringl; n++) {
var c1 = string.charCodeAt(n);
var enc = null;
if (c1 < 128) {
end++;
} else if (c1 > 127 && c1 < 2048) {
enc = String.fromCharCode((c1 >> 6) | 192) + String.fromCharCode((c1 & 63) | 128);
} else {
enc = String.fromCharCode((c1 >> 12) | 224) + String.fromCharCode(((c1 >> 6) & 63) | 128) + String.fromCharCode((c1 & 63) | 128);
}
if (enc !== null) {
if (end > start) {
utftext += string.substring(start, end);
}
utftext += enc;
start = end = n+1;
}
}
if (end > start) {
utftext += string.substring(start, string.length);
}
return utftext;
}
var counter = 0;
var totalNum = 0;
function downloadPic(url,filePath,fn){
var r = request(url).pipe(fs.createWriteStream(filePath));
r.on('close', function(){
fn();
}).on('error',function(){
log('download pic error!');
if(nextChapterPath && chapterNow < chapterNum){
downloadChapter(nextChapterPath);
}else{
chapterNow++;
}
});
}
function downloadFiles(arr,baseDir){
var length = arr.length;
var i = 0;
function loadNext(index){
downloadPic(arr[i], baseDir + '/' + index + '.jpg',function(){
i++;
if(i < length){
loadNext(i);
}else{
console.log('Chapter ' + chapterNow + ' All done!');
chapterNow++;
if(nextChapterPath && chapterNow < chapterNum){
downloadChapter(nextChapterPath);
}
}
});
}
loadNext(i);
}
var baseDir = 'F:/node_test/Pictures/';
var urlReg = new RegExp('qTcms_S_m_murl_e\\s*=\\s*"([\\w+/=]+)"');
var isUrlReg = /^http:\/\//;
var chapterReg = new RegExp('qTcms_S_m_playm\\s*=\\s*"\\W+(\\d+)\\W+"');
var nextChapterReg = new RegExp('qTcms_Pic_nextArr\\s*=\\s*"([/\\w.])html"');
var chapterNow = 0,
chapterNum = 10;
var nextChapterPath = '';
function log(data){
fs.appendFile(baseDir + 'log.txt',data + '\r\n','utf8',function(err){
if(err)
{
console.log(err);
}
});
}
function downloadChapter(path){
log('//------------------------------------------------------------------//');
var page = 'http://some.page.com' + path;
log('正在读取:' + page);
var html = '';
http.get(page , function(res) {
res.setEncoding('utf-8');
res.on('data', function(data) {
// collect the data chunks to the variable named "html"
html += data;
}).on('end', function() {
var dir = baseDir;
if(chapterReg.test(html)){
dir += '第' + RegExp.$1 + '话';
}else{
console.log('找不到章节');
return;
}
if (!fs.existsSync(dir)) {
fs.mkdirSync(dir);
}else{
console.log(dir + ' 已存在!');
return;
}
//
log('文件存放目录:' + dir);
var nextChapterReg = new RegExp('qTcms_Pic_nextArr\\s*=\\s*"([/\\w.]+)"');
if(nextChapterReg.test(html)){
nextChapterPath = RegExp.$1;
log('下一个页面地址:' + nextChapterPath);
}else{
nextChapterPath = null;
}
var url64 = null,
picArr = null;
if(urlReg.test(html)){
url64 = base64_decode (RegExp.$1);
log('图片数组:\r\n' + url64);
picArr = url64.split('$');
picArr = picArr.filter(function(val){
return isUrlReg.test(val);
});
downloadFiles(picArr,dir);
}else{
//console.log("not found.");
console.log(html);
}
});
});
}
downloadChapter('someurl');
分享到:
相关推荐
这个压缩包文件"Python爬虫实战之爬取网站全部图片.rar"提供了一个实战案例,教你如何使用Python来批量下载一个网站上的所有图片。下面我们将深入探讨相关的知识点。 首先,我们需要了解Python中的几个关键库,它们...
第一个实例是关于爬取图片到本地。在这个过程中,你会接触到Node.js的核心模块之一——`http`,它提供了HTTP客户端的功能,可以用来发送HTTP请求到指定的URL获取资源。当请求成功后,响应通常包含你要下载的图片数据...
在爬取图片时,我们通常会寻找HTML中的`<img>`标签,该标签包含了图片的URL。 1. **使用Requests发送HTTP请求** 在Python中,可以使用`requests.get()`函数发送GET请求到目标网页,获取HTML源代码。例如: ```...
其中,HTTP(HyperText Transfer Protocol)是最常用的协议之一,用于在Web服务器和客户端之间传输数据。 二、Socket编程 Socket是一种网络通信机制,允许不同的进程在网络上进行通信。在Python中,使用socket库...
在互联网大数据时代,数据采集是许多研究和商业分析的基础,而网络爬虫则是获取数据的重要工具之一。本文将深入探讨一个针对煎蛋网(Douban Eggs)的简易图片爬虫程序,帮助读者理解如何利用Python进行网页爬取,...
指定配置与车型,自动爬取车型配置信息,程序为爬取屏幕尺寸大小,可以根据自己的需求自行更改
整个过程涉及到异步操作和事件驱动的编程模型,这正是Node.js的特色之一。在Node.js中,I/O操作通常是异步的,这意味着程序可以在等待I/O操作完成时继续执行其他任务,从而提高了程序的性能。 需要注意的是,爬取...
10 台电脑分配任务帮你采集,速度降低为原来的十分之一;采集到的数据可以在云上保存三个月,可以随时进行导出操作。 其他相关教程 * 网站文章采集:http://www.bazhuayu.com/tutorial/hottutorial/qita * 网站...
在互联网时代,图片是信息传播的重要载体之一。对于爱好篮球的朋友们来说,虎扑篮球论坛是一个不可多得的好去处,这里不仅有大量的篮球资讯,还有许多精美的图片资源。然而,手动下载这些图片不仅耗时费力,而且效率...
本教程将指导你如何使用Scrapy来爬取“妹子圖”网站上的图片。 首先,确保你的开发环境中已经安装了Python。如果还没有,可以访问Python官网下载并安装最新版本。接着,你需要安装Scrapy。在命令行中输入以下命令:...
基于requests和re模块,爬取百度...代码实现思路可参考【Python_requests学习笔记(一)】基于requests和re模块,爬取百度图片:https://blog.csdn.net/sallyyellow/article/details/129200458?spm=1001.2014.3001.5501
在本文中,我们将深入探讨如何使用Go语言(Golang)来构建一个Web爬虫,以爬取汽车之家网站上的二手车产品库数据。Go语言因其高效、简洁和强大的并发能力而被广泛用于网络爬虫的开发。我们将从以下几个方面展开讨论...
# Python获取openstreetmap(OSM)路网信息 自动爬取城市路网图片和矢量图 1. 包含中国城市的经纬度 json文件,根据经纬度自动爬取 osm 道路网; 2. 使用 matplotlib 将路网绘制为白底黑线的png格式图片; 3. 使用 ...
Python爬虫实战之爬取网站全部图片(二) 传送门: https://blog.csdn.net/qq_33958297/article/details/89388556 爬取网址: http://www.meizitu.com/a/more_1.html 爬取地址:...
本项目主要实现了首先通过python编写的爬虫程序,对今日头条的新闻进行爬取,爬取的内容相对丰富,内容,图片都有爬取,另外,将获取到的新闻进行了实体分析,用textrank图算法计算了关联程度,得到了每篇新闻的一个...
微博是中国最流行的社交媒体平台之一,用户在这里发布、分享和评论各种信息,包括文字、图片、视频等。由于这些数据具有很高的社会价值和研究意义,因此开发一个微博爬虫,即"Weibospider",对于数据挖掘、舆情分析...
其简单易用的 API 使得它成为了 Web 开发者们的首选工具之一。 **关键代码片段**: ```python import requests def get_html(url): try: response = requests.get(url) response.raise_for_status() # 检查请求...
在Python中,最常用的库之一是`requests`,用于发送HTTP请求;另一个是`lxml`,它提供了高效的XML和HTML处理功能。在本例中,`requests`库用于获取网页内容,而`lxml`则用来解析HTML源码。 1. **单张图片爬取** - ...