- 浏览: 168852 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (173)
- Cocos2d-X (11)
- ubuntu (17)
- ofbiz (7)
- freemarker (1)
- nginx (9)
- redHat (7)
- SpringBoot (13)
- C# (0)
- PHP (2)
- Android (0)
- 咖啡豆 (7)
- Python (21)
- IONIC (8)
- AngularJS (1)
- 大鲸鱼 (10)
- 好玩的东西 (11)
- mysql 占用 (5)
- kelude (1)
- jS (0)
- Wx (1)
- H5-M500 (3)
- 开发即运维 (4)
- ReactNative (11)
- C++ (0)
- 其他杂项 (2)
- Truffle (1)
- WebLogic (0)
- Unity3D (0)
- WeChatMiniProgram (0)
- 小程序 (3)
- OLAP (1)
- ceb (1)
- 微信小程序 (2)
- 小程序undefined (1)
- 小程序机型问题 (1)
- Olingo (1)
- Cocos Creator (2)
- kylin (1)
- docker network (1)
最新评论
-
沈寅麟:
如果:[MySQL] specified key was to ...
OFBiz使用utf8mb4保存emoji -
沈寅麟:
从主机复制文件到容器里主机–>容器1,获取容器ID使用s ...
退出不关闭容器 -
沈寅麟:
conf.d/default.config---------- ...
Nginx配置AJP -
沈寅麟:
配置完nginx,在启动的时候遇到如下问题:nginx: [e ...
Nginx配置AJP -
沈寅麟:
docker commit [OPTIONS] CONTAIN ...
退出不关闭容器
新手写的比较拙劣 但达到效果了。
py是个好东西
10秒下载完后的效果图:
py是个好东西
# coding=utf-8 import requests import sys from bs4 import BeautifulSoup from multiprocessing import Pool # 引入模块 import os def mkdir(path): # 去除首位空格 path = path.strip() # 去除尾部 \ 符号 path = path.rstrip("\\") # 判断路径是否存在 # 存在 True # 不存在 False isExists = os.path.exists(path) # 判断结果 if not isExists: # 如果不存在则创建目录 # 创建目录操作函数 os.makedirs(path) print path + ' 创建成功' return True else: # 如果目录存在则不创建,并提示目录已存在 print path + ' 目录已存在' return False # 详情页通用前缀 skuDetailPath = 'http://www.xxxx.com/products/' # 首页地址 url = 'http://www.xxxx.com/products/MAGENTO_0' # 假装头 header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'} html = requests.get(url, headers=header) # 使用自带的html.parser解析,速度慢但很通用 soup = BeautifulSoup(html.text, 'html.parser') # 实际上是第一个class = 'con'的div里的所有a 标签是我要搞他的东西 all_a = soup.find('div', class_='con').find_all('a') # 线程池中线程数 多线程不会写 放弃 # pool = Pool(5) beforeSku = 'NA' for a in all_a: # 拿Sku作为文件名 sku = a.get("href") sku = sku[10:len(sku)] print(sku) # 扒它图床地址 pic_url = a.find('img') print(pic_url) html = requests.get(pic_url.get("load_src"), headers=header) # 创建文件夹 # 定义要创建的目录 if (sku == beforeSku): mkpath = "D:\pyproject\\" + sku + "\\" else: mkpath = "D:\pyproject\\" + sku + "\\" # 调用函数 mkdir(mkpath) os.chdir(mkpath) # 从详情页面开始扒 html = requests.get(skuDetailPath + sku, headers=header) # 使用自带的html.parser解析,速度慢但很通用 soup = BeautifulSoup(html.text, 'html.parser') all_detail_img = soup.find('div', class_='detail_page_con_center_img').find_all('img') for index, detail_img in enumerate(all_detail_img): detail_path = detail_img.get("detail_src") detail_html = requests.get(detail_path, headers=header) # 开始下载 f = open(sku + '_'+str(index)+ '.jpg', 'wb') f.write(detail_html.content) f.close() beforeSku = sku # pool.close() # pool.join()
10秒下载完后的效果图:
发表评论
-
ImportError: No module named flask 但pip list 已经安装了 centeros
2020-07-30 18:37 494删除原有的用大写开头的Flask插件 pip unins ... -
CenterOS 安装Python3.7 环境
2020-07-30 17:15 598全部操作都在root用户下执行 1.安装编译相关工具 ... -
AttributeError: 'Request' object has no attribute 'is_xhr' flask 错误 ERROR in 报错
2020-04-10 15:08 802AttributeError: 'Request' objec ... -
pip install *太慢*无法下载*卡住*
2020-04-09 16:14 634直接用阿里云Pypi pip config set globa ... -
Jupyter Notebook 快捷键汇总
2019-09-12 17:57 413Jupyter Notebook 包含两种模式。一种是命令模式 ... -
线性相关及张成空间
2019-08-21 10:31 926为了使 A−1 存在,等式 Ax=b 对每个b 值有一个解。然 ... -
plt.subplot 图
2019-07-19 23:30 1100https://matplotlib.org/api/_as_ ... -
pandas.cut
2019-06-05 14:52 818pandas.cut用来把一组数据分割成离散的区间。比如有一组 ... -
pandas——read_csv
2019-05-29 01:05 1272read_csv 方法 返回数据类型: DataFrame:二 ... -
Pandas 的melt的使用
2019-05-29 00:41 1465pandas.melt(frame, id_vars=None ... -
python3调用js的库之execjs
2019-05-10 10:14 2262执行JS的类库:execjs,PyV8,selenium,no ... -
matplotlib 中文乱码
2019-05-08 00:54 531import matplotlib.pyplot as p ... -
python input 输出 “Name 'XXX' is not defined
2019-05-04 11:50 1742names = input("Enter your ... -
Mac 控制台 终端始终 出现"(base)" ?
2019-05-03 18:32 4390那是因为你安装了Anaconda Jupyter 不要担心 这 ... -
S1-jieba分词
2018-05-08 16:06 565pip install jieba 简单用 ... -
DJango表单错误CSRF verification failed. Request aborted
2016-12-01 18:01 1178Django错误: [CSRF verification f ... -
dJangoの初习3
2016-10-14 16:10 639DJango 简单的GET 方式 传值,并返回打印到页面上. ... -
dJangoの初习2
2016-10-14 15:27 586应用、请求地址、与视图. 先创建一个项目用于实验. djan ... -
dJangoの初习1
2016-10-14 02:23 620DJango是一个开源Web应用框架,由python写成的[M ... -
Windows下部署python环境及基本使用
2016-10-13 16:45 8121.安装Python,现在自己安装,注意选择的目录 ...
相关推荐
今天我们要介绍的是一款名为“globalfetch”的免费网站扒图软件,它以其高效、便捷的特性,在众多同类工具中脱颖而出。 globalfetch软件的主要功能在于帮助用户自动化地从网站中批量下载图片,极大地提高了工作效率...
在网上经常看到一些很好看的页面,这些页面其实都可以把代码扒取下来的,可以用浏览器的另存为,也有一些相应的软件。...适合新手爬取前端代码参考使用,一键式获取js,css等文件源码 另外使用指南在专栏中有文章
单页扒站小工具是一种非常实用的网页抓取软件,主要针对那些想要快速备份或学习网页设计的新手和追求效率的用户。它简化了复杂的网页下载过程,使得只需输入目标网址,就能轻松地将整个网页内容下载到本地,以文件夹...
**Capo for Mac:苹果电脑上的专业扒谱软件** ...总的来说,Capo for Mac 是一款强大的音乐学习辅助软件,无论你是吉他新手还是经验丰富的音乐人,都能从中受益匪浅,提升你的扒谱技能和音乐理解力。
在前端开发中,图片剪裁是一项常见的需求,用于让用户自定义选择图片的显示区域。`jCrop` 是一个基于 jQuery 的轻量级图片裁剪插件...无论你是新手还是经验丰富的开发者,`jCrop` 都是实现前端图片剪裁功能的理想选择。
在职场中,我们时常会遇到各种负能量的情况,这些情况可能会对我们的工作效率和心态产生负面影响。本资源“扒一扒职场十大负能量...因此,无论是初入职场的新手还是经验丰富的专业人士,这套资料都具有极高的参考价值。
仿站一秒,扒站神器,适合新手学习观摩!
3. **扒别人模板.txt**:这可能是一个文本文件,提供了如何获取和分析其他网站模板的步骤,教给新手如何从现有网站中提取设计元素和代码,用作学习参考。 4. **images**:这个文件夹很可能包含了用于网站的图像资源...
有了这款软件,新手编剧也可以很轻松地制作好剧本了,因为你不再需要了解剧本的格式是怎样的,不需要了解剧本的规范,也不用担心你写的剧本太过于杂乱,这些在Final Draft面前通通不是问题,可以帮助你自动转换为...
在IT行业中,快速建站是许多企业和个人开发者的需求。...通过学习和实践上述知识点,无论是新手还是经验丰富的开发者,都能更好地利用工具快速建站,并进行有效的源码修改,以实现个性化和高效化的网站开发。
5. **新手友好**:作为一款运营新人必备的工具,京东店铺装修助手应该具有简单易懂的操作界面和流程,即使是对设计和编程不太熟悉的商家也能轻松上手。 6. **更新与维护**:考虑到电商平台规则和技术的不断变化,好...
易语言的语法简洁明了,适合编程新手入门。通过研究这段源码,初学者不仅可以掌握易语言的基本语法,还能了解到游戏资源管理的相关知识。 在实际应用中,这样的资源提取器可能被用于制作游戏辅助工具,比如自定义...
10. **用户体验**:简洁的用户界面使得SiteSucker易于上手,无论是新手还是经验丰富的用户都能快速掌握其操作方法。 总的来说,SiteSucker作为一个macOS平台上的免安装网站下载工具,它的主要价值在于其高效、灵活...
VS2008环境的C#指定字符的判断鉴定程序,实际上就是一字符判断,是从一个新手教程里扒下来的,搞的挺神秘,但是超简单,如果你输入的字符等于预留的字符,会弹出一句话,以示鉴定完毕,如果输入的不对,则要求继续...
javaweb新闻发布系统 ,用户的基本增删改查功能.适用于新手入门基础javaweb新闻发布系统 ,用户的基本增删改查功能.适用于新手入门基础javaweb新闻发布系统 ,用户的基本增删改查功能.适用于新手入门基础
2. **基金家族的开扒** - 这部分可能详细介绍了各类基金类型,如股票基金、债券基金、混合基金、指数基金等,以及它们的风险与收益特性,帮助投资者了解不同基金的性质和适合的投资场景。 3. **指数基金哪家好** - ...
打方向时要注意避免“九不准”,比如双手扒在方向盘上、端着方向盘、小把碎轮等,这些都会导致操作不准确,甚至扣分。 2. **离合器踏板**:使用左脚掌踩踏,避免用脚尖、脚心、脚跟。换挡时要遵循“两快一停一慢”...
- 作为新手,初期不宜过于频繁地发图和广告,以免引起反感。可以分享生活点滴、产品使用体验,增加互动性。 4. **持续互动与关系建立**: - 与粉丝保持良好互动,定期回应评论和消息,建立人际关系,让朋友圈成为...
前端开发可以使用Firefox等工具扒取网页内容,或者使用DW+Ps、WebStorm、HBuilder等进行HTML5、CSS3、JavaScript的原创开发。后端开发则依赖于PHP的OOP开发环境,如Zend Studio或PhpStorm,配合Laravel等框架进行...