`
fighter1945
  • 浏览: 229110 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

urllib.urlretrieve

 
阅读更多


urllib.urlretrieve(url[filename[reporthook[data]]])
内部会使用URLopener或者 FancyURLOpener类
url 外部或者本地url
filename 本地文件地址
reporthook 回调函数
data post数据

利用urlretrieve下载sina首页,并调用回调函数显示下载进度
回调函数的abc三个数字参数,本地url时,此函数被忽略


import urllib
def cbk(a, b, c):
    '''回调函数
    @a: 已经下载的数据块
    @b: 数据块的大小
    @c: 远程文件的大小
    '''
    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print '%.2f%%' % per

url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, cbk)
 
分享到:
评论

相关推荐

    python爬虫实例——基于BeautifulSoup与urllib.request

    6. 下载图片:使用`urllib.request.urlretrieve()`或自定义方法,将图片下载到本地。可能需要创建一个目录来存储所有图片,确保文件名的唯一性。 7. 错误处理:在实际操作中,可能会遇到网络错误、编码问题或无效的...

    使用urllib库的urlretrieve()方法下载网络文件到本地的方法

    本教程将详细解释如何使用`urllib.request`模块中的`urlretrieve()`方法来下载网络上的文件并保存到本地。 `urlretrieve()`方法是`urllib.request`模块中的一个函数,它主要用于从指定的URL下载文件,并将其保存到...

    python-23:将图片下载到本地.docx

    2. **`urllib.urlretrieve()`函数**:这是一个非常实用的函数,可以用来下载网络资源并将其保存到本地磁盘。它有两个主要参数: - `url`:需要下载的图片的URL地址。 - `filename`:下载后保存的文件名及路径。...

    python网络编程学习笔记(6):Web客户端访问.docx

    - **`urllib.urlretrieve()`**:下载远程文件,并使用`DownCall`作为进度回调。 通过以上内容的学习,读者可以了解到Python网络编程中一些基本的操作,包括网页抓取、表单提交以及文件下载等功能。这些知识对于开发...

    python的urllib模块显示下载进度示例

    复制代码 代码如下: def report_hook(count, block_size, total_size):… print ‘d%%’%(100.0 * count * block_size/ total_size)… urllib.urlretrieve(“http://sports.sina.com.cn/”, reporthook= report_...

    Python urllib.request对象案例解析

    - **案例3**使用了`urlretrieve()`函数,这是一个方便的内置方法,可以直接从URL下载文件到本地。 3. **其他模块**: - `urllib.error`处理HTTP请求过程中可能出现的异常,如HTTPError。 - `urllib.parse`模块...

    【Python爬虫】批量抓取网页上的视频.docx.pdf

    - 通过`urllib.urlretrieve()`函数,我们可以将每个视频链接对应的视频文件下载到本地。我们可以给每个视频一个唯一的编号作为文件名,如`1.mp4`, `2.mp4`等。例如:`urllib.urlretrieve(mp4url, "%s.mp4" % ...

    爬虫库(urllib,request).docx

    urllib.request.urlretrieve(img, '图片名称.jpg') ``` 总结来说,本教程适合爬虫初学者,它介绍了Python中`urllib`库的基本用法,包括GET和POST请求,设置请求头,以及如何抓取和下载网页上的图片。学习这些基本...

    python实现简单的爬虫功能.pdf

    `urllib.urlretrieve(imgurl, '%s.jpg' % x)`是关键的一行,它负责从网络上下载图片并将其保存到本地。`urlretrieve`函数接受两个参数,第一个是图片的URL,第二个是本地保存的文件名。在这里,我们使用变量`x`作为...

    python网络编程学习笔记(6):Web客户端访问.pdf

    `urllib.urlretrieve(url[, filename[, reporthook[, data]]])`函数用于将远程数据直接下载到本地。参数解释: - `url`: 远程数据URL。 - `filename`: 下载后的文件名。 - `reporthook`: 可选回调函数,用于报告下载...

    python爬虫之urllib,伪装,超时设置,异常处理的方法

    Urllib 1. Urllib.request.urlopen().read().decode() 返回一个二进制的对象,对这个对象进行read()操作,可以得到一个包含网页的二进制字符串,然后用decode()解码成html源码 2. urlretrieve() 将一个网页爬取到...

    Python2.X/Python3.X中urllib库区别讲解

    - Python3:改名为urllib.request.urlretrieve。 8. **urllib2.URLError**: - Python2:表示URL操作时的错误。 - Python3:变更为urllib.error.URLError。 9. **cookielib.CookieJar**: - Python2:处理...

    Python urllib urllib模块

    urllib模块包含了多个子模块,如urlopen、urlretrieve、urlparse等,它们各自承担着不同的网络请求任务。在Python 3.x中,urllib被进一步拆分为urllib.request、urllib.parse和urllib.error三个子模块,以更清晰地...

    Python使用urlretrieve实现直接远程下载图片的示例代码

    下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。 >>> help(urllib.urlretrieve) Help on function urlretrieve in module urllib: urlretrieve(url, ...

Global site tag (gtag.js) - Google Analytics