`
wang_peng1
  • 浏览: 3942936 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

urllib 下载解析

 
阅读更多
import argparse
import os
import sys
import tarfile

from six.moves import urllib
import tensorflow as tf

DATA_URL = 'https://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz'

parser = argparse.ArgumentParser()

parser.add_argument(
    '--data_dir', type=str, default='/tmp/cifar10_data',
    help='Directory to download data and extract the tarball')


def main(unused_argv):
  """Download and extract the tarball from Alex's website."""
  if not os.path.exists(FLAGS.data_dir):
    os.makedirs(FLAGS.data_dir)

  filename = DATA_URL.split('/')[-1]
  filepath = os.path.join(FLAGS.data_dir, filename)

  if not os.path.exists(filepath):
    def _progress(count, block_size, total_size):
      sys.stdout.write('\r>> Downloading %s %.1f%%' % (
          filename, 100.0 * count * block_size / total_size))
      sys.stdout.flush()

    filepath, _ = urllib.request.urlretrieve(DATA_URL, filepath, _progress)
    print()
    statinfo = os.stat(filepath)
    print('Successfully downloaded', filename, statinfo.st_size, 'bytes.')

  tarfile.open(filepath, 'r:gz').extractall(FLAGS.data_dir)


if __name__ == '__main__':
  FLAGS, unparsed = parser.parse_known_args()
  tf.app.run(argv=[sys.argv[0]] + unparsed)

 

分享到:
评论

相关推荐

    Python urllib urllib模块

    2. **urllib.parse**: 这个子模块处理URL解析和格式化。它包括了urlsplit()、urlunsplit()、urlencode()等函数,帮助开发者处理URL的各个部分,如协议、主机名、路径、查询参数等。urlsplit()可以将URL分解为五部分...

    urllib2 官方文档解析1

    本文主要解析`urllib2`的主要功能和使用方法,以及如何在Python 3中进行迁移。 1. `urllib2.urlopen()`函数是核心功能,用于打开URL。它接受一个URL(可以是字符串或`Request`对象)作为参数,可选地接收额外的数据...

    Python urllib urllib2 urllib模块安装说明

    因此,我们将围绕requests库的安装进行深入解析,并简要介绍urllib和urllib2的基本概念及其在Python中的应用。 ### Python urllib 和 urllib2 模块 #### 1. urllib模块简介 `urllib`是Python内置的一个用于处理URL...

    Python 网络爬虫开发 Python爬虫入门基础教程:Python的urllib2 模块解析 共6页.pptx

    * 文件下载:使用 urllib2 模块可以下载文件,从互联网上下载文件。 * 自动化测试:使用 urllib2 模块可以自动化测试网站的功能。 五、urllib2 模块的注意事项 使用 urllib2 模块时,需要注意以下几点: * 编码...

    nodejs urllib 库

    `urllib` 把所有可能的错误封装成一个 Error 对象,包括网络错误、超时、解析错误等。通过检查回调函数的第一个参数 `err`,可以捕获并处理这些错误。 7. **HTTPS 支持**: `urllib` 内置了对 HTTPS 的支持,无需...

    python入门基础教程:python的urllib2 模块解析.pptx

    python入门基础教程:python的urllib2 模块解析.pptx

    Python爬虫(二)urllib库

    3. **urllib.parse**:用于URL的解析、编码和解码。它可以帮助我们将URL分解成组件,便于理解和操作。 ```python from urllib.parse import urlparse, parse_qs url = '...

    phython urllib2 api

    `URLError`通常表示底层网络错误,如DNS解析失败或连接超时;而`HTTPError`则代表了服务器返回的HTTP错误码,如404 Not Found或500 Internal Server Error。了解这些错误类型并进行适当的捕获和处理,是编写健壮网络...

    pythonurllib模块下载图片共9页.pdf.z

    Python的`urllib`模块是Python标准库中的一个强大工具,用于处理URL相关的任务,包括网络数据的下载。在这个特定的场景中,我们看到标题提到的是"pythonurllib模块下载图片共9页.pdf.z",这暗示了一个使用`urllib`...

    urllib3-master.zip

    7. **分块上传与下载**:对于大文件,`urllib3` 可以进行分块上传和下载,提高传输效率。 8. **多线程和异步支持**:通过配合`concurrent.futures` 模块,`urllib3` 可以实现多线程或者异步请求,提升并发处理能力...

    深入解析Python中的urllib2模块

    这里总结了一些 urllib2 的使用细节。 Proxy 的设置 Timeout 设置 在 HTTP Request 中加入特定的 Header Redirect Cookie 使用 HTTP 的 PUT 和 DELETE 方法 得到 HTTP 的返回码 Debug Log Proxy 的设置 ...

    python爬虫实例——基于BeautifulSoup与urllib.request

    6. 下载图片:使用`urllib.request.urlretrieve()`或自定义方法,将图片下载到本地。可能需要创建一个目录来存储所有图片,确保文件名的唯一性。 7. 错误处理:在实际操作中,可能会遇到网络错误、编码问题或无效的...

    urllib_kerberos-0.2.0

    在Python的网络编程领域,urllib库是不可或缺的一部分,它提供了多种URL操作的工具,包括请求、打开和解析URL。而urllib_kerberos-0.2.0是一个专门针对Kerberos身份验证的扩展模块,它为urllib添加了对Kerberos协议...

    使用urllib爬取猫眼电影排行榜信息

    2. `urllib.parse`:用于URL的解析和构建,如解析URL的各个部分(协议、域名、路径、查询参数等)。 3. `urllib.error`:处理与网络请求相关的异常。 在爬取猫眼电影排行榜时,我们首先需要构造一个URL,这个URL...

    Python urllib.request对象案例解析

    - `urllib.parse`模块负责解析和构建URL,可以拆分URL的各个部分(如协议、主机、路径等),便于操作和重组。 - `urllib.robotparser`用于解析网站的`robots.txt`文件,帮助确定哪些页面可以抓取,哪些不能。 4. ...

    使用urllib库的urlretrieve()方法下载网络文件到本地的方法

    在Python编程中,`urllib`库是一个非常重要的模块,用于处理URL相关的各种任务,包括打开URL、读取数据以及下载文件等。本教程将详细解释如何使用`urllib.request`模块中的`urlretrieve()`方法来下载网络上的文件并...

    基于urllib爬取苏州公交线路信息

    【写在前面】 本文将基于python的urllib模块,爬取北京公交线路的信息,最后将数据保存在csv文件和mysql数据库中。...学会使用urllib基本库和BeautifulSoup解析库进行苏州公交线路相关信息的爬取。

    Python爬虫基础教程-Urllib详解.pdf

    3. **urllib.parse**:用于解析和构建URL,可以将URL分解为各个部分,如协议、主机、路径等,或者将这些部分组合成新的URL。 4. **urllib.robotparser**:解析robots.txt文件,帮助开发者遵循网站的爬虫规则。 在...

    Python网络请求利器:深入探索`urllib`模块

    urllib是Python标准库的一部分,它包括了多个子模块,如urllib.request、urllib.parse、urllib.error等,这些子模块共同支持URL解析、打开和读取URLs、处理HTTP请求和响应等功能 urllib模块是Python中处理网络请求的...

    python爬虫之初入urllib(csdn)————程序.pdf

    首先,`urllib`库是Python的标准库之一,主要用于处理URL相关的任务,如发起HTTP请求、解析URL等。它由四个主要模块组成: 1. **request**:这是最常用的模块,用于发送HTTP请求。通过`urlopen`函数,我们可以向...

Global site tag (gtag.js) - Google Analytics