资讯频道 → 编程语言
阅读更多

2顶
0踩

编程语言

原创新闻 爬虫入门系列（一）：快速理解HTTP协议

2017-04-19 15:45 by 副主编 mengyidan1988 评论(0) 有4359人浏览
python

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

本文来自微信公众号Python之禅（VTalk），作者刘志军，已获作者授权，请勿二次转载！

4月份给自己挖一个爬虫系列的坑，从理论到实践，让大家不仅知其然而且知其所以然。希望能做到深入浅出。以爬虫为主线，涉及HTTP 协议、正则表达式、爬虫框架 Scrapy、消息队列、数据库等内容。

爬虫是一个模拟浏览器进行 HTTP 请求的过程。
HTTP协议是什么？

你浏览的每一个网页都是基于 HTTP 协议呈现的，HTTP 协议是互联网应用中，客户端（浏览器）与服务器之间进行数据通信的一种协议。协议中规定了客户端应该按照什么格式给服务器发送请求，同时也约定了服务端返回的响应结果应该是什么格式。

只要大家都按照协议规定方式发起请求和返回响应结果，任何人都可以基于HTTP协议实现自己的Web客户端（浏览器、爬虫）和Web服务器（Nginx、Apache等）。

HTTP协议本身是非常简单的。它规定，只能由客户端主动发起请求，服务器接收请求处理后返回响应结果，同时 HTTP 是一种无状态的协议，协议本身不记录客户端的历史请求记录。



HTTP协议是如何规定请求格式和响应格式的呢？换言之，客户端按照什么格式才能正确发起 HTTP 请求呢？服务端按照什么格式返回响应结果客户端才能正确解析？

HTTP 请求

HTTP请求由3部分组成，分别是请求行、请求首部、请求体，首部和请求体是可选的，并不是每个请求都需要的。




请求行

请求行是每个请求必不可少的部分，它由3部分组成，分别是请求方法（method)、请求URL（URI）、HTTP协议版本，以空格隔开。

HTTP协议中最常用的请求方法有：GET、POST、PUT、DELETE。GET 方法用于从服务器获取资源，90%的爬虫都是基于GET请求抓取数据。

请求 URL 是指资源所在服务器的路径地址，比如上图的例子表示客户端想获取 index.html 这个资源，它的路径在服务器 foofish.net 的根目录（/）下面。

请求首部

因为请求行所携带的信息量非常有限，以至于客户端还有很多想向服务器要说的事情不得不放在请求首部（Header），请求首部用于给服务器提供一些额外的信息，比如 User-Agent 用来表明客户端的身份，让服务器知道你是来自浏览器的请求还是爬虫，是来自 Chrome 浏览器还是 FireFox。HTTP/1.1 规定了47种首部字段类型。HTTP首部字段的格式很像 Python 中的字典类型，由键值对组成，中间用冒号隔开。比如： 
User-Agent: Mozilla/5.0

因为客户端发送请求时，发送的数据（报文）是由字符串构成的，为了区分请求首部的结尾和请求体的开始，用一个空行来表示，遇到空行时，就表示这是首部的结尾，请求体的开始。

请求体

请求体是客户端提交给服务器的真正内容，比如用户登录时的需要用的用户名和密码，比如文件上传的数据，比如注册用户信息时提交的表单信息。

现在我们用 Python 提供的最原始API socket 模块来模拟向服务器发起一个HTTP请求。 
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s:
    # 1. 与服务器建立连接
    s.connect(("www.seriot.ch", 80))
    # 2. 构建请求行，请求资源是 index.php
    request_line = b"GET /index.php HTTP/1.1"
    # 3. 构建请求首部，指定主机名
    headers = b"Host: seriot.ch"
    # 4. 用空行标记请求首部的结束位置
    blank_line = b"\r\n"

    # 请求行、首部、空行这3部分内容用换行符分隔，组成一个请求报文字符串
    # 发送给服务器
    message = b"\r\n".join([request_line, headers, blank_line])
    s.send(message)

    # 服务器返回的响应内容稍后进行分析
    response = s.recv(1024)
    print(response)

HTTP 响应

服务端接收请求并处理后，返回响应内容给客户端，同样地，响应内容也必须遵循固定的格式浏览器才能正确解析。HTTP 响应也由3部分组成，分别是：响应行、响应首部、响应体，与HTTP的请求格式是相对应的。




响应行

响应行同样也是3部分组成，由服务端支持的 HTTP 协议版本号、状态码、以及对状态码的简短原因描述组成。

状态码是响应行中很重要的一个字段。通过状态码，客户端可以知道服务器是否正常处理的请求。如果状态码是200，说明客户端的请求处理成功，如果是500，说明服务器处理请求的时候出现了异常。404 表示请求的资源在服务器找不到。除此之外，HTTP 协议还很定义了很多其他的状态码，不过它不是本文的讨论范围。

响应首部

响应首部和请求首部类似，用于对响应内容的补充，在首部里面可以告知客户端响应体的数据类型是什么？响应内容返回的时间是什么时候，响应体是否压缩了，响应体最后一次修改的时间。

响应体

响应体（body）是服务器返回的真正内容，它可以是一个HTML页面，或者是一张图片、一段视频等等。

我们继续沿用前面那个例子来看看服务器返回的响应结果是什么？因为我只接收了前1024个字节，所以有一部分响应内容是看不到的。 
b'HTTP/1.1 200 OK\r\n
Date: Tue, 04 Apr 2017 16:22:35 GMT\r\n
Server: Apache\r\n
Expires: Thu, 19 Nov 1981 08:52:00 GMT\r\n
Set-Cookie: PHPSESSID=66bea0a1f7cb572584745f9ce6984b7e; path=/\r\n
Transfer-Encoding: chunked\r\n
Content-Type: text/html; charset=UTF-8\r\n\r\n118d\r\n

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">\n\n
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">\n
<head>\n\t
    <meta http-equiv="Content-Type" content="text/html;charset=iso-8859-1" />    \n\t
    <meta http-equiv="content-language" content="en" />\n\t
...
</html>

从结果来看，它与协议中规范的格式是一样的，第一行是响应行，状态码是200，表明请求成功。第二部分是响应首部信息，由多个首部组成，有服务器返回响应的时间，Cookie信息等等。第三部分就是真正的响应体 HTML 文本。

至此，你应该对 HTTP 协议有一个总体的认识了，爬虫的行为本质上就是模拟浏览器发送HTTP请求，所以要想在爬虫领域深耕细作，理解 HTTP 协议是必须的。

当然 HTTP 协议远不止这么一点内容，也根本不可能用一篇文章就试图把它全部讲清楚，我在这里也只是抛砖引玉，想深入了解HTTP的，可参考公众号「Python之禅」推荐的延伸阅读。

延伸阅读
  • 《图解HTTP》
  • 《HTTP权威指南》
  • HTTP Request：https://www.w3.org/Protocols/rfc2616/rfc2616-sec5.html#sec5

除了文章讲解，在5月4日，我们特邀请刘志军老师开设Python爬虫入门与实战直播，带你玩转Python爬虫，点击报名：http://www.bagevent.com/event/517724


  • 大小: 31.1 KB
  • 大小: 34.3 KB
  • 大小: 41.2 KB
  • 大小: 95.4 KB
2
顶
0
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • python爬虫入门教程--快速理解HTTP协议（一）

    http协议是互联网里面最重要，最基础的协议之一，我们的爬虫需要...下面这篇文章主要给大家介绍了关于python爬虫入门之快速理解HTTP协议的相关资料，文中介绍的非常详细，需要的朋友可以参考借鉴，下面来一起看看吧。

  • 爬虫入门系列（一）：快速理解 HTTP 协议

    4月份给自己挖一个爬虫系列的坑，主要涉及HTTP 协议、正则表达式、爬虫框架 Scrapy、消息队列、数据库等内容。 爬虫的基本原理是模拟浏览器进行 HTTP 请求，理解 HTTP 协议是写爬虫的必备基础，招聘网站的爬虫岗位...

  • 爬虫入门：快速理解HTTP协议

    4月份给自己挖一个爬虫系列的坑，从理论到实践，让大家不仅知其然而且知其所以然。希望能做到深入浅出。以爬虫为主线，涉及HTTP 协议、正则表达式、爬虫框架 Scrapy、消息队列、数据库等内容。 爬虫是一个模拟...

  • 爬虫入门——快速理解HTTP协议

    本文摘录自爬虫入门系列（一）：快速理解HTTP协议 侵删 HTTP 协议是互联网应用中，客户端（浏览器）与服务器之间进行数据通信的一种协议。 协议中规定了客户端应该按照什么格式给服务器发送请求，同时也约定了...

  • 爬虫入门（一）：基础知识与原理

    一直以来，对爬虫技术都十分向往，虽然是学Java出身，但是很少有编码的机会，因为热爱，想认真学习一下这方面的技术，故用此系列文章来记录自己的学习过程。一方面是提升自己的学习效果，另一方面希望能对同样想学习...

  • 爬虫入门系列（二）：优雅的HTTP库requests

    读这篇文章前，强烈建议先阅读一下 爬虫入门系列（一）：快速理解HTTP协议 。Python 提供了很多模块来支持HTTP协议的网络编程，urllib、urllib2、urllib3、httplib、httplib2，都是和 HTTP 相关的模块，看名字觉得很...

  • 为什么http协议需要服务器,全面理解HTTP协议

    引言：作为一名软件工程Web专业学生，对于HTTP的熟悉掌握是必不可少的，特此做记录，打造自己的HTTP栈。URL与URI我们经常接触到的就是URL了，它就是我们访问web的一个字符串地址，那么URI是什么呢？他们是什么关系呢...

  • Request库丨Python爬虫基础入门系列(1)

    requests库是一个非常强大的库，正在学Python爬虫的铁汁们戳进来看看，有福利~

  • 【深入理解HTTP协议】破冰篇

    前言：本文将会引入HTTP的发展史、相关概念、相关协议、网络分层模型、域名、并搭建HTTP实验环境，参考课程为极客时间罗建锋老师的《透视HTTP协议》，讲得很棒！强推！！！ 文章目录@[toc]1.HTTP协议的发展史2.HTTP...

  • 爬虫入门系列（三）：用 requests 构建知乎 API

    爬虫入门系列（一）：快速理解HTTP协议 爬虫入门系列（二）：优雅的HTTP库requests 爬虫入门系列（三）：用 requests 构建知乎 API 在爬虫系列文章优雅的HTTP库requests中介绍了 requests 的使用方式，这一次...

  • 爬虫入门系列（六）：正则表达式完全指南（下）

    爬虫入门系列（一）：快速理解HTTP协议 爬虫入门系列（二）：优雅的HTTP库requests 爬虫入门系列（三）：用 requests 构建知乎 API 爬虫入门系列（四）：HTML文本解析库BeautifulSoup 爬虫入门系列（五）：正则...

  • go 生成基于 graphql 服务器库.zip

    格奇尔根 首页 > 文件 > gqlgen是什么？gqlgen是一个 Go 库，用于轻松构建 GraphQL 服务器。gqlgen 基于 Schema 优先方法— 您可以使用 GraphQL Schema 定义语言来定义您的 API 。gqlgen 优先考虑类型安全— 您永远不应该看到map[string]interface{}这里。gqlgen 启用 Codegen — 我们生成无聊的部分，以便您可以专注于快速构建您的应用程序。还不太确定如何使用gqlgen？将gqlgen与其他 Go graphql实现进行比较快速启动初始化一个新的 go 模块mkdir examplecd examplego mod init example添加github.com/99designs/gqlgen到项目的 tools.goprintf '//go:build tools\npackage tools\nimport (_ "github.com/99designs/gqlgen"\n _ "github.com/99designs/gqlgen

  • 基于JAVA+SpringBoot+Vue+MySQL的社区物资交易互助平台 源码+数据库+论文(高分毕业设计).zip

    项目已获导师指导并通过的高分毕业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！可以放心下载 技术组成 语言：java 开发环境：idea 数据库：MySql8.0 部署环境：maven 数据库工具：navicat

  • 法研杯2021类案检索赛道三等奖方案源码+项目说明+数据.zip

    法研杯2021类案检索赛道三等奖方案源码+项目说明+数据.zip是一个专为计算机相关专业（如计科、信息安全、数据科学与大数据技术等）学生设计的宝贵学习资源。该压缩包包含了完整的项目源码、详细的项目说明文档以及用于训练和测试的数据集，旨在帮助参赛者深入理解并掌握类案检索的相关技术和方法。该项目通过实际案例，展示了如何运用自然语言处理和机器学习技术对法律案件进行智能检索和匹配。项目内容涵盖了从数据预处理、特征提取到模型训练和评估的全过程，为学习和研究类案检索技术提供了全面的参考。本项目不仅适合作为课程设计、期末大作业或毕设项目的参考，也是企业员工提升技能、进行实践操作的优质学习资料。通过实际操作和学习该项目，用户可以加深对类案检索技术的理解，并在实践中不断提升自己的技能水平。请注意，由于该资源包含完整的项目源码和数据集，下载和使用时请确保遵守相关法律法规和道德规范，尊重知识产权和隐私权。同时，建议用户在使用前仔细阅读项目说明文档，了解项目的整体架构和使用方法，以便更好地利用该资源进行学习和研究。

  • 基于Cesium实现的对倾斜摄影模型的单体化分层方案源码.zip

    本资源提供了基于Cesium实现的倾斜摄影模型单体化分层方案的完整源码，旨在帮助开发者深入理解并实践三维地理空间数据的处理与展示。通过Cesium平台，用户能够将倾斜摄影获取的高精度三维模型进行单体化和分层处理，实现对模型中每个独立元素的精细管理和交互操作。该资源适合具备一定计算机编程基础的学习者，特别是对Cesium感兴趣的学生、研究人员及GIS行业从业者。通过下载并学习这些源码，用户可以掌握倾斜摄影模型在Cesium中的加载、单体化以及分层显示等关键技术，进而提升自己在三维地理信息系统开发领域的技能水平。

  • Go 的 PostgreSQL 驱动程序和工具包.zip

    Go 的 PostgreSQL 驱动程序和工具包 pgx - PostgreSQL 驱动程序和工具包pgx 是 PostgreSQL 的纯 Go 驱动程序和工具包。pgx 驱动程序是一个低级、高性能接口，它公开了 PostgreSQL 特定的功能，例如LISTEN/ NOTIFY和COPY。它还包括一个标准database/sql接口的适配器。工具包组件是一组相关的软件包，用于实现 PostgreSQL 功能，例如解析线路协议以及 PostgreSQL 与 Go 之间的类型映射。这些底层软件包可用于实现替代驱动程序、代理、负载均衡器、逻辑复制客户端等。示例用法package mainimport ( "context" "fmt" "os" "github.com/jackc/pgx/v5")func main() { // urlExample := "postgres://username:password@localhost:5432/database_name" conn, err := pgx.Connect(context.B

  • C#ASP.NET中小型超市管理系统源码数据库 SQL2012源码类型 WinForm

    ASP.NET中小型超市管理系统源码 超市管理系统是专门为中小型超市打造的管理系统，可以方便管理时更加准确清晰的查看商品信息， 仓库出售与进货的信息，还有每一个部门员工的信息，也更加直观的体现出每一阶段的商品销售情况； 从而提高项目管理水平，实现了工作的协同化、提高了工作效率 二、功能介绍 1.1 UI Requirements界面要求 (1)界面美观，给用户一种很舒心的感觉。 (2)界面所体现出的功能清晰明了，让用户一目了然。 (3)界面的背景颜色搭配符合超市管理系统界面的设计理念。 1.2 UI Requirements界面要求 (1) 使用ADO.NET与数据库交互制作 (2) 使用Visual Studio设计窗体布局 (3) 使用提供的用控件快速开发 1.3 Development Environment 开发环境 (1) 开发工具：Visua

  • 毕设&课程作业_基于C#的易知仓库管理系统.zip

    计算机系毕业设计

  • Go 编程教程的主列表、其撰写、其源代码以及其当前构建状态！.zip

    教程边缘TutorialEdge.net Go 教程 ‍‍欢迎来到 TutorialEdge Go 存储库！此 repo 的目标是能够跟踪所有 Go 教程及其各自的 github repo 位置和构建状态。这些将在 Go 最新版本发布时更新和运行。目录初学者教程中级教程高级教程DevOps项目数据格式并发教程挑战初学者教程这些教程主要针对那些希望提高对 Go 语言工作原理的基本理解的语言新手！教程标题 教程边缘 Github 构建状态 更新日期01 - Go 入门 阅读教程 TutorialEdge/getting-started-with-go 不适用02 - Go 基本类型教程 阅读教程 TutorialEdge/go-basic-types-tutorial 不适用03 - Go 复合类型教程 阅读教程 TutorialEdge/go-complex-types-tutorial 不适用04 - Go 函数教程 阅读教程 TutorialEdge/go-functions-tutorial 2019 年 3 月 27 日

Global site tag (gtag.js) - Google Analytics