1.一篇文章带你掌握requests模块
2.详解 Requests 库的用法
3.selenium进行xhs爬虫：01获取网页源代码
4.Python接口自动化-requests模块之post请求

一篇文章带你掌握requests模块

       requests模块介绍

       requests模块是一个第三方模块，需要在python环境中额外安装。它主要提供了一种简单高效的方式来发送HTTP请求，包括GET、POST等。

       requests模块发送get请求

       需求：通过requests向百度首页发送请求，查看源码 R语言获取该页面的源码。

       运行下面的代码，观察打印输出的结果。

       知识点：掌握 requests模块发送get请求。

       response响应对象

       观察上边代码运行结果发现，有好多乱码；这是因为编解码使用的字符集不同早造成的；我们尝试使用下边的办法来解决中文乱码问题。

       response.text 和response.content的区别：

       类型：str

       解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

       类型：bytes

       解码类型： 没有指定

       知识点：掌握 response.text和response.content的区别。

       通过对response.content进行decode，来解决中文乱码。

       知识点：掌握 利用decode函数对requests.content解决中文乱码。

       response响应对象的其它常用属性或方法

       response = requests.get(url)中response是发送请求获取的响应对象；response响应对象中除了text、content获取响应内容以外还有其它常用的属性或方法。

       知识点：掌握 response响应对象的其它常用属性。

       requests模块发送请求

       发送带header的请求

       对比浏览器上百度首页的网页源码和代码中的百度首页的源码，有什么不同？

       对比对应url的响应内容和代码中的百度首页的源码，有什么不同？

       代码中的百度首页的源码非常少，为什么？

       1.需要我们带上请求头信息

       2. 回顾爬虫的华为太空表盘源码概念，模拟浏览器，欺骗服务器，获取和浏览器一致的内容

       3. 请求头中有很多字段，其中User-Agent字段必不可少，表示客户端的操作系统以及浏览器的信息。

       携带请求头发送请求的方法

       requests.get(url, headers=headers)

       完成代码实现

       从浏览器中复制User-Agent，构造headers字典；完成下面的代码后，运行代码查看结果。

       知识点：掌握 headers参数的使用。

       发送带参数的请求

       我们在使用百度搜索的时候经常发现url地址中会有一个 ?，那么该问号后边的就是请求参数，又叫做查询字符串。

       在url携带参数

       直接对含有参数的url发起请求

       通过params携带参数字典

       构建请求参数字典

       向接口发送请求的时候带上参数字典，参数字典设置给params

       知识点：掌握发送带参数的请求的方法。

       在headers参数中携带cookie

       网站经常利用请求头中的Cookie字段来做用户访问状态的保持，那么我们可以在headers参数中添加Cookie，模拟普通用户的请求。我们以github登陆为例：

       github登陆抓包分析

       完成代码

       运行代码验证结果

       知识点：掌握 headers中携带cookie。

       cookies参数的使用

       上一小节我们在headers参数中携带cookie，也可以使用专门的cookies参数。

       知识点：掌握 cookies参数的使用。

       cookieJar对象转换为cookies字典的方法

       使用requests获取的resposne对象，具有cookies属性。写真付费视频源码该属性值是一个cookieJar类型，包含了对方服务器设置在本地的cookie。我们如何将其转换为cookies字典呢？

       转换方法

       cookies_dict = requests.utils.dict_from_cookiejar(response.cookies)

       知识点：掌握 cookieJar的转换方法。

       超时参数timeout的使用

       知识点：掌握 超时参数timeout的使用。

       了解代理以及proxy代理参数的使用

       **是一个ip，指向的是一个代理服务器。代理服务器能够帮我们向目标服务器转发请求。

       正向代理和反向代理的区别

       **（代理服务器）的分类

       知识点：掌握 **参数proxies的使用。

       使用verify参数忽略CA证书

       知识点：掌握 使用verify参数忽略CA证书。

       requests模块发送post请求

       思考：哪些地方我们会用到POST请求？

       我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求。

       知识点：掌握 requests模块发送post请求。

       利用requests.session进行状态保持

       requests模块中的Session类能够自动处理发送请求获取响应过程中产生的cookie，进而达到状态保持的目的。

       知识点：掌握 requests模块发送post请求。

       总结

       以上内容详细介绍了requests模块的使用，从发送get请求、处理乱码、headers参数、参数携带、cookie使用、代理、忽略CA证书到发送post请求、session状态保持等，高频量化python源码通过实际的代码示例帮助理解每个步骤。掌握了requests模块，你将能够高效地进行网络数据的抓取和处理。

详解 Requests 库的用法

       如果你已熟练掌握了多线程与多进程的技巧，那么恭喜你，你的爬虫编程技能已上了一个新的台阶。不过，我们仍需继续前进，因为道路还很漫长。接下来，本文将重点介绍一个Python库——Requests，它是urllib库的优秀替代品。

       Requests库的官方说明充满霸气：“Requests是Python中唯一无转基因的HTTP库，安全供人类使用。”正因为其使用方面更人性化、更简洁、更舒适，以及被Google、Microsoft、Amazon、Twitter等国际知名公司采用，我们有必要深入学习Requests库。学习之前，app源码打包错误让我们了解它具备哪些特性。

       具体如下：

       1. 安装Requests：安装它有两种方法。推荐使用简单又方便管理的git克隆源码库或直接从GitHub下载源码压缩包，接着进入requests目录执行相关命令。

       2. 发起请求：通过Requests库向百度贴吧发起HTTP请求并获取页面源代码。使用POST请求网页时，只需将get替换为post即可。

       3. 传递URL参数：在请求时，常需携带参数。Requests提供了params关键字参数来满足需求，params为字符串字典，构建并赋值即可。无需考虑编码问题，Requests会自动处理。用法如下：

       字典为空不会被拼接到URL中。参数拼接顺序随机，不按写在前面优先拼接。

       为什么会有"+"号？Requests为替代空格自动转化。

       4. 构造请求头：为了使Requests发起的HTTP请求伪装成浏览器，使用headers关键字参数。headers参数同样为字典类型，具体用法见代码。

       5. 使用data参数提交数据：data参数常与POST请求方式结合使用，传递字典给data参数以提交表单数据或JSON数据。

       6. 使用代理：有些网站限制浏览频率，使用代理可突破限制。需使用proxies参数，proxies为字典类型。除支持HTTP代理外，Requests在2.版本新增支持SOCKS协议代理。

       7. 设置请求超时：在使用代理发起请求时，可能因代理失效导致请求失败，因此需设置请求超时，发现请求超时后更换代理重连。

       8. 使用Cookie：请求结果中获取Cookie值，可直接访问。发送cookies到服务器，使用cookies参数，参数为字典类型。

       9. 响应结果：使用Requests请求无需担心编码问题，感觉太人性化。请求发出后，Requests基于HTTP头部推测响应编码，访问response.text时使用推测的文本编码。改变response编码格式，可这样做：

       . 二进制响应内容：非文本请求以字节形式访问响应体。Requests自动解码gzip和deflate传输编码的响应数据。

       . JSON响应内容：Requests内置JSON解码器，处理JSON数据。JSON解码失败，response.json()会抛出异常。

       . 响应状态码：根据响应码判断请求结果，获取状态码方法如下。Requests内部提供状态表，若需判断状态码，查看requests.codes源码。

       高级用法包括：

       . 重定向与请求历史：某些页面进行重定向处理，Requests自动处理所有重定向，包括和状态码。使用response.history追踪重定向。禁用重定向处理，可使用allow_redirects参数。

       . 会话：Requests支持session跟踪用户连接。例如跨请求保持cookie，可这样操作。

       . 身份认证：有些web站点需要身份认证才能访问。Requests支持HTTP Basic Auth、netrc认证、摘要式身份认证、OAuth 1认证等。

       本文为原创发布于微信公众号「极客猴」，欢迎关注获取更多原创分享。

selenium进行xhs爬虫：获取网页源代码

       学习XHS网页爬虫，本篇将分步骤指导如何获取网页源代码。本文旨在逐步完善XHS特定博主所有图文的抓取并保存至本地。具体代码如下所示：

       利用Python中的requests库执行HTTP请求以获取网页内容，并设置特定headers以模拟浏览器行为。接下来，我将详细解析该代码：

       这段代码的功能是通过发送HTTP请求获取网页的原始源代码，而非经过浏览器渲染后的内容。借助requests库发送请求，直接接收服务器返回的未渲染HTML源代码。

       在深入理解代码的同时，我们需关注以下关键点：

Python接口自动化-requests模块之post请求

       在探讨Python接口自动化时，requests模块在处理HTTP请求方面扮演了重要角色。在上篇文章中，我们详细介绍了requests模块及其get请求的使用。本文将聚焦于requests模块中的post请求。

       一、源码解析

       在处理post请求时，我们首先需要理解其参数解析机制。post请求允许我们向服务器发送数据，常见于表单提交、发送JSON数据等场景。

       二、data与json的区别

       小伙伴们在面对如何选择使用data还是json参数时，可能会感到困惑。其实，选择的关键在于请求头中的content-type类型。

       举例说明，若使用data参数，通常意味着请求数据以表单形式（application/x-www-form-urlencoded）发送。反之，若content-type为application/json，则应使用json参数，以确保数据以JSON格式传输。

       三、form形式发送post请求

       假设当前接口接受类型为application/x-www-form-urlencoded的数据，我们通过正确的参数格式发送post请求，如上文所示。

       四、json形式发送post请求

       同样，当接口要求应用类型为application/json时，我们需确保数据以JSON格式传递。若选择使用data参数而未转换为JSON字符串，可能会导致请求失败。

       总结，本文阐述了post请求的源码解析、data与json参数的应用场景及实战操作。为了提升实践能力，读者可以利用公司项目或在线资源进行实际操作。

       未来，我们将深入探讨接口自动化中cookie、session的原理与应用。对于感兴趣的读者，欢迎关注微信公众号：ITester软件测试小栈，获取更多测试相关资讯。