- 当前位置：首页 >IT科技 >爬虫必备Requests的扩展包总结
爬虫必备Requests的扩展包总结
发布时间：2025-11-04 19:21:05 来源：创站工坊 作者：人工智能
Requests-Cache的爬虫安装与测试
Requests-Cache模块是requests模块的一个扩展功能，用于为requests模块提供持久化缓存支持。必备如果requests模块向一个URL发送重复请求时，展包总结Requests-Cache模块将会自动判断当前的爬虫网络请求是否产生了缓存。如果已经产生了缓存，必备就会从缓存中读取数据作为响应内容。展包总结如果没有缓存就会向服务器发送网络请求，爬虫获取服务器所返回的必备响应内容。使用Requests-Cache模块可以减少网络资源避免重复请求的展包总结次数，这样可以变相地躲避一些反爬机制。爬虫
说明无论是必备否使用了Anaconda，都需要单独安装Requests-Cache模块，展包总结因为Anaconda中并不包含该模块。爬虫
Python 3.9.9 (v3.9.9:ccb0e6a345,必备 Nov 15 2021, 13:29:20)
[Clang 6.0 (clang-600.0.57)] on darwin
>>>import requests_cache
>>>version = requests_cache.__version__
>>>print(version)
0.9.1缓存的应用
调用install_cache()函数实现Requests-Cache的请求，语法格式如下：
install_cache(cache_name=cache,展包总结 backend=None, expire_after=None, allowable_codes=(200, ), allowable_methods=(GET, ), session_factory=
Install_cache()函数中包含了多个参数，每个参数的含义如下：
§ cache_name: 表示缓存文件的名称，默认为cache§ backend: 表示设置缓存的存储机制，默认为None，表示默认使用sqlite进行存储§ expire_after: 表示设置缓存的有效时间，默认为None,表示永久有效§ allowable_codes：表示设置状态码，云服务器默认为200§ allowable_methods：表示设置请求方式，默认为GET，表示只有GET请求才可以生产缓存§ session_factory: 表示设置缓存执行的对象，需要实现CachedSession类§ **backend_options: 如果缓存的存储方式为sqlite、mongo、redis数据库，该参数表示设置数据库的连接方式在使用install_cache()函数实现请求缓存时，一般情况下时不需要单独设置任何参数的，只需要使用默认参数即可。判断是否存在缓存的代码如下：
#_*_coding:utf-8_*_
# 作者 ：liuxiaowei
# 创建时间 ：1/30/22 8:32 AM
# 文件 ：判断缓存是否存在.py
# IDE ：PyCharm
# 导入requests_cache模块
import requests_cache
# 导入网络请求模块
import requests
# 设置缓存
requests_cache.install_cache()
# 清理缓存
requests_cache.clear()
# 定义测试地址
url = http://httpbin.org/get
# 第一次发送网络请求
r = requests.get(url)
# False表示不存在缓存
print(是否存在缓存：, r.from_cache)
# 第二次发送网络请求
r = requests.get(url)
# True表示存在缓存
print(是否存在缓存：, r.from_cache)程序运行结果如下：
是否存在缓存： False
是否存在缓存： True针对反爬措施，在多次请求中设置延时是不错的选择。但是如果在第一次请求后生成了缓存，那么第二次请求时就无需设置延时，为此Requests-Cache模块可以使用自定义钩子函数的方式，合理判断是否需要设置延时操作。示例代码如下：
#_*_coding:utf-8_*_
# 作者 ：liuxiaowei
# 创建时间 ：1/30/22 8:57 AM
# 文件 ：利用钩子函数判断是否需要设置延时.py
# IDE ：PyCharm
# 导入Requests_Cache模块
import requests_cache
# 导入时间模块
import time
# 设置缓存
requests_cache.install_cache()
# 清理缓存
requests_cache.clear()
# 定义钩子函数
def make_throttle_hook(timeout = 0.1):
def hook(response, *args, **kwargs):
print(response.text)
# 判断没有缓存时就添加延时
if not getattr(response, from_cache, False):
print(等待, timeout, 秒！b2b信息网)
# 等待指定时间
time.sleep(timeout)
else:
# 存在缓存输出True
print(是否存在请求缓存！, response.from_cache)
return response
return hook
if __name__ == __main__:
requests_cache.install_cache()
requests_cache.clear()
s = requests_cache.CachedSession()
s.hooks = {response: make_throttle_hook(2)} # 配置钩子函数
# 模拟发送第一次网络请求
s.get(http://httpbin.org/get)
# 模拟发送第二次网络请求
s.get(http://httpbin.org/get)程序运行结果：
第一次运行结果：{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.27.1",
"X-Amzn-Trace-Id": "Root=1-61f5e91a-5c923abe41da544561b5f400"
},
"origin": "139.209.219.102",
"url": "http://httpbin.org/get"
}等待2秒第二次请求结果{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.27.1",
"X-Amzn-Trace-Id": "Root=1-61f5e91a-5c923abe41da544561b5f400"
},
"origin": "139.209.219.102",
"url": "http://httpbin.org/get"
}二次请求存在缓存是否存在请求缓存！ True从以上的运行结果看，通过配置钩子函数可以实现：在第一次请求时，因为没有请求缓存所以执行了2秒等待延时;第二次请求时则没有执行2秒 延时，并输出是否存在请求缓存行为True。
说明Requests-Cache模块支持4种不同的存储机制，分别为money、sqlite、mongoDB以及redid，具体说明如下：
§ memory: 以字典的形式将缓存存储在内存当中，程序运行完后缓存将被销毁§ sqlite: 将缓存存储在sqlite数据库中§ mongoDB：将缓存存储在mongoDB数据库中§ redis: 将缓存存储在redis数据库当中使用Requests-Cache模块指定缓存不同的存储机制时，只需要为install_cache()函数中backend参数赋值即可，设置方式如下：
# 导入Requests_Cache模块
import requests_cache
# 设置缓存为内存的存储机制
requests_cache.install_cache(backend=memory)
# 设置缓存为sqlite数据库的存储机制
requests_cache.install_cache(backend=sqlite)
# 设置缓存为mongoDB数据库的存储机制
requests_cache.install_cache(backend=mongoDB)
# 设置缓存为redis数据库的存储机制
requests_cache.install_cache(backend=redis)设置存储机制为mongoDB与redis数据库时，需要提取安装对应的操作模块与数据库。安装模块的命令如下：
pip install pymongo
pip install redis强大的Requests-HTML模块
Requests-HTML 模块是requets模块的亲兄弟，是WordPress模板同一个开发者所开发的。Requests-HTML模块不仅包含了requests模块中的所有功能，还增加了对JavaScript的支持、数据提取以及模拟真实浏览器等功能。
使用Requests-HTML模块实现网络请求(1) get()请求
通过pip install requests-html命令进行模块的安装，然后导入Requests-HTML模块中的HTMLSession类，接着需要创建HTML会话对象，通过会话实例进行网络请求的发送，示例代码如下：
#_*_coding:utf-8_*_
# 作者 ：liuxiaowei
# 创建时间 ：1/30/22 3:48 PM
# 文件 ：使用Requests-HTML模块实现网络请求.py
# IDE ：PyCharm
# 导入HTMLSession类
from requests_html import HTMLSession
# 创建HTML会话对象
session = HTMLSession()
# 定义请求地址
url = http://news.youth.cn/
# 发送网络请求
r = session.get(url)
# 打印网络请求的URL地址
print(r.html)程序运行结果如下：
<HTML url=http://news.youth.cn/>(2) post()请求
在实现网络请求时，POST请求也是一种比较常见的请求方式，使用Requests-HTML实现POST请求与requests的实现方法类似都需要单独设置表单参数data,不过它也是需要通过会话实例进行网络请求的发送，示例代码如下：
#_*_coding:utf-8_*_
# 作者 ：liuxiaowei
# 创建时间 ：1/30/22 4:44 PM
# 文件 ：post()请求.py
# IDE ：PyCharm
# 导入HTMLSession类
from requests_html import HTMLSession
# 创建HTML会话对象
session = HTMLSession()
# 模拟表单登录的数据
data = {user:admin, password:123456}
# 发送POST请求
r = session.post(http://httpbin.org/post, data = data)
# 判断请求是否成功
if r.status_code == 200:
print(r.text)程序运行结果如下：
{
"args": {},
"data": "",
"files": {},
# 表单数据
"form": {
"password": "123456",
"user": "admin"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "26",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
# User-Agent对应的值
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/603.3.8 (KHTML, like Gecko) Version/10.1.2 Safari/603.3.8",
"X-Amzn-Trace-Id": "Root=1-61f6509d-56a381b4543229480fe07e56"
},
"json": null,
"origin": "139.209.219.102",
"url": "http://httpbin.org/post"
}从以上的运行结果中，不仅可以看到form所对应的表单内容，还可以看到User-Agent所对应的值，并不是像requests模块发送网络请求时返回的默认值(python-requests/2.27.1)，而是一个真实的浏览器请求头信息，这与requests模块所发送的网络请求有着细小的改进。
(3) 修改请求头信息
说到请求头信息，Requests-HTML模块是可通过指定headers参数来对默认的浏览器请求头信息进行修改的，修改请求头信息的关键代码如下：
ua = {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.76
}
r = session.post(http://httpbin.org/post, data = data, headers = ua)§ Requests-HTML模块中添加了UserAgent类，使用该类可以实现随机生成请求头。示例代码如下：
#_*_coding:utf-8_*_
# 作者 ：liuxiaowei
# 创建时间 ：1/30/22 9:06 PM
# 文件 ：生成随机请求头信息.py
# IDE ：PyCharm
# 导入HTMLSession类
from requests_html import HTMLSession, UserAgent
# 创建HTML会话对象
session = HTMLSession()
# 创建随机请求头
ua =UserAgent().random
r = session.get(http://httpbin.org/get, headers = {user-agent: ua})
# 判断请求是否成功
if r.status_code == 200:
# 以文本形式打印返回结果
print(r.text)程序运行结果如下：
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
# 请求头信息
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:17.0) Gecko/20100101 Firefox/17.0.6",
"X-Amzn-Trace-Id": "Root=1-61f69454-0b37eb40198f0f4b237fc7e8"
},
"origin": "139.209.219.102",
"url": "http://httpbin.org/get"
}{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
# 请求头信息
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17",
"X-Amzn-Trace-Id": "Root=1-61f693aa-0d20428a3a73766723017536"
},
"origin": "139.209.219.102",
"url": "http://httpbin.org/get"
}备注：
以上运行是在Anaconda的Jupiter notebook 下运行。Pycharm 报错，应该是解释器的问题。
数据的提取
以往使用requests模块实现爬虫程序时，还需要为其配置一个解析HTML代码的搭档。Requests-HTML模块对此进行了一个比较大的升级，不仅支持CSS选择器还支持XPath的节点提取方式。
CSS选择器CSS选择器中需要使用HTML的find()方法，该方法中包含5个参数，其语法格式与参数含义如下：
find(selector:str=*, containing:_Containing=None, clean:bool=False,first:bool=False,_encoding:str=None)§ selector: 使用CSS选择器定位网页元素§ containing：通过指定文本获取网页元素§ clean：是否清除HTML中的- 技嘉主板H61MS1——性能稳定可靠的选择（技嘉主板H61MS1的特点与优势）
- 电脑修复账户密码错误的方法（解决账户密码错误问题的实用技巧）
- 微信电脑端显示登录错误问题解决办法（解决微信电脑端登录错误的有效方法）
- 电脑无线驱动安装教程（轻松解决电脑无线网络连接问题，详细讲解无线驱动安装步骤）
- 如何进行云电脑设置教程（一步步教你完成云电脑的渲染设置）
- 解决电脑无法连接Wi-Fi密码错误问题的方法（忘记Wi-Fi密码怎么办？掌握这些技巧，轻松解决连接问题！）
- 老电脑电源排线接法教程（全面解析老电脑电源排线的接法和注意事项）
- 手机一键root权限设置方法（简单快捷实现手机root权限的方法）
- 解决电脑显示dll文件错误的方法（如何修复电脑显示dll文件错误问题）
- 电脑建筑建模教程入门版（从零开始，快速掌握电脑建筑建模的基本技能）
- 掌握平板电脑4指操作技巧，高效利用设备（简单易学的平板电脑4指操作教程，助您成为高手）
- 电脑共享显示账号密码错误的解决方法（解决共享显示账号密码错误的关键步骤）
- 火漆印章电脑雕刻教程（利用电脑技术制作高质量的火漆印章）
- 电脑音响如何连接蓝牙设备？（详细教程帮您轻松连接蓝牙设备）
- 清华同方N768教程（一键开启科技新时代，解锁清华同方N768的神秘功能）
- 电脑WPS错误问题的解决方法（遇到WPS显示错误？别慌，这里有帮助！）
- GTA电脑版注册登录教程（简单易懂的步骤指南，让您快速上手游戏）
- 天意WinPE安装教程（使用天意WinPE轻松安装操作系统）
- 电脑主机备件安装教程（手把手教你安装电脑主机备件，让你的电脑更强大）
- 免费数据恢复教程（恢复误删除文件、格式化硬盘的简易方法）
随便看看
- Copyright © 2025 Powered by 爬虫必备Requests的扩展包总结,创站工坊 滇ICP备2023006006号-44sitemap