Python异步HTTP请求库httpx实战：为何它能替代requests并提升接口测试效率？

最近公司的 Python 后端项目进行了一次重构，整个后端逻辑基本都转向采用“异步”协程的方式来实现。看着满屏幕被 async、await 修饰的代码，确实让人一时摸不着头脑。

虽然之前对“协程”这个概念有所耳闻，但并没有深入探索过。正好借这次项目重构的机会，可以系统地学习一下。

什么是协程？

简单来说，协程是一种基于线程之上，但又比线程更加轻量级的存在。对于系统内核来说，协程通常是“不可见”的，因此这种由程序员自己管理的轻量级线程又常被称作“用户空间线程”。

协程比多线程好在哪呢？

1. 控制权不同：线程的调度控制权在操作系统手中，而协程的控制权则完全掌握在用户（也就是程序员）自己手里。这使得我们可以减少不必要的上下文切换，从而有效提高程序的运行效率。
2. 资源占用更少：创建一个线程时，系统默认分配给它的栈大小是 1 MB，而协程更加轻量，栈大小通常在 1 KB 左右。这意味着我们可以在同样的内存空间中开启数量多得多的协程。
3. 无需锁机制：由于协程的本质是单线程内的任务切换，而不是真正的多线程并发，因此不需要复杂的多线程锁机制。因为只有一个线程在执行，不存在同时写变量引发的冲突问题。在协程中控制共享资源时，通常只需要判断状态即可，无需加锁。这不仅让协程的执行效率比多线程高很多，也从根本上避免了多线程编程中令人头疼的竞争关系。

协程的适用 & 不适用场景

• 适用场景：协程特别适用于那些会被阻塞（例如I/O等待），且需要处理大量并发任务的场景。
• 不适用场景：协程不适用于存在大量CPU密集型计算（纯计算）的场景。因为协程的本质是在单线程内来回切换，如果遇到计算密集型的任务，这种切换反而会成为负担。对于这种情况，还是应该考虑使用多进程或其他并发模型来解决。

初探异步 http 框架 httpx

聊了这么多协程，可能有的朋友会问：协程对接口测试有什么实际的帮助呢？别急，答案就在下面。

做过 Python 接口测试的朋友对 requests 库肯定不陌生。但需要知道的是，requests 库实现的 HTTP 请求是同步的。而基于 HTTP 请求 IO 阻塞的特性，它非常适合用协程来实现“异步”请求，从而显著提升测试效率。

果然，在 Github 上探索一番后，我找到了一个完美支持协程“异步”调用 HTTP 的开源库：httpx。

什么是 httpx

httpx 是一个几乎继承了所有 requests 特性的库，并且它原生支持“异步”HTTP请求。简单来说，你可以把它看作是 requests 的异步强化版。

下面，我们就一起来见识一下 httpx 的强大之处。

安装

httpx 的安装非常简单，在 Python 3.6 及以上的环境中执行以下命令即可：

pip install httpx

最佳实践

俗话说，效率决定成败。为了直观展示差异，我分别使用 httpx 的异步和同步方式，对批量 HTTP 请求进行了耗时对比。一起来看看结果吧。

首先，来看看同步 HTTP 请求的耗时表现：

import asyncio
import httpx
import threading
import time

def sync_main(url, sign):
    response = httpx.get(url).status_code
    print(f'sync_main: {threading.current_thread()}: {sign}: {response}')

sync_start = time.time()
[sync_main(url='http://www.baidu.com', sign=i) for i in range(200)]
sync_end = time.time()
print(sync_end - sync_start)

这段代码很简单，在 sync_main 函数中实现了同步访问百度首页200次。

运行后输出如下（截取了部分关键输出）：

sync_main: <_MainThread(MainThread, started 4471512512)>: 192: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 193: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 194: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 195: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 196: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 197: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 198: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 199: 200
16.56578803062439

从输出可以看到：

1. 主线程没有进行切换（这本来就是单线程同步执行）。
2. 请求严格按照顺序执行（因为是同步请求，一个完了才执行下一个）。
3. 程序运行总共耗时 16.6 秒。

接下来，我们试试“异步” HTTP 请求的威力：

import asyncio
import httpx
import threading
import time

client = httpx.AsyncClient()

async def async_main(url, sign):
    response = await client.get(url)
    status_code = response.status_code
    print(f'async_main: {threading.current_thread()}: {sign}:{status_code}')

loop = asyncio.get_event_loop()
tasks = [async_main(url='http://www.baidu.com', sign=i) for i in range(200)]
async_start = time.time()
loop.run_until_complete(asyncio.wait(tasks))
async_end = time.time()
loop.close()
print(async_end - async_start)

这段代码在 async_main 函数中，使用 async/await 关键字配合 httpx.AsyncClient 实现了异步 HTTP 请求，同样访问百度首页200次。

运行后输出如下（截取了部分关键输出）：

async_main: <_MainThread(MainThread, started 4471512512)>: 56: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 99: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 67: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 93: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 125: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 193: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 100: 200
4.518340110778809

从输出可以看到：

1. 请求完成的顺序是乱的（56, 99, 67...），这是因为程序在多个协程之间快速切换执行，哪个请求先拿到响应就先处理哪个。
2. 主线程同样没有切换（协程的本质仍是单线程）。
3. 程序总共耗时仅 4.5 秒！

总结对比

同步请求耗时 16.6 秒，而异步请求仅用了 4.5 秒，性能提升了接近 73%！这个差距在需要执行大量 HTTP 请求的接口测试或数据采集场景下，无疑是巨大的。

俗话说，一步快，步步快。在耗时方面，异步 HTTP 凭借 协程 的加持，确实比同步 HTTP 快了很多。当然，掌握异步编程和 httpx 这类工具，不仅仅是为了提升请求效率。它能帮助你设计出更高效、更现代的测试脚本或框架，让你的 Python 技术水平再上一个台阶。

如果你对本文涉及的 asyncio、httpx 的 官方文档 或更深入的异步编程模式感兴趣，欢迎在 云栈社区 继续交流探讨。