第10章 中间件的使用

第10章 中间件的使用10.1 Python 同步与异步你是否遇到过这样的场景用 Python 写了一个下载图片的脚本它却要一张下载完才能开始下一张效率低得让人着急或者写了个简单的 Web 服务一个慢请求就能卡住后面所有用户其实这背后藏着 Python 中同步与异步的核心逻辑——它们决定了程序如何“安排时间”直接影响着代码的效率。今天我们就用最通俗的语言拆解同步与异步的本质再通过实战案例告诉你什么时候该用同步什么时候该用异步以及异步到底是怎么“提速”的。同步和异步跟多线程没有关系异步可以提高效率。一、先搞懂同步和异步到底在“同步”什么其实同步和异步的核心是程序处理“任务”的顺序和等待逻辑。我们用生活中的例子就能瞬间明白二者的区别。1. 同步“排队办事等完一个再一个”想象你去银行办理业务只有一个窗口对应程序的“单线程”• 你先取号排队前面的人不办完你只能等着• 前面的人可能要填单子、核对信息对应程序中的“IO 操作”比如下载文件、访问数据库哪怕他在填单子时窗口空闲你也不能上前•只有前一个人完全办完离开下一个人才能开始。 这就是同步编程的逻辑任务按顺序执行一个任务没完成尤其是等待 IO 时后面的任务必须“阻塞”等待直到当前任务结束。 用 Python 代码举个同步的例子模拟下载 3 张图片import time # 模拟下载图片IO操作用time.sleep模拟等待时间 def download_img(img_name): print(f开始下载{img_name}) time.sleep(2) # 模拟下载等待此时程序完全阻塞 print(f下载完成{img_name}) # 同步执行 start_time time.time() download_img(风景.jpg) download_img(人物.jpg) download_img(动物.jpg) end_time time.time() print(f总耗时{end_time - start_time:.2f}秒)很明显3 个任务依次执行总耗时是单个任务的 3 倍——这就是同步的“低效”之处等待 IO 时程序完全闲着2. 异步“多件事穿插做不等完也能切换”还是刚才的银行场景但这次你多了个“助手”对应 Python 的“事件循环”你去窗口提交申请后工作人员说“填完单子再来”对应程序发起 IO 请求你不用在窗口等而是去旁边填单子程序释放线程去处理其他任务同时助手帮你盯着窗口——等你填完单子IO 完成助手会提醒你“该你了”程序切换回原任务继续执行这样一来窗口和你都没闲着效率大大提升。这就是异步编程的逻辑任务发起后如果需要等待 IO比如下载、数据库查询程序不会阻塞而是去执行其他任务等 IO 完成后再回来继续处理之前的任务。注意异步不是“同时执行多个任务”那是多线程/多进程而是“在等待的间隙穿插执行其他任务”——本质是“单线程下的任务调度优化”。二、Python 异步的“三要素”你必须掌握的核心语法要在 Python 中写异步代码有三个核心概念必须掌握它们就像异步的“三驾马车” async/await 关键字、 asyncio 库、以及“可等待对象”。1. 关键字async def定义异步函数首先异步函数必须用 async def 定义而不是普通的 def ——这告诉 Python“这个函数是异步的里面可能有等待操作”。# 异步函数用async def定义 async def async_download_img(img_name): print(f开始下载{img_name}) # 这里不能用time.sleep同步等待必须用异步等待 await asyncio.sleep(2) # 异步等待释放线程去处理其他任务 print(f下载完成{img_name})注意普通函数里不能用 await只有 async def 定义的异步函数里才能用。2. 关键字await等待“可等待对象”await 的作用是“暂停当前异步函数去执行其他任务直到等待的对象完成”。它后面必须跟“可等待对象”比如异步函数、asyncio.Task 等。为什么不能用 time.sleep(2)因为 time.sleep 是同步等待会阻塞整个线程——而异步需要的是“异步等待”所以要用 asyncio.sleep(2)它是异步的会释放线程。3. 库asyncio 管理异步任务asyncio是 Python 标准库中专门用于异步编程的库它提供了“事件循环”相当于之前说的“助手”、任务调度、IO 管理等核心功能。最常用的方法是 asyncio.run()——它会创建一个事件循环运行异步函数然后关闭循环run 里面一般放入一个协程。import asyncio import time async def download_img(image_name): print(f开始下载图片:{image_name}) await asyncio.sleep(2) print(图片下载完成) async def main(): start_time time.time() await asyncio.gather( download_img(风景.jpg), download_img(人物.jpg), download_img(宠物.jpg) ) end_time time.time() print(f总耗时:{end_time - start_time}) if __name__ __main__: asyncio.run(main()) asyncio.run(download_img(电影.mp4))看到了吗总耗时从6 秒降到了 2 秒——这就是异步的魔力三个任务的“等待时间”重叠了三、同步 vs 异步什么时候该用哪个很多人会觉得“异步比同步好所有场景都该用异步”——这其实是误区。同步和异步各有适用场景选错了反而会适得其反。我们用一张表对比二者的核心差异和适用场景举个例子如果你写一个“计算 1 到 100000 的质数”的程序CPU 密集用异步没用——因为 CPU 一直在工作没有等待间隙异步无法切换任务如果你写一个“爬取 100 个网页”的程序IO 密集用异步就很合适——因为爬网页时大部分时间在等服务器响应异步可以在等待时爬其他网页四、常见误区异步不是“银弹”最后我们澄清几个关于 Python 异步的常见误区帮你避免踩坑1. 异步 ≠ 多线程/多进程异步是“单线程下的任务调度”而多线程/多进程是“真正的并行执行”。异步不能解决 CPU 密集型任务的效率问题因为它本质还是单线程。2. 不是所有库都支持异步很多 Python 库是同步的比如 requests 、 sqlite3 在异步函数里用这些库会阻塞线程——必须用对应的异步库比如 aiohttp 对应 requests 、 asyncpg 对应 psycopg2 。3. 异步代码不一定比同步快 如果任务量很小或者 IO 等待时间极短比如本地文件读写异步的“调度开销”可能比节省的等待时间还多反而更慢。 总结 回到开头的问题为什么有的 Python 程序效率低因为它用了同步逻辑处理 IO 密集型任务浪费了大量等待时间。同步和异步没有绝对的好坏关键是“对症”•当任务需要大量等待IO 密集用异步 async/await asyncio 让程序“不闲着”•当任务需要大量计算CPU 密集用同步 多线程/多进程让 CPU“不闲着”。异步就是不要让 cpu 闲下来