Python 爬虫中的多进程,多线程和协程(基础) Posted on 2018-06-06 Edited on 2022-04-03 In 爬虫 这篇文章讲提高爬虫效率的三种方法: 多进程 多线程 协程 其实如果要详细讲的话,这三个方法还是挺复杂的,比如说进程间的通信问题,多线程的锁机制问题等。由于本人水平所限,这里就只讲讲这三者的基本用法吧。(虽然如此,掌握了这些基本用法,还是能够显著提升爬虫效率的。) 首先先总结下多进程、多线程和协程三者的特点: 多进程: 多线程: 协程: 下面是代码例子 多进程 多线程 协程