0%

Python 爬虫中的多进程,多线程和协程(基础)

这篇文章讲提高爬虫效率的三种方法:

  1. 多进程
  2. 多线程
  3. 协程

其实如果要详细讲的话,这三个方法还是挺复杂的,比如说进程间的通信问题,多线程的锁机制问题等。由于本人水平所限,这里就只讲讲这三者的基本用法吧。(虽然如此,掌握了这些基本用法,还是能够显著提升爬虫效率的。)

首先先总结下多进程、多线程和协程三者的特点:

多进程:

多线程:

协程:

下面是代码例子

多进程

多线程

协程