python3-concurrency-mzitu

1. 进度条

2. 部分截图

分析爬取的过程：

3. 使用方法

3.1 下载代码

[root@CentOS ~]# git clone https://github.com/wangy8961/python3-concurrency-pics-02.git
[root@CentOS ~]# cd python3-concurrency-pics-02/

3.2 准备虚拟环境

如果你的操作系统是Linux:

[root@CentOS python3-concurrency-pics-02]# python3 -m venv venv3
[root@CentOS python3-concurrency-pics-02]# source venv3/bin/activate

Windows激活虚拟环境的命令是: venv3\Scripts\activate

3.3 安装依赖包

如果你的操作系统是Linux:

(venv3) [root@CentOS python3-concurrency-pics-02]# pip install -r requirements-linux.txt

如果你的操作系统是Windows（不会使用uvloop）:

(venv3) C:\Users\wangy> pip install -r requirements-win32.txt

3.4 测试

由于图片有13万多张，所以测试的时候，你可以指定只下载100个图集来对比同步下载、多线程下载和异步下载的效率区别，修改以下三个脚本中的TEST_NUM = 100

建议每次测试完，都删除相关目录：

(venv3) [root@CentOS python3-concurrency-pics-02]# rm -rf downloads/ logs/ __pycache__/

删除数据库记录：

(venv3) [root@CentOS python3-concurrency-pics-02]# mongo
MongoDB shell version v3.6.6
connecting to: mongodb://127.0.0.1:27017
...
> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB
mzitu   0.036GB
> use mzitu
switched to db mzitu
> db.dropDatabase()
{ "dropped" : "mzitu", "ok" : 1 }
> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB
>

(1) 依序下载

(venv3) [root@CentOS python3-concurrency-pics-02]# python sequential.py

(2) 多线程下载

(venv3) [root@CentOS python3-concurrency-pics-02]# python threadpool.py

(3) 异步下载

(venv3) [root@CentOS python3-concurrency-pics-02]# python asynchronous.py

stevensunzh / python3-concurrency-pics-02

python3-concurrency-mzitu

1. 进度条

2. 部分截图

3. 使用方法

3.1 下载代码

3.2 准备虚拟环境

3.3 安装依赖包

3.4 测试

(1) 依序下载

(2) 多线程下载

(3) 异步下载

4. 爬虫系列

4.1 理论

4.2 实验

4.3 实战

简介

发行版

贡献者

近期动态

stevensunzh / python3-concurrency-pics-02 .gitee-modal { width: 500px !important; }

python3-concurrency-mzitu

1. 进度条

2. 部分截图

3. 使用方法

3.1 下载代码

3.2 准备虚拟环境

3.3 安装依赖包

3.4 测试

(1) 依序下载

(2) 多线程下载

(3) 异步下载

4. 爬虫系列

4.1 理论

4.2 实验

4.3 实战

简介

发行版

贡献者

近期动态

搜索帮助

stevensunzh / python3-concurrency-pics-02