scrapy 的暂停和重启

  • A+
所属分类:Python

scrapy的爬虫在运行时,需要暂时停止运行,并在下一次从暂停的地方继续爬取的方法:
1.打开cmd进入虚拟环境,cd到scrapy的main.py目录下;
2.在cmd下输入以下命令
scrapy crawl 爬虫名称 -s JOBDIR=保存进程的文件夹目录

比如我要运行的spider的name为zhihu,文件夹目录是scrapy目录下的job_info/001(001表示这是一次爬取任务,重新新建任务需要重新建立目录,比如002),我需要运行的指令为:

scrapy crawl jobbole -s JOBDIR=job_info/001
3.运行过程中按下Ctrl+c暂停任务,等待处理完未完成的进程(按下两次Ctrl+c为强制结束进程);
4.结束后显示:
[scrapy.core.engine] INFO: Spider closed (shutdown)
5.下次需要重启的时候,输入与第二步相同的命令。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin