Overview

这个是一个基于scrapy框架的爬虫程序，scrapy天然分装好的多线程。而且有非常多的分装好的中间件可以方便使用，比如seesion池，代理，并且方便使用redis扩展分布式程序主要用来爬取新闻

topic

Name		Name	Last commit message	Last commit date
Latest commit History 13 Commits
config		config
log		log
scrape_yy		scrape_yy
utils		utils
README.md		README.md
nohup.out		nohup.out
nohup_restart_process.sh		nohup_restart_process.sh
restart_sh.log		restart_sh.log
scrapy.cfg		scrapy.cfg