Skip to content
forked from zxins/hotfish

获取知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站热门头条的多线程爬虫,使用Flask聚合网站。

Notifications You must be signed in to change notification settings

yefanyi/hotfish

 
 

Repository files navigation

获取各大热门网站热门头条的多线程爬虫,使用Flask聚合网站

知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站排行榜

使用步骤:

数据库表结构见hotrows.sql
先修改spiders.pyconfig.py 的数据库配置

  1. 安装依赖
pip install -r requirements.txt
  1. 运行爬虫(建议设为定时任务)
python spiders.py
  1. 启动Flask
python app.py

About

获取知乎、V2EX、微博、贴吧、IT之家、豆瓣、虎扑、天涯、GitHub等网站热门头条的多线程爬虫,使用Flask聚合网站。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 86.7%
  • HTML 13.3%