Skip to content

Commit

Permalink
update readme.d
Browse files Browse the repository at this point in the history
  • Loading branch information
hanc00l committed Sep 22, 2015
1 parent ecece15 commit aa2c2c7
Showing 1 changed file with 3 additions and 3 deletions.
6 changes: 3 additions & 3 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -22,11 +22,11 @@

-a update:控制是否重复爬取,默认为false

+ 第一次爬取全部内容时,用scrapy crawl wooyun -a page_max=0
+ 第一次爬取全部内容时,用scrapy crawl wooyun -a page_max=0

+ 平时只爬取最近的更新时,用scrapy crawl wooyun -a page_max=1 -a update=false,可以根据自己的爬取频率和网站更新情况调整page_max的值
+ 平时只爬取最近的更新时,用scrapy crawl wooyun -a page_max=1 -a update=false,可以根据自己的爬取频率和网站更新情况调整page_max的值

+ 全部公开漏洞的列表和每个漏洞的文本内容存在在mongodb中,大概约2G内容(到2015年9月),如果要爬全部文本和图片作为离线查询,要考虑足够的空间和时间
+ 全部公开漏洞的列表和每个漏洞的文本内容存在在mongodb中,大概约2G内容(到2015年9月),如果要爬全部文本和图片作为离线查询,要考虑足够的空间和时间

### 3.漏洞搜索
+ 漏洞搜索使用了Flask作为web server,bootstrap作为前端
Expand Down

0 comments on commit aa2c2c7

Please sign in to comment.