Skip to content

Latest commit

 

History

History
23 lines (17 loc) · 483 Bytes

readme.md

File metadata and controls

23 lines (17 loc) · 483 Bytes

BeiCrawler ● 北

BeiCrawler is a crawler framework by Java.

简介

  • BeiCrawler 是一款小巧,灵活,扩展性高的爬虫框架。
  • BeiCrawler 只需要使用者提供网址集合,即可自动爬取,并对一些异常进行处理。

依赖包

  • JSON库 : fastjson 1.2.58
  • DOM提取 : jsoup 1.11.3
  • 网络请求 : okhttp 4.2.2
  • 日志 : log4j 1.2.17

现有功能

  • 网络GET请求
  • 日志

TODO

  • 链接生成器
  • 网络POST请求
  • 数据保存