本爬虫的原理即为向服务器发送get请求,直接向数据库申请json形式的数据返回。 如此一来无需使用xPath对HTML网页进行成分分析,感谢饿了么将其XHR请求暴露在眼前。 通过经纬度查询数据库数据时,我本以为必须传GeoHash参数。寻找hash函数花费了不少的工夫,但最终发现hash值并非必须,直接get传参经纬度亦可。令人心态崩坏。
-
Notifications
You must be signed in to change notification settings - Fork 0
Zpvoh/Ele-and-DianPing-Crawler
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
用于抓取饿了么与大众点评商户数据的爬虫
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published