使用许可:可以免费使用,但是本人不承担所带来的侵权责任
使用方法: 总:请将所有的文件路径修改为你想要的
运行两个spider脚本,会将代理服务器的相关信息保存到相关CSV文件(默认为程序目录下), 实测第一个spider爬取2000页运行时间大约为20分钟,第二个忘记了,很快。
spider2的cookie信息:
匿名性:
anonymity=all:全部
anonymity=anonymous:匿名(程序中的就是这个,可以根据自己的需求换)
anonymity=transparent:透明
anonymity=elite:高匿
页码:
page=2:这个就不解释了吧(最大100)
spider2的代理类型:
修改url:
https://proxyhub.me/
https://proxyhub.me/en/all-http-proxy-list.html
https://proxyhub.me/en/all-https-proxy-list.html
https://proxyhub.me/en/all-socks-proxy-list.html
https://proxyhub.me/en/all-sock4-proxy-list.html
https://proxyhub.me/en/all-sock5-proxy-list.html
ipTest: 测试ip是否可用