Skip to content

tunghsulee/FreeProxyForSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

9 Commits
 
 
 
 
 
 
 
 

Repository files navigation

FreeProxyForSpider

使用许可:可以免费使用,但是本人不承担所带来的侵权责任

使用方法: 总:请将所有的文件路径修改为你想要的

运行两个spider脚本,会将代理服务器的相关信息保存到相关CSV文件(默认为程序目录下), 实测第一个spider爬取2000页运行时间大约为20分钟,第二个忘记了,很快。

spider2的cookie信息: 匿名性: anonymity=all:全部 anonymity=anonymous:匿名(程序中的就是这个,可以根据自己的需求换) anonymity=transparent:透明 anonymity=elite:高匿 页码: page=2:这个就不解释了吧(最大100) spider2的代理类型: 修改url: https://proxyhub.me/
https://proxyhub.me/en/all-http-proxy-list.html https://proxyhub.me/en/all-https-proxy-list.html https://proxyhub.me/en/all-socks-proxy-list.html https://proxyhub.me/en/all-sock4-proxy-list.html https://proxyhub.me/en/all-sock5-proxy-list.html

ipTest: 测试ip是否可用

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages