Skip to content

爬取代理IP并进行测速分析,筛选出高速可用的ip

Notifications You must be signed in to change notification settings

Card007/Proxy-Pool

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

47 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ProxyPool

爬取代理IP并进行测速,筛选出高速可用的ip。

0.安装方式

有两种安装方式,一种直接通过npm安装,然后直接跳到第四步:

npm install ip-proxy-pool

或者通过git下载:

1.在目录下运行,安装依赖包

npm install

2.爬取代理ip并进行测速检查

node main.js

3.只检查数据库里现有的ip

node check.js

4.如何在项目里使用代理池

//导入本地模块
const proxy = require('./proxy_pool.js')
//如果通过npm安装
//var proxy = require('ip-proxy-pool')

//主程序,爬取ip+检查ip
const proxys = proxy.run

//不爬取,只检查数据库里现有的ip
const check = proxy.check

//提取所有ip
const ips = proxy.ips
//ips接收一个处理函数,然后向这个函数传递两个参数,一个为错误信息,另一个为数据库里的所有ip
ips((err,response)=>{
    console.log(response)
})

后续更新: 1.在爬取代理IP时会先从ip池里寻找可用的ip进行爬取,没有的话才用本身的ip。 2.加入更多代理ip源

imag

About

爬取代理IP并进行测速分析,筛选出高速可用的ip

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published