首页 » python » 正文

python自动获取代理列表并通过代理爬取网站

本意不是这么个东西,写出来之后发现可以实现这个功能,一般的爬虫都会面临被屏蔽的危险,这个时候我们可能就需要查寻代理了,然后通过代理来继续爬,当然,如果对面做了设置那就没办法了

 

本脚本实现了如下功能:

1:自动从某代理网站 获取最新的可用代理信息:IP地址,端口,协议类型(网站对每分钟的调用此书做了限制)

2:自动填充代理信息并进行抓去网站信息

注意:X

 

 

 

发表评论