深度IP转换器
服务时间 :周一至周日 9:00-23:00 电话:400-998-9776 转2
您的位置:首页 > 新闻资讯 > 正文
免费代理ip爬取使用攻略
发布时间:2019年12月20日

  尝试过网络爬虫的,可能会遇到过反爬虫,这会让我们的爬虫中断无法继续访问网站。这是因为我们的ip原因,如果你一直用同一个ip来访问,访问多了就会被加入到黑名单中。


  那么,我们可以通过获得代理ip来使用,通过动态ip代理来突破限制。今天,我们来学习一个抓取代理ip的教程。


  这个爬虫将通过解析免费代理的页面获取代理,之后存储到jdb2中。每个爬虫程序将使用协程的方式同步获取代理。

免费代理ip爬取使用攻略

  

免费代理ip爬取使用攻略


  解析页面获取数据,通过观察页面可以发现页面上的数据都是以表格的形式进行排列的,我们使用调试功能查看一下源代码。

免费代理ip爬取使用攻略

  通过观察页面我们可以通过bs4库提供的功能进行页面数据提取,也可以通过xapth进行页面数据提取,以下代码将通过xapth进行页面数据与提取。

免费代理ip爬取使用攻略

  使用tornado来定义一个简单的http服务,来提供http api获取数据。

免费代理ip爬取使用攻略

  最后通过http://ip:8080/api?totle=10获取指定个数的可用代理(支持get/post方法)。

  虽然免费ip不花钱是很爽,但是大家也要尽量少用,因为免费的ip安全确实不大过关,而且连接也不够稳定。