一、前言
在做爬虫、数据采集、账号搜索项目时，需要用到高质量代理. IP。目前比较流行也是最常见的代理. IP服务，大部分是通过api链接提取。通过不断的访问api接口，api服务器返回一个或多个可用代理. IP，然后将代理. IP应用于自己的程序或软件中。api服务器维护了一个可用IP池，并且不断在更新加入新的可用IP。客户端访问时，则返回最新可用IP。
API提取方式简单实现，但也有一定弊端，主要是客户端需要不断的访问api接口获取最新代理，需要一直循环。根据代理质量的不同，获取到的代理不一定全部可用，影响了爬虫的效率。
那么，有没有不需要api的代理方式呢，那我们来看看隧道代理。
二、隧道代理是什么
隧道代理只需设置固定接口，云端自动切换不同IP，省去了客户端频繁获取的麻烦。并且通过隧道代理的多路负载技术，大大提高的代理速度和可用率。隧道代理没有一次提取多少个IP的概念，主要是通过对不同客户的并发请求数进行限制。一般可达到50-100次/秒的并发请求。
三、隧道代理架构
如上图，隧道代理工作步骤为：
代理使用者向隧道代理服务器发出请求。例如酷鱼隧道代理地址为：tunnel.kuyukuyu.com。
隧道代理服务器收到代理使用者请求后，会选择最优线路进行转发，在代理使用者和动态代理节点之间建立隧道连接。
动态代理服务器请求代理使用者指定的目标站。
动态代理服务器将目标站返回的结果，直接返回给代理使用者。
四、获取代理. IP池
隧道代理有多个可用路径进行转发，采用多路复用、择优选择技术，提高代理成功率。经测试成功率可达99%以上。
代理服务器返回结果时没有经过隧道代理，而是直接返回给代理使用者。因为隧道代理仅起到建立隧道连接的作用，并不参与数据传输。保障了代理执行效率。
使用方便，需要频繁切换代理。
支持高并发，多客户端同时使用。
五、实现步骤
首先需要找到一个可持续供给的代理. IP池，代理IP最好是同时支持HTTP(s)和Socks5协议的，这样我们的隧道代理也可以支持socks5。这里推荐酷鱼私密代理 https://kuyukuyu.com/mains/secret ，可用率99%以上，速度快。
购买后在用户中心获取API提取链接，然后设置白名单和提取数量。
将获取到的代理写入Squid配置文件。/etc/squid/squid.conf
重载配置文件，使用配置生效。
每隔1秒重复一次，并不断循环。
六、Squid使用方法
将squid 做为代理服务器
备份源文件 cp /etc/squid/squid.conf /etc/squid/squid.conf.source，用于脚本自动更新
在squid所在服务器运行脚本。
七、进一步优化
由于squid只支持http(s)，不支持socks5协议，所有就算购买的代理池支持socks5，隧道代理也不支持。如需支持socks5，只需要使用其他软件替代squid。如果有这方面的需要可以联系酷鱼代理客服。
可以在隧道代理上使用iptables进行限制访问，达到白名单功能。
iptables还可以对单个客户端请求数量或流量限制，达到限流功能。
文章来源：https://dwz.cn/l6loigzt
在做爬虫、数据采集、账号搜索项目时，需要用到高质量代理. IP。目前比较流行也是最常见的代理. IP服务，大部分是通过api链接提取。通过不断的访问api接口，api服务器返回一个或多个可用代理. IP，然后将代理. IP应用于自己的程序或软件中。api服务器维护了一个可用IP池，并且不断在更新加入新的可用IP。客户端访问时，则返回最新可用IP。
API提取方式简单实现，但也有一定弊端，主要是客户端需要不断的访问api接口获取最新代理，需要一直循环。根据代理质量的不同，获取到的代理不一定全部可用，影响了爬虫的效率。
那么，有没有不需要api的代理方式呢，那我们来看看隧道代理。
二、隧道代理是什么
隧道代理只需设置固定接口，云端自动切换不同IP，省去了客户端频繁获取的麻烦。并且通过隧道代理的多路负载技术，大大提高的代理速度和可用率。隧道代理没有一次提取多少个IP的概念，主要是通过对不同客户的并发请求数进行限制。一般可达到50-100次/秒的并发请求。
三、隧道代理架构
如上图，隧道代理工作步骤为：
代理使用者向隧道代理服务器发出请求。例如酷鱼隧道代理地址为：tunnel.kuyukuyu.com。
隧道代理服务器收到代理使用者请求后，会选择最优线路进行转发，在代理使用者和动态代理节点之间建立隧道连接。
动态代理服务器请求代理使用者指定的目标站。
动态代理服务器将目标站返回的结果，直接返回给代理使用者。
四、获取代理. IP池
隧道代理有多个可用路径进行转发，采用多路复用、择优选择技术，提高代理成功率。经测试成功率可达99%以上。
代理服务器返回结果时没有经过隧道代理，而是直接返回给代理使用者。因为隧道代理仅起到建立隧道连接的作用，并不参与数据传输。保障了代理执行效率。
使用方便，需要频繁切换代理。
支持高并发，多客户端同时使用。
五、实现步骤
首先需要找到一个可持续供给的代理. IP池，代理IP最好是同时支持HTTP(s)和Socks5协议的，这样我们的隧道代理也可以支持socks5。这里推荐酷鱼私密代理 https://kuyukuyu.com/mains/secret ，可用率99%以上，速度快。
购买后在用户中心获取API提取链接，然后设置白名单和提取数量。
将获取到的代理写入Squid配置文件。/etc/squid/squid.conf
重载配置文件，使用配置生效。
每隔1秒重复一次，并不断循环。
六、Squid使用方法
将squid 做为代理服务器
备份源文件 cp /etc/squid/squid.conf /etc/squid/squid.conf.source，用于脚本自动更新
在squid所在服务器运行脚本。
七、进一步优化
由于squid只支持http(s)，不支持socks5协议，所有就算购买的代理池支持socks5，隧道代理也不支持。如需支持socks5，只需要使用其他软件替代squid。如果有这方面的需要可以联系酷鱼代理客服。
可以在隧道代理上使用iptables进行限制访问，达到白名单功能。
iptables还可以对单个客户端请求数量或流量限制，达到限流功能。
文章来源：https://dwz.cn/l6loigzt
