运维开发网

尝试在Ubuntu Server 12.04上通过VPN路由传出的http请求

运维开发网 https://www.qedev.com 2020-05-07 08:58 出处:网络 作者:运维开发网整理
我在亚马逊的EC2上运行了一个运行Web爬行过程的Ubuntu 12.04服务器.我们遇到的问题是托管我们需要抓取的网站的某些网络服务器阻止了所有EC2 IP地址.
我在亚马逊的EC2上运行了一个运行Web爬行过程的Ubuntu 12.04服务器.我们遇到的问题是托管我们需要抓取的网站的某些网络服务器阻止了所有EC2 IP地址.

我的好主意是通过VPN隧道传出HTTP请求.我能够设置VPN但它通过VPN路由所有流量,这意味着我无法SSH到机器,它不会响应任何传入的http请求. (此服务器还托管我们需要能够访问的Web服务)

我真的只想通过VPN“代理”所有传出的HTTP请求,以便我们可以访问阻止所有EC2 IP的站点.

我很可能以错误的方式解决这个问题,我欢迎任何其他可能更简单或更强大的建议.

您需要的是 source policy routing将响应路由到EC2网关而不是VPN的传入连接.假设您的实例的内部IP是1.0.0.20,默认网关为1.0.0.1,VPN IP为10.8.0.20:

>创建命名路由表(只需要执行一次)

echo 10 ec2 >> /etc/iproute2/rt_tables
echo 11 vpn >> /etc/iproute2/rt_tables

>使用各自网关的默认路由配置新路由表

ip route add 1.0.0.0/24 dev eth0 table ec2
ip route add default via 1.0.0.1 table ec2
ip route add 10.8.0.0/24 dev tun0 table vpn
ip route add default via 1.0.0.1 table vpn

>添加路由规则以根据源地址选择正确的路由表

ip rule add from 1.0.0.20 lookup ec2
ip rule add from 10.8.0.20 lookup vpn

这应该允许您将默认网关设置为VPN并且仍然可以使用传入连接.

但是,您可以做的是将应用程序配置为在创建传出连接时显式绑定到VPN IP(10.8.0.20),这将导致来自该应用程序的所有连接通过VPN,但所有其他传出连接直接传出.如果您无法将应用程序配置为绑定到VPN IP,则可以添加HTTP代理服务器来执行此部分.

0

精彩评论

暂无评论...
验证码 换一张
取 消