首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wz497345846
V2EX  ›  问与答

求推荐一个用于爬虫,正向代理的软件

  •  
  •   wz497345846 · 39 天前 · 764 次点击
    这是一个创建于 39 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在弄一个爬虫,一个 ip 不够,然后手下有几个配置低的服务器,想在服务器上装一个正向代理的软件。有没有什么好的推荐,看了有一个叫 Squid 的,配置给我整晕了,有没有更好的推荐。。

    19 条回复    2020-06-10 15:16:00 +08:00
    love
        1
    love   39 天前   ❤️ 1
    gost
    zoharSoul
        2
    zoharSoul   39 天前
    同求观察一下
    wz497345846
        3
    wz497345846   38 天前
    @love 还有吗
    wz497345846
        4
    wz497345846   38 天前
    @love 的确简便 感谢
    winnerczwx
        5
    winnerczwx   38 天前 via iPhone
    商业代理 ip 不香吗,价格也很便宜
    Soar360
        6
    Soar360   38 天前
    推荐商业代理吧。
    wenerme
        8
    wenerme   38 天前
    1. 先确定好用什么协议 - 一般代理协议不涉及鉴权 - 通过组网可以避免安全问题
    2. 确定怎么组网
    3. 怎么控制出口
    4. 需要那些功能
    5. 是否使用别人的服务

    privoxy 代理 - http
    haproxy 代理选择 - 负载实现 ip 轮训
    squid 缓存
    dante 代理 - socks
    tinc 组网
    wireguard 组网
    nordvpn 服务 - 提供 http/socks, 提供非常多 ip - 配合 privoxy 能够很好的实现 ip 选择

    更多参考
    https://github.com/wenerme/wener/tree/master/tricks/ops/network/private
    njshiyanhz
        9
    njshiyanhz   38 天前
    如果能装 window,那就 CCProxy
    (ps:squid 配置不算复杂吧,我这里有 centos 最简单的安装记录,安装--设置开机启动--修改 6 行配置--启动,完事)
    wz497345846
        10
    wz497345846   38 天前
    @winnerczwx 便宜吗?我怎么看的都挺贵的
    wz497345846
        11
    wz497345846   38 天前
    @Soar360 能推荐几个吗
    wz497345846
        12
    wz497345846   38 天前
    @wenerme 很有帮助,感谢
    wz497345846
        13
    wz497345846   38 天前
    @njshiyanhz 是 linux 服务器,squid 配置搜出来很多都是老的很多参数都废弃了,自带的配置文件几千行晕了,哈哈
    tiiis
        14
    tiiis   38 天前
    gost
    winnerczwx
        15
    winnerczwx   38 天前 via iPhone
    @wz497345846 百度一搜一大把,我自己用的是小象代理
    gxlonline
        16
    gxlonline   38 天前 via Android
    自己用的 酷鱼代理
    有很多种,http,私密,隧道
    lxk11153
        17
    lxk11153   36 天前
    @WildCat #7 Python 3.6.8 确定 python3.6 -m pip install scylla 之后可运行吗?
    1. https://github.com/imWildCat/scylla/issues/116#issuecomment-638686368
    2. 执行几行,日志输出后就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
    lxk11153
        18
    lxk11153   36 天前
    fix #17
    2. 执行一会,日志输出那就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
    wz497345846
        19
    wz497345846   30 天前
    @winnerczwx
    @gxlonline 用买的 ss 连多个节点,凑合用了。。。。哈哈哈哈
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2753 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:44 · PVG 19:44 · LAX 04:44 · JFK 07:44
    ♥ Do have faith in what you're doing.