wz497345846
V2EX  ›  问与答

求推荐一个用于爬虫,正向代理的软件

  •  
  •   wz497345846 · Jun 1, 2020 · 3518 views
    This topic created in 2192 days ago, the information mentioned may be changed or developed.

    最近在弄一个爬虫,一个 ip 不够,然后手下有几个配置低的服务器,想在服务器上装一个正向代理的软件。有没有什么好的推荐,看了有一个叫 Squid 的,配置给我整晕了,有没有更好的推荐。。

    19 replies    2020-06-10 15:16:00 +08:00
    love
        1
    love  
       Jun 1, 2020   ❤️ 1
    gost
    zoharSoul
        2
    zoharSoul  
       Jun 1, 2020
    同求观察一下
    wz497345846
        3
    wz497345846  
    OP
       Jun 1, 2020
    @love 还有吗
    wz497345846
        4
    wz497345846  
    OP
       Jun 1, 2020
    @love 的确简便 感谢
    winnerczwx
        5
    winnerczwx  
       Jun 1, 2020 via iPhone
    商业代理 ip 不香吗,价格也很便宜
    Soar360
        6
    Soar360  
       Jun 1, 2020
    推荐商业代理吧。
    WildCat
        7
    WildCat  
       Jun 1, 2020
    wenerme
        8
    wenerme  
       Jun 2, 2020
    1. 先确定好用什么协议 - 一般代理协议不涉及鉴权 - 通过组网可以避免安全问题
    2. 确定怎么组网
    3. 怎么控制出口
    4. 需要那些功能
    5. 是否使用别人的服务

    privoxy 代理 - http
    haproxy 代理选择 - 负载实现 ip 轮训
    squid 缓存
    dante 代理 - socks
    tinc 组网
    wireguard 组网
    nordvpn 服务 - 提供 http/socks, 提供非常多 ip - 配合 privoxy 能够很好的实现 ip 选择

    更多参考
    https://github.com/wenerme/wener/tree/master/tricks/ops/network/private
    njshiyanhz
        9
    njshiyanhz  
       Jun 2, 2020
    如果能装 window,那就 CCProxy
    (ps:squid 配置不算复杂吧,我这里有 centos 最简单的安装记录,安装--设置开机启动--修改 6 行配置--启动,完事)
    wz497345846
        10
    wz497345846  
    OP
       Jun 2, 2020
    @winnerczwx 便宜吗?我怎么看的都挺贵的
    wz497345846
        11
    wz497345846  
    OP
       Jun 2, 2020
    @Soar360 能推荐几个吗
    wz497345846
        12
    wz497345846  
    OP
       Jun 2, 2020
    @wenerme 很有帮助,感谢
    wz497345846
        13
    wz497345846  
    OP
       Jun 2, 2020
    @njshiyanhz 是 linux 服务器,squid 配置搜出来很多都是老的很多参数都废弃了,自带的配置文件几千行晕了,哈哈
    tiiis
        14
    tiiis  
       Jun 2, 2020
    gost
    winnerczwx
        15
    winnerczwx  
       Jun 2, 2020 via iPhone
    @wz497345846 百度一搜一大把,我自己用的是小象代理
    gxlonline
        16
    gxlonline  
       Jun 2, 2020 via Android
    自己用的 酷鱼代理
    有很多种,http,私密,隧道
    lxk11153
        17
    lxk11153  
       Jun 4, 2020
    @WildCat #7 Python 3.6.8 确定 python3.6 -m pip install scylla 之后可运行吗?
    1. https://github.com/imWildCat/scylla/issues/116#issuecomment-638686368
    2. 执行几行,日志输出后就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
    lxk11153
        18
    lxk11153  
       Jun 4, 2020
    fix #17
    2. 执行一会,日志输出那就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
    wz497345846
        19
    wz497345846  
    OP
       Jun 10, 2020
    @winnerczwx
    @gxlonline 用买的 ss 连多个节点,凑合用了。。。。哈哈哈哈
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5857 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 62ms · UTC 01:49 · PVG 09:49 · LAX 18:49 · JFK 21:49
    ♥ Do have faith in what you're doing.