V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
WildCat
V2EX  ›  分享创造

Scylla——开源免费的代理 IP 池,更新到 1.1 版本:更好的验证策略、更简单的使用方式、改进的 Web UI

  •  5
     
  •   WildCat · 2018-05-31 18:54:02 +08:00 · 13388 次点击
    这是一个创建于 2127 天前的主题,其中的信息可能已经有所发展或是发生改变。

    banner

    image image image image

    GitHub: https://github.com/imWildCat/scylla

    几天前发布了 Scylla,感谢大家的帮助,一度冲到 GitHub Trending 前五的位置。

    欢迎在贴中留下您的邮箱,我可以发送你 1.1 版本的 demo 地址(暂时不打算公开发布)。如果您想留邮箱,请注意:

    • 可以使用 base64 编码
    • 在您的回复的第一行或者最后一行写(含有邮箱的那一行请不要写其他东西
    • 也可以用 [at] 或者 # 替代 @

    根据大家的在原帖里的建议,这几天又添加了如下功能(仅选重要的展示):

    1. 改进的 Web UI

    2. HTTP 正向代理服务器

    查看文档:https://scylla.wildcat.io/zh/stable/#http

    3. 验证策略

    查看文档:https://scylla.wildcat.io/zh/stable/#id9

    第 1 条附言  ·  2018-05-31 19:47:47 +08:00
    已知一个小问题,将在 1.1.2 版本修复( 15 分钟内)
    第 2 条附言  ·  2018-05-31 21:27:19 +08:00

    最新版的 Docker build 有点问题,如果运行后没有任何 IP,请先用 1.0 版本:

    docker run -d -p 8899:8899 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:1.0
    

    十分抱歉

    第 3 条附言  ·  2018-06-01 00:48:06 +08:00
    Docker 问题已经完全修复,非常抱歉!
    170 条回复    2018-09-23 09:54:35 +08:00
    1  2  
    LeungJZ
        1
    LeungJZ  
       2018-05-31 19:13:48 +08:00 via iPhone   ❤️ 1
    前排资瓷。
    wjm2038
        2
    wjm2038  
       2018-05-31 19:30:57 +08:00 via Android
    wjm2038#gmail.com
    支持一下
    Anybfans
        3
    Anybfans  
       2018-05-31 19:32:59 +08:00
    MzA5ODcxMjcxQHFxLmNvbQ==
    支持一下 谢谢啦
    moack
        4
    moack  
       2018-05-31 19:48:01 +08:00
    dHNoZW5nQG1vYWNrLm5ldA==


    谢啦
    imyip
        5
    imyip  
       2018-05-31 19:49:35 +08:00
    docker 部署失败了?自动退出?
    moming87
        6
    moming87  
       2018-05-31 19:52:52 +08:00 via Android
    MzMxNTUxQEdtYWlsLmNvbQ==
    体验一下
    WildCat
        7
    WildCat  
    OP
       2018-05-31 20:08:49 +08:00
    @imyip 已知一个小问题,将在 1.1.2 版本修复( 15 分钟内)
    wwek
        8
    wwek  
       2018-05-31 20:12:50 +08:00
    @imyip 和你一样
    1507265844
        9
    1507265844  
       2018-05-31 20:21:45 +08:00 via Android
    d3dlaXl1YW5kaW5nQGdtYWlsLmNvbQ==
    了解一下
    WildCat
        10
    WildCat  
    OP
       2018-05-31 20:26:02 +08:00
    @wwek 在修复,docker build 太慢了。。。
    finely
        11
    finely  
       2018-05-31 20:30:42 +08:00
    MjQzNzUwNzgyQHFxLmNvbQ==
    支持楼主
    raychar
        12
    raychar  
       2018-05-31 20:46:35 +08:00
    cmF5Y2hhckBhbGl5dW4uY29t
    支持楼主
    WildCat
        13
    WildCat  
    OP
       2018-05-31 20:47:06 +08:00
    @wwek
    @imyip

    已修复!
    leonnadesico
        14
    leonnadesico  
       2018-05-31 20:51:12 +08:00 via Android
    d2FuZ2p1bjQyNDIxMUAxMjYuY29t
    oIMOo
        15
    oIMOo  
       2018-05-31 20:59:52 +08:00
    Ym93ZW5hY2hhdCNnbWFpbC5jb20=
    WildCat
        16
    WildCat  
    OP
       2018-05-31 21:02:21 +08:00   ❤️ 1
    @wwek
    @imyip

    似乎还有点小问题,我找下原因。pyppeteer 这个库太坑 b 了
    Backlitz
        17
    Backlitz  
       2018-05-31 21:06:10 +08:00 via Android
    enl3OTcxMkBnbWFpbC5jb20=
    感谢楼主
    veau
        18
    veau  
       2018-05-31 21:12:17 +08:00
    veau#foxmail.com

    感谢楼主
    bSty
        19
    bSty  
       2018-05-31 21:19:18 +08:00
    dXRlbWl0ZmtAZ21haWwuY29t
    支持一下 感谢
    fzudust
        20
    fzudust  
       2018-05-31 21:25:30 +08:00 via Android
    zjz02936341#163.com
    支持
    fzudust
        21
    fzudust  
       2018-05-31 21:27:53 +08:00 via Android
    zjz02936314#163.com
    刚刚邮箱打错了
    maooyer
        22
    maooyer  
       2018-05-31 21:31:46 +08:00
    bWFvbWFvaGFja0BnbWFpbC5jb20=
    支持支持
    xxhjkl
        23
    xxhjkl  
       2018-05-31 21:33:17 +08:00
    eHhoamtsMUBnbWFpbC5jb20=
    前排支持,求发
    rails3
        24
    rails3  
       2018-05-31 21:40:23 +08:00
    MTM0NzIwMEAxNjMuY29t
    271880517
        25
    271880517  
       2018-05-31 21:42:51 +08:00
    aXB2NC5rZXZpbkBnbWFpbC5jb20=

    感谢楼主
    Finch
        27
    Finch  
       2018-05-31 22:46:57 +08:00 via iPhone
    wingoo
        28
    wingoo  
       2018-05-31 22:54:15 +08:00
    d2luZ29nb29AZ21haWwuY29t

    感谢
    whoami9894
        29
    whoami9894  
       2018-05-31 23:14:52 +08:00 via Android
    d2hvYW1pOTg5NEBnbWFpbC5jb20=

    感谢
    sgq1128
        30
    sgq1128  
       2018-05-31 23:40:02 +08:00 via Android
    ODEzODIyNzQ0QHFxLmNvbQ==
    好人一生平安
    crayhuang
        31
    crayhuang  
       2018-05-31 23:41:22 +08:00
    cray.huang [at] gmail
    warcraft1236
        32
    warcraft1236  
       2018-06-01 00:51:44 +08:00
    mac 不支持吗?
    WildCat
        33
    WildCat  
    OP
       2018-06-01 00:59:24 +08:00
    @warcraft1236 支持,Python 3.6.5 在 Mac 上有个 bug,具体看 issues。我就是在 Mac 上开发的
    WildCat
        34
    WildCat  
    OP
       2018-06-01 01:00:04 +08:00
    @crayhuang 你这个回复真的是气死我了:

    1. 先是研究过滤空格
    2. 然后发现智障 AI 还是不识别你这个回复是邮箱地址
    3. debug 办个小时发现你没写 .com
    ahbing
        35
    ahbing  
       2018-06-01 01:01:21 +08:00 via Android
    givemearainbowlife#gmail.com
    vipdomain
        36
    vipdomain  
       2018-06-01 01:08:15 +08:00
    v2 用户名 @vip.qq.com
    thx
    WildCat
        37
    WildCat  
    OP
       2018-06-01 01:09:07 +08:00   ❤️ 1
    @vipdomain 你这让我程序怎么爬你邮箱啊?天呢我一个一个手工爬么
    crayhuang
        38
    crayhuang  
       2018-06-01 02:03:08 +08:00 via iPhone
    @WildCat 😂 我错了! 😅 不是故意的
    warcraft1236
        39
    warcraft1236  
       2018-06-01 02:16:10 +08:00
    @WildCat 可是我 pip install 了之后,启动不起来
    warcraft1236
        40
    warcraft1236  
       2018-06-01 02:17:25 +08:00
    @WildCat
    报错 log 如下

    2018-06-01 - 02:17:02 DEBUG: create new db connection
    Traceback (most recent call last):
    File "/usr/local/bin/scylla", line 11, in <module>
    sys.exit(app_main())
    File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 84, in app_main
    sys.exit(main(sys.argv[1:]))
    File "/usr/local/lib/python3.6/site-packages/scylla/cli.py", line 48, in main
    from scylla.proxy import start_forward_proxy_server_non_blocking
    File "/usr/local/lib/python3.6/site-packages/scylla/proxy/__init__.py", line 1, in <module>
    from .server import start_forward_proxy_server_non_blocking, start_forward_proxy_server
    File "/usr/local/lib/python3.6/site-packages/scylla/proxy/server.py", line 14, in <module>
    httpclient.AsyncHTTPClient.configure("tornado.curl_httpclient.CurlAsyncHTTPClient")
    File "/usr/local/lib/python3.6/site-packages/tornado/httpclient.py", line 302, in configure
    super(AsyncHTTPClient, cls).configure(impl, **kwargs)
    File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 354, in configure
    impl = import_object(impl)
    File "/usr/local/lib/python3.6/site-packages/tornado/util.py", line 181, in import_object
    obj = __import__('.'.join(parts[:-1]), None, None, [parts[-1]], 0)
    File "/usr/local/lib/python3.6/site-packages/tornado/curl_httpclient.py", line 23, in <module>
    import pycurl # type: ignore
    ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)
    WildCat
        41
    WildCat  
    OP
       2018-06-01 02:30:46 +08:00
    @warcraft1236 你电脑没装 lib-curl-dev,你自己 Google 去吧,不同系统不一样
    HFX3389
        42
    HFX3389  
       2018-06-01 04:01:31 +08:00
    Y2NjcGNjcEBxcS5jb20=
    感谢楼主
    xiaofengchen
        43
    xiaofengchen  
       2018-06-01 08:02:21 +08:00 via Android
    eGllX2NhbmdAb3V0bG9vay5jb20
    支持~
    safilar
        44
    safilar  
       2018-06-01 09:01:24 +08:00
    dTUyMDc1NDFAZ21haWwuY29t
    HuaBeau
        45
    HuaBeau  
       2018-06-01 09:07:52 +08:00
    NDI5NDYwMTY1QHFxLmNvbQ==

    支持楼主
    80868075
        46
    80868075  
       2018-06-01 09:29:40 +08:00 via Android
    后排支持楼主
    MzE1NDk4MTYxOUBxcS5jb20=
    safilar
        47
    safilar  
       2018-06-01 09:56:11 +08:00
    @Scylla 部署好多久会有 IP 进来啊
    safilar
        48
    safilar  
       2018-06-01 09:56:25 +08:00
    @WildCat 部署好多久会有 IP 进来啊
    fuckshiter
        49
    fuckshiter  
       2018-06-01 10:08:08 +08:00
    MzMyODk5MTVAcXEuY29t

    非常感谢,支持楼主的
    isin
        50
    isin  
       2018-06-01 10:14:35 +08:00
    aVFpZmVuZ0BIb3RtYWlsLmNvbQ==
    islee
        51
    islee  
       2018-06-01 10:32:51 +08:00
    c2xlZS5yZXBhbGNlQGdtYWlsLmNvbQo=
    gcod
        52
    gcod  
       2018-06-01 10:35:13 +08:00
    emh1Y2VAdnYxMjM0LmNu
    chi1st
        53
    chi1st  
       2018-06-01 10:35:37 +08:00
    支持支持
    eXVjaDEyMzBAcXEuY29t
    frozenthrone
        54
    frozenthrone  
       2018-06-01 10:47:28 +08:00
    bW9vbi56anVAZ21haWwuY29t

    thanks
    ch940621
        55
    ch940621  
       2018-06-01 10:55:01 +08:00
    Y2g5NDA2MjFAcXEuY29t
    资瓷一下
    ucmp0001
        56
    ucmp0001  
       2018-06-01 10:57:49 +08:00
    支持
    bXIuZnJpZW5kbHlAMTYzLmNvbQ==
    cedared
        57
    cedared  
       2018-06-01 10:58:25 +08:00
    MzQxNDUwNkBnbWFpbC5jb20=
    lingdong
        58
    lingdong  
       2018-06-01 11:00:29 +08:00
    bGluZ2Rvbmc3NTg2QGdtYWlsLmNvbQ==
    支持下
    woyao
        59
    woyao  
       2018-06-01 11:08:21 +08:00
    cndkc3FjOTg1NDBAY2hhY3VvLm5ldA==
    thx
    gmx1234
        60
    gmx1234  
       2018-06-01 11:09:12 +08:00
    Z214MTIzNEAxMjYuY29t
    支持 谢谢
    freemagico
        61
    freemagico  
       2018-06-01 11:09:15 +08:00
    dGdseTMwN0BnbWFpbC5jb20=

    赞美楼主
    shore507
        62
    shore507  
       2018-06-01 11:11:03 +08:00 via Android
    shorecw#gmail.com
    支持支持
    zhangchioulin
        63
    zhangchioulin  
       2018-06-01 11:24:45 +08:00
    Z21AY29yZWhlbGwuY29t

    蟹蟹
    gqlxj1987
        64
    gqlxj1987  
       2018-06-01 11:35:16 +08:00
    Z3FseGoxOTg3QGdtYWlsLmNvbQ==

    谢谢
    qshujun
        65
    qshujun  
       2018-06-01 11:47:50 +08:00 via Android
    cXNodWp1bkBnbWFpbC5jb20=
    多谢,辛苦啦
    hourann
        66
    hourann  
       2018-06-01 11:52:45 +08:00 via iPhone
    scylla,这个命名是取自越狱吗?
    azhi
        67
    azhi  
       2018-06-01 12:09:10 +08:00 via Android
    YWlrdXVlckBnbWFpbC5jb20=

    爬点小东西美滋滋
    yujizmq
        68
    yujizmq  
       2018-06-01 12:15:11 +08:00
    bWlrb3RvLnl1NTFAZ21haWwuY29t
    thx
    mutiple
        69
    mutiple  
       2018-06-01 12:16:33 +08:00
    emhhbmd4dWFucjExQDEyNi5jb20=
    蟹蟹
    vipwpcom
        70
    vipwpcom  
       2018-06-01 12:20:53 +08:00
    MjExNTE2MjEyQHFxLmNvbQ==
    支持 谢谢
    alwayshere
        71
    alwayshere  
       2018-06-01 12:21:59 +08:00
    请问你这个是爬取各大代理网站还是真正的爬取代理 ip 再来验证?
    SPACELAN
        72
    SPACELAN  
       2018-06-01 12:33:24 +08:00
    bHloYW1uQHFxLmNvbQ==

    谢谢
    yuluofanchen
        73
    yuluofanchen  
       2018-06-01 12:37:26 +08:00
    bHlubjEyOTk5QDE2My5jb20=

    谢谢~
    kingmo888
        74
    kingmo888  
       2018-06-01 12:37:38 +08:00
    bHpoLTM5MTZAMTYzLmNvbQ==
    感谢楼主,搭个车!
    Asugar
        75
    Asugar  
       2018-06-01 12:39:33 +08:00
    d2hvdG9AbXNuLmNvbQ== 谢谢
    Backlitz
        76
    Backlitz  
       2018-06-01 13:18:32 +08:00 via Android
    zyw9712#gmail.com

    不知道为什么一直没有收到,是不是之前格式错了?
    YY
        77
    YY  
       2018-06-01 13:18:43 +08:00
    djJleEBtYWlsaW5hdG9yLmNvbQ==

    谢谢
    Bisn
        78
    Bisn  
       2018-06-01 13:22:30 +08:00
    YmlzbkBxcS5jb20=
    Bisn
        79
    Bisn  
       2018-06-01 13:23:49 +08:00
    请问怎么和 Scrapy 集成?
    感谢!
    Bisn
        80
    Bisn  
       2018-06-01 13:25:11 +08:00
    http://api.ipify.org 这个网站估计有限制,经常不成功,返回的 ip 还是原先的
    http://ip.3322.net/ 换成这个网站没问题
    eastrd
        81
    eastrd  
       2018-06-01 13:29:06 +08:00
    ZTB0M3J4QGdtYWlsLmNvbQ==

    谢谢
    PickMio
        82
    PickMio  
       2018-06-01 13:30:05 +08:00
    dHJhc2gyNTgwQDE2My5jb20K
    3q
    taozywu
        83
    taozywu  
       2018-06-01 13:31:59 +08:00
    taozywu#qq.com
    咫尺一下
    huijian222
        84
    huijian222  
       2018-06-01 13:36:57 +08:00
    bGFpamluYmFuZzIwMDlAZ21haWwuY29tCg==
    3q
    zxy
        85
    zxy  
       2018-06-01 13:38:38 +08:00
    aXp4eUBsaXZlLmNvbQ==
    Sin
        86
    Sin  
       2018-06-01 13:40:17 +08:00
    c2lucnVlQGdtYWlsLmNvbQ==
    mmnnyycc
        87
    mmnnyycc  
       2018-06-01 13:46:59 +08:00
    MjYzMTMzODQ0MEBxcS5jb20=
    mosliu
        88
    mosliu  
       2018-06-01 14:01:58 +08:00
    bHgwMzE5QGdtYWlsLmNvbQ==
    谢谢楼主~~
    ilovebaicai
        89
    ilovebaicai  
       2018-06-01 14:13:23 +08:00
    Y2ZxdHhkMUBnbWFpbC5jb20=
    好人一生平安
    chinayb
        90
    chinayb  
       2018-06-01 14:15:13 +08:00
    Y24ueWJAZm94bWFpbC5jb20=
    Mrkon
        91
    Mrkon  
       2018-06-01 14:15:18 +08:00
    MTczMjkyNjE5QHFxLmNvbQ==
    谢谢
    Fechin
        92
    Fechin  
       2018-06-01 14:31:20 +08:00
    bXIuZmVjaGluQGdtYWlsLmNvbQ==
    多谢
    demoxu
        93
    demoxu  
       2018-06-01 14:46:52 +08:00
    ZGVtb3h1MjAwOUBnbWFpbC5jb20=

    支持一下,多谢
    robinlovemaggie
        94
    robinlovemaggie  
       2018-06-01 14:48:06 +08:00
    cm9iaW4ud2hrQGdtYWlsLmNvbQ==
    正好需要写一个蕾丝工具,谢谢啦~~
    byron
        95
    byron  
       2018-06-01 15:13:21 +08:00
    Ynlyb25qaWFAZ21haWwuY29t

    吼啊。
    warcraft1236
        96
    warcraft1236  
       2018-06-01 15:27:23 +08:00
    @WildCat mac 还需要装这个吗?
    Caratpine
        97
    Caratpine  
       2018-06-01 15:51:09 +08:00
    做开源不易,支持一下。
    yyminmax
        98
    yyminmax  
       2018-06-01 15:56:21 +08:00
    bWlubWF4eXlAMTYzLmNvbQo=


    谢谢了~
    liujunsheng
        99
    liujunsheng  
       2018-06-01 15:59:31 +08:00
    YUBsaXVqdW5zaGVuZy5jb20=
    frankmdong
        100
    frankmdong  
       2018-06-01 16:00:16 +08:00
    c3VwZXJmcmFua2llNjIxQGdtYWlsLmNvbQ==
    感谢
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5432 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 08:34 · PVG 16:34 · LAX 01:34 · JFK 04:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.