V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chocho
V2EX  ›  程序员

Yet Another 反爬虫

  •  
  •   chocho · 2019-05-09 11:29:12 +08:00 · 2772 次点击
    这是一个创建于 2021 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前我已经再社区做了一波反爬虫的推广了,但是因为那一批里面没有人可以成功拿到钱,这一波再送一波测试资源,原帖:https://www.v2ex.com/t/551147

    简介

    Botsonar 一款企业使用的反爬虫管理平台。该平台集爬虫发现,策略,防御,流量分析于一体,目前处于 Alpha 测试版本,开源测试版本为旁路分析模式。

    站点概览

    image-20190508162011496

    防御和威胁分类

    image-20190508161900281

    攻击 IP 详情

    image-20190508173206891

    访问路径

    image-20190508173358940

    路径威胁详情

    image-20190508173523343

    特性

    • 全站流量统计
    • IP 攻击分类
    • 搜索引擎自动放行
    • 威胁类型分类
    • 验证码推送支持
    • IP、Country、UA 策略
    • 会话频率限制
    • Javascript 检查
    • 黑产 IP
    • 共享白名单
    • 机房 IP 分析
    • 数据投毒
    • 监控模式
    • 企业级 JS 加密方案
    • 鼠标轨迹 CNN 模型
    • 动态 URL 接口

    如何开始

    本次 Alpha 版本开源的是旁路分析模型,其接入方式是使用 Openresty 插件集成。

    插件使用方法请移步至 openresty lua plugin

    旁路分析工作模型

    image-20190508170633273

    API 文档请参考 api.md

    内部原理

    反爬虫内部使用了四层流量监测模型:

    1. 设备环境检测
    2. 风险 IP 库
    3. 网络风险探测
    4. 时序轨迹 AI 模型

    判别流程如下:

    image-20190508163156067

    判别流程:

    1. 用户自定义黑白名单
    2. 公共 IP 风险库
    3. 四层拦截模型
    4. 用户策略处理(监控、验证码、拦截、假数据)

    正式测试

    旁路分析模型目前只利用了用户后端的数据日志进行流量的判别分析,没有集成用户设备环境检测功能。

    需要测试的用户请按照下面的信息模板发送邮件至管理邮箱:[email protected] ,我们会提供测试使用的 token,测试期间完全免费

    邮件主题: [反爬虫测试] 申请旁路测试

    • 网站归属:个人 /团体 /企业
    • 网站域名:请填写真实有效的站点,不然无法认证通过
    • 测试时间:请说明想要测试的周期
    • 个人联系方式:选填
    • 备注信息:

    工作日期间正常处理邮件,尽量工作时间申请,token 申请完成后,有效期内无需更换,请个人自行保留有效 token,不要重复申请。

    团队介绍

    我们是一个年轻的安全团队,目前有五名核心成员,两个产品旺,三个攻城狮,我们是极验内部一个安全团队,致力于反爬虫安全策略研究,公司给予了我们多方面的支持,产品整体处于市场探索阶段,团队不定期对外做沙龙分享,日常反爬虫技术分享,技术竞品调研攻坚总结等,有兴趣的小伙伴可以来撩。

    • Github

    https://github.com/gtbotsonar

    • 官网

    www.geetest.com

    • 对外公众号

    code

    10 条回复    2019-06-19 14:45:20 +08:00
    xenme
        1
    xenme  
       2019-05-09 11:50:13 +08:00 via iPhone
    不懂得看图片很赞

    另:不会又是从哪里“拿”过来的产品吧
    Terry05
        2
    Terry05  
       2019-05-09 11:54:12 +08:00
    是极验啊,用了你们的登录滑动校验码,挺不错的
    botsonar
        3
    botsonar  
       2019-05-09 14:11:51 +08:00
    灵魂马赛克
    chocho
        4
    chocho  
    OP
       2019-05-09 14:48:29 +08:00
    @Terry05 yet another, 反爬虫产品不是我们独创的,我们只不过是有一些不错的点子 用到反爬虫上面
    chocho
        5
    chocho  
    OP
       2019-05-09 14:49:01 +08:00
    回复错了 @xenme
    chocho
        6
    chocho  
    OP
       2019-05-09 14:49:45 +08:00
    @Terry05 用了我们验证呀,不错,我们验证一直在推出新的验证形式
    justin2018
        7
    justin2018  
       2019-05-09 17:32:21 +08:00
    先 mark 晚点回去申请尝试一下~ 😁
    chocho
        8
    chocho  
    OP
       2019-05-10 09:57:12 +08:00
    @justin2018 是你吗?等你来约
    jean000
        9
    jean000  
       2019-05-10 11:57:08 +08:00
    邮件已经发送,麻烦处理一下。 话说可以给个微信或者什么的联系一下吗?
    botsonar
        10
    botsonar  
       2019-06-19 14:45:20 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3712 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 04:30 · PVG 12:30 · LAX 20:30 · JFK 23:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.