V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
joocejie
V2EX  ›  分享创造

开源一个云环境网络流量镜像项目 Packet-Agent(参与送 PS4)

  •  
  •   joocejie · 2019-09-12 16:03:31 +08:00 · 18806 次点击
    这是一个创建于 1659 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目背景

      传统网络数据分析会在交换机上配置网络数据镜像, 将 Packet 复制后发送到目标机器,实现网络流量镜像的功能。
      而在云平台上,目前网络数据采集还没有统一的方案。针对私有云平台,目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
      对于 vmware 平台分布式虚交换机配置采集的方案,性能较好,不占用客户机资源,但其属于商业产品,且只适用于购买 vmware 私有云用户;而在 hypervisor 上监听采集,目前有产品开发,性能较好,但只适用于 OpenStack 私有云;采用 OVS 流表方案,优势是免费,不占用客户机资源,但是配置复杂,且只能用于 OpenStack 私有云。
      因此,开发基于 libpcap + GRE 封装转发的应用,或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

    Packet-Agent 简介

      Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术,从业务网卡抓包,进行 GRE 封装后将采集到的数据包发送到另一台远端机器,供分析使用。

    Docker Kubernetes 支持

      Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说,Packet-Agent 封装成容器后,与需要监控的业务容器放在同一个 K8S Pod 中,与其共享网络层并抓包镜像网络流量。
      具体方案见项目文档:K8S_traffic_mirror

    参与 Packet-Agent 项目

      欢迎大家参与此项目,包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议,或者将该项目介绍给相关的朋友。衷心感谢。

    抽奖回馈社区

      为感谢大家的支持,抽奖送一台 PS4 主机,抽奖方法如下:

    1. 在这个帖子下面回复参与讨论。
    2. 获奖资格:从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
    3. 中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数('*'是乘法,'%'是数学取余数)
    4. 比如:有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次,那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user,分配给他们的抽奖号码依次是 0,1,2。假设 A 股收盘点数是 3012.34 点,那么 3012.34 * 100 % 3,中奖号码就是 1,中奖用户就是 @y_user
    5. 提示:因为会排序去重,多次回复不会增加中奖概率。
    第 1 条附言  ·  2019-09-18 17:11:23 +08:00
    前 500 位名单如下,依次编号 0~499:

    0hey0:编号 0
    0ps:编号 1
    0x3f3f
    1005gel
    109109
    12
    123s
    1more
    1rror
    284376485
    3CH0
    402645707
    40huo
    49degree
    7gugu
    810244966
    8629
    99911a
    AJDX3906
    AaronLiu00
    Ahs
    Ahy
    AidenChen
    AlexaZhou
    AmadeusGhost
    AnonymousM
    Believer
    BoiledEgg
    BriFuture
    ChenXuting
    ChristopherWu
    CoCoMcRee
    Coande
    CodeWind
    CrazyRain0001
    Cyron
    Despacito
    DrJoseph
    DreamSpace
    E1n
    ESeanZ
    Famio
    Flyerwzb
    FuryBean
    FuturesXu
    G1n233
    GM
    Hauserkk
    Hugehard
    IDCFAN
    ITJoker
    Isight
    JKing
    JL1990
    JasperYanky
    Jiuyu
    Joker3120
    JunkLeo
    JusticeShi
    Juszoe
    KasuganoSoras
    Keyes
    Kimiato
    KingPL
    Kinnice
    LWXYFER
    LXVC
    LazYFire
    Licsber
    LinusTor
    Lisylfn
    LittleYangYang
    MITOO
    Macolor21
    MiaRunis
    Mikewu
    MioAkiyama
    Motoi
    MrMario
    MyFaith
    Nasei
    NoirStrike
    OrangeM21
    Orenoid
    PeterPig
    PickMio
    PlayByMyself
    PyCode
    RanchoTuring
    Realucas
    Rehtt
    Rheinmetal
    SaberJack
    Sanko
    Saszr
    Shunte
    SmallZheng
    Suvigotimor
    TangCuYu2333
    Tenlp
    TheWalkingDead
    Themyth
    Tink
    Tong16
    UnknownR
    Vanctol
    VermouthcZzz
    WhyLiam
    Wien
    WilliamYang
    XSG
    YFeei
    YenvY
    Yorkzhu
    Zainxu
    ZiLong
    Zsh110
    Zzdex
    aWangami
    aaaaaaaaa
    abelce
    actar
    acz154
    ahaxzh
    alexzhan
    alikesi
    allencloud
    alpha2016
    alschw
    anjiannian
    anoper
    archknight
    arfaWong
    aru
    atan
    az422
    azh7138m
    azuginnen
    b1gCi
    b1rdb0y
    baixiaoyu2997
    blueset
    bobsam
    bolshevik
    bomb77
    bullettrain1433
    buried
    bxb100
    byron
    c
    c0878
    carbon
    caserest
    cbangchenLL7
    cc3630
    chanots
    chashao
    chinafeng
    chinvo
    chuanqirenwu
    chy373180
    cjc2017
    cjpjxjx
    cmllwxxl
    cnbattle
    co3site
    codereric
    controller
    coolair
    cornelia
    corningsun
    cosmo
    crabtsk
    crs0910
    csx163
    cxh2000210
    cxy1234
    cyssxt
    d5
    dabaibai
    dewi
    dixeran
    dontbesad
    dream7758522
    drlalll
    duola
    einvince
    elbertzhu
    epicSoldier
    eptwd
    everydiao
    ezioruan
    falcon05
    fatelight
    fathuman
    fcj558
    feifan00x
    felixcode
    fghshunzi
    fhvch:编号 199
    第 2 条附言  ·  2019-09-18 17:11:53 +08:00
    fire2y:编号 200
    fishofcat
    flxxy
    fo3xx
    frostcake
    gIrl1990
    galenzhao
    gangsta
    gaobh
    gcod
    gdcbhtd
    geekzjj
    gleox
    goodryb
    gotounix
    gstqc
    guoluwei
    gxvv
    h4lt
    hangvane
    haofly
    harryge
    harryge01
    hebin
    hebingchang
    hedys
    hfutzj
    hillw4h
    hohoho
    huadi
    huishu
    huiwl
    hzwjz
    i0error
    iAcn
    iThink
    iakisey
    iamalive2008
    icekingcy
    ifulikeweirdo
    il1707
    ilixin
    illl
    imNull
    imay
    ittianyu
    iture
    ivanyin
    iwtbauh
    javashell
    jaylong
    jerrodpoole
    jiang123574
    jiangming1399
    jiexixijie
    jiezhi
    jimages
    jjxh
    jkbspin
    johnnie502
    joocejie
    jsdtxm
    jsnjfz
    jsonzz
    just1
    justin2018
    kaixuan1901
    kakudesu
    kalagxw
    kebyn
    killeder
    killerzhangsan
    koalaMagic
    kohos
    koromon
    kraymond
    ksedz
    kukat
    kutear
    laowei222
    ldm0
    leafleave
    lee82014312
    leesh853761
    lilihangzhou
    linpm
    litao3rd
    littleghosty
    liu19931020
    liujiajun1999
    liuymf
    livexia
    lixile
    ljlljl0
    lmaq
    lockerhyz
    lostexile
    loveyu
    lqzhgood
    lrvy
    lscho
    luckybo
    luoqing1477
    luozic
    lycc
    lyuehh
    lzy4happy
    manhere
    maohhgg
    maooyer
    marsLeo
    mason961125
    meeken
    menyakun
    mhcyong
    ming7435
    miragetu
    mlhadoop
    moln
    molvqingtai
    monkey2
    moonrailgun
    morethansean
    moryxsw
    mosesyou
    movax21h
    mpb
    mrcn
    mulei200
    mulu
    mymike
    mynamewang0
    mywaiting
    n37r06u3
    nameldk
    natforum
    nomoon
    nooper
    oIMOo
    octobersnow
    okjb
    oovveeaarr
    orcinusorca
    orient
    pandachow
    phithon
    pinkward
    plaknight
    poison123
    polythene
    ponder
    ptlkStar
    qdpoboy
    qiangmin
    qinghon
    qmake
    qq29701
    qq625692420
    raffaellolin
    rainfox
    ranleng
    rapperx2
    reticentfat
    richard1122
    rinsingw
    rjie2008
    rosu
    ruiyinjinqu
    runningding
    ryV60s
    saberlove
    salmon5
    scoful
    sdandroid
    select
    sep9999
    set01
    setsena
    sevenphp
    sgq1128
    shadowyue
    shdcn
    shell314
    shishen10
    shuaizi
    sike03
    siknet
    silaike
    silenceboychen
    singerll
    sixm
    slwl123
    smilzman
    sniperking1234
    songjiaxin2008
    spemoon
    squallsdjl
    sreal
    st4rg4z3r
    standin000:编号 399
    第 3 条附言  ·  2019-09-18 17:12:21 +08:00
    starrycat:编号 400
    stayreal
    steptodream
    stevenbipt
    sun522198558
    suyuyu
    swulling
    syy
    tailaqumos
    tangtj
    test23
    tetora
    tf141
    tfdetang
    thoutherKai
    thulof
    tingchina
    tongz
    tookbra
    totopo
    tsukiikekaoru
    tt0411
    tuot
    tyhunter
    tyx1703
    uhian
    unknownservice
    uptime
    vast0906
    vcinex
    vipdog73
    vipwpcom
    visitant
    vjnjc
    vstar
    wangxxxing
    wanyulaowang
    weixingna
    whtsky
    wingoo
    wlw0327
    wojfsdj
    wph95
    wuYin
    wwek
    wy53
    wzw
    x2ve
    xddxdd
    xduanx
    xiangchen2011
    xianxianyu
    xiaobanlong
    xiaodog
    xiaome
    xiaonec
    xiazero
    xiazhiisgood
    xiongbiao
    xiri
    xiubin
    xml123
    xmoon
    xrds7986
    xsephiroth
    xuc
    xuecan
    xuqianyu
    y547679519
    yangfan1999
    yatestxw
    yeya24
    ylhawj
    ysicing
    ytlm
    yufj
    yukiww233
    yycpro
    yyork
    yzyun08
    z919126592
    zavieryip
    zealinux
    zenze
    zerozz
    zhangqilin
    zhchyu999
    zhengjian
    zhensjoke
    zhouyg
    zhuawadao
    zjx1993
    zongwan
    zpfhbyx
    zsdroid
    ztnuaa
    zvcs
    zytomorrow
    zzmstring
    zzw1998:编号 499
    549 条回复    2019-09-26 12:49:40 +08:00
    1  2  3  4  5  6  
    JKing
        301
    JKing  
       2019-09-13 14:18:03 +08:00 via iPhone
    wow 不错哦
    killerzhangsan
        302
    killerzhangsan  
       2019-09-13 14:23:14 +08:00 via Android
    不知道作用是什么,对什么业务有什么好处
    anoper
        303
    anoper  
       2019-09-13 14:24:54 +08:00
    分母+1
    jsonzz
        304
    jsonzz  
       2019-09-13 14:25:47 +08:00
    测试环境可以回放生产环境的真实的流量,不错
    einvince
        305
    einvince  
       2019-09-13 14:27:05 +08:00
    我可以抢救一下
    Nasei
        306
    Nasei  
       2019-09-13 14:31:56 +08:00 via Android
    缺一台 ps4 达成全机种成就(逃
    Famio
        307
    Famio  
       2019-09-13 14:32:55 +08:00
    分母还来得及
    Coande
        308
    Coande  
       2019-09-13 14:51:37 +08:00 via Android
    祝越来越好
    1rror
        309
    1rror  
       2019-09-13 15:13:19 +08:00
    6
    uptime
        310
    uptime  
       2019-09-13 15:20:45 +08:00
    500 之前排个队
    archknight
        311
    archknight  
       2019-09-13 15:30:09 +08:00
    400 前分母+1
    KasuganoSoras
        312
    KasuganoSoras  
       2019-09-13 15:30:42 +08:00
    试试运气,感觉不错
    vjnjc
        313
    vjnjc  
       2019-09-13 15:45:28 +08:00
    还在 500 名内。
    本来以为是要贡献代码才有资格参与 ps4 抽奖,没想到是回复啊。。。
    用法看不太懂啊,是不是 copy 流量往第二台机器上发?
    oIMOo
        314
    oIMOo  
       2019-09-13 15:56:23 +08:00
    从产生 idea 到作品诞生,是个很有成就感的过程
    huiwl
        315
    huiwl  
       2019-09-13 16:01:38 +08:00 via Android
    继续加一,祝越来越好
    raffaellolin
        316
    raffaellolin  
       2019-09-13 16:06:27 +08:00
    虽然我不了解,可是听说有 ps4 可以送给我男朋友我就来劲了
    jiexixijie
        317
    jiexixijie  
       2019-09-13 16:22:54 +08:00 via iPhone
    分子.jpg
    ldm0
        318
    ldm0  
       2019-09-13 16:36:07 +08:00
    bd ( doge
    Jiuyu
        319
    Jiuyu  
       2019-09-13 16:46:15 +08:00 via Android
    增加分母~
    Mikewu
        320
    Mikewu  
       2019-09-13 16:57:36 +08:00
    来了来了
    G1n233
        321
    G1n233  
       2019-09-13 16:58:57 +08:00 via iPhone
    抓住机会(
    Lisylfn
        322
    Lisylfn  
       2019-09-13 17:06:40 +08:00 via iPhone
    成为分母
    h4lt
        323
    h4lt  
       2019-09-13 17:30:00 +08:00
    这个业务上正好有需求。
    学习了。
    huishu
        324
    huishu  
       2019-09-13 18:08:48 +08:00
    分母来了。
    gleox
        325
    gleox  
       2019-09-13 18:33:18 +08:00
    看起来和[RawCap.exe]( https://www.netresec.com/?page=rawcap)功能类似,建议设备的命令行参数可以参考下 RawCap,更加友好些。提供了多个选择,还跨平台,支持下。
    phithon
        326
    phithon  
       2019-09-13 18:37:36 +08:00
    机会?
    AmadeusGhost
        327
    AmadeusGhost  
       2019-09-13 18:43:24 +08:00 via Android
    分母+1
    lilihangzhou
        328
    lilihangzhou  
       2019-09-13 19:53:14 +08:00
    分母++
    livexia
        329
    livexia  
       2019-09-13 19:57:57 +08:00 via iPhone
    还可以成为分母
    Yorkzhu
        330
    Yorkzhu  
       2019-09-13 20:01:38 +08:00
    分母++
    tt0411
        331
    tt0411  
       2019-09-13 20:30:17 +08:00
    还在 500 内, 加油~
    z919126592
        332
    z919126592  
       2019-09-13 20:33:02 +08:00 via Android
    增强
    1more
        333
    1more  
       2019-09-13 21:18:41 +08:00
    分母加 1
    rjie2008
        334
    rjie2008  
       2019-09-13 21:43:38 +08:00
    分母加 1
    tingchina
        335
    tingchina  
       2019-09-13 21:52:33 +08:00
    看起来不错
    Themyth
        336
    Themyth  
       2019-09-13 21:57:42 +08:00
    我没想到这个可以干嘛用呢?是为了分析流量么?
    PeterPig
        337
    PeterPig  
       2019-09-13 22:02:22 +08:00 via Android
    分母加一
    Hugehard
        338
    Hugehard  
       2019-09-13 22:41:11 +08:00
    先回复,然后慢慢看前面说了啥
    Joker3120
        339
    Joker3120  
       2019-09-13 22:52:31 +08:00 via Android
    分母+1
    fghshunzi
        340
    fghshunzi  
       2019-09-13 22:54:06 +08:00
    分母+1
    Sanko
        341
    Sanko  
       2019-09-13 23:24:27 +08:00 via Android
    分母
    dream7758522
        342
    dream7758522  
       2019-09-13 23:28:06 +08:00 via Android
    加油
    0ps
        343
    0ps  
       2019-09-13 23:42:26 +08:00 via iPhone
    凑一下
    zzw1998
        344
    zzw1998  
       2019-09-14 01:18:17 +08:00
    分母!
    ztnuaa
        345
    ztnuaa  
       2019-09-14 01:20:22 +08:00 via Android
    分母
    chinafeng
        346
    chinafeng  
       2019-09-14 01:30:34 +08:00
    分母!
    zhuawadao
        347
    zhuawadao  
       2019-09-14 02:10:41 +08:00
    厉害了
    rosu
        348
    rosu  
       2019-09-14 02:27:10 +08:00 via Android
    分母+1
    syy
        349
    syy  
       2019-09-14 02:43:50 +08:00
    分母+1
    hebingchang
        350
    hebingchang  
       2019-09-14 02:51:59 +08:00 via iPhone
    分母+1
    thoutherKai
        351
    thoutherKai  
       2019-09-14 07:39:49 +08:00 via Android
    分母+1
    jiangming1399
        352
    jiangming1399  
       2019-09-14 08:02:02 +08:00 via Android
    我要当分子!
    icekingcy
        353
    icekingcy  
       2019-09-14 08:25:05 +08:00 via iPhone
    算法有意思 项目未来可能用得上
    0hey0
        354
    0hey0  
       2019-09-14 08:26:53 +08:00 via Android
    分母分子啥的不重要,参与感最重要 /狗头
    hzwjz
        355
    hzwjz  
       2019-09-14 09:05:33 +08:00 via Android
    真的嘛…我会不会是那个分子
    tsukiikekaoru
        356
    tsukiikekaoru  
       2019-09-14 09:09:05 +08:00 via iPhone
    期待一个新版
    DreamSpace
        357
    DreamSpace  
       2019-09-14 09:11:13 +08:00 via Android
    拉低中奖率
    Orenoid
        358
    Orenoid  
       2019-09-14 09:46:20 +08:00 via Android
    +1
    xiongbiao
        359
    xiongbiao  
       2019-09-14 09:53:05 +08:00
    因吹斯听
    kohos
        360
    kohos  
       2019-09-14 10:23:13 +08:00
    感觉可以用来抓包调试一些不加密的接口
    jerrodpoole
        361
    jerrodpoole  
       2019-09-14 10:35:53 +08:00 via Android
    支持
    joocejie
        362
    joocejie  
    OP
       2019-09-14 10:40:18 +08:00
    @iwtbauh 我理解 tcpdump 的方法可以把包的 IP/Port/Protocol 等 meta 信息送到远端,对包的完整 payload 信息处理不好。如果我理解的不对,请指正。
    joocejie
        363
    joocejie  
    OP
       2019-09-14 10:42:36 +08:00
    @steptodream Packet-Agent 只负责抓取,不包含分析的部分。
    joocejie
        364
    joocejie  
    OP
       2019-09-14 10:43:42 +08:00
    @n37r06u3 友商前社员你好。
    joocejie
        365
    joocejie  
    OP
       2019-09-14 10:45:43 +08:00
    @abelce 默认所有包都抓,支持 libpcap 的 bpf 语法过滤包。流量在单 CPU 负载不满的情况下基本不丢包。
    joocejie
        366
    joocejie  
    OP
       2019-09-14 10:47:27 +08:00
    @rinsingw true
    joocejie
        367
    joocejie  
    OP
       2019-09-14 10:49:47 +08:00
    @killerzhangsan 见 165 楼。我们主要是做实时业务监控。
    joocejie
        368
    joocejie  
    OP
       2019-09-14 10:50:20 +08:00
    @vjnjc 可以这么理解
    joocejie
        369
    joocejie  
    OP
       2019-09-14 10:51:13 +08:00
    @gleox 谢谢,我参考一下。
    joocejie
        370
    joocejie  
    OP
       2019-09-14 10:53:33 +08:00
    @Themyth 是的,分析流量做业务监控。当然你也可以用作其他用途。
    kalagxw
        371
    kalagxw  
       2019-09-14 11:03:26 +08:00
    不错,看起来软路由上可以用
    49degree
        372
    49degree  
       2019-09-14 11:05:18 +08:00 via iPhone
    这样做,分析成本太高了吧
    BriFuture
        373
    BriFuture  
       2019-09-14 11:08:50 +08:00
    继微博之后又一抽奖工具
    iwtbauh
        374
    iwtbauh  
       2019-09-14 12:23:40 +08:00 via Android
    @joocejie #362

    tcpdump 也可以通过 -s 0 参数记录 payload 吧,我想问的是这个软件比我之前提到的方案(组合现有程序)有什么优势。我以前就 tcpdump 过远程主机流量转发给本地工作站的 Wireshark 分析流量。
    NoirStrike
        375
    NoirStrike  
       2019-09-14 12:28:41 +08:00
    分母~
    qq29701
        376
    qq29701  
       2019-09-14 12:34:15 +08:00 via iPad
    这个不错 Mark 一下收藏
    lee82014312
        377
    lee82014312  
       2019-09-14 12:39:44 +08:00 via Android
    没得说,赶紧拉低中奖概率
    poison123
        378
    poison123  
       2019-09-14 12:42:42 +08:00 via iPhone
    分母分母
    cjpjxjx
        379
    cjpjxjx  
       2019-09-14 12:45:19 +08:00
    万一中了呢
    ylhawj
        380
    ylhawj  
       2019-09-14 12:45:21 +08:00 via iPhone
    看起来不错,支持一下
    aru
        381
    aru  
       2019-09-14 12:46:19 +08:00
    万一中了呢
    mymike
        382
    mymike  
       2019-09-14 13:02:52 +08:00 via iPhone
    看到了 psps4 支持一下
    dixeran
        383
    dixeran  
       2019-09-14 13:04:23 +08:00 via Android
    当分子
    qmake
        384
    qmake  
       2019-09-14 13:16:29 +08:00 via Android
    哈哈 好东西 有时间要看一看
    crs0910
        385
    crs0910  
       2019-09-14 13:56:42 +08:00
    项目看不懂还可以学习下抽奖方法
    Vanctol
        386
    Vanctol  
       2019-09-14 15:36:06 +08:00
    支持支持
    xddxdd
        387
    xddxdd  
       2019-09-14 16:09:07 +08:00 via Android
    尝试成为分子
    rainfox
        388
    rainfox  
       2019-09-14 16:40:28 +08:00
    支持一下
    lscho
        389
    lscho  
       2019-09-14 16:55:30 +08:00
    表示看不懂
    tuot
        390
    tuot  
       2019-09-14 16:59:15 +08:00 via Android
    不错诶,支持,研究一下
    alpha2016
        391
    alpha2016  
       2019-09-14 17:01:12 +08:00
    NBNB
    CodeWind
        392
    CodeWind  
       2019-09-14 17:01:52 +08:00 via Android
    参与一下
    vast0906
        393
    vast0906  
       2019-09-14 17:12:57 +08:00
    np,支持一波
    leesh853761
        394
    leesh853761  
       2019-09-14 17:39:16 +08:00
    这活动不错,我来参与一下
    frostcake
        395
    frostcake  
       2019-09-14 17:47:29 +08:00
    支持支持
    meeken
        396
    meeken  
       2019-09-14 17:48:32 +08:00 via iPhone
    前来成为分子
    xml123
        397
    xml123  
       2019-09-14 19:59:48 +08:00
    第一次见抽这么贵的礼物的……
    loveyu
        398
    loveyu  
       2019-09-14 20:03:40 +08:00 via Android
    PS4 我来啦
    zenze
        399
    zenze  
       2019-09-14 20:19:09 +08:00 via iPhone
    好像还没到五百 凑分子
    hangvane
        400
    hangvane  
       2019-09-14 20:33:25 +08:00
    万一呢
    1  2  3  4  5  6  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   980 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 20:26 · PVG 04:26 · LAX 13:26 · JFK 16:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.