V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
joocejie
V2EX  ›  分享创造

开源一个云环境网络流量镜像项目 Packet-Agent(参与送 PS4)

  •  
  •   joocejie · 2019-09-12 16:03:31 +08:00 · 15021 次点击
    这是一个创建于 811 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目背景

      传统网络数据分析会在交换机上配置网络数据镜像, 将 Packet 复制后发送到目标机器,实现网络流量镜像的功能。
      而在云平台上,目前网络数据采集还没有统一的方案。针对私有云平台,目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
      对于 vmware 平台分布式虚交换机配置采集的方案,性能较好,不占用客户机资源,但其属于商业产品,且只适用于购买 vmware 私有云用户;而在 hypervisor 上监听采集,目前有产品开发,性能较好,但只适用于 OpenStack 私有云;采用 OVS 流表方案,优势是免费,不占用客户机资源,但是配置复杂,且只能用于 OpenStack 私有云。
      因此,开发基于 libpcap + GRE 封装转发的应用,或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

    Packet-Agent 简介

      Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术,从业务网卡抓包,进行 GRE 封装后将采集到的数据包发送到另一台远端机器,供分析使用。

    Docker Kubernetes 支持

      Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说,Packet-Agent 封装成容器后,与需要监控的业务容器放在同一个 K8S Pod 中,与其共享网络层并抓包镜像网络流量。
      具体方案见项目文档:K8S_traffic_mirror

    参与 Packet-Agent 项目

      欢迎大家参与此项目,包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议,或者将该项目介绍给相关的朋友。衷心感谢。

    抽奖回馈社区

      为感谢大家的支持,抽奖送一台 PS4 主机,抽奖方法如下:

    1. 在这个帖子下面回复参与讨论。
    2. 获奖资格:从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
    3. 中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数('*'是乘法,'%'是数学取余数)
    4. 比如:有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次,那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user,分配给他们的抽奖号码依次是 0,1,2。假设 A 股收盘点数是 3012.34 点,那么 3012.34 * 100 % 3,中奖号码就是 1,中奖用户就是 @y_user
    5. 提示:因为会排序去重,多次回复不会增加中奖概率。
    第 1 条附言  ·  2019-09-18 17:11:23 +08:00
    前 500 位名单如下,依次编号 0~499:

    0hey0:编号 0
    0ps:编号 1
    0x3f3f
    1005gel
    109109
    12
    123s
    1more
    1rror
    284376485
    3CH0
    402645707
    40huo
    49degree
    7gugu
    810244966
    8629
    99911a
    AJDX3906
    AaronLiu00
    Ahs
    Ahy
    AidenChen
    AlexaZhou
    AmadeusGhost
    AnonymousM
    Believer
    BoiledEgg
    BriFuture
    ChenXuting
    ChristopherWu
    CoCoMcRee
    Coande
    CodeWind
    CrazyRain0001
    Cyron
    Despacito
    DrJoseph
    DreamSpace
    E1n
    ESeanZ
    Famio
    Flyerwzb
    FuryBean
    FuturesXu
    G1n233
    GM
    Hauserkk
    Hugehard
    IDCFAN
    ITJoker
    Isight
    JKing
    JL1990
    JasperYanky
    Jiuyu
    Joker3120
    JunkLeo
    JusticeShi
    Juszoe
    KasuganoSoras
    Keyes
    Kimiato
    KingPL
    Kinnice
    LWXYFER
    LXVC
    LazYFire
    Licsber
    LinusTor
    Lisylfn
    LittleYangYang
    MITOO
    Macolor21
    MiaRunis
    Mikewu
    MioAkiyama
    Motoi
    MrMario
    MyFaith
    Nasei
    NoirStrike
    OrangeM21
    Orenoid
    PeterPig
    PickMio
    PlayByMyself
    PyCode
    RanchoTuring
    Realucas
    Rehtt
    Rheinmetal
    SaberJack
    Sanko
    Saszr
    Shunte
    SmallZheng
    Suvigotimor
    TangCuYu2333
    Tenlp
    TheWalkingDead
    Themyth
    Tink
    Tong16
    UnknownR
    Vanctol
    VermouthcZzz
    WhyLiam
    Wien
    WilliamYang
    XSG
    YFeei
    YenvY
    Yorkzhu
    Zainxu
    ZiLong
    Zsh110
    Zzdex
    aWangami
    aaaaaaaaa
    abelce
    actar
    acz154
    ahaxzh
    alexzhan
    alikesi
    allencloud
    alpha2016
    alschw
    anjiannian
    anoper
    archknight
    arfaWong
    aru
    atan
    az422
    azh7138m
    azuginnen
    b1gCi
    b1rdb0y
    baixiaoyu2997
    blueset
    bobsam
    bolshevik
    bomb77
    bullettrain1433
    buried
    bxb100
    byron
    c
    c0878
    carbon
    caserest
    cbangchenLL7
    cc3630
    chanots
    chashao
    chinafeng
    chinvo
    chuanqirenwu
    chy373180
    cjc2017
    cjpjxjx
    cmllwxxl
    cnbattle
    co3site
    codereric
    controller
    coolair
    cornelia
    corningsun
    cosmo
    crabtsk
    crs0910
    csx163
    cxh2000210
    cxy1234
    cyssxt
    d5
    dabaibai
    dewi
    dixeran
    dontbesad
    dream7758522
    drlalll
    duola
    einvince
    elbertzhu
    epicSoldier
    eptwd
    everydiao
    ezioruan
    falcon05
    fatelight
    fathuman
    fcj558
    feifan00x
    felixcode
    fghshunzi
    fhvch:编号 199
    第 2 条附言  ·  2019-09-18 17:11:53 +08:00
    fire2y:编号 200
    fishofcat
    flxxy
    fo3xx
    frostcake
    gIrl1990
    galenzhao
    gangsta
    gaobh
    gcod
    gdcbhtd
    geekzjj
    gleox
    goodryb
    gotounix
    gstqc
    guoluwei
    gxvv
    h4lt
    hangvane
    haofly
    harryge
    harryge01
    hebin
    hebingchang
    hedys
    hfutzj
    hillw4h
    hohoho
    huadi
    huishu
    huiwl
    hzwjz
    i0error
    iAcn
    iThink
    iakisey
    iamalive2008
    icekingcy
    ifulikeweirdo
    il1707
    ilixin
    illl
    imNull
    imay
    ittianyu
    iture
    ivanyin
    iwtbauh
    javashell
    jaylong
    jerrodpoole
    jiang123574
    jiangming1399
    jiexixijie
    jiezhi
    jimages
    jjxh
    jkbspin
    johnnie502
    joocejie
    jsdtxm
    jsnjfz
    jsonzz
    just1
    justin2018
    kaixuan1901
    kakudesu
    kalagxw
    kebyn
    killeder
    killerzhangsan
    koalaMagic
    kohos
    koromon
    kraymond
    ksedz
    kukat
    kutear
    laowei222
    ldm0
    leafleave
    lee82014312
    leesh853761
    lilihangzhou
    linpm
    litao3rd
    littleghosty
    liu19931020
    liujiajun1999
    liuymf
    livexia
    lixile
    ljlljl0
    lmaq
    lockerhyz
    lostexile
    loveyu
    lqzhgood
    lrvy
    lscho
    luckybo
    luoqing1477
    luozic
    lycc
    lyuehh
    lzy4happy
    manhere
    maohhgg
    maooyer
    marsLeo
    mason961125
    meeken
    menyakun
    mhcyong
    ming7435
    miragetu
    mlhadoop
    moln
    molvqingtai
    monkey2
    moonrailgun
    morethansean
    moryxsw
    mosesyou
    movax21h
    mpb
    mrcn
    mulei200
    mulu
    mymike
    mynamewang0
    mywaiting
    n37r06u3
    nameldk
    natforum
    nomoon
    nooper
    oIMOo
    octobersnow
    okjb
    oovveeaarr
    orcinusorca
    orient
    pandachow
    phithon
    pinkward
    plaknight
    poison123
    polythene
    ponder
    ptlkStar
    qdpoboy
    qiangmin
    qinghon
    qmake
    qq29701
    qq625692420
    raffaellolin
    rainfox
    ranleng
    rapperx2
    reticentfat
    richard1122
    rinsingw
    rjie2008
    rosu
    ruiyinjinqu
    runningding
    ryV60s
    saberlove
    salmon5
    scoful
    sdandroid
    select
    sep9999
    set01
    setsena
    sevenphp
    sgq1128
    shadowyue
    shdcn
    shell314
    shishen10
    shuaizi
    sike03
    siknet
    silaike
    silenceboychen
    singerll
    sixm
    slwl123
    smilzman
    sniperking1234
    songjiaxin2008
    spemoon
    squallsdjl
    sreal
    st4rg4z3r
    standin000:编号 399
    第 3 条附言  ·  2019-09-18 17:12:21 +08:00
    starrycat:编号 400
    stayreal
    steptodream
    stevenbipt
    sun522198558
    suyuyu
    swulling
    syy
    tailaqumos
    tangtj
    test23
    tetora
    tf141
    tfdetang
    thoutherKai
    thulof
    tingchina
    tongz
    tookbra
    totopo
    tsukiikekaoru
    tt0411
    tuot
    tyhunter
    tyx1703
    uhian
    unknownservice
    uptime
    vast0906
    vcinex
    vipdog73
    vipwpcom
    visitant
    vjnjc
    vstar
    wangxxxing
    wanyulaowang
    weixingna
    whtsky
    wingoo
    wlw0327
    wojfsdj
    wph95
    wuYin
    wwek
    wy53
    wzw
    x2ve
    xddxdd
    xduanx
    xiangchen2011
    xianxianyu
    xiaobanlong
    xiaodog
    xiaome
    xiaonec
    xiazero
    xiazhiisgood
    xiongbiao
    xiri
    xiubin
    xml123
    xmoon
    xrds7986
    xsephiroth
    xuc
    xuecan
    xuqianyu
    y547679519
    yangfan1999
    yatestxw
    yeya24
    ylhawj
    ysicing
    ytlm
    yufj
    yukiww233
    yycpro
    yyork
    yzyun08
    z919126592
    zavieryip
    zealinux
    zenze
    zerozz
    zhangqilin
    zhchyu999
    zhengjian
    zhensjoke
    zhouyg
    zhuawadao
    zjx1993
    zongwan
    zpfhbyx
    zsdroid
    ztnuaa
    zvcs
    zytomorrow
    zzmstring
    zzw1998:编号 499
    549 条回复    2019-09-26 12:49:40 +08:00
    1  2  3  4  5  6  
    hillw4h
        1
    hillw4h   2019-09-12 16:19:19 +08:00 via Android
    看到有 ps4,我马上来了
    cornelia
        2
    cornelia   2019-09-12 16:20:34 +08:00
    增加分母
    cbangchenLL7
        3
    cbangchenLL7   2019-09-12 16:20:55 +08:00
    azh7138m
        4
    azh7138m   2019-09-12 16:28:24 +08:00
    滑稽.webp
    LazYFire
        5
    LazYFire   2019-09-12 16:36:22 +08:00
    前来成为分子
    3CH0
        6
    3CH0   2019-09-12 16:38:56 +08:00
    可以的
    laowei222
        7
    laowei222   2019-09-12 16:42:14 +08:00
    成为分子
    polythene
        8
    polythene   2019-09-12 16:42:28 +08:00
    提 PR 能不能增加做分子的概率啊?
    gotounix
        9
    gotounix   2019-09-12 16:43:10 +08:00
    参与一下,好项目!
    zsdroid
        10
    zsdroid   2019-09-12 16:44:27 +08:00
    这个算法 666
    chinvo
        11
    chinvo   2019-09-12 16:44:27 +08:00 via iPhone
    有点意思
    coolair
        12
    coolair   2019-09-12 16:45:15 +08:00
    我相信是我
    manhere
        13
    manhere   2019-09-12 16:46:48 +08:00   ❤️ 1
    有意思 关注 已星
    ESeanZ
        14
    ESeanZ   2019-09-12 16:47:34 +08:00
    先拉低中奖率再说
    test23
        15
    test23   2019-09-12 16:47:43 +08:00
    看到有 ps4,我来了
    SaberJack
        16
    SaberJack   2019-09-12 16:48:34 +08:00
    看到 PS4,过来增加分母
    xianxianyu
        17
    xianxianyu   2019-09-12 16:49:23 +08:00
    不错的项目,希望 pr 能提高命中率
    buried
        18
    buried   2019-09-12 16:51:14 +08:00
    不错 还支持 k8s
    illl
        19
    illl   2019-09-12 16:51:49 +08:00 via iPhone
    来成为分子
    wlw0327
        20
    wlw0327   2019-09-12 16:52:08 +08:00 via Android
    提 PR 能不能提高中奖率啊
    kukat
        21
    kukat   2019-09-12 16:52:48 +08:00
    分母+1
    d5
        22
    d5   2019-09-12 16:52:55 +08:00
    关注一个,成为分母了
    cnbattle
        23
    cnbattle   2019-09-12 17:01:55 +08:00
    为了分子
    vipdog73
        24
    vipdog73   2019-09-12 17:07:45 +08:00
    增加分母
    joocejie
        25
    joocejie   2019-09-12 17:08:50 +08:00
    @polythene 提交 pull-request 不会增加中奖概率。但是如果提交的 PR 有价值,可以发一些其他奖品给您。
    c
        26
    c   2019-09-12 17:09:11 +08:00 via Android
    不错的产品
    KingPL
        27
    KingPL   2019-09-12 17:09:57 +08:00
    这个算法 666
    just1
        28
    just1   2019-09-12 17:11:51 +08:00
    增加分母 lol
    xiri
        29
    xiri   2019-09-12 17:12:37 +08:00 via Android
    我来做分母
    402645707
        30
    402645707   2019-09-12 17:13:42 +08:00
    增加分母++
    hohoho
        31
    hohoho   2019-09-12 17:16:59 +08:00
    我来做分母😂
    actar
        32
    actar   2019-09-12 17:17:29 +08:00
    分母+1
    litao3rd
        33
    litao3rd   2019-09-12 17:17:41 +08:00
    不太理解为啥要抽奖,我还以为是开源项目想找人参与。。。

    不过我特地登陆回复也是为了增加分母,哈哈哈哈哈哈
    mason961125
        34
    mason961125   2019-09-12 17:17:54 +08:00
    看了下 repo,似乎没找到 benchmark
    mywaiting
        35
    mywaiting   2019-09-12 17:18:29 +08:00
    顺手发个分母
    fo3xx
        36
    fo3xx   2019-09-12 17:18:31 +08:00
    抽奖算法 6
    284376485
        37
    284376485   2019-09-12 17:21:54 +08:00
    分母+1
    Ahy
        38
    Ahy   2019-09-12 17:21:57 +08:00
    加油加油 你是最棒的
    sreal
        39
    sreal   2019-09-12 17:23:28 +08:00
    你们都做分母,那我做分子吧 /doge
    yangfan1999
        40
    yangfan1999   2019-09-12 17:23:32 +08:00
    来了, 拉低中奖率
    arfaWong
        41
    arfaWong   2019-09-12 17:24:12 +08:00
    可以的,分母+1
    joocejie
        42
    joocejie   2019-09-12 17:25:27 +08:00
    @litao3rd 公司的项目和预算,我负责实施。为了增加更多的用户参与,所以加了一个抽奖环节。
    joocejie
        43
    joocejie   2019-09-12 17:29:21 +08:00
    @mason961125 benchmark 在这个文档中,在阿里云和 aws 上测试的。: https://github.com/Netis/packet-agent/blob/master/docs/Packet-Agent%E6%80%A7%E8%83%BD%E8%AF%84%E6%B5%8B.md
    注:CentOS7 平台上性能曲线非一次线性是因为 libpcap 库 TPACKET_V3 的问题,升级到 libpcap-1.8.1-6.fc27.x86_64.rpm 即可解决。
    crabtsk
        44
    crabtsk   2019-09-12 17:30:04 +08:00
    看到有 PS4 我就来啦~
    LinusTor
        45
    LinusTor   2019-09-12 17:31:33 +08:00
    分母+1
    ChristopherWu
        46
    ChristopherWu   2019-09-12 17:32:35 +08:00
    哇。。可真厉害的
    rapperx2
        47
    rapperx2   2019-09-12 17:35:37 +08:00
    厉害啦,老哥
    99911a
        48
    99911a   2019-09-12 17:37:13 +08:00
    争取成为分子的分母 +1
    pandachow
        49
    pandachow   2019-09-12 17:39:05 +08:00
    好!
    TangCuYu2333
        50
    TangCuYu2333   2019-09-12 17:39:06 +08:00 via Android
    成为分子
    zerozz
        51
    zerozz   2019-09-12 17:39:32 +08:00
    分子来了
    shadowyue
        52
    shadowyue   2019-09-12 17:39:33 +08:00
    看我能再拿一个 ps4 嘛
    morethansean
        53
    morethansean   2019-09-12 17:40:58 +08:00
    先码再看,顺便参与抽奖...
    gaobh
        54
    gaobh   2019-09-12 17:42:59 +08:00
    增加获奖几率……
    qiangmin
        55
    qiangmin   2019-09-12 17:43:55 +08:00
    概率小点 :-)
    b1gCi
        56
    b1gCi   2019-09-12 17:44:27 +08:00 via Android
    让我来!当分母
    leafleave
        57
    leafleave   2019-09-12 17:47:50 +08:00
    我来试试
    PyCode
        58
    PyCode   2019-09-12 17:48:23 +08:00
    看到有 ps4,我来了
    Tink
        59
    Tink   2019-09-12 17:50:22 +08:00
    分母+1
    Tenlp
        60
    Tenlp   2019-09-12 17:52:10 +08:00 via Android
    那我拉低一波中奖率
    alschw
        61
    alschw   2019-09-12 17:54:20 +08:00 via Android
    来当分母了
    caserest
        62
    caserest   2019-09-12 17:55:17 +08:00
    来当分母啦
    gdcbhtd
        63
    gdcbhtd   2019-09-12 18:06:34 +08:00
    分母+1
    fcj558
        64
    fcj558   2019-09-12 18:07:58 +08:00 via iPhone
    那自然是要支持一下啦
    sun522198558
        65
    sun522198558   2019-09-12 18:10:50 +08:00
    分母+1
    epicSoldier
        66
    epicSoldier   2019-09-12 18:18:27 +08:00
    我只看到了 PS4
    atan
        67
    atan   2019-09-12 18:20:10 +08:00
    分母+1
    sevenphp
        68
    sevenphp   2019-09-12 18:23:44 +08:00
    手持 NS 当分母
    liuymf
        69
    liuymf   2019-09-12 18:23:51 +08:00
    争取成为分子的分母 +1
    bomb77
        70
    bomb77   2019-09-12 18:24:09 +08:00
    阿里云通用型 suse12.2 的测试 2cpu 那个 cpu 到顶峰就开始下降波动了是啥意思,是开始丢包了吗?
    vstar
        71
    vstar   2019-09-12 18:24:52 +08:00
    分子+1
    cjc2017
        72
    cjc2017   2019-09-12 18:25:33 +08:00
    分母+1
    lycc
        73
    lycc   2019-09-12 18:26:06 +08:00 via Android
    来了!!!支持大佬
    VermouthcZzz
        74
    VermouthcZzz   2019-09-12 18:26:07 +08:00
    PS4 呦呦 come on
    40huo
        75
    40huo   2019-09-12 18:27:38 +08:00
    争当分子
    wangxxxing
        76
    wangxxxing   2019-09-12 18:28:54 +08:00
    万一中了呢
    fire2y
        77
    fire2y   2019-09-12 18:31:53 +08:00
    降低中奖率
    cmllwxxl
        78
    cmllwxxl   2019-09-12 18:33:58 +08:00
    我是有梦想的分子
    jiezhi
        79
    jiezhi   2019-09-12 18:34:42 +08:00 via iPhone
    感觉就没中过
    Realucas
        80
    Realucas   2019-09-12 18:35:31 +08:00 via iPhone
    狗头
    ysicing
        81
    ysicing   2019-09-12 18:35:52 +08:00 via Android
    分母。先 mark 为敬
    PlayByMyself
        82
    PlayByMyself   2019-09-12 18:37:52 +08:00 via Android
    分母
    wph95
        83
    wph95   2019-09-12 18:39:21 +08:00
    分母他来了
    ytlm
        84
    ytlm   2019-09-12 18:43:56 +08:00 via Android
    凑凑热闹
    zzmstring
        85
    zzmstring   2019-09-12 18:47:33 +08:00
    我来了 啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
    wuYin
        86
    wuYin   2019-09-12 18:48:21 +08:00 via Android
    分母+1
    MrMario
        87
    MrMario   2019-09-12 18:48:48 +08:00 via iPhone
    赞👍
    jimages
        88
    jimages   2019-09-12 18:49:04 +08:00 via iPhone
    ps 朝我来了
    Rehtt
        89
    Rehtt   2019-09-12 18:50:22 +08:00 via Android
    分母+1
    spemoon
        90
    spemoon   2019-09-12 18:58:21 +08:00
    厉害了!
    sixm
        91
    sixm   2019-09-12 18:59:22 +08:00
    分母+1
    menyakun
        92
    menyakun   2019-09-12 19:03:28 +08:00
    分母+1
    pinkward
        93
    pinkward   2019-09-12 19:05:51 +08:00
    分子!
    jkbspin
        94
    jkbspin   2019-09-12 19:07:44 +08:00
    厉害了
    SmallZheng
        95
    SmallZheng   2019-09-12 19:09:19 +08:00 via Android
    分子来了
    wingoo
        96
    wingoo   2019-09-12 19:12:34 +08:00
    fenmu
    unknownservice
        97
    unknownservice   2019-09-12 19:14:18 +08:00
    看不懂的都要 mark 一下
    iakisey
        98
    iakisey   2019-09-12 19:15:51 +08:00 via iPhone
    来了老弟
    WhyLiam
        99
    WhyLiam   2019-09-12 19:17:28 +08:00
    为了 ps4
    TheWalkingDead
        100
    TheWalkingDead   2019-09-12 19:17:58 +08:00
    分母 is ok
    1  2  3  4  5  6  
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1267 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 18:41 · PVG 02:41 · LAX 10:41 · JFK 13:41
    ♥ Do have faith in what you're doing.