V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
feiandxs
V2EX  ›  问与答

想节省外网流量,把视频网站的视频缓存在本地服务器走内网流量,不知道具体怎么实现

  •  
  •   feiandxs · 2011-12-11 19:37:13 +08:00 · 9134 次点击
    这是一个创建于 4551 天前的主题,其中的信息可能已经有所发展或是发生改变。
    小区宽带,PPPOE拨号后再NAT到外网。出口流量挺大,主要占用是在视屏网站和P2P协议上。 P2P的暂时没想到解决办法,对视频网站的FLV流量部分,打算在小区出口上路由上旁路一台缓存服务器,路由上做针对80端口的策略,如果是视频,去缓存服务器上读,这样就把外网流量转化成内网流量了。
    如果缓存服务器上没有缓存的视频,可以不走路由,直接由缓存服务器对外抓取进行缓存。如果缓存服务器崩溃,想切回到路由上继续走外网。
    想法是这样,不知道具体实现上有什么方案可以参考的。求V2EX大神指点。
    16 条回复    1970-01-01 08:00:00 +08:00
    aveline
        1
    aveline  
       2011-12-11 19:59:13 +08:00
    http劫持
    9hills
        2
    9hills  
       2011-12-11 20:13:05 +08:00
    以你们小区的人数,多个人看到同一个视频的概率很小吧,那么加缓存没有意义。如果你缓存服务器的硬盘能PK土豆优酷的硬盘,那么还有点意义。

    P2P的问题,首先不能封,因为这是法律规定的,否则可以去工信部投诉ISP。限速也是不道德且违反协议的。

    根本解决办法还是升级出口带宽或者提升宽带价格。
    santa
        3
    santa  
       2011-12-11 20:14:46 +08:00
    squid的缓存?
    AntiGameZ
        4
    AntiGameZ  
       2011-12-11 20:20:10 +08:00
    目前我也有这种需求,不过我这里是园区网。既然你是运营商级别,最好的办法是和youku,tudou谈,能在你网内部做一个CDN的节点,是最好的办法。

    视频点播服务的缓存,因为命中率的关系,真心意义不大。你可以先不要做实施,简单抓抓包,看看一下大家点播视频的习惯,能够有数。

    至于P2P,不知道你是多大规模的小区宽带出口,如果下面带的节点在500以内,可以考虑用Panabit,多了就没法了,只能上高级的流控设备
    feiandxs
        5
    feiandxs  
    OP
       2011-12-11 20:35:56 +08:00
    @9hills 封到是没有封,虽然想节省成本,但至少不会在降低用户体验的基础上来实现成本压缩。视频部分,针对长尾的那些固然没有意义,但热点视频读取也许还会有一些价值吧。
    9hills
        6
    9hills  
       2011-12-11 20:39:46 +08:00
    @feiandxs 你知道视频网站一天有多少视频么,作为网络管理员,很容易你就可以分析出假如启用的缓存后缓存的命中率

    缓存如果命中率很低的话没有任何意义。

    另外我敢断言,对一个小区来说,缓存命中率会低的可怕。要是你是一个地区的运营商还有点价值,但那需要极大的硬盘空间,成本是很高的。
    9hills
        7
    9hills  
       2011-12-11 20:49:30 +08:00
    @AntiGameZ 限制P2P流量是不公平的行为,最少应在和用户的协议中体现出来。偷偷进行流量限制是不道德的行为。

    参见的美国FCC的Net Neutrality原则,当然有人会说在中国不用吊美国法律,但这是一个趋势,而且在国内如果你没有在服务条款上写明的话,可以去工信部投诉你限制服务的。
    loading
        8
    loading  
       2011-12-11 20:55:04 +08:00
    建立内部影视服务,把那些泡剧的吸引进来就结了。
    mlhorizon
        9
    mlhorizon  
       2011-12-11 20:55:14 +08:00
    针对小区这么在做真的没啥意义。
    还不如架一个内网的流媒体服务器,把热门的电视剧啥的都放上去。
    mlhorizon
        10
    mlhorizon  
       2011-12-11 20:58:22 +08:00
    居然和楼上的同时发了同样的建议,缘分啊。
    9hills
        11
    9hills  
       2011-12-11 21:00:05 +08:00
    @loading @mlhorizon 这个方案靠谱~~架一套流媒体服务器很简单,但确实非常实用
    Rice
        12
    Rice  
       2011-12-11 21:01:03 +08:00
    嗯嗯,把热门电视剧都下载到一个服务器里、让小区居民自己看去
    loading
        13
    loading  
       2011-12-11 21:07:47 +08:00
    要发现你的用户需要啥,而不是老想你需要干啥,就是如此简单。
    gonbo
        14
    gonbo  
       2011-12-11 21:18:32 +08:00   ❤️ 2
    看到大家这么多的回答,国内应该专门的公司做这个方面的事情,劫持p2p协议,劫持http流量。以前也帮长宽做过这个方面的调研。所有流量走squid,还是会有一定的用,但是硬件成本会比较高,毕竟你要所有流量走一次squid。

    现在流行的解决方案是,劫持http协议,看http后缀是*.flv *.exe *.rar 这种可缓存,而且永久不会改变的文件,就跳转到内部文件服务器。还是会减少一些流量,具体的没有调研,应该10%左右的流量能够节省到。
    AntiGameZ
        15
    AntiGameZ  
       2011-12-11 21:52:15 +08:00
    @gonbo 我这里的调研情况看,能省30%HTTP流量

    @9hills 我说了我的环境是园区网,用户协议在我这没有意义,哈哈。
    hq5261984
        16
    hq5261984  
       2011-12-11 21:56:03 +08:00
    定制路由规则,发现视频程序或者视频格式请求,一律指向缓存服务器。缓存服务器分析是否有该片,如果没有指向外网。该技术实现需要服务器负载能力极强,另外分析程序需要自己写。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3198 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 04:47 · PVG 12:47 · LAX 21:47 · JFK 00:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.