V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
breeswish
V2EX  ›  服务器

建立开源镜像站,学院给 3W 经费,该怎么配置硬件呢?

  •  3
     
  •   breeswish · 2015-09-30 18:16:46 +08:00 · 8735 次点击
    这是一个创建于 3342 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需要特别说明的是,不同于大多数开源镜像站,我们并不把提供 Linux 镜像作为重点——我们认为现有的国内镜像都在这方面做的很好了,所以目前不需要提供重复的服务(主要是没钱啊 o(╯□╰)o

    我们计划为一些缺少国内镜像的服务建立镜像,目前规划是: Android SDK/NDK, Packagist, maven, MongoDB, HHVM, Hackage, Homebrew, OpenStack, Docker, bower, CocoaPods 等。我们希望补全短板,而不是盲目跟风 :-)

    目前还没有企业赞助;老师拿自己科研经费 3W 来支持我们的镜像,于是这 3W 该怎么购置硬件呢?自己并没有这方面经验,前来请教大家。目前暂不考虑带宽问题。

    我想到的主要问题是,存储空间需要多大?需要 SSD 吗?大家使用某个镜像的话,主要看中稳定性、安全性 or 速度?我们这边购置硬件的话应该侧重于提升哪方面?是否有必要全用廉价设备搭建一组可 fallover 的服务器?等等。希望大家给出建议,谢谢~
    第 1 条附言  ·  2015-09-30 22:31:04 +08:00
    学校这边要求品牌机 o(╯□╰)o
    预算提到了 4W , 4W 封顶,目前配置如下,请求大家拍砖:

    DELL PowerEdge R720
    CPU :英特尔® 至强® 处理器 E5-2620 v2 2.1GHz, 15M 缓存, 7.2GT/s QPI, Turbo, HT, 6C, 80W
    内存: 2 × 16GB RDIMM, 1600Mhz, 低电压, 双列, x4 带宽
    RAID : RAID10 , PERC H710p 集成 RAID 控制器, 1GB NV 缓存, 迷你型
    硬盘: 4 × 4TB, 近线 SAS 6Gbps, 3.5-英寸, 7.2K RPM 硬盘 (热插拔)
    网络适配器: Broadcom 5720 QP 1Gb 网络子卡
    附加网路适配器: Broadcom 5719 QP 1Gb 网络接口卡
    电源:双个, 热插拔冗余电源 (1+1), 495 瓦
    82 条回复    2015-10-20 15:40:31 +08:00
    gangsta
        1
    gangsta  
       2015-09-30 18:30:14 +08:00
    树莓派的考虑么?
    emric
        2
    emric  
       2015-09-30 18:32:05 +08:00   ❤️ 1
    十分想要 Openwrt 的镜像.
    jhaohai
        3
    jhaohai  
       2015-09-30 18:33:11 +08:00
    学校有虚拟化平台吗,直接申请虚机先跑着
    qiuai
        4
    qiuai  
       2015-09-30 18:38:45 +08:00
    三万里是否包含带宽费用?
    存储空间按你开的列表.2TB 都用不掉吧
    SSD 没必要.要不然你三万还不够存储的.
    看重的最主要是速度,然后是稳定性.安全性还好吧.
    如果不用考虑带宽的部分,那你也没什么好提高的啊...
    镜像服务的在线率只要有 99.9%就差不多.所以宕机了重启就是了.没必要组服务器阵列.

    我有个 mirrors.im 本来是准备做的.但是算了算.带宽的费用就吓尿了我了...哈哈哈
    meryhuang
        5
    meryhuang  
       2015-09-30 18:39:25 +08:00 via Android   ❤️ 2
    andriod 好像有学校做, http://www.androiddevtools.cn/
    breeswish
        6
    breeswish  
    OP
       2015-09-30 18:42:53 +08:00
    @qiuai 不含带宽费用,应该可以和网络中心申请到资源 :-)
    有没有什么具体硬件推荐?在这方面接触的很少,没有经验,求推荐
    目前经费就这些 😂,希望可以初期就走在正确的路上,要不然一拖就是好久 o(╯□╰)o

    @emric 谢谢提出,会考虑的

    @gangsta 这方面完全没经验,不敢呀 =。=
    songjiaxin2008
        7
    songjiaxin2008  
       2015-09-30 18:43:38 +08:00 via iPhone
    php composer 还有 op 镜像 这两个国内貌似都没有
    breeswish
        8
    breeswish  
    OP
       2015-09-30 18:47:01 +08:00
    @songjiaxin2008 谢谢, Composer(Packagist) 已在列表里 :-) 以及 op 是什么?见识浅陋求赐教…
    zonghua
        9
    zonghua  
       2015-09-30 18:48:36 +08:00 via iPhone
    破学校连一个电子邮箱系统都没有
    qiuai
        10
    qiuai  
       2015-09-30 18:48:58 +08:00   ❤️ 1
    @breeswish 买个 DELL R720.配满硬盘做 RAID5.剩下的钱做个网站.打打广告..挺好的.
    songjiaxin2008
        11
    songjiaxin2008  
       2015-09-30 18:55:49 +08:00 via iPhone
    @breeswish openwrt
    Starduster
        12
    Starduster  
       2015-09-30 18:58:25 +08:00
    我觉得 nginx 不错,安卓相关的同步流量巨大的感觉
    songjiaxin2008
        13
    songjiaxin2008  
       2015-09-30 19:00:41 +08:00 via iPhone
    @Starduster 全量镜像确实 反代可能更适合 但貌似违反了相关规定
    echo1937
        14
    echo1937  
       2015-09-30 19:04:18 +08:00
    如果学校有机房,搬台普通服务器或者 PC 都行,电费和网费都不用你出吧。

    如果是自己负责机房和网络,那还是买台阿里云什么的虚机吧,买 Server 找托管实在不靠谱。
    Starduster
        15
    Starduster  
       2015-09-30 19:05:17 +08:00
    @songjiaxin2008 反代谷歌首先你需要一个大流量境外跳板然后还有被查水表的风险

    感觉没必要 SSD , RAID 做好就行
    breeswish
        16
    breeswish  
    OP
       2015-09-30 19:25:31 +08:00
    @echo1937 对的,有机房,电费网费不用出, 3W 投入硬件就行
    @Starduster 流量应该不是问题~
    virusdefender
        17
    virusdefender  
       2015-09-30 19:32:41 +08:00 via Android
    学校真好
    yexm0
        18
    yexm0  
       2015-09-30 19:40:11 +08:00   ❤️ 1
    稳定第一啊,像中科大的无污染 dns 一样动不动就下线升级 /维护什么的真受不了.
    twl007
        19
    twl007  
       2015-09-30 19:57:17 +08:00 via iPhone
    不是泼冷水 3W 真不够 现在手边一个奖金 24w 的都不敢做……

    一个合格的存储都不止 3W 了 ubuntu 自己有个镜像硬件要求 最低都是双机热备的……
    lrvy
        20
    lrvy  
       2015-09-30 20:02:57 +08:00
    还有 pip npm 啊
    wsy2220
        21
    wsy2220  
       2015-09-30 20:06:24 +08:00 via Android
    openwrt+1
    breeswish
        22
    breeswish  
    OP
       2015-09-30 20:13:54 +08:00
    @lrvy npm 可以使用 npm.taobao.org
    deyu260
        23
    deyu260  
       2015-09-30 20:21:14 +08:00
    淘宝买 2 个二手服务器双电源版 塞满硬盘 足矣 预计花费不了 1 万元 keepalived+rsync+nginx 反向代理足矣 剩下的一台 mac 一个 i6s 一个 ipadair2 完美
    gux928
        24
    gux928  
       2015-09-30 20:36:12 +08:00 via Android
    @deyu260 棒棒哒。。。
    htfy96
        25
    htfy96  
       2015-09-30 21:18:18 +08:00
    又见到熟人了……想知道你们是怎么申请成功的?
    maskerTUI
        26
    maskerTUI  
       2015-09-30 21:23:14 +08:00   ❤️ 1
    硬盘买好买多一点,服务器能用就行
    lewiseek
        27
    lewiseek  
       2015-09-30 21:27:35 +08:00
    openwrt 来一发
    breeswish
        28
    breeswish  
    OP
       2015-09-30 22:01:30 +08:00
    @htfy96 因为申请成了国创
    wy315700
        29
    wy315700  
       2015-09-30 22:26:56 +08:00 via Android
    居然还有经费,好羡慕。我们都是各处找赞助,,
    emric
        30
    emric  
       2015-09-30 22:43:49 +08:00   ❤️ 1
    我刚去问了运维, 他说瓶颈在宽带, 几年前的机子组个 RAID10 丢上去就行.
    emric
        31
    emric  
       2015-09-30 22:47:43 +08:00   ❤️ 1
    看了楼主的附言, 这个机子肯定没有问题...
    breeswish
        32
    breeswish  
    OP
       2015-09-30 23:03:05 +08:00
    @emric 非常感谢!:-)
    tennix
        33
    tennix  
       2015-09-30 23:58:12 +08:00   ❤️ 1
    如果有心且有精力,可否把这个 http://static.rust-lang.org/dist/index.html 也做一下镜像,国内下载太慢了
    xlvecle
        34
    xlvecle  
       2015-09-30 23:59:09 +08:00
    来个 maven 仓库吧, 楼主需要搭可以联系我帮忙~~
    sleeperqp
        35
    sleeperqp  
       2015-10-01 00:04:49 +08:00
    点个赞~
    chunchu
        36
    chunchu  
       2015-10-01 00:05:11 +08:00
    NetBSD 国内好像也没有镜像…
    aveline
        37
    aveline  
       2015-10-01 00:27:31 +08:00   ❤️ 1
    HHVM 我们这有 ... http://mirrors.noc.im/hhvm/
    lincanbin
        38
    lincanbin  
       2015-10-01 00:29:30 +08:00
    话说镜像站是如何做文件校验的?
    经过了之前的 XcodeGhost 后。
    binux
        39
    binux  
       2015-10-01 00:30:28 +08:00   ❤️ 1
    留点钱换硬盘
    chengzhoukun
        40
    chengzhoukun  
       2015-10-01 00:32:45 +08:00
    pip npm composer 这几个用的比较多
    GeekTest
        41
    GeekTest  
       2015-10-01 01:53:15 +08:00 via Android   ❤️ 1
    买 10 个 Pi2 便宜好用。 镜像用 E5 真是土豪
    poke707
        42
    poke707  
       2015-10-01 01:55:56 +08:00 via Android
    有 docker ?支持!
    breeswish
        43
    breeswish  
    OP
       2015-10-01 06:33:34 +08:00
    @GeekTest 老师这边要求用品牌机估计也是考虑到出了问题有人擦屁股…
    imxieke
        44
    imxieke  
       2015-10-01 08:01:00 +08:00 via Android
    @emric 中科大有的,其实楼主完全可以使用云存储代替,比方七牛现在就有一个 5T 流量 1T 存储的赞助,楼主可以前期试试
    breeswish
        45
    breeswish  
    OP
       2015-10-01 08:59:08 +08:00 via Android
    @imxieke 谢谢,不过我们这里云存储报销比较困难,经费是硬件购置费用
    msg7086
        46
    msg7086  
       2015-10-01 10:12:29 +08:00
    @qiuai 2T SSD 也只要 1000 刀, 3w 不够存储是哪来的?
    breeswish
        47
    breeswish  
    OP
       2015-10-01 10:45:23 +08:00
    @msg7086 单个没问题,来个 RAID 就不够啦
    qiuai
        48
    qiuai  
       2015-10-01 11:11:26 +08:00
    @msg7086 你不算 RAID 么?
    msg7086
        49
    msg7086  
       2015-10-01 11:19:03 +08:00
    @breeswish
    @qiuai
    →_→ 镜像还做 raid 。
    就算 2 块盘做 R1 也就 2000 刀啊, 2000 怎么也没过 3w 吧。
    qiuai
        50
    qiuai  
       2015-10-01 12:08:33 +08:00
    @msg7086 SSD 的损坏估计你没遇到过才会说这种话.
    而且存储并不只是硬盘.一台 R720 再加上 3 块 SSD 做 RAID5.然后加足 ZFS 要用的内存.
    30000 还不够呢......只是起步而已...
    pmpio
        51
    pmpio  
       2015-10-01 12:16:23 +08:00
    加个 https 吧,方便移动宽带的人下载。。。。
    feather12315
        52
    feather12315  
       2015-10-01 13:26:27 +08:00 via Android
    估计楼主快哭瞎。
    我们学校的镜像,从法国同步,三天两头同步失败。
    不过用的人少,基本都是本校在用,免流量嘛
    skyun
        53
    skyun  
       2015-10-01 13:33:04 +08:00
    建好了务必在此分享。已收藏。
    skyun
        54
    skyun  
       2015-10-01 13:33:11 +08:00
    感谢
    msg7086
        55
    msg7086  
       2015-10-01 14:09:44 +08:00
    @qiuai SSD 做 raid5 ?你确定?还要上 ZFS ?

    这只是个镜像好吗,这样的人设真的没问题吗?

    我是不知道对于一个大部分只读的 SSD 环境, SSD 的损坏率是有多少,不过现在这么多 VPS 厂商都在跑 SSD 小机来看,要是损坏率像你说的那么可怕的话,那就都别混了。

    你要冗余的话, 256Gx8 做硬件 RAID 6 好了,够安全了吧?

    算下成本, R730 标配是$2000 , 8 片 256G 按照三爽 PRO 来算是$1160 ,加点乱七八糟的配件, 3w 问题并不大。要是你觉得看不上 PRO ……那就没法谈了。
    qiuai
        56
    qiuai  
       2015-10-01 14:21:43 +08:00
    @msg7086 我不知道你的价格哪里来的...麻烦去国内网站上去看价格...然后请带上发票...

    然后其实根本没必要纠结这个.SSD 对于镜像服务来说,上不上区别不大.

    30000 的价格.一台服务器.配上硬盘,加上内存.怎么也都够用了.上 RAID 主要是为了降低因为硬盘故障导致的宕机时间.如果连这个都无所谓.那淘宝买个二手 R410,挂 2 个 2TB 希捷.不也照样跑的很欢快么...其实我就想过这样做.只是带宽太贵而已.

    好了.别纠结了.
    breeswish
        57
    breeswish  
    OP
       2015-10-01 14:24:25 +08:00
    @msg7086 确实一直在纠结使用 HDD 还是 SSD 好,诚然对于镜像来说可能随机访问较多,然而觉得基于现有的网络带宽情况应该 HDD 够了,以及 HDD 可以有更大的空间,所以没有上 SSD 。

    @pmpio 嗯嗯
    akira
        58
    akira  
       2015-10-01 14:33:44 +08:00
    内存 CPU 都高配了吧, 硬盘你确定需要做到 raid10 ?
    另外带宽费用才是大头,这个有考虑么。
    breeswish
        59
    breeswish  
    OP
       2015-10-01 15:00:51 +08:00
    @akira 带宽现阶段是和学院网络共用千兆网络,考虑和网路中心协商获得更好的带宽…
    codeninja
        60
    codeninja  
       2015-10-01 15:27:09 +08:00 via iPad
    树莓派集群加 u 盘阵列足矣
    ww
        61
    ww  
       2015-10-01 16:57:43 +08:00
    billwang
        62
    billwang  
       2015-10-01 18:01:49 +08:00   ❤️ 1
    楼主还需要考虑后续费用,比如购买备品备件等,一般一台靠谱的服务器得 10w 了, 3w 下来只能一台还捉襟见肘了,这样你升个级或者检修啥的系统就得下线。已损坏配件一般都是电源和硬盘,建议整两台便宜的组成负载均衡,毕竟只是提供下载。
    defunct9
        63
    defunct9  
       2015-10-01 19:37:07 +08:00 via iPad
    R720 属于停产的型号, R730 吧
    breeswish
        64
    breeswish  
    OP
       2015-10-01 19:39:28 +08:00
    @defunct9 R730 好贵 o(╯□╰)o … HDD 组 RAID10 转眼间就超过 4W 了…
    defunct9
        65
    defunct9  
       2015-10-01 19:57:07 +08:00 via Android
    @breeswish 你可以 list 出来硬件,我去让 dell 给你批一个直销最低价。恰好认识 dell 的,所谓 r720 停产就是那边的消息。
    defunct9
        66
    defunct9  
       2015-10-01 19:58:42 +08:00 via Android
    对了,也可以买浪潮的,最近浪潮把 dell 打得够呛。
    msg7086
        67
    msg7086  
       2015-10-01 21:20:27 +08:00
    @breeswish
    @qiuai
    这种需求的话 HDD 基本是够了,再不济的话拿 RAID 卡做个 Tiered storage 。低成本高可靠的做法很多,不一定要用单台筋肉来堆性能。
    国内的硬件售价具体不清楚,毕竟涉及到进口税,增值税,销售税,奶茶税,回扣等等各种额外开销。
    只是做镜像的话,随便弄个 SSD-Cached 独服就能做了,有位置的话扔一堆 i3 做负载均衡都行。

    @billwang 3w 预算进 v2 ,银河集群抱回家。
    msg7086
        68
    msg7086  
       2015-10-01 21:21:28 +08:00
    @msg7086 补一句:上面那些回复只是吐个槽罢了。
    qiuai
        69
    qiuai  
       2015-10-01 21:24:02 +08:00
    硬盘真有必要这么大么....
    @msg7086 国内...很神奇的...
    secondwtq
        70
    secondwtq  
       2015-10-01 22:46:10 +08:00
    @echo1937 哈哈哈 naive ,我们现在的托管费用还没着落。
    zsj950618
        71
    zsj950618  
       2015-10-02 00:06:07 +08:00 via Android   ❤️ 2
    以 USTC Mirrors 的经验来看,建议加一块 SSD 作缓存,不用很大。我们用的是 256G 的,但效果很明显的。
    zsj950618
        72
    zsj950618  
       2015-10-02 00:15:50 +08:00 via Android
    另外如果你们网络中心答应你们带宽的要求的话,服务器和存储也直接找网络中心啊。。硬件的钱和带宽比起来都是小钱,还怕他们不给你们硬件?
    breeswish
        73
    breeswish  
    OP
       2015-10-02 07:53:42 +08:00
    @zsj950618 目前是学院给了带宽 😂 网络中心要进一步协商 OTL
    neo2015
        74
    neo2015  
       2015-10-02 17:58:46 +08:00
    pod
    yuchting
        75
    yuchting  
       2015-10-04 22:19:07 +08:00
    看完评论,只想说,撸主和校方功德无量~求架好后给个链接……
    JoshOY
        76
    JoshOY  
       2015-10-09 17:28:57 +08:00
    @breeswish BW 你不弄个 pip 源吗 _(:з」∠)_
    breeswish
        77
    breeswish  
    OP
       2015-10-09 20:58:15 +08:00
    @JoshOY 不玩 py 诶 _(:з」∠)_ 你也来搞吧
    rebuilder
        78
    rebuilder  
       2015-10-10 13:27:45 +08:00
    dell 什么的, RAID 卡什么的, das 什么的,还是算了吧, 3w 恐怕只够支撑你的存储开销。

    自己拼一台或两台服务器,一台做服务,一台做存储。

    然后上 zfs 软阵列,多折腾来保证同等的控靠性和可用性,毕竟经费有限。
    yxwzaxns
        79
    yxwzaxns  
       2015-10-17 08:20:39 +08:00 via Android
    lz 的镜像站做的怎么样了
    breeswish
        80
    breeswish  
    OP
       2015-10-17 13:41:25 +08:00
    @yxwzaxns 硬件下来估计要几个月 /w\
    现在在缓慢折腾软件部分,学校课程太多,并没有特别多时间
    yxwzaxns
        81
    yxwzaxns  
       2015-10-17 23:30:28 +08:00 via Android
    有 qq 么,有问题请教
    nyacat
        82
    nyacat  
       2015-10-20 15:40:31 +08:00 via Android
    CPU 不是问题.....主要看网卡跟硬盘,主板的 IO 吞吐也很重要.....内存也无所谓,堆 raid10 就是了....
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1925 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 00:39 · PVG 08:39 · LAX 16:39 · JFK 19:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.