V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fourstone
V2EX  ›  程序员

放弃内存数据库优化方案,直接重新开发吧.预算 2k,有时间能力的大神请帮个忙

  •  
  •   fourstone · 2017-09-12 16:40:05 +08:00 · 1438 次点击
    这是一个创建于 2633 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在的环境
    windows2008 r2+mssql2014
    数据一千万行,800m(这已经是我 3 年的数据总和了)
    自己不会搞了,也搞了很久了,一开始开发功能一点点添加起来,没有速度要求,所以数据结构很乱了。筋疲力尽,(主要还是自己能力不够,时间也不够用了),还是请有能力有时间的 mjj 帮忙开发一下。

    软件环境:
    windows 下面能使用,什么 mssql,mysql,db,开发环境语言的无所谓,只要速度达标,越快越好

    软件要求:
    每天本地导入分析一份 100w 行,两列(A 列数字,B 列字母),纯字母和数字的 csv.22MB 大小
    进行分析,查询,比较
    速度是关键的,要求导入+查询全部 1s 内完成,也就是毫秒级
    环境在服务器上,win2008 r2 ,但是是纯个人使用
    假如这全是模糊搜索,那么 1 千万行,后面的几千万行的时候,速度也不要慢太多,1s 左右差距。估计我 10 年也到不了几千万行。
    原有数据采集过去还是到处 csv,再全部导过去?
    开发时间:
    因为我现在手上有完整的软件和数据库可以用,但是速度瓶颈了。
    所以具体软件功能也不多,有现成的给你参考
    其实就是导入,分析,查询,提取
    我知道大神都比较忙,这也只是一个金额不大的外包,所以在你完成工作,把完妹,撸完之后
    抽时间尽快搞定。
    一周?你定吧。

    请有能力有时间的 mjj 联系我 qq,感谢
    49 六一 47 九五三



    来,技术 mjj,翻我牌子吧
    第 1 条附言  ·  2017-09-12 22:58:58 +08:00
    ps:此贴暂停,加的人太多了,我都来不及和每个说逻辑了。
    先暂停了,这几个大神应该能搞好。
    题外话,有的大神加我的时候都快 20 点,还在公司或者刚刚下班路上
    向你们这些前线技术员致敬,真的太辛苦了
    17.9.12
    2 条回复    2017-09-21 09:21:48 +08:00
    zzcworld
        1
    zzcworld  
       2017-09-13 04:02:21 +08:00 via iPhone
    用 KDB+,非商业用途免费
    Nitromethane
        2
    Nitromethane  
       2017-09-21 09:21:48 +08:00
    所以你机器的性能如何?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4944 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 09:54 · PVG 17:54 · LAX 01:54 · JFK 04:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.