V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
RangerWolf
V2EX  ›  问与答

R 里面使用 knn 进行计算太慢了~ 求优化建议~

  •  
  •   RangerWolf · 2014-07-05 09:10:43 +08:00 · 5577 次点击
    这是一个创建于 3554 天前的主题,其中的信息可能已经有所发展或是发生改变。
    笔记本i5 双核4线程。 跑一个knn , 训练数据1000天,test set 2W条。估计跑了10~20分钟
    求性能优化建议。
    我已经使用了openblas进行加速了。。。

    难道要换个mac?
    不知道有没有一些vps能提供这种服务?比如青云这种按秒计费的服务商,我刚试了一下8核4G 0.92元/小时

    求靠谱建议
    11 条回复    2014-07-05 20:37:28 +08:00
    dndx
        1
    dndx  
       2014-07-05 09:15:00 +08:00   ❤️ 1
    R 是单线程,性能不行,别说 KNN 这么复杂的算法,就做个简单的统计模拟都是慢的要死。

    如果可以用 C++ 重写的话,试一试 http://www.cs.ubc.ca/research/flann/ ,据我用的情况来看比 R 快了几个数量级。
    madeye
        2
    madeye  
       2014-07-05 09:17:27 +08:00
    RangerWolf
        3
    RangerWolf  
    OP
       2014-07-05 09:18:50 +08:00
    @dndx 哎 看来用R入门之后 还是得靠cpp python 等传统语言来搞定生产系统
    多谢~
    RangerWolf
        4
    RangerWolf  
    OP
       2014-07-05 09:22:03 +08:00
    @madeye mac 里面的显卡能用吗? 我现在的本子是使用cpu集成的显示芯片的
    madeye
        5
    madeye  
       2014-07-05 09:26:29 +08:00 via Android
    @RangerWolf 不够用的。
    canesten
        6
    canesten  
       2014-07-05 09:39:15 +08:00 via Android   ❤️ 1
    @RangerWolf
    集成显卡完全不行的
    想玩CUDA请上英伟达开普勒架构以上的显卡
    我记得貌似亚马逊有专门的实例
    Comdex
        7
    Comdex  
       2014-07-05 10:54:32 +08:00 via Android   ❤️ 1
    用golang
    canesten
        8
    canesten  
       2014-07-05 11:08:37 +08:00   ❤️ 1
    ruoyu0088
        9
    ruoyu0088  
       2014-07-05 16:41:02 +08:00
    能否具体一点?
    你要对20000条测试数据在1000条数据中k个最近的数据吗?k值是多大?数据的维数是多少?
    road2stat
        10
    road2stat  
       2014-07-05 19:53:02 +08:00
    RangerWolf
        11
    RangerWolf  
    OP
       2014-07-05 20:37:28 +08:00
    @road2stat 我用的就是FNN里面的knn

    @ruoyu0088 其实这个是kaggle里面的一个比赛项目: http://www.kaggle.com/c/digit-recognizer
    原始的训练数据有42W条,但是在R里面跑了一个晚上也没跑完。。。 我就只留了10000条数据作为训练数据了~ 每条数据是784列,k值我选的7

    因为太慢了,没有能测试多个k值,不知道影响如何~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3235 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:59 · PVG 21:59 · LAX 06:59 · JFK 09:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.