首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jahan  ›  全部回复第 5 页 / 共 11 页
回复总数  210
1  2  3  4  5  6  7  8  9  10 ... 11  
❮ ❯
2018-02-07 20:55:25 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@vanvesee 万事自己倒腾时间成本也很高。
不是临时工程，不过预算也有限。
所以想找一个比较成熟的方案（学习路经）。减少时间成本，硬件成本。
2018-02-07 15:54:10 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@defunct9 非常感谢。非常详细的参考，不过这个加载 head 的方法已经失效了，5.x 之后就不再支持了。
组件之间的变化太快了。
2018-02-07 15:28:39 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@liyer 基本上是对格式化的文本进行处理。觉得这样子能够减少建库搭台的麻烦。
elk 这种确实挺好的，看了下文档，问题是变化都太快了，官方的 document 都没有很仔细的写部署方案啊，网上的一堆都已经是过时了，（一个 head 就 plugin 了好久，发现其实早在 5.x 就不支持了）
求教一个能够比较完整搭建 elk 环境的文档位置。
power BI 也在试用。
2018-02-07 11:54:53 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@liyer 貌似能够比较快速的部署，话说这种对日志分析应该也能对记账流水类的数据库导出文件分析吧。
2018-02-07 11:50:11 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@liyer 这个貌似单机就可以操作。麻烦请教下有 elk 三者结合比较完整的教程吗？
2018-02-07 10:08:47 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@fff333 商用付费吧，而且存储数据怎么弄？数据库?hadoop ？
2018-02-07 09:22:01 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@realpg 搜索了一下某宝，还真没发现有 2-3000 能搞定得 24/96g 二手？是不是关键字错了？
2018-02-07 01:28:01 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@realpg 长见识了。。。。是个解决硬件问题的办法。
2018-02-07 01:13:46 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@realpg 话说有这么便宜吗
2018-02-07 01:11:23 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@realpg 有考虑过，不过确实噪音感人啊，目前还没有机房，人机一间房。
2018-02-06 14:39:21 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
单台 Dell R730 就可以。虚拟出来 kvm 搭建 hadoop，减配的话，两个 namenode，一个管理节点，三个 datanode。足够了，4G×2+4G+32G×3，128G 内存够了。硬盘就越大越好

========
上面这些有文档吗？
2018-02-06 14:37:25 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@YYyoung 接触过，感觉背后是 greenplum 啊
2018-02-06 14:22:36 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
现在我觉得可能要解决得是技术路线，硬件准备等一系列问题了。
大家得讨论太有价值了。
2018-02-06 12:22:41 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@defunct9 730 ？弄过 720，噪音喜人啊。
aws 得服务的话，数据会被 amazon 拿走？有保证吗
2018-02-06 11:48:21 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@rockivy 感谢提供信息。
2018-02-06 11:48:04 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@jyf 目前测试是 5T,以后会增长。
2018-02-06 10:21:10 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@defunct9 貌似要不少机器，步骤好像也比较复杂，不过确实可以学习一下。
2018-02-06 10:19:36 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
很多时候的应用场景是，多人之间的关联关系，比如转账，比如物品交换等等。
2018-02-06 10:17:52 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
elasticsearch+kibana 这个模式是不是都不用数据入库？
2018-02-06 10:17:02 +08:00
回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧
@madNeal 非常感谢。
@liyer 非常感谢。
这个是不是借用传统数据库就可以了？
1  2  3  4  5  6  7  8  9  10 ... 11  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5401 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 07:12 · PVG 15:12 · LAX 23:12 · JFK 02:12
Developed with CodeLauncher
♥ Do have faith in what you're doing.