v 友们做大数据处理的多吗，想问下你们做大数据的无聊不？

[findbrick]

反正本人已经做了半年了，感觉挺枯燥的，主要是 java ＋ spark， 有时候也用 py 爬数据。

[Morriaty]

无聊不至于，就是真正懂算法的不多，公司里号称大数据部门，其实大部分人都是写 sql 的。

更多的时候，就是自己一个人在瞎摸，就像解一道数学题，从太阳上山到太阳下山，都没解出来，难受。

[xiaoshenke]

跑个题，写过 android，写过 java web，都写得差不多腻了。看来我不适合做程序员。

[jason2017]

顺便请假题主一个问题，java 写 spark 机器学习应用的时候，用 mllib 多还是 ml 多？哪一个方便点？

[deadEgg]

@jason2017 试试 BigDL

[zhangli199212]

@Morriaty 一看就是券商类似的

[findbrick]

@jason2017 mllib

[findbrick]

@zhangli199212 是金融行业 非券商

[findbrick]

@Morriaty 有道理 主要还是自己摸索 算法确实是硬伤

[sshpandas]

不无聊，因为经常换项目做，接触的行业不一样，问题也不一样。

[staticor]

不无聊, 自己喜欢和业务打交道, 现在一半时间做仓库一半时间做分析

[findbrick]

@sshpandas 羡慕经常换项目
@staticor 基本都是仓库＋分析 一起做

[sicongwang]

楼主大数据是不是不算忙, 待遇也比开发高, 想转, 求指教

[af463419014]

我这里所有的需求总结起来主要有以下 3 种:
sum(x)
count(id)
count(distinct id)

[lszv1]

@xiaoshenke 给钱就继续干下去咯

[airqj]

@jason2017 ml 基于 DataFrame
人家文档都说 mllib 进入维护状态了

[Delete]

2-3 年安卓转大数据开发，一本 hadoop 权威指南 看得很累了。。。

[sicongwang]

@af463419014 需求真的有这么简单吗, 那大数据的工作做起来岂不是没有什么业务的压力?

[badttt]

sql 写得想吐，你说呢

[jason2017]

@airqj 是的，但是网上现在关于 ml 的中文资料还是不多，不过，也是迟早要用 ml 的。

[liprais]

@sicongwang
这工作只是看起来很简单而已

[Aksura]

还好吧，其实主要的还是数据仓库那一套。不过数据本身类型更得更多样、时效性要求更高、加上 ML 的玩法，还是有搞头的。

[lzhCoooder]

同感觉挺无聊的，下次换工作准备转开发

[airqj]

@jason2017 例子源码就是最好的文档
要想理解算法可以用 scikit-learn 啊

[pathbox]

何为大数据

[eyp82]

其实现在大部分的所谓大数据岗位跟以前的数据仓库运维没多大区别. 写有限的几行代码 或者脚本, 配置一下 data pipeline, 搞搞 map, reduce 之类有限的几个算子(现在的 spark 还稍微多一些), 用现成的 ML 库灌点数据训练一下, 发现效果跟预期不符然后东搞搞西搞搞, 调调优(还没有方法论支撑,全自己或网上找的黑魔法), 弄点大家都知道的结论放 ppt 上吹嘘一下大数据多么神妙... 论创造性比不上正宗的软件开发, 只是最近流行, 所以看起来高大上一点而已.

我编不下去了, 我坦白就是想赚铜币, 大家别拍.

[bbx]

如果觉得简单，那是数据量太小，系统太简单

[jason2017]

@eyp82
瞎说什么大实话

[lcj2class]

可以多去了解整个系统。
比如 ETL 流程，工作流调度框架，血缘关系分析

[findbrick]

@af463419014
这就有些初级了吧

[FollowHeart]

@pathbox 就是以前人口中的统计 /滑稽

[pathbox]

@FollowHeart 哈哈

[peterpan235]

所以呢？做前端后台每天写一些重复的业务代码不无聊？