毕业快两年了，从事大数据方面工作，现在很迷茫，求大佬指点

[vowers]

普通二本本科毕业，本来是信息安全专业，本来是很喜欢安全行业，但同样也热衷大数据，毕业还是先找到了大数据方面的工作（非北上广深）。

现在对大数据平台有一定了解，自己搭建维过也护集群（主要是用 ambari 平台），对 Hadoop 平台、Hbase、redis、kafka ……都有用过但说不上熟悉，主要是用 spark 来处理分析一些数据，所以学习了 Scala，但还是主要用 python （本科阶段就在写所以顺手），有一定数据基础吧，毕竟大学里概率论、离散数学、信息论等等基础的数学理论还是凑合吧（信息安全专业的好处就是计算机相关课程都学了一遍，而且密码学所以数学也要求不低），有一段时间在做时间序列的预测分析等

但是后来在公司里，自己大数据方面的技术就再没怎么长进了，大部分时间都在维护集群、写爬虫、写接口等等琐碎的事，曾经看过一篇　基于深度学习的城市网格人流预测　其实很想模仿学习一下，但一方面卡住了不知道自己从哪里入手，另一方面公司（小团队）琐碎事情太多也没办法专心搞，其实自己很是很想学习机器学习方面的，但也不知道怎么开始了。。。

毕业快两年了，，，准备离职了，但是都不知道下一份工作该怎么办，安全相关早被我落下，大数据其实也没精通啥，啥都是了解但也没有哪个特别熟悉精通，感觉自己净写了一年多各种 python 爬虫接口什么的对 python 其实帮助也不大。。。

各位大佬，我还是想从事大数据方面工作，很想去大公司里学习一下，发现自己真的技术太差了，不知道我下来该怎么走啊。。。实在有点烦了

[listnodeptr]

你可以考虑安全相关风控领域的招聘，做帐号安全数据分析风险建模之类的

[vowers]

@listnodeptr 谢谢，确实之前也关注安全方向的大数据，也挺有兴趣

[linghutf]

觉得学不到东西就应该勇敢走

[wizardforcel]

数据分析了解一下

[jbiao520]

把用过的技术都搞懂，实现原理，最佳实践，重要源码阅读。如果只是简单调用几个 api 肯定会很迷茫的，因为等于啥都不会

[vowers]

@linghutf 确实，公司团队小，没什么大佬能带着，准备离职了

[vowers]

@wizardforcel 就是在做数据分析方面工作，只是杂事太多

[vowers]

@jbiao520 谢谢，是真的用了很多但感觉自己还是啥都不会，这么一点明白了

[abmin521]

这帖子好像也快月经了 不管哪个方向都要能深入

[s3040608090]

我也是本科学习统计学，时间序列之类的。出来做数据分析，结果现在整天都在用 python 做接口开发（因为公司小没有数据开发）。已经做了半年了，感觉机器学习都忘记光了。想再做一段时间辞职考研。

[vowers]

@s3040608090 有点后悔当初没考研，现在我是没勇气再坚持考研去了。。。

[vowers]

@abmin521 谢谢

[misaka19000]

啊。。。最近才开始看大数据相关内容的萌新瑟瑟发抖😵😫

[alfredsun]

@s3040608090 考研好有勇气

[godbmw]

之前我在实验室帮老师做东西(大数据方便),基本靠自学.半年基本就是学各种 API,觉得学不到东西,就退出了.PS:现在钟情 web

[wizardforcel]

@vowers 不是啊，你这是大数据开发，跟一般的后端没啥区别。跟数据分析差远了。

[vowers]

@wizardforcel 我是做分析的啊，一直在做人群画像和预测，只是其他杂事太多没办法也没人做只能也干着，，，

[Magic078]

数据分析偏 SQL，数据开发偏实时计算，离线计算，数据挖掘偏算法，机器学习，数据平台偏 Hadoop

[vowers]

@Magic078 谢谢，，学习了

[enaxm]

安全我认为可以放弃了，缺点有整体大环境不是很好、研究方向不成体系、工作内容较杂且只适合养老，帮你削减选择。

[hiddendeerer]

@godbmw 我是做 WEB 建站的，我还想着做安全大数据方面，感觉比较高端，工薪也好提，你这反而跟我倒着来了

[vowers]

@enaxm 也算是机缘巧合，毕业时候想着先找到哪方面工作就干哪方面了，有家很想去的安全团队没能过面，就开始干大数据了，虽然还是很喜欢大学时候瞎捣鼓安全方面，但既然做了这方面了应该不会再回头搞安全了

[vowers]

@hiddendeerer em。。。其实安全大数据方向挺有趣的，我也琢磨琢磨。不过 web 应该不会搞，顶多是个人兴趣

[anthow]

为什么我的关注点在毕业“快两年",不应该是两年多么~

[vowers]

@anthow 17 届毕业的啊。。。

[LxkLxkLxk]

@s3040608090 加油，明年一起考研！

[wqzjk393]

1、集群搭建和调优，感觉需求大，但是感觉更像是运维
2、爬虫方向，有不少公司有专门的爬虫工程师，需要很强的反反爬虫能力
3、数据分析挖掘方向，就机器学习这些，需要很强的数学能力，最好考研

[wqzjk393]

还有数据分析这个，我感觉这个方向的未来基本上不是成了产品经理，就是成立数据挖掘算法方向的工程师或者是数据产品研发方向的。纯数据分析估计没啥意思，我们公司基本上进来的分析工程师，但是内部培训都是往挖掘还有机器学习方向培养的。

[vowers]

@wqzjk393 谢谢，我也是觉得需要主要往数据挖局和机器学习方面研究可能会更好

[cirton]

建议楼主想好要做什么，然后就赶紧走。

我接触大数据，也快四年了，做过集群部署和调优，写过接口，shell,java,python 都用，还做过 hive 的离线处理，kafka+spark 流实时处理等等，做这么多的后果就是最后一样都不精。

当时没觉得怎样，后来出来找工作的时候就发现问题了。什么都了解，什么都不精，稍微问的深入一些，就不懂了。最后还被面试官评定为基础不好。。

做技术还是要专注一些的好，反正我现在是后悔死了。

[vowers]

@cirton 我也是越来越感觉到了，会的东西不少，可基本都停留在会用，确实我也需要抓住一个方向深入了

[qq9808]

我是 java 开发的，目前也在自学大数据呢，想转大数据

[BQsummer]

@vowers 面试都是要问底层的，这种东西不是说一个好公司，一个好项目就能学到的，都是得自己抽时间看源码看书的。

[brucewuio]

怎么说呢 看了很多相关的帖子 很多和楼主类似的情况 我只能说现在的大学，培训之类的都是为了满足社会，或者说国家需求而"教育"， 不是真正的教育。

我看了下 MIT 那些课程和教材 很是注重培养科学思维,只能说国情不一样。

至于建议，我给不出什么，我就说说我自己的情况吧，我目前在写 java,大多数都是些业务逻辑,有小部分设计分布式，总体来说没什么难度，我感觉还挺舒服的，我自己下班就学学其他，比如 Go 写写我需要的东西，看看原理的书籍，很有趣。

我觉得还是自己怎么看，毕竟很多东西不可兼得。

[vowers]

@brucewuio 谢谢 ，很有道理，不在于那条路好，就看我怎么活

[wjx1993]

和楼主经历的有点相似，楼主后面打算怎么办？顺便求指点迷津

[onyourroad]

那你不如考个好的学校研究生了。

[user919lx]

@vowers

我自己也是做大数据方面的工作，现在是一名数据工程师。我对未来的方向还是比较清晰的，我的目标就是深耕数据工程这个领域，不拘泥于技术（当然，主流技术是要学习的，只是不过分深究细节），把重点放在建立数据体系上，总的来说，就是让数据变得更易使用。

首先推荐你看一篇文章，《数据工程师的崛起》，Airflow 的开发者写的，大数据文摘翻译。流传比较广，随便搜一下就有了。这篇文章对数据工程师的工作做了比较全面的总结，可以帮助你梳理一下数据工程的整体概况，对未来的方向会有更清晰的认识。

然后如果找不到方向，建议学习一下数据仓库的相关知识。就我自己的经验来看，有数据仓库项目经验的工程师，在求职时真的非常有优势。很多公司都开始意识到数据仓库的重要性了，都想建数据仓库，但懂得怎么搞的人真的不多，能把大数据和传统数仓结合起来的人就更少了。这东西投入大，见效慢，风险高。我之前的公司，就有这种情况：大老板专门成立一个部门搞数据仓库，但搞了几个月都没什么产出，最后又解散掉了。

另外，可以去买一本阿里数据部出的《大数据之路》看一下。这本书讲的东西都比较浅，但内容全面，数据工程涉及的方方面面都有提及，你完全可以选其中比较感兴趣的部分深入研究。

如果打算在这个行业里继续发展，还是考虑到一线城市去，到有数据氛围的公司去。这些公司，一则对数据比较重视，使用的场景也多，相应地踩坑也多，有很多可以学习的相关经验。二则数据量大，种类丰富，需求多样，对你自己是挑战也是提升自我的机会。三则数据分析师比较优秀，你的工作的价值会得到体现（数据仓库建得再好，也得有人用才有意义）

就我自己了解的情况来看。国内有名的大公司里面，阿里和美团在这方面应该是做得最好的公司了，他们有非常强大的工程和分析团队，还有自己开发的各种系统，满足方方面面的数据需求。

[godbmw]

@enaxm 我是跟着兴趣走。而且是学生，所以不需要有考虑工资、待遇那么多的考量。

[qq9808]

@user919lx 老哥 可以加个好友交流一下吗？我是做 java web 开发的 最近都在自学大数据想往这方面转 想向你学习一下