V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ranxi
V2EX  ›  问与答

关于大数据开发的工作方向,求大佬解惑

  •  
  •   ranxi · 2022-04-30 09:30:11 +08:00 · 2971 次点击
    这是一个创建于 936 天前的主题,其中的信息可能已经有所发展或是发生改变。
    先说下个人情况,20 届普通本科,第一份工作写了一年的 hive sql ,觉得学不到东西,选择跳槽到现在的公司,招的时候说是大数据岗,进来一直在写 springboot ,跟大数据的关系大概就是会调用一下 hdfs 、hive 的接口。现在觉得有些迷茫,个人是希望往大数据方向发展,但是像现在流行的 flink 、机器学习都没接触过,网上搜学习方向,罗列一大堆,不知道现在应该学哪个,求大佬解惑
    15 条回复    2023-05-26 17:18:10 +08:00
    ilovekobe1314
        1
    ilovekobe1314  
       2022-04-30 09:37:32 +08:00 via iPhone
    尚硅谷有个大数据教程,从 hive spark flink 讲的,推荐
    Suddoo
        2
    Suddoo  
       2022-04-30 09:43:01 +08:00
    都差不多啊,老板给钱、不加班、离家近,就行了,做什么方向,本质上都是另一种形式的 crud 啊
    Suddoo
        3
    Suddoo  
       2022-04-30 09:45:34 +08:00   ❤️ 1
    机器学习,深度学习,迁移学习,卷积神经网络...... 一堆高大上的名词,结果进了公司,就整天 load model, train network, predict......
    pengtdyd
        4
    pengtdyd  
       2022-04-30 10:24:22 +08:00
    学啥不重要,能挣到钱就行
    ccjy778899
        5
    ccjy778899  
       2022-04-30 10:34:47 +08:00 via iPhone
    同样困惑,做大数据好像也没用到啥技术,是平台问题吗?
    liprais
        6
    liprais  
       2022-04-30 10:41:23 +08:00
    hive sql 你都学会了?
    levelworm
        7
    levelworm  
       2022-04-30 10:56:26 +08:00 via Android
    是不是大数据主要看频率和量吧?
    disk
        8
    disk  
       2022-04-30 11:33:16 +08:00
    @ccjy778899 开发和研发的技术难度不一样,很多说是大数据,实际上数据量没有那么大,或者方向单一,很容易变成拧螺丝
    SbloodyS
        9
    SbloodyS  
       2022-04-30 11:54:38 +08:00
    springboot 就是数据平台了,写 hive sql 的是数仓,两个都会的话在目前还是挺吃香的
    imn1
        10
    imn1  
       2022-04-30 13:52:26 +08:00
    很多人认为算法最宝贵,其实啊,在我看来,数据最宝贵,如果你能直接接触数据,在不违反规定(不盗取、不外泄及其他规定),如果能外带,自我修炼是最好的

    理由:
    1. 算法的价值确实最高,但只是对公司而言,这个算法你没什么用的,除非盗取给竞争对手,因为目前的大多数算法是业务算法,而不是通用算法,只能用在业务相近的场合
    2. 数据为何对个人来说更有用?因为个人也能研究出算法,却凭一己之力搜集到真实数据,基本不可能

    自学的东西,网上很多,也能自行摸索,但无法自学的东西,就是上述第一条:业务算法 /业务模型,因为这个东西去别的公司可能就不同了。
    “拿走也没用”有两层含义:
    1. 这东西就是这个公司产生的,去别的地方或者自我摸索学不到
    2. 没用,那就不要把重点放在结果,而是过程,怎样把数据和业务结合建模,这也是自学不到的知识

    至于工具怎么用,其实应该早有思想准备吧?哪个公司会花时间教你啊?除非那是该公司自创的工具,反正就一句,在公司学习重点放在业务流程上,其他自己摸索
    xdwmxx
        11
    xdwmxx  
       2022-04-30 16:35:44 +08:00 via iPhone   ❤️ 1
    大数据就两个方向,一个仓库一个平台。仓库的就把模型搞会,不是只有写 sql ,优化,链路,资产,数据服务你都很懂了吗,还是有点学问的,给你个新公司让你构建数据中心,你能接下来嘛?一般也是先有仓库开发确定好如何构建数据再找人开发平台。平台开发的话现在银行的都买现成的了,互联网自研的多一些,平台数据地图这种一般就是 springboot ,比较算 java boy 的,还有就是 flink 这种,用现成的开源组件重构一个类似 ds 调度系统之类的。想写代码多一些就去平台组,想熟悉某个业务线,就去仓库组好好积累。
    wangwei216
        12
    wangwei216  
       2022-04-30 23:33:36 +08:00
    @SbloodyS 我现在差不多就是这种,外加写各种 Flink job ,但是感觉也一般般啊,也没啥更好的 机会
    SbloodyS
        13
    SbloodyS  
       2022-04-30 23:39:54 +08:00
    @wangwei216 今年行情不好...
    liugddx
        14
    liugddx  
       2023-05-26 16:27:54 +08:00
    @SbloodyS 大佬说的对啊。
    SbloodyS
        15
    SbloodyS  
       2023-05-26 17:18:10 +08:00
    @liugddx 😂😂😂
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   978 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:21 · PVG 05:21 · LAX 13:21 · JFK 16:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.