V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Colorful
V2EX  ›  Python

请教下,转数据分析,还需要学哪些?

  •  
  •   Colorful · 2020-03-06 13:04:40 +08:00 · 5021 次点击
    这是一个创建于 1512 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1、我现在在看爬虫,一些简单的会爬 2、在看数据清洗这块,还不太懂。( numpy、pandas、matplotlib ) 3、数据展示,这块,Power BI 和 Tableau Public 会。但假如说一个库里面是有价格,而我想展示,区间的占比,这个还不会。 4、数据库,mongo 和 mysql 都会一些基础的,mongo 比较熟一些。

    PS:之前一直是做前端的,这次想转数据分析,花了一些时间和数据。 之前有做过一些大数据展示的项目。

    所以想问下,如果转数据分析,还要学哪些啊?

    25 条回复    2020-05-16 11:16:06 +08:00
    andylsr
        1
    andylsr  
       2020-03-06 13:30:11 +08:00 via Android
    学业务逻辑,脱离业务无从谈分析
    Colorful
        2
    Colorful  
    OP
       2020-03-06 13:46:45 +08:00
    @andylsr 这个只能在工作中才能去学到的吧?
    p2pCoder
        3
    p2pCoder  
       2020-03-06 14:07:21 +08:00
    你是数据分析,核心在于发现数据的价值
    而现在 我感觉你还仅仅是想做可视化
    conge
        4
    conge  
       2020-03-06 14:10:57 +08:00 via Android
    统计知识
    q8164305
        5
    q8164305  
       2020-03-06 14:13:05 +08:00 via Android
    数据分析你不能脱离业务啊
    ccoming
        6
    ccoming  
       2020-03-06 14:14:54 +08:00
    面向 JD 学习,招聘信息上面都有。
    aladdindingding
        7
    aladdindingding  
       2020-03-06 14:15:33 +08:00
    大数据的存储可不是随便的 mongo 和 mysql 之类的
    NeezerGu
        8
    NeezerGu  
       2020-03-06 14:18:11 +08:00   ❤️ 1
    1、学会忽悠。(不开玩笑),运营问你 xx 数据有问题,你能不能给一个令人信服的理由;你写了一个报告,别人有质疑,你能不能给出一个为什么这么写的原因?

    2、excel。各公司可能会有不同的 BI 软件,但 excel 通常都会用到。你可以基于 excel 做一些简单的报告就好,对应的 BI 甚至可以入职了再了解(个人感觉这些也不难吧……)

    3、sql。通常搞数据分析就是各种 sql 写的飞起,不过多数公司应该只要求会就行,不会要求你写的多么棒之类的。。

    所以你会发现从上往下三个,越往上越重要,花的精力也越多( sql 甚至稍微看一下就会了)。几乎多数公司也都是重视你对数据的理解,而这个理解很多时候说白了,就是你如何忽悠出来一个令人信服的理由。

    另外,数据清洗不用太关注。讲白了就是有点异常值你给去掉就行了。以及 python 使用的频率没那么高,甚至不会 python 的多了去了。
    Colorful
        9
    Colorful  
    OP
       2020-03-06 14:32:26 +08:00
    @NeezerGu 这样子的吗?我看知乎上,很多说数据分析,要学会数据清洗。所以想问下,数据分析,要学哪些算法?还要看数据挖掘方面的吗?
    Colorful
        10
    Colorful  
    OP
       2020-03-06 14:33:12 +08:00
    @p2pCoder 我只是写了一些自己了解的,自己不懂的就没写,我也不知道数据分析,要懂哪些。这段时间打算好好看看那些
    NeezerGu
        11
    NeezerGu  
       2020-03-06 14:53:26 +08:00
    @Colorful 啥叫数据清洗。。
    比如你跑一份日活,开发告诉你有一批错误的数据是 0,以及这两天数据有点重复。
    你就从
    select day,count(*) from 日活表 group by day
    变成
    select day,count(distinct uid) from 日活表 where uid!=0 group by day
    就好了。
    这就是数据清洗…………

    当然,更多的时候是出现在你做分析的时候。
    你拿到不熟悉的表,第一件事就是了解一下数据,而不是直接拿上做。
    不然后期你发现这个数据中有异常值(比如以直播为例,发现有用户开播时间超过 24 小时的,拉高了平均开播时间等),你再重头开始写 where 清洗一遍就花时间了。
    NeezerGu
        12
    NeezerGu  
       2020-03-06 14:55:52 +08:00
    @Colorful 算法、数据挖掘方面主要看你们公司的结构。
    有些地方给我感觉数据分析、挖掘不分开的。
    两种活都接,或者应该说是做数据分析的顺带把数据挖掘的给做了。这种对算法的需求可能就会大一些。

    纯数据分析个人感觉并不需要算法支持,需要的时候百度看一下就好。反正我个人是那种学了忘的,最后通常是用到了就百度谷歌看一下就好。
    Colorful
        13
    Colorful  
    OP
       2020-03-06 17:41:29 +08:00
    @NeezerGu 你这样说的话,我就有点理解了。那我现在应该多看哪些方面的?
    NeezerGu
        14
    NeezerGu  
       2020-03-06 18:02:28 +08:00   ❤️ 1
    @Colorful
    首先按说你是前端的话,sql 应该接触过,我假设你有基本的 sql 技能。
    那主要我推荐你基础的了解一下 excel 的常用函数(其实主要就是一些 vlookup、countif 之类的),数据透视图,制图(折线图什么那些),这些应该 1、2 天就能搞定(百度一下应该都不难的),太复杂的组合函数不推荐专门去学,真要用的话还不如直接上 python

    接着,如果想公司内部转岗的话。公司数据敏感问题不严重的情况下,我推荐你问一下公司的数据同事,要点需求自己试一试(其实我真感觉数据组很多基础需求就是干一发 sql,excel 划拉两下,给产品 /运营说几句,就完了……),
    如果你能解决这个,你问问数据的 leader 能不能转过去。某种意义下比较懂行的数据 leader,在缺人的情况下,会比较愿意要转岗的人(一方面对公司的业务稍微有一定了解,培养成本低,另一方面转岗至少一年吧,都会比较吃苦耐劳一些,愿意做一些其他人不愿做的基础活)

    如果你想直接跳其他公司的话,我觉得会比较难。推荐你先按照该公司的主要产品,去学一些数据技能,比如对方公司主要产品是直播方面的,你可以直接用爬虫抓一些直播的数据(比如我抓过 twitch 的,印象里几乎不设防),然后试着分析一下,无论啥东西都行,只要你觉得这个分析比较有意思。个人感觉会成为一个加分项。

    数据分析这行业,缺人缺的厉害,但主要还是看老板们的心里预期投入吧。
    个人感觉为了满足产品 /运营很多对数据的好奇心,会需要大量“取数机器人”,理论入职门槛极低。但有些团队会要求比较严,学历啥子的都有要求,进去往往刚开始依旧还是取数,做 bi 什么的。
    所以真想做的话不要气馁,面试可能也比较看运气。
    bozhongshao
        15
    bozhongshao  
       2020-03-06 18:07:08 +08:00
    数据整个的可以 从采集->存储->建模->分析->变现 几个步骤 。 你说的 实际上是数据研发的范畴。 如果是分析的话 就需要针对具体的行业,先了解业务 然后根据业务构建你的分析模型(指标+平台) 然后 去分析指标的问题 挖掘价值点。
    我们这边就是 开发+建模+分析 阿里巴巴国际站欢迎你。
    hello2060
        16
    hello2060  
       2020-03-06 18:33:54 +08:00
    dataquest 上试用一下或者买一个月的课程
    ccoming
        17
    ccoming  
       2020-03-06 21:58:25 +08:00   ❤️ 2
    @p2pCoder
    @NeezerGu
    @conge
    @andylsr
    其实,上面 @到的几位都提到了,做数据分析重要的还是在于业务方面:对数据的理解、现象的解读和对应的建议。
    而 lz 提到的那么多技术名词,其实走的是数据工程师或者数据可视化的方向。
    一个偏业务、营销,一个走技术、研发,不一样的。
    不知道 lz 真正想走的是数据分析还是啥。
    如果是数据分析的话,其实用啥工具、语言根本不重要,领导也压根不在乎。
    他要的是你捣鼓完那堆数据后,发现了什么东东,对此给出的建议是啥,公司应该怎么做。
    lz 真想走数据分析的路,我给的建议是:
    1、征得公司同意后(重要),用你觉得趁手的工具,给业务、运营人员做基础的日报、月报、销售仪表盘。报表简洁易懂就行,花俏的可视化就免了。这样,你不但能接触公司机密的业务数据,知道公司的销售构成、成长轨迹、发展方向,也能接触一线业务人员,了解公司最新的业务发展方向,销售难点等等。过程很枯燥,看到哪些屎一样的数据,各种吐槽。不过没关系,毕竟只有这样才能摸清公司的业务;

    2、经过摸底阶段后,lz 由于不断地和业务部门打交道,对公司的业务、销售模式都基本了解。可以尝试主动介入到业务部门的工作中:给业务部门解决业务难题。例如,最近 A 区的销售下滑特别明显,是哪里出现问题了,数据能不能跟踪到;我们的产品,跟市场的竞品对比,有哪些差异?实际工作中,业务部门的问题往往都很广大空,不会提出像“我要哪个区域什么时间的产品销售数量比例,饼图!”的问题。不管没关系,你经过 1 后,已经清楚业务的数据有哪些,尝试去跟他们沟通,去追问,去明白他们真正想要的数据。这期间,你应该也要逐渐了解他们的思考方式,业务经营思路。为什么会要这些数据,看了数据后,有做什么举动。这里,他们的想法很重要;

    3、当你在日常工作中,能了解数据需要输出报表后,尝试多做一步:给出建议。这时候,你要在思想上当自己是业务人员,出现问题后自己要从数据中找出原因,并尝试让数据产生价值。模拟 2 中的业务人员去思考去工作:A 区业绩下滑的原因是什么,这情况会出现在别的地方吗?怎么样才能解决这个问题?甚至再进一步:怎么样才能避免出现这个问题?

    做到上面 3 点后,你已经是一个称职的数据分析人员了。

    以上,只是我个人见解,仅供参考。
    NeezerGu
        18
    NeezerGu  
       2020-03-06 22:59:36 +08:00
    ![image.png]( https://i.loli.net/2020/03/06/X3rOcZguB7xaNef.png)

    吐个槽,看到群里发的,这就是我说的忽悠。。。
    Colorful
        19
    Colorful  
    OP
       2020-03-07 19:12:46 +08:00
    @NeezerGu 不是转岗,跳到其它的公司。sql 的查询这些,基本没问题,mongo 比较熟一些。数据这块还算懂一些吧,之前有做过 2 个项目的大数据展示这块,算是可视化吧,只是数据不是我处理,只是纯粹的展示以及逻辑这些。
    像 PowerBI 和 Tableau 这两个工具,会用,自己也有试着做了一些。爬虫,简单的会,这几天在看复杂的。

    我待的几家公司,都没有专门做数据这块。所以只能在网上参考一些。
    看了拉勾的这些,大部分都要会算法以及机器学习。
    Colorful
        20
    Colorful  
    OP
       2020-03-07 19:19:16 +08:00
    @ccoming 其实我是想往数据挖掘这块走。但我完全没接触过数据分析这块,身边也没有人做这块,所以无人着手。
    只是在提问的时候,说明一下自己会的哪些。现在是想去其它公司面试数据分析。

    也不知道数据分析到底是哪些。
    但看到有些人说,分析和挖掘是一起的,所以我不清楚,自己应该要有个怎么样的定位
    Colorful
        21
    Colorful  
    OP
       2020-03-07 19:20:52 +08:00
    @hello2060 我去看看,太感谢了
    Colorful
        22
    Colorful  
    OP
       2020-03-07 19:25:04 +08:00
    @bozhongshao 建模 这块一直不太懂。分析这块得多看下统计学,其它的感觉还好
    bozhongshao
        23
    bozhongshao  
       2020-03-10 11:42:46 +08:00
    @Colorful 建模的话 其实就是业务建模。 就是结合业务进行分析 分析也不单单是统计那么简单。 其实还是业务分析 哈哈 建议可以看看数据运营相关的东西。 现在简单的分析就到这一层了
    a505362678
        24
    a505362678  
       2020-05-15 11:49:48 +08:00
    不知楼主找到工作了吗 我也想找数据分析的工作 但是感觉投不到
    Colorful
        25
    Colorful  
    OP
       2020-05-16 11:16:06 +08:00
    @a505362678 加微信聊聊?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   993 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 22:41 · PVG 06:41 · LAX 15:41 · JFK 18:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.