FYFX 最近的时间轴更新 FYFX 最近的时间轴更新 |
FYFXV2EX 第 198487 号会员，加入于 2016-10-26 22:56:53 +08:00今日活跃度排名 3075 |
FYFX 最近回复了
4 天前 回复了 ppppppp123 创建的主题 › 程序员 › 订单数据实时汇总技术选型 |
我觉得你应该先说一下你们的开发资源，还有数据的量级，毕竟要上大数据的话维护的成本还是挺高的
93 天前 回复了 shijingshijing 创建的主题 › 程序员 › 看这波裁员， AI 和大数据这股风估计要凉了 |
@charlie21
后端一般不方便跨多个项目组获取数据源权限吧，别人可能会开放简单的数据查询权限，但是重计算的我感觉一般不太会，数据组一般对接很多个后端项目组；还有就是一般涉及的数据量都挺大的基本都要用 spark/flink 来跑
后端一般不方便跨多个项目组获取数据源权限吧，别人可能会开放简单的数据查询权限，但是重计算的我感觉一般不太会，数据组一般对接很多个后端项目组；还有就是一般涉及的数据量都挺大的基本都要用 spark/flink 来跑
93 天前 回复了 shijingshijing 创建的主题 › 程序员 › 看这波裁员， AI 和大数据这股风估计要凉了 |
@charlie21
SQL boy ，主要是 ETL ，做数据报表，给做算法的提供数据源，也会给后端提供数据服务
SQL boy ，主要是 ETL ，做数据报表，给做算法的提供数据源，也会给后端提供数据服务
98 天前 回复了 mmm159357456 创建的主题 › Python › Python 的多层嵌套循环如何优化？ |
@mmm159357456
就是用 for 循环中的那些数据，生成一个全量的表表头是 geometry start_date end_date theshold(不过我在你代码里没看到这个变量从哪来的），然后和 data 做内连接（而且像前面说的，data 数据可以先做一次预聚合），内连接就是你写的那些条件，然后结果应该就是你要得数据了。还有内存放不下的话，看着行数据之间是没有依赖的，我感觉可以拆 data 的数据分多次处理吧，然后再合并，类似于 map-reduce
就是用 for 循环中的那些数据，生成一个全量的表表头是 geometry start_date end_date theshold(不过我在你代码里没看到这个变量从哪来的），然后和 data 做内连接（而且像前面说的，data 数据可以先做一次预聚合），内连接就是你写的那些条件，然后结果应该就是你要得数据了。还有内存放不下的话，看着行数据之间是没有依赖的，我感觉可以拆 data 的数据分多次处理吧，然后再合并，类似于 map-reduce
98 天前 回复了 mmm159357456 创建的主题 › Python › Python 的多层嵌套循环如何优化？ |
你试着把 for 循环的数据构造一个 dataframe 然后和 data join(pandas 里面应该是 merge)然后再算结果呢
110 天前 回复了 yuhuanxi 创建的主题 › 软件 › 用过很多笔记，最终回到了 obsidian |
@kouhe3 #51
但你这笔记没法检索啊
但你这笔记没法检索啊
110 天前 回复了 brader 创建的主题 › 程序员 › 想问下大家一直说的谷歌服务是什么？ |
你想说的是 GMS 吗
110 天前 回复了 kidlj 创建的主题 › 分享创造 › 「遇见单词 MetWord」2.0 来了，带来了单词发音，书签全文搜索以及 RSS 自动发现功能 |
希望英英释义+1
111 天前 回复了 goodboysisme 创建的主题 › Python › 关于 csv 大文件， Python 处理的问题 |
你这主要是查询吧，找个数据库吧
117 天前 回复了 haolongsun 创建的主题 › Windows › win11 把 ui 玩透了 |
@James369 #20
现在 powershell 可以通过 PSReadLine 设置 emacs keybing 了
https://github.com/PowerShell/PSReadLine
现在 powershell 可以通过 PSReadLine 设置 emacs keybing 了
https://github.com/PowerShell/PSReadLine
Select Language