V2EX › noparking188 的所有回复 › 第 4 页 / 共 59 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 59

❮

❯

2024-01-22 10:19:59 +08:00

回复了 Light1226 创建的主题 › English › [记录] 2024 年练习英语

加油加油！

2024-01-19 14:08:27 +08:00

回复了 Lynnnn 创建的主题 › Python › 请问有 1000W+行的数据(excel 表格)，如何合并处理？

试试直接 PySpark 单机跑，API 接口和 pandas 差不多，记得用 3.3 及以上版本的，可以直接读批量 Excel

2024-01-15 10:01:26 +08:00

回复了 SAINTING4 创建的主题 › 职场话题 › 二线大四毕业生不知道干嘛，求大哥指点

Python + SQL ，找数据开发和分析

2024-01-14 21:25:47 +08:00

回复了 xifenglie40 创建的主题 › 程序员 › 开源免费可商用的 BI 框架，哪个最好？

ReDash 跨源 JOIN 是用 sqlite memory 模式实现的

2024-01-14 21:15:50 +08:00

回复了 DualVectorFoil 创建的主题 › 数据库 › 新人学习求数据库管理系统推荐

《数据库系统概念》
《数据库系统内幕》
《数据库系统实现》
《数据库查询优化器的艺术》

2024-01-14 21:13:17 +08:00

回复了 15342 创建的主题 › 程序员 › 大量数据同步一致性问题

2000 万数据量不多，看了下 starrocks 支持流处理 https://docs.starrocks.io/docs/integrations/streaming/
我熟悉的类似这种实时同步到 AP 数仓或者数据湖的方案，一般都 Kafka 队列，然后用个消费端根据 interval 和 buffer 及时往目标库分小批次的写。
你给的信息不多，es 的数据是业务数据？那就同时写 es 和 starrocks ，可以加个离线任务每天对比两边数据是否一致

2024-01-14 20:55:29 +08:00

回复了 UnrealEngine 创建的主题 › 程序员 › 线上数据库某些大表几亿以上的数据量，没法通过直接查取数据库数据排查线上问题，如何优化？

问主管 binlog 同步哪去了，之前经历过是用 binlog 同步 HDFS ，Presto 查，千亿数据量

2024-01-12 19:44:24 +08:00

回复了 afeiche 创建的主题 › 数据库 › 数据量较大，数据库选型问题

我的经验是，不要分库分表，其他都好说

2024-01-12 19:40:36 +08:00

回复了 afeiche 创建的主题 › 数据库 › 数据量较大，数据库选型问题

@nothingistrue #129 我真是程序员，我还是个 PingCAP Certified TiDB Professional ，不过没啥用，之前公司用我就简单学了下原理实现。https://i.imgur.com/krir4IG.png TiDB 是 Share Nothing ，底层存储是 TiKV ，基于 RocksDB 开发的，TiFlash 是借鉴 ClickHouse 开发的。
简单讲，TiDB 底层数据结构是 LSM-Tree ，MySQL 是 B+Tree ，二开不了。
再告诉你个好玩的，他们一开始打算用 HDFS 做底层纯属引擎，用 Java 吭哧吭哧写入半年，然后删库重写。

2024-01-12 10:56:20 +08:00

回复了 thomasicey21 创建的主题 › 酷工作 › 招 Java 开发/Android/IOS/QA/前端/SRE/数据分析/大数据开发/安全 - 深圳

可惜上海没有

2024-01-12 10:50:10 +08:00

回复了 afeiche 创建的主题 › 数据库 › 数据量较大，数据库选型问题

@nothingistrue #28 https://github.com/pingcap/tidb#architecture

2024-01-07 23:49:27 +08:00

回复了 xsnowholy 创建的主题 › 职场话题 › 五年前端，失业快一年，对未来感到前所未有的迷茫，想问问大佬们建议

软考中高级 + 985 软工非全，咋样，英语学好

2024-01-07 23:21:58 +08:00

回复了 hangbo 创建的主题 › 求职 › Java 后端研发，小米工作两年半，下周去准备裸辞了，求收留

骑驴找马，佛系工作