V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  FONG2  ›  全部回复第 1 页 / 共 8 页
回复总数  143
1  2  3  4  5  6  7  8  
2020-05-29 17:40:05 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@woscaizi
@saulshao
@wangyzj
@xuanbg
看 APPEND 吧
2020-05-29 17:38:13 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@william2ct 答对了 但是没有奖励
2020-05-29 11:53:32 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@liuxu
前 10w 条包含 好几个 张三 去重了
接下来 10w 条还有张三
那插到新表是不是还有重复?
2020-05-29 11:39:56 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@Leanna 我这很多系统搞不好比我学龄还长 不是出问题要处理 我都不知道有这个表存在
2020-05-29 11:28:21 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@ysweics yes 流水号 记录
2020-05-29 11:23:34 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@Lonersun 可行是可行 感觉效率不行
不过我可以配合 datax 试试
2020-05-29 11:20:07 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@bugsnail 这样每次得出结果还是得不断去重吧,那么只是每次时间变短,最终时间不也差不多吗?
2020-05-29 11:11:13 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@wysnylc 我也感觉 大数据是唯一出路了。。。
2020-05-29 11:09:27 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@reus 之前求了个 datax 迁移数据 很好用!现在也来看看有没有类似工具。索引原来就有,不过没啥效果 量太大
2020-05-29 11:08:08 +08:00
回复了 FONG2 创建的主题 数据库 单表近 7 亿条数据,现在要优化结构,进行去重,求个方案
@dog82 写代码,我感觉也得跑几天几夜。。。现在执行一条去重 sql 都跑不出结果
@sun1991 情况不太一样别用互联网企业思维
国企去 ioe 就是单纯的去 ioe
我都是什么简单省事用什么,实现功能至上,安扫只要处理中高风险
@xsm1890 你说的我都懂
代码已经在处理了,暂时看来问题不大
再说了去 ioe 是 zz 任务,上头拍桌子要求搞
你跟他说技术说风险就是找骂
@rockyou12 我说上云,回复的是 8L 的建议
@fixend 我的也就几个大表数据特别多,其他的可以 navicat 一键迁移
@ohao 安全问题上不了云
@duwan thx 我看看
@dorothyREN 16G 内存+12G 虚拟内存 跑不赢 13g 单表 直接报内存不足 卡死
@threegrandfather 我就是开发。。。小组没 dba 。。。字段倒是没问题,问题是数据怎么导出来导进去?我现在随便导一个大表 电脑都内存溢出。。。
2019-08-16 09:08:31 +08:00
回复了 shanlan 创建的主题 程序员 你试用期几个月?提前转正了吗?
第一家 试用期我要走,提前叫我转正,我拒绝了
第二家试用 3 个月。。。直到第四个月才走完手续,不过薪资正常发
第三家也是 推后一个月才 oa 手续转正,薪资正常发
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1059 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 22:33 · PVG 06:33 · LAX 14:33 · JFK 17:33
Developed with CodeLauncher
♥ Do have faith in what you're doing.