location /abc {
proxy_set_header CLIENTIP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://1.1.1.1:8080/abc;
}

@woscaizi
@saulshao
@wangyzj
@xuanbg
看 APPEND 吧

@william2ct 答对了 但是没有奖励

@liuxu
前 10w 条包含 好几个 张三 去重了
接下来 10w 条还有张三
那插到新表是不是还有重复？

@Leanna 我这很多系统搞不好比我学龄还长 不是出问题要处理 我都不知道有这个表存在

@ysweics yes 流水号 记录

@Lonersun 可行是可行 感觉效率不行
不过我可以配合 datax 试试

@bugsnail 这样每次得出结果还是得不断去重吧，那么只是每次时间变短，最终时间不也差不多吗？

@wysnylc 我也感觉 大数据是唯一出路了。。。

@reus 之前求了个 datax 迁移数据 很好用！现在也来看看有没有类似工具。索引原来就有，不过没啥效果 量太大

@dog82 写代码，我感觉也得跑几天几夜。。。现在执行一条去重 sql 都跑不出结果

@sun1991 情况不太一样别用互联网企业思维
国企去 ioe 就是单纯的去 ioe

我都是什么简单省事用什么，实现功能至上，安扫只要处理中高风险

@xsm1890 你说的我都懂
代码已经在处理了，暂时看来问题不大
再说了去 ioe 是 zz 任务，上头拍桌子要求搞
你跟他说技术说风险就是找骂

@rockyou12 我说上云，回复的是 8L 的建议

@fixend 我的也就几个大表数据特别多，其他的可以 navicat 一键迁移

@ohao 安全问题上不了云

@duwan thx 我看看

@dorothyREN 16G 内存+12G 虚拟内存 跑不赢 13g 单表 直接报内存不足 卡死