这是一个创建于 1739 天前的主题，其中的信息可能已经有所发展或是发生改变。
今天需要捞出一张表的数据（ xxId ），然后插入另一张表中，数据量比较大，200W，并且 xxId 会重复，需要去重之后再插入另一张表。
- 一开始我选择查询出所有的数据，存入 Set 中去重，此时剩余 60W，之后每次 1W 条插入表中，直接 OOM。
- 查询的时候通过 limit 每次捞出 1W 条数据，去重插入，此时原表 xxId 重复，然后导致前后两次去重插入后 xxId 还是重复了。
- 去重通过 distinct，每次捞出 1w 条，然后插入... 效率巨慢，相当于要进行 60 次 distinct....
https://github.com/dackh/blog
blog 喜欢可以 star hhh
 |
1
mull 2020-02-20 19:43:59 +08:00 via Android
所以最后怎么解决的
|
 |
2
BBCCBB 2020-02-20 20:02:27 +08:00
你是来推销你的 github 的吧
|
 |
3
rekulas 2020-02-20 22:52:43 +08:00
直接导出 sql，选择一条数据一条语句，然后批量替换 insert into >> insert ignore into
新表 xxid unique 导入，应该就完了，一行代码都不用写 |
 |
4
heart4lor 2020-02-21 12:26:56 +08:00
最后还是通过 60 次全表 distinct 吗？有没有更优雅的办法
3L 似乎是个办法 |
Select Language