加快 mysql 插入速度有哪些方式呢

[caiji11]

• 最近用 java 做了一个小工具 可以向 mysql 插入大量插入随机数据 可是效率有点低
  之前想过生成随机数据后 写到 txt 文本 再读到 数据库 但这需要 mysql 开启读文本的权限
  想知道有其他方式优化插入速度么

[xuanbg]

楼主批量插入了解一下

[LGA1150]

是自增主键吗？

[caiji11]

@LGA1150 对的 有啥好的想法么

[caiji11]

@xuanbg 这样 value 后面拼接太多的话 也需要 去设置下 mysql 感觉别人用了工具 可能不知道要设置

[clrss]

server 端 prepare stmt 用了么

[ericbize]

lz 是单次插入单条吗？

[ZXCDFGTYU]

数据如果不重要的话可以把表结构设计为 memory，然后 insert 的时候，可以拼接多个 value，但是不要拼接太多

[johnsona]

九浅一深

[opengps]

机械硬盘的话，换成 ssd 硬盘
单条单次写入的话，改为多次批量写入
写入随机时候，保持聚集索引列是递增状态的

[wellsc]

换 myrocks 引擎，插入贼快，查找就有点捉急

[limuyan44]

只是生成随机数据还有比存储过程快的吗

[caiji11]

@clrss 没有 这个对 效率影响很大么 用 jdbc 简单的 insert 不过 刚才试了下批量插入 作用好像不是很明显

[wowo243]

@caiji11 好像连接的 jdbc url 里要加个配置，批量插曲是比单条快不少的

[caiji11]

@opengps 嗯嗯 自己可以这么做 我想做成开源的工具

[caiji11]

@wowo243 rewriteBatchedStatements=true 这个吧 有点作用 快了三秒

[caiji11]

@wellsc 谢谢啦 知道个新的引擎 不过我想做成开源的工具 想从 sql 入手

[caiji11]

@ericbize 已经改成了拼接的方式

[caiji11]

@limuyan44 没懂啥意思 可以再说下么

[ericls]

去掉 constraint 和 index

[foam]

@caiji11 他的意思是，你直接在存储过程里写随机值插数据。我没用过，对该方法不表态。

另外，如果用的是 inodb，插入前可以将 innodb_flush_log_at_trx_commit 设置为 0，保证最快插入，处理完再设置回去(默认值是 1)。该参数为 0 时表示每次事务(注意每次插入就是一次事务的提交)写到 buffer 后就返回了，会有个线程异步去刷到日志和落磁盘。而 1 则落到磁盘才返回。

[haosamax]

change buffer

[OldCarMan]

@caiji11 个人猜测 楼上说的存储过程应该是类似这个（ https://zhuanlan.zhihu.com/p/62626328 ）的意思，不知道是不是你想要的。另外，自增主键存储过程中可以用 AUTO_INCREMENT，其他字段也想自增的话，可以使用序列。

[YouLMAO]

购买 spanner, 全球三地三中心三活

[caiji11]

@OldCarMan 我不是这样的 我用 java 做好逻辑判断之后拼接存入 因为日期处理 有点复杂 不过我发我的逻辑代码运行时间过长 也是问题

[OldCarMan]

@caiji11 我好奇，你用 java 这种方式批量导入随机数据的耗时是怎么样，我用我上面贴的例子，批量导入 20 万条（表结构 user(id,name,age)）数据到我电脑虚拟机 mysql 容器花了 44 秒左右。

[caiji11]

@OldCarMan 很慢的 没有这么快 逻辑处理要耗费很多时间 做到可以自定义日期范围 以及一个表中几个日期之间的关系 如果没有自定义生成的话 出来的数据也不能用 主要考虑到这 所以没有用存储过程 用 go 会不会快些呢 哈哈

[caiji11]

@OldCarMan https://github.com/fcdml/MOCKSQL 工具地址 可以看看具体的实现

[OldCarMan]

@caiji11 嗯嗯，不过个人觉得如果只是想控制时间的范围，用存储过程也是可以实现的。比如使用 mysql 自带函数 DATE_ADD(date,INTERVAL expr type)之类的结合随机数函数生成一定范围的随机时间。