使用 Java 如何快速创建三百万临时文件用于测试, 大小无所谓

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2433 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在使用了线程池创建, 不过速度还是很慢

第 1 条附言 · 2018-08-12 20:37:09 +08:00

这两天刚好需要删除这 300 万(其实我只生成了 200 万不到)文件, 发现 Windows 的删除太慢了, 不管是 bat 脚本, WSL 子系统, 删除保守估计需要几个小时(没统计, 开了一天的后台脚本), 所以最后的建议是 RAMDisk, 关机就删除.

线程池

创建

Java

无所谓

15 条回复 • 2018-03-31 14:02:13 +08:00

BQsummer

2018-03-30 18:35:38 +08:00 via Android

换电脑，cpu 核心不够，线程再多也没用，反而慢。

zj299792458

2018-03-30 20:39:05 +08:00 via iPhone

@BQsummer 这瓶颈在于 IO 了吧，CPU 过剩了

janus77

2018-03-30 20:41:34 +08:00 via Android

无限平方复制粘贴大法？

liucudliucud

2018-03-30 21:00:09 +08:00 via Android

搭建一个 hadoop 集群

lhx2008

2018-03-30 21:05:18 +08:00 via Android

nodejs npm 几下就有几百万个文件了（滑稽）

lihongjie0209

2018-03-30 21:45:15 +08:00

@lhx2008 #5 黑的漂亮

lihongjie0209

2018-03-30 21:46:32 +08:00

![]( http://liimg.oss-cn-shenzhen.aliyuncs.com/18-3-30/51963362.jpg)
cpu 应该够了

lihongjie0209

2018-03-30 21:46:52 +08:00

@zj299792458 #2 我感觉是, 但是找不到什么好办法

dobelee

2018-03-30 21:49:15 +08:00 via Android

touch 三百万应该很快吧。
你发帖的时间应该 touch 完了。😂

lihongjie0209

2018-03-30 21:55:11 +08:00

@dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了

MrGba2z

2018-03-30 22:59:33 +08:00

dd & split

bingod

2018-03-31 13:37:20 +08:00

创建一个 300 万条数据的文件，然后分成 100 个字典（或更多），再将每个字典里的文字保存成 30 万个包含单条数据的文件，可以用多线程。

bingod

2018-03-31 13:38:42 +08:00

写错了，应该是 3 万条，主要的问题是文件系统比较慢

STRRL

2018-03-31 13:49:11 +08:00 via Android

估计是磁盘跟不上，试试 ramdisk

lihongjie0209

2018-03-31 14:02:13 +08:00

@STRRL #14 这个想法可以有, 谢谢