V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Kaiv2  ›  全部回复第 6 页 / 共 24 页
回复总数  470
1 ... 2  3  4  5  6  7  8  9  10  11 ... 24  
@Kaiv2 写着写着写成了单机的,这么做多此一举,太蠢了。。。应该是 分 hash-3.1 .. n.txt 多个机器同时处理,然后合并重复数据 hash-4.1..n.txt
1. 先计原始文件 a.txt 算每一行 hash 保存到 hash.txt 文件
2. 复制一份 hash.txt -> hash-2.txt 用于去重计算
3. 取 hash-2.txt 文件中 10000(这个数根据内存大小预估) 个 hash 前 8 位不重复 hash_array_8
4. 重复的的写入 hash-4.txt, 剩于的写入 hash-2.1.txt -> hash-2.txt , 循环处理直到 hash-2.txt 没有记录
```txt
let limit = 10000; // 控制内存使用
let hash_array_8 = [];
let cache_line = []
for(let h_line: read_line(hash_2.txt)) {
if(hash_array_8.size < limit) {
if(!hash_array_8.has(h_line.sub(8))) {
hash_array_8.add(h_line.sub(8))
}
}
if(hash_array_8.has(h_line.sub(8))) {
if(cache_line.has(h_line)) {
write(hash-4.txt);
} else {
cache_line.add(h_line);
}
} else {
write(hash-2.1.txt);
}
}
mv(hash-2.1.txt, hash-2.txt)
```
5. 得到 hash.txt 跟文件一一对应,hash-4.txt 是重复的记录
6. hash-4.txt (如果重复的不多)直接读取到内存,对应读取 a.txt, hash.txt 每一行,比较 hash 重复跳过,不重复写入 b.txt
没有考虑过计算量,内存不够可以考虑试试这个办法
@iOCZS ... 服了这脑回路,“剥夺了别人进步的路线”?
公司机房服务器打补丁,你可以要求留下来值班。
分配任务时,如果你觉得你可以做,你可以要求做。

这个是你可以主动的,不是逼迫你做事情
266 天前
回复了 YongXMan 创建的主题 推广 ChatGPT GPT-4o Claude 3 等大模型聚合 AI Chat 平台
提供 API 吗?
274 天前
回复了 kandaakihito 创建的主题 职场话题 上家卡离职要一个月后才放怎么办
协商不成,直接走
昵称:你来了
谢谢
298 天前
回复了 itskingname 创建的主题 git 在 git 分支名上面加斜杠真的太恶心了
我的习惯是使用 -
298 天前
回复了 ze00ro 创建的主题 买买买 现在买电脑合适吗? 等更强大的 AI 电脑?
AI 电脑是个啥?你指的是 NPU ?
@knva arm 能用,mac air m1 使用正常
305 天前
回复了 jinker 创建的主题 程序员 Rust 开发的无头论坛软件
@jinker 我试过区分大小写,是不是之前的看不全修复了? https://github.com/Reknij/fofo/commit/165c0c02f695b1ef1c1646ec4da59eba0f96ba37
306 天前
回复了 jinker 创建的主题 程序员 Rust 开发的无头论坛软件
图片验证码一直提示失败
308 天前
回复了 penine 创建的主题 分享发现 你们现在都在用什么鼠标?好用吗?
@AdamMing 滚轮被腐蚀了吗?
313 天前
回复了 crytis 创建的主题 iCloud 不停的弹出各种 iCloud 账号登录是什么情况?
一样的问题
317 天前
回复了 seedhk 创建的主题 Java 请教一个 maven deploy jar 包失败的问题
还有,maven 好像后 3.7/ 8.xx 后面的版本必须使用 https 了
317 天前
回复了 seedhk 创建的主题 Java 请教一个 maven deploy jar 包失败的问题
repository id 配置错误
1 ... 2  3  4  5  6  7  8  9  10  11 ... 24  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1046 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 22:39 · PVG 06:39 · LAX 14:39 · JFK 17:39
Developed with CodeLauncher
♥ Do have faith in what you're doing.