想给文件建立一个索引文件,不知道用什么方法,还是说索引规则可以自己确定?
1
sep19 2019-02-20 10:04:29 +08:00
你表述不够清晰。 几百 G 的文件,用 Hadoop 处理,离线建索引,几十分钟就可以了。
|
2
mortonnex 2019-02-20 10:10:20 +08:00 via iPhone
如果你的意思是你需要随机读,那么存 offset 就可以
|
3
zh584728 OP |
4
xylophone21 2019-02-20 13:58:05 +08:00
几百 G 了,不想使用数据库的原因是什么?感觉自己实现个索引肯定不如数据库做的好。还是说你想搞明白数据库建索引的实现。
|
5
ps1aniuge 2019-02-20 15:36:39 +08:00
支持 4 楼。导入数据库,分字段,按字段索引。打散数据=结构清晰。不打散=一团乱麻。
|
6
Variazioni 2019-02-20 17:22:03 +08:00
@zh584728 兄台。。纠正一下。。那个叫 HDFS。。大概用的是手写输入法?
|
7
lyc1116 2019-02-20 17:29:54 +08:00
@Variazioni 他的意思是 hdf5
|
8
xomix 2019-02-20 17:58:40 +08:00
|
9
Variazioni 2019-02-20 21:27:41 +08:00
@xomix 还是我才疏学浅啊。。 =。=
|