这是一个创建于 3239 天前的主题，其中的信息可能已经有所发展或是发生改变。
十万条以上就开始只能处理一部分而已
 |
1
mdzz 2017 年 3 月 13 日
看到 grep - md5.sum 的时候楞了几秒钟
|
 |
3
ElmerZhang 2017 年 3 月 13 日
你确定不是你的 md5.sum 一直有 append ？
|
 |
4
yiyiwa 2017 年 3 月 13 日
10 万条不至于吧!
|
 |
5
congeec 2017 年 3 月 13 日 via iPhone
这种情况下不用 cut 么？
|
 |
6
rrfeng 2017 年 3 月 13 日
从未遇到过
|
 |
7
noark9 2017 年 3 月 13 日
从未遇到过，你确定你的数据只是按行还是有增加，或者数据没问题，之前导数据的时候三五百万是松松的处理啊
|
 |
8
lrz0lrz 2017 年 3 月 13 日
处理几千万行数据从没遇到过这个问题
|
 |
9
est 2017 年 3 月 13 日
在 hdfs /hadoop stream 上跑 grep 的路过。都不是事儿～～
|
 |
11
rogerchen 2017 年 3 月 13 日
楼主总想搞个大新闻， FSF 这些远古套件出问题的可能性几乎没有，你也不想想用户群有多大。。。
|
 |
12
lhbc 2017 年 3 月 13 日 via iPhone
十万也算量？
|
 |
13
fxxkgw 2017 年 3 月 13 日
C 的效率对付几十万条数据还是妥妥的
|
 |
14
chineselittleboy 2017 年 3 月 13 日
下午刚处理过三百万行的文本，几十秒
|
 |
15
halfbloodrock 2017 年 3 月 14 日
想用 shell 处理大量文本数据的话，用 while 结合 awk ， sed 。
|
 |
16
feiyang21687 2017 年 3 月 14 日
md5.sum......
|
Select Language