如果通过正则检测一些非英语段落？

[showecho]

一篇长文章，包含英语，日语，中文甚至韩语，阿拉伯语等，我现在只需要保留纯英文段落（有英文标点和特殊字符），那些包含非英语字符的段落全部删掉，怎么用正则判断？

[daviswei]

是不是[A-Za-z0-9]

[jdhao]

capture group? 把英文放到 capture group，只保留这些 group 就 ok 了。英文看成 ascii 字符连续不断的字符串

[SuperMild]

如果段落与段落之间有明确区分（比如空行），那么，只取每个段落的头几个和尾几个字符来判断就可以了。

[showecho]

@daviswei 不是，还有符号和英文里面的特殊字符的

[DiamondbacK]

sed '/[^0-9A-z[:punct:]/d'

[taogen]

不知道你是什么编程语言，一般编程语言都采用的是 Unicode 字符编码。你搜一下你的语言，比如 Java 正则提取英文 Unicode 字符串

[DiamondbacK]

更正：
sed '/[^0-9A-z[:punct:]]/d'

[SuperMild]

其他语种的段落里大概率会包含英文字母，如果简单抽取拼接在一起，结果看起来会很奇怪的。建议逐段处理，一段里超过多少个非英语字母就整段抛弃。

[showecho]

@SuperMild 这个思路可以，检测每一段英语字母占总体字符的比例，设定一个阈值来删，谢谢。

[autoxbc]

写一个函数，对每个段落打分，按照英文和标点的百分比确定分值

[DiamondbacK]

更正（加上空格）：
sed '/[^0-9A-z[:punct:] ]/d'

[DiamondbacK]

怎么问题又变了？不是「只保留纯英文段落」吗？
这个标准本身很明确啊，等同于将你们现在所说的「阈值」设为 0。

[DiamondbacK]

你没定义「段落」，所以这里按行来处理。补充一个 gawk 方法：

gawk "!/[^0-9A-z[:punct:] ]/{ print }"

[DiamondbacK]

@showecho #9

你被带偏了。你的问题本来就不是「保留含有英文的段落」，这和「删除含有非英文字符的段落」的区别是明显的，而后者同样有直接的处理办法。