Erona

@ffgrinder 你的回复很有攻击性，似乎是谁惹到你了，令你及其的不爽。
我之前对你的回复，以及对其他的人的，都是保持着平和讨论的心态，我很好奇到底是哪句话触碰到你的逆鳞了。
或许你只是看到其他人的发言不爽，从而迁怒与我？

这个话题本身就很有争议，也有很多奇怪方向的讨论。但是如果你自己看过我的发言，你应该清楚我自始至终都是针对这个话题本身去讨论的。
我十分不理解我哪里不够知行合一，甚至到了要被你教育的地？我也十分疑惑我的观点又哪里能扯得上「洋大人」？你要是不满意其他人的政治倾向，请直接去对线，而不是把怒火发泄到我的身上，这是十分不理智的行为。

另外，对一个有争议的话题，抛出自己的观点去讨论，很显然会收到很多反对。所谓的讨论，不就是不同观点之间尝试互相理解和交流吗。如果你觉得和你相左的观点都是小丑，都活该被嘲讽，那我确实无话可说。

最后，祝好。

@ffgrinder 首先我回答一下我觉得 tokenizer 不够精准的地方，尽管你我都已经适应并认同它叫做分词器。
就拿 compiler 的场景来说，tokenizer 切分的除了可以被视作「词」的 keyword 外，还有数字，符号等等。
所以从这个角度来看，我们已经认可的分词器也同样不够精确。进而我想表达的是，就翻译来说「词元」可能和「分词器」类似。

我在 PR 中和这个帖子中其中都表达过一个观点，就是大部中文母语认识在做 LLM 相关的交流时用的肯定是「 token 」，这点应该没有异议吧。
那么把一个大家已经适应的，习惯的，没问题的，甚至是全球几乎都这么用的词，强行地去翻译成一个本土词汇，我不觉得这是一个对各位有益的事情。而且这个词走进大家的视野里也有一段时间了，无论是支持它的人也好，反对它的人也好？有多少人真的在交流中弃用「 token 」而改用「词元」的吗？


然后我在这里顺便回复一下 @Rorysky 的评论：
你的观点完全没错，但是你可能误解了我的意思。这个项目它本身就不是中文的，中文都是翻译来的。除了「令牌」这个错误翻译，肯定还有更多更加错误的翻译。但是他能 work ，而且这些错误的翻译大概使用者也能理解，开发资源应倾注到其他地方，所以我觉得它「没大碍」。
关于这个 PR ，我觉得既然都修了，那么就应该用一个大部分人都在真正使用的词，而不是造成眼睛看着「词元」，心里读着「 token 」的这种情况，这很令人不舒服。

@credo123 你说的非常有道理。对于非业内人士，可能的确需要一个恰如其分的词。客观地说，在这点上「词元」基本合格。
不过大家也都知道 token 并不一定就是个词，所以「词元」这个词或多或少还是有不够精确，让人些难受。（非抬杠，只是聊一下感受）
不过非要较真的话，把 tokenizer 译作分词器兴许也是同样地不恰当。但是我们（至少是我）早就自然地接受了它。

你提到的那几个经典幽默翻译确实操蛋，所以我都倾向直接使用 handle, socket, default 。然后这就造成了我之前提到的写作 XX 读作 XX 的问题了。
所以这些术语我仍然倾向于不翻译，但这确实对非业内人士不友好。

不过无论最终怎样，每个人也只能去接受罢了。

@credo123 从这个角度讲的话，LLM 中的 token 它大概或许应该有一个中文译名。

然而当前的问题是，使用 opencode 的中文用户，有多少人日常交流就使用「词元」而不是「 Token 」?
它的不适点在于你平时用的是「 Token 」但是工具上写的是「词元」，这种写作「词元」读作「 Token 」才更加不符合中文习惯吧。

@yiqiao 如果是大势所趋的话，那真的就是早晚的事情（悲
其实很多词大概都必要去翻译，至于 Token 要不要翻译，当前「词元」这个词好不好，应该已经被讨论了很多了。
这个事情给我的感觉就是，首先我觉得它是属于没必要翻译的词，并且我觉得「词元」这个翻译很糟糕，然后这个词已经在慢慢地到处渗透。
可能让我意外的是这个词的接受度比我想象中的高，并不是大部分人都这么反感。

@fang2hou 你说的也没错。
但原来的「令牌」可以理解成机翻或是粗翻，也并不无大碍。真要细翻的话，一个更好的方案显然是直接用 Token ，而是不是这个幽默的「词元」。

这种企业和产品我都懒得去骂了, 一般都是见一个拉黑一个

看看硬盘是不是快满了

搞不懂 华为拉的屎就这么好吃? 还在肠道里就开始关注?