qingshanyuluo

@Bluecoda 是可以无限 attention ，但是长关联上下文的训练数据比短上下文的少很多啊

一个前端最多两年，哪来一辈子

用的时候问 gpt 不就行了，我现在就一点不怕奇奇怪怪的语法

@cr3bit 意外情况太多了，小概率事件发生人类能根据常识判断下一秒发生什么，现在的特斯拉这个模型的泛化能力还没达到这个水平

@xuelang 以前的 nlp 上下文联系能力弱的令人发指，而且都是垂直领域小模型，现在的 gpt4 相当于能正确挖掘文本的的信息了，也只是人类迈出处理文字的第一步。但现在的神经网络参数量和真正人脑比起来还太少了。

@cr3bit 人脑复杂度比计算机高很多，深度学习只是一种算力比较低的时候模拟人脑的算法，现在这么多车天天路上开，其实数据是完全不缺的，但还是很难训练好

@cr3bit 机器学习也不一定真就效果好，只是一种方案而已

现在的 ai 你说破了也是深度学习，说白了就是数据拟合，常见的 task 当然很容易，少见的就一点也不行，其实不具备人类复杂的推理能力，准确率会随着 task 的复杂度增加指数级下降

健康点还是不炸锅，用几个月就换，无涂层的铁锅不沾要油温很高油烟太多了，不粘锅一点点油就能做菜