第二百六十二章 世界模型才是最好的 (第3/3页)

  他没什么反应。这本来就是基准，连差一点的模型都能过的题，不算什么。

    从第十一组开始，是探针的核心序列。

    他设计了一套“状态追踪”题组：同一个场景，以十七种不同表述方式喂给模型。措辞不同，信息顺序不同，中间插入大量干扰句，为的就是破坏语义注意力机制。

    如果模型只是在做语义匹配，换了表面形式，答案就会飘移。

    想保证答案一致，需要模型在内部维护一个“世界状态”。这样无论表面怎么变化，逻辑答案都应保持一致。

    当然，现在的大语言模型不会去“维护”这个状态。但章闻铎想探索的方向是：如果模型在训练过程中形成了稳定的因果结构表征，它就可以表现得“像”是有一个内部状态一样，输出的答案就应该保持一致。

    之前他在国外顶级模型上做过小范围验证，答案如他所料：没有模型能表现出这种能力。

    然而汤圆不一样。

    终端里，汤圆的答案一条条输出，现在已经进行到第十五组验证。

    前面几组验证数据的特征值，已经远超章闻铎验证过的国外顶尖模型。

    而第十五组的最后一个变体，在插入七条干扰句后，汤圆依然输出了正确答案；并且在思考过程里提示了更多信息：“需要注意的是，尽管文中多次提及初始状态，但根据第三段的描述，该状态在后续已发生变化，正确答案应基于最终状态而非初始状态。”

    探针还在继续运行。

    但章闻铎的心思已经不在屏幕上了。

    仅凭眼前这冰山一角的结果，他已经有了预感。

    汤圆作为一个纯语义训练模型，理解世界状态的能力大幅高于他测试过的其他模型。

    这说明了什么？

    章闻铎抬头看了看窗外。时间已从清晨到了上午，他完全没有察觉。

    京城的天空今天澄澈湛蓝，没有一丝云。

    那条他以为走不通的岔路，其实走得通。

    高质量的原始数据和语义标注，对世界模型的方向同样有意义。

    章闻铎心里说不清是开心还是痛苦。

    他不再关注还在运行的探针脚本，起身去接了一杯水。

    妈蛋，论文要重新写了——结论还是一百八十度大掉头！

『加入书签，方便阅读』