第三百八十四章 双标 (第3/3页)
题中,有三十五分与长程任务管理有关。
当然,这里说的分,并不是像学生做卷子那样,四个选项里蒙一个,对了就拿分。具体测试过程相当复杂:每一题都要完成一个跨度长达几个小时、经过很多步骤才能完成的任务,最后成功才能拿到一分;有时甚至要重复多次验证稳定性,取平均分。
在这样的新标准下,公开模型的评分普遍不算太高。
之前霸榜很久的汤圆0.9,只有70.2分。
Gemini的新模型最终得分70.8分,OpenAI的GPT-V-II最终得分71.7分。
分数第二高的金星模型2.0,得分72.3分。
彼此咬得很紧。
只有汤圆1.0,得分93.5,比第二名领先二十多分。
说实话,领先到这个程度,林伟伦也不理解。
但正因为不理解,他更不能接受理查德等人毫无理由的打压。打不过就改规则?这些傲慢的西方人。
林伟伦翻出源智科技参会成员的联系方式,决定等对方到了之后,亲自过去交流一下。
至少要让他们知道自己受到的不公正待遇。
如果他们需要帮助,林伟伦也做好了准备。
另一边,理查德刚刚接通和硅谷的电话。
电话那头是Nexus AI的CEO瑞恩。
“测试成绩你看到了吗?”理查德一边喝红茶一边说,“恭喜你啊,瑞恩,这次你可是堂堂正正地打败了山姆。”
“看到了,还要多亏老师你的指点。”瑞恩说。
在学术生涯中,瑞恩曾与理查德有过友好的学习关系;这段关系一直保留下来,在他创业过程中也起到了很大帮助。
就拿这次来说,如果没有理查德在大方向上的指点,甚至点出某些极为具体的技术挑战,金星2.0的研究方向肯定也会优化长程任务;但效果能不能有现在这么好,瑞恩也不敢保证。
“很好,听说MCP最近的推广也很有成效,我为你自豪。”理查德在电话里笑了两声,“期待在新加坡见到你展示最新成果。我知道,你的对手,那个汤圆协议公司的人也会来;但是你放心,你会得到我的支持。”
理查德没有提汤圆1.0。
毕竟他真心认为,这个模型作弊了。大部分顶级模型之间的差距都在一两分之间,这个模型一次高出二十分去,除了作弊,他想不到别的原因。
虽然理查德也没想通他们是怎么作弊的,但这不重要。
电话挂断后,瑞恩靠在老板椅背上,把双脚翘上办公桌桌面,鼻子里哼起了意大利小曲。
Nexus AI最新模型的能力,超过了OpenAI最新模型。
值得纪念的一天。
什么叫技术储备啊?这就是技术储备!
『加入书签,方便阅读』