第三百七十二章 且听龙吟 (第2/3页)

这边做出的预测差不多。

    丁耀先看到这个结果，连心里最后一点疑虑也消失了。

    能猜中一次可以说是巧合，可对L100迁移结果的现场预测，和冰芯内部的测算结果也几乎一样，说明源智的模拟器确实有东西。

    甚至可能比冰芯内部正在使用的工具还要先进得多。

    想到这儿，丁耀先心里有点儿热。

    源智这个项目能不能成先不说，如果冰芯之后的芯片验证和生产流程能用上这套工具，效率能提升多少？

    他强行把这个念头压下来，把电脑转回给赵文渊，开口道：“赵总，试试你们的新方案？”

    冰芯这边的工艺参数都不用改。赵文渊直接在模拟软件里导入了薛兆恒刚才展示的L200异构芯片架构，四块计算芯粒、输入输出芯粒和封装内互联的设计展示在软件的预览界面上。

    参数都设计好了，赵文渊向丁耀先确认：“丁总，你看看这个参数都对吗？”

    丁耀先尴尬地开口：“赵总，刚才输入的参数是我们理论上能达到的最优值。既然是第一轮测算，还是保守一点儿吧。”

    然后他提出几个参数改动，基本把各项工艺数字都往更保守的方向挪了百分之十到百分之二十。

    薛兆恒在旁边看得欲言又止。

    我们内部跑的时候都没压得这么狠，冰芯能不能行啊？

    赵文渊倒没在意，丁耀先让改哪儿，他就改哪儿；让改多少，他就改多少。

    等所有数字都确认完，赵文渊载入汤圆最近一次训练的单轮计算任务，按下运行键。

    又是一分多钟。

    屏幕上的结果跳了出来。

    理论算力只相当于英伟达旗舰卡的百分之八十左右。

    这个结果比L100的迁移方案强了不少——L100的现货能达到百分之六十，迁移之后再打个八折，单卡就只有英伟达旗舰的一半算力了。

    这个结果让冰芯这边的人都有点儿意外。看来这个新架构确实有可取之处，以冰芯的制程限制和工艺水平，能做到这个程度已经很惊人了。

    丁耀先这时已经有点儿认同薛兆恒的设计了。看来人家不是信口胡说，是带着数据来的。

    模拟结果除了综合效率之外，还有【任务预计完成时间】和【内存等待占比】等几个详细选项。

    任务预计完成时间是一点七七秒。

    丁耀先扫了一眼，没太在意。

    然后继续看内存等待占比：百分之六点五。

    他突然意识到有点儿不对。

    一点七七秒？

    刚才L100的模拟结果，使用的是同一个任务吧？那个时间是多少来着？

    丁耀先浑身一激灵，既觉得自己可能记错了，又隐约觉得似乎真有这个细节。

    这个模拟软件对过去的模拟结果都有历史记录，L100的模拟结果就在前面三个。丁耀先咽了口口水，问道：“我们再对比一下L100的结果？”

    没人提出反对。

    赵文渊把这次结果的标签页单独拖了出来，留在屏幕一边，然后在屏幕另一边打开了L100的模拟历史记录。

    任务预计完成时间：六点八四秒。

    冰芯这边的人也意识到哪里不对了。

    算力提升了百分之三十多，训练速度却变成了原来的四倍。

    封装负责人的身子往前探了探，喃喃道：“这怎么可能？”

    刚才输入参数的时候，封装带宽的数据已经被压缩到很保守的水平，对冰芯来说属于没有技术挑战。

    相对应的，通信效率就会很受影响，这种多芯粒设计受到的影响最大。

    怎么可能会出现这样的结果？

    丁耀先也抬起头看向赵文渊，想让他给个解释。

    他甚至都没问问题。很显然，两组数据的对比不合常理，这需要一个解释。

    赵文渊淡淡一笑。

    “看起来大家都很惊讶，可能是因为你们对大模型的训练管线不太了解。”赵文渊开口道，语气平淡，仿佛在讨论一件微不足道的小事。

    其实他心里已经乐开了花。

    虽然技术方向是大家头脑风暴出来的，但既然是我来讲解和演示，那这个逼就让我一个人装吧。

    冰芯的各位，准备好，表演开始了！

    “L200的异构设计不只是拿几个小芯粒堆起来而已，它是为汤圆的训练管线特意设计过的。”赵文渊用手指着屏幕上的四块芯粒，“我们对训练的每一步任务都做了精细规划：会用到哪种算子，任务量有多大，编译器都可以提前规划好。这是一种在训练开始之前就进行过的宏观优化。训练一旦开始，所有计算都会在同一个芯粒里完成，只有在最后Reduce的阶段才需要进行通信。”

    “这样，在密集运算的过程中，每一个芯粒其实都是一个完整的芯片，显存读取也被降到了最低。”

    “为什么我们能用比英伟达落后的制程，达到效率上的反超？”

    “英伟达要照顾所有用户，而我们只需要考虑汤圆。”

    “答案就是这么简

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』