最新网址：m.leshugu.info
“而且它们脑袋还有问题，我把这个问题叫做秩坍缩（rank colpse）。”
小黑那个圆球还化做一只小手指了指自己的“脑袋”。
简单的说这些大模型的脑子，就是拿注意力一层一层叠起来的。
在它脑子里，每一个字都不再是字，而是一串数字。
业内把管这串数字叫做“表示”（representation），专门用来装这个字的意思。
每过一层注意力，所有的字就拿着这串数字彼此掺和一回，你借我一点，我借你一点。
坏就坏在，要是只有这些注意力层，光这麽一层一层掺下去，每个字的那串数字，就会越掺越像。
掺着掺着，所有的字就都都变成了同一个模样，再也分不出谁是谁。
当然，这些大模型也有预防机制，一个叫“残差”（residual connection）。
一个叫“前馈层”（FFN）。
可就算这样，也没有从根上解决问题。
李东听得入了神。
这些东西，他先前压根没往这麽深的地方想过。
“还有个怪症，叫逆转诅咒。”
小黑一说起来简直就停不下来了……
它後面还说了组合性鸿沟和RLHF
一个是大模型碰上那种一环扣一环，得连推好几步才解得开的题，它根本没在“推”，只是把见过的套路硬往上套，稍微复杂点它就垮了。
另一个就是，本来是拿人的喜好把它调教得更听话，可越调它反倒越自负，明明心里没底，张口却是十分的笃定。
小黑说完这些一脸的嫌弃。
李东听到这儿，连带着也一起嫌弃起来了。
这些问题小黑好像都没有，还是小黑可爱。
不像这些大模型，很会唬人，而且还唬的像模像样。
说实话要是田钢用这些模型来搭建AI for Math。
李东都不敢想那些数学家会不会被哄成胎盘。
毕竟一般的学者真不一定有这些大模型厉害，所以它偷换概念的时候，他们分不清的。
这些被小黑一路看穿的毛病，单拎出哪一条，都够那些顶尖团队头疼上好一阵子。
可偏偏，这些放在小黑眼里，竟没有一样能难得住它。
李东的眼睛，慢慢亮了起来，於是朝着小黑说道。
“小黑你先玩儿着。”
“我这就去给你，换一间大一点的屋子。”
……
李东把电脑关掉，靠在椅背上，对着那片漆黑的屏幕，发了好一会儿呆。
说是给小黑换新家，可是有个问题。
他想起刘若传说的话……
这世上最顶尖的算力，和框架都在别人手里呀。
这种东西，光有钱砸不出来，还得有硬件那一边的门路才行。
“哎……又要麻烦别人了”
李东拿起手机拨出了一个号码。
……
魔都，华轩科技。
一间恒温恒湿的厂房里，里面的灯光还没有熄灭。
厂房里一尘不染的，几名穿着白色无尘服的工程师，正围着一台机器在做最後一轮的数据复核，谁也没怎麽出声。
隔着一层观察窗，林伟双手抱在胸前，一动不动地看着里面那台庞然大物。
这是他们新一代的浸没式光刻整机。
两年前，国威那台“启明”系列的国产浸没式整机落地的时候，也曾经在网上掀起过一阵风浪。
能把这麽一台顶尖的光刻整机，从里到外自己攒出来，本身就够让人振奋了。
可那对林伟他们来说，那事早就翻篇了，他们可不能停止不前。
眼前这台，比当年的“启明”又往前先进了一大截，这是冲着七纳米节点去的。
“林总。”
身旁一名技术员盯着控制屏，声音里带着掩饰不住的激动。
“最新一轮全片验证的数据，出来了。”
“双工件台的同步误差，整片压到了阈值以下。”
“套刻精度和焦面控制，从片心到片边，全程都死死咬在了设计指标上。”
“这台整机……过线了。”
观察窗里，机械臂正稳稳地托着一片晶圆，在两座工件台之间无声地交接。
林伟看了好几秒，才缓缓吐出一口气。
他这种人，是不大会把情绪挂在脸上的。
可这一刻，连他手都有些微微发抖。
这台整机一旦真站稳了，那就意味着它能磨出来下一代国产的AI加速器（AI accelerator）。
这两年外面那些大模型越堆越大，对算力的要求大得吓人。
可真正顶尖的那批芯片，华夏自己没有，而现在……华夏终於可以自己下场了。
最新网址：m.leshugu.info