麻省理工今天发了一篇挺颠覆常识的研究。
他们把千问那个只有0.8B /的轻量小模型丢给GPT-6Astra,不准重新训练,也不准喂题,任务就是就让它把小模型的数学能力提上去。
Astra 直接打开小模型底层的数字表格扫了一眼,当场找出了里面导致脑子卡壳死循环的病根。
它顺手改了里面万分之一点六的数字。
一行训练代码没写,一分钱算力没花,这个小模型的数学成绩直接从不到八分飙到了四十八分,连带听懂人话的能力也翻了三倍。
研究人员还让它从零手写一套打游戏的模型参数,完全不给试玩机会,它凭空填出来的数字,直接把靠传统方法苦练了一亿步的模型按在地上揍。
搞半天 AI 脑子里那堆密密麻麻的数字只有人类自己看不懂。
顶级大模型看小模型的底层参数,跟老程序员看新手写的烂代码没什么区别,哪里有 Bug 直接上手改几个数就完事了。照这个趋势下去,以后调教小模模型直接让大模型上手改底稿就行,天天租高价显卡熬夜调参的团队得省下多少算力费?
主楼