第1442章 谷歌急了:偷师中国AI!

    “八十七点四比三十一点二。”

    “这压根不是一个时代的玩意儿。谁给我交个底,过去这大半年,咱们往机房里砸的几亿美金算力经费,到底都喂了狗还是听了个响?”

    “皮特,上个月董事会上你拍着胸脯打保票,说咱们的百亿参数Delphi已经摸到中国天问三号的脚后跟了。来,你看着这份盲测数据,给我念念这叫摸到哪儿了?”

    两天后一早,山景城,谷歌总部行政大楼顶层第一会议室。

    长条红木会议桌上摊着几份刚从B4实验室送来的机密评测报告。

    皮查伊捏着其中一张图表,抬手甩向高级副总裁皮特。

    A4纸贴着桌面滑过去,带翻了皮特手边的半杯黑咖啡。

    深褐色的咖啡顺着桌沿往下滴,砸在皮特的西装裤腿上。

    皮特没敢伸手去拿纸巾,脖子缩着,盯着面前那张彩色柱状图,额头上的汗顺着鬓角往下淌。

    长桌两旁坐着十几个核心高管和首席架构师,屋里连呼吸声都放轻了。

    报告首页印着四十八小时极限压力测试的对比结果。

    参测的一共三家:谷歌自家砸了几亿美金堆出来的百亿参数Delphi内部最新版、通过公网API付费调取的天问三号,还有从那几台黑市走私回来的华为Mate 10 PrO和MateBOOk里扒出来的端侧离线模型“太子”。

    天问三号拿第一,没人觉得意外。元旦发布会上人家已经亮过肌肉了。

    除了外界知道的千亿参数体量和基础自注意力机制,回响科技把云端底座的网络层数配比、合成数据清洗管线还有强化学习对齐权重捂得严严实实,谷歌动用了好几条商业间谍线,也没摸到半点真东西,只能靠公开接口做盲测。

    真正把在场这帮高管脸皮扒下来踩在地上的,是排第二的那个小东西。

    涵盖物理空间常识、复杂代码生成、多语种逻辑推演的十二个测试维度,天问三号拿了九十六点八分。

    而那个被塞进手机芯片里、只有十来亿参数的离线模型“太子”,综合得分八十七点四。

    至于谷歌自家那个跑起来得调动上千张高端计算卡伺候的Delphi,综合得分三十一点二。

    别说追天问三号,连人家塞手机里的离线小模型都打不过,裤衩子都输没了。

    “皮查伊先生,这……这不合常理。”

    皮特抬手抹了一把下巴上的汗,嗓子发干。

    “按回响科技在上海发布会上交的底,那个太子模型,是拿天问三号当老师,靠知识蒸馏和量化剪枝压出来的。”

    “咱们实验室前两年也跑过不少知识蒸馏的课题,可没见过这么邪门的转化率。”

    “参数砍掉上百倍,核心逻辑推理还能留住八成以上,这根本不符合现有的模型压缩规律。”

    长桌中段,B4实验室技术主管马库斯推了下眼镜,把话接了过去。

    “皮查伊先生,皮特这话没掺假。咱们之前确实把知识蒸馏在大语言模型里的路子看窄了。”

    “没摸到这批华为真机前,咱们总觉得蒸馏只能干点文本分类或者词向量压缩的粗活,一旦碰上多步逻辑推理,小模型准得变成傻子。”

    “但这四十八小时把底裤扒开一看,只要顶头的教师模型够聪明,拿高质量的合成数据拼命喂,小尺寸模型的逻辑上限完全能被硬拽上去好几个台阶。”

    马库斯顿了一下,身体往前探了探。

    “既然咱们自己从头预训练这么费劲,干嘛不换条道走?”

    “直接去蒸馏中国的天问三号。”

    这话一出,死气沉沉的会议室里顿时响起一片交头接耳的动静。

    管财务和资本市场对接的副总裁理查德挑起半边眉毛,身子往桌面上靠了靠。

    “马库斯,你们搞技术的黑话我听不懂,你说的这个蒸馏,到底怎么个干法?难不成派人去四川把回响科技的机房给搬回来?”

    “犯不着偷服务器,理查德。”

    马库斯站起身,走到前头的电子白板边,拔开触控笔在屏幕上画了两个方框。

    “说白了,知识蒸馏就是找个已经出师的顶尖大模型当老师,手把手带一个参数小的学生模型。”

    “落到实操上,就两条路:白盒蒸馏,黑盒蒸馏。”

    “白盒蒸馏,意思是咱们手里攥着老师模型的全部源代码、内部权重,还有每一层神经网络的中间参数。回响科技在自家机房里拿天问三号喂那个太子模型,干的就是这事。”

    “老师不光给学生标准答案,连自己解题时脑子里哪个神经元亮了、对备选词的偏好是多少,全盘托出灌给学生。”

    “这路子折损最小,所以八百兆的太子模型才这么能打。”

    理查德撇了下嘴,两手一摊:

    “那你扯这个干嘛?天问三号埋在四川的山肚子里,顾屿那小子把核心代码锁得跟铁桶一样,咱们上哪儿搞白盒去?”

    “白盒没戏,但咱们能搞黑盒蒸馏。”

    马库斯拿触控笔在第二个方框上笃笃敲了两下,嗓门提了起来。

    “回响科技为了铺他们的生态摊子,向全球放开了天问三号的云端API接口。”

    “虽然现在公网免费池子天天排队,但他们对B端软硬件厂商开了不限流的企业级高优先级专线。”

    “黑盒蒸馏用不着知道天问三号肚子里怎么转的。咱们只要找几家海外壳公司,包装成跨国软件商,去买他们的企业级高优先级专线配额,底下再挂几千个普通开发者账号,卡着中美时差,挑亚洲半夜的算力波谷期,不停地往天问三号接口里灌几千万道复杂问题。”

    “写代码、推数学公式、多轮逻辑对话,全让天问三号替咱们把标准答案和完整的思维链推导吐出来。”

    “完了咱们直接拿天问三号吐出来的这些现成答卷,当成高质量训练集,转头喂给咱们自家的Delphi。”

    “这就好比咱们请不来名校的特级教师上门补课,但咱们花点小钱,把特级教师写的所有标准解题步骤全买断,按着咱们自己学生的脑袋,逼他照猫画虎死记硬背。”

    “这招最划算的地方在于,咱们直接跳过了前期最熬人、最容易跑偏的无监督探索,更不用砸几千万美金请人干苦力活做人工标注和强化学习对齐。研发周期起码砍掉四分之三,花的钱连原来的零头都不到。”

    一听能省下大把美金还能赶工期,桌上好几个高管坐直了身子。

    坐在对面的首席科学家杰夫把玩着手里的钢笔,冷不丁开口:

    “马库斯,别光报喜不报忧,这里头的坑你也得给大家交个底。”

    “黑盒蒸馏说破天也就是个抄近道的偏方,治标不治本。”

    “咱们摸不到天问三号底层的概率分布,只扒下来一层表面的文字输出。学生模型学去的都是老师说话的腔调和套路,底子里的逻辑架构半点没沾着。”

    “靠黑盒蒸馏催出来的学生,智力天花板一辈子都被老师按在底下。指望靠这招憋出一个跟天问三号平起平坐的AI,趁早歇了这份心。”

    “只要碰上题库没覆盖到的极端长尾问题,蒸馏模型当场就得露馅。再说了,要是底下团队习惯了嚼别人吐出来的剩饭,咱们自己的底层算法迭代能力,不出两年就得彻底废掉。”

    会议室里又炸了锅,搞技术的和算账的隔着红木桌吵成一团。

    马库斯把触控笔往白板槽里一摔,梗着脖子顶回去:

    “杰夫,黑盒有上限这事用得着你教我?你也不看看咱们现在火烧眉毛到什么份上了,还惦记三年后的原创能力?”

    “蒸馏出来的模型是追不上天问三号,可只要咱们往里灌的数据量够大,短期内完全能把半死不活的Delphi给催熟了,帮咱们从前期的泥潭里拔出腿来!”

    “咱们现在要的不是能按着天问三号打的神仙,要的是一个能端上台面、在公开演示里别当众拉胯的及格品!”

    主位上的皮查伊一直没插话。他越过吵嚷的人群,盯着墙角那块实时跳动的纳斯达克行情屏。

    自打从上个月华为和回响在上海开了那场联合发布会,华尔街那帮闻着味儿的秃鹫,就已经开始质疑谷歌手里的AI到底有几斤几两了。

    更要命的雷,还是皮查伊自己去年亲手埋下的。

    为了抢行业定义权,他去年底硬着头皮放了那段剪辑造假的Delphi演示视频,当众放话今年一月搞特邀闭门内测。

    哪成想元旦当天,大洋彼岸直接甩出个满血的“傻妞”,一巴掌把谷歌扇懵了。

    为了不让实验室里那个半成品见光死,年初所谓的三十个领域定向内测,全靠几家签了死保协议的华尔街关系户帮忙打掩护。至于原本答应给全球学界和媒体的API测试权限,被他们找各种借口硬生生拖了九个多月。

    眼瞅着年底财报季就要到了。

    华尔街的分析师天天在电话会里堵着门要全面开放的时间表,去年吹出去的气球,眼看就要撑不住炸了。

    年底前要是再拿不出一个敢对媒体开放、经得住随手提问的活物来把股价托住,董事会那帮老家伙绝对会毫不犹豫地把他踢出局。

    皮查伊抬起右手,屈起指节在桌面上敲了两下。

    满屋子的吵闹声戛然而止,十几双眼睛齐刷刷看向主位。

    “杰夫说的后遗症我清楚。但咱们得先熬过今年冬天,才能谈三年后的事。”

    皮查伊站起身,两手撑着桌面,挨个扫过底下的技术主管。

    “外头的股民和记者分不清什么叫原生训练,什么叫黑盒蒸馏。他们只看对话框里蹦出来的字顺不顺溜,贴进去的代码报不报错。”

    “我没指望你们现在去跟天问三号扳手腕。只要把Delphi的水平拽到天问二的及格线,能糊弄过华尔街的尽调和媒体的公开评测,就算过关。”

    “马库斯,这摊子事交给你办。马上从各组抽两百个工程师拉个专项组,走海外第三方壳公司的账,哪怕加价十倍去买他们最高优先级的企业专线,也别给我省那点接口费。”

    “我不管你们怎么洗数据,给你两个月。圣诞节前,我得看到一个摸到天问二门槛的Delphi。”
上一页← 返回目录 投推荐票 加入书签→ 下一页