【新智元导读】GPT-5.2打赢Gemini 3.0 Pro,竟是靠高推理与海量Token「做弊」?网友的这个发现,在AI社区一石激起千层浪。更多网友众说纷纭表明:GPT-5.2,并没那么好用!
一位用户经过精密核算发现了「华点」:OpenAI在最新发布的基准测验中,或许经过调整模型「推理力度」参数,让GPT-5.2在要害评测中运用了远超对手的算力资源。
这就像两个棋手对弈,一方被答应考虑一个小时,另一方却只有十分钟,然后宣告前者取胜。
昨日的AI圈,都被GPT-5.2吊打Gemini 3.0 Pro的定论所震慑,而前者在ARC AGI 2的精彩体现,则尤为出圈,被AI社区大加欣赏。
相比之下,谷歌Gemini 3.0 Pro以6.7万token获得类似成果,功率高出整整一倍。
仅有破例的是GDPVal——一个由OpenAI自己创立的测验集。既当裁判又当运动员,成果的客观性就有待考量了。
其实,Ilya在之前的采访中就现已说过,现在的大模型根本都是为了榜单定向优化的,榜单成果的水分都大得很。
业内人士都知道,现在AI基准测验的「军备竞赛」早已超出单纯的技能竞赛。各家厂商都在竞相推出自己的评测规范,而这些规范往往有意无意地倾向自家模型。
不同模型在不同编程使命上各有所长,但没有一个模型能在一切使命上全面抢先。明显,实在国际的问题远比单一分数杂乱。
假如GPT-5.2仅仅是经过耗费更多算力获得了功能提高,那真的能智能前进吗?仍是仅仅是「暴力核算」的成功呢?
有人表明,若用户得到的「推理力度」参数是相同的,也用的是相同的token,那OpenAI就不算虚伪营销。
他们觉得,即便添加Gemini 3的token数量,它也未必就能赶超GPT-5.2,这一点来说,前者确实落后了。
早在GPT-5.1发布时,一切基准测验顶用的都是高推理力度(high),但是plus用户却只能够运用中等的版别。
而现在的5.2版别中,OpenAI添加了更高的「xhigh」推理力度,所以基准测验中显现的功能,要远超于ChatGPT付费用户的实践体会。
网友本认为GPT-5.2会比5.1好得多,但实践用起来并非如此,它并不能了解他写的函数代码。
另一些网友反应说,GPT-5.2好像把成年人当学龄前儿童对待,感觉不像是晋级,反而是后退。
总归,GPT-5.2的实践体会跟基准测验好像相差许多,保不齐又是一个在红色警报状态下匆促拿出的产品。
被谷歌打得匆匆忙忙、连滚带爬的OpenAI变成今日这个姿态,明显不是一朝一夕的事。
究竟,当一家组织既是「研讨AI的人」,又是「靠AI卖故事的人」,它还能诚笃地面临那些尖锐的本相吗?
根据Wired的最新查询,OpenAI内部正在阅历一场关于「真话权」的剧烈地震。
在面临「AI是否会抢走你的饭碗」这类丧命问题时,OpenAI的战略已悄然改变:闭上嘴,专注卖货。
回望2023年,OpenAI发布的重磅论文《GPTs Are GPTs》,直白地分析了哪些职业最简单被AI推翻,并在第二年登上了Science。
在新任首席经济学家Aaron Chatterji的带领下,OpenAI发布了一份名为《全球用户怎样样去运用ChatGPT》的陈述。
对此,一位前职工吐槽道:「这简直是为『AI发明价值』这一出题量身定做的软广,充满了粉饰太平的滋味。」
对立的爆发点,是陈述作者之一、OpenAI经济研讨主干Tom Cunningham的离任。
那些讨论AI怎样代替入门级白领(如客服、行政)的课题,要么被要求「软化遣词」,要么直接被置之不理。
前政策研讨主管Miles Brundage离任时直言,公司「太高调、约束太多」,让他「无法宣布真实重要的观念」。
超级对齐团队的William Saunders因不满公司「只管推新产品、无视用户危险」而勃然出走。
前安全研讨员Steven Adler更是揭露炮轰ChatGPT或许诱发用户的「精力危机和梦想」。
面临Cunningham的离任,OpenAI高层上演了一出教科书般的危机公关。
既然是咱们把AI面向了国际,咱们就得担任构建解决方案,而不是光盯着问题看。
翻译一下便是:别再发论文证明AI会导致赋闲了,这不利于带货;多想想怎样夸咱们的产品能提效吧。
现在的OpenAI早已不是当年的非营利实验室,它正冲刺1万亿美元的惊人估值,并准备着史上规划最大的IPO。
假如你正准备上市,正试图压服全国际拥抱AI,你绝不期望自家的研讨员跳出来说:「嘿,根据数据,这波AI或许会让30%的白领赋闲。」
他们的CEO Dario Amodei乃至揭露「唱反调」,正告到2030年AI或许替代一半的入门级白领。
当然,这未必满是出于诚笃——许多人解读,这不过是Anthropic为了交换监管盈利而故意贩卖的「焦虑」。
现在掌管其经济研讨团队的,是前克林顿参谋、有着「灾祸大师」之称的尖端危机公关专家——Chris Lehane。
在这个精心修订的新版别里,AI绝不或许是引发社会动乱的「怪物」,它只会是帮你「每天省下40分钟」的灵巧帮手。