OpenAI新发布的o3系列模型标明AI正以新的办法扩展,本钱随之添加。
Moores law(摩尔定律)是指集成电路上可包容的晶体管数量大约每隔18个月便会添加一倍,功能也进步一倍,但价格相同,所以半导体制程技能不断的进步,本钱有望下降。而在AI范畴有Scaling Laws作为中心假定,跟着模型巨细、数据集巨细及用于练习的运算量继续不断的添加,模型功能有望进步,这点对大型言语模型很重要,协助人们在练习前猜测模型才能。
不过,近来高品质练习数据缺乏成了模型开展趋缓的一大原因,未来练习模型必然消耗更多核算资源,练习本钱随之上升。AI范畴许多人则将OpenAI新推出的o3,视为AI开展没有受阻的依据。
OpenAI研究员Noam Brown参加开发OpenAI o系列模型,他表明宣告o1后只过3个月即发布o3,是令人形象十分深入的效果,并以为“咱们有充沛的理由信任该轨道将会继续下去。”
OpenAI多个方面数据显现,o3在基准测验体现出色,特别新的ARC-AGI通用才能测验得分显着逾越其他模型,在一项困难的数学测验获得25%分数,其他模型的分数均未到达2%。
Anthropic一起创办人Jack Clark在个人电子报写道,o3现身意味着下一年的AI开展将比本年更快。下一年AI范畴将把test-time scaling和传统的预练习扩展办法结合起来,希望能有更多模型开展,或许他在暗示Anthropic及其他AI公司应在下一年开发出自己的推理模型,这点除OpenAI外,Google有全新Gemini 2.0 Flash Thinking来支撑自家开展。
test-time scaling意味着ChatGPT“推理”时需求更多运算,无论是运用更多、更强壮的芯片来答复用户问题,仍是在芯片上运用更长时刻转变成更好的答案,现在还不清楚o3背面怎么运转,却都代表答复问题的价值更高。
o3在ARC-AGI通用才能测验的体现可视为模型开展重要目标,其一得分为88%,也比o1最高得分32%来得更高。有必要留意一下的是,参阅下图X轴所示或许令人感到震动,o3获得高得分需求运用价值超越1,000美元的核算资源,本钱适当高,而o1核算资源最高只需约5美元、o1-mini不到1美元。提出ARC-AGI基准测验的François Chollet在官方博客写道,OpenAI大约运用170倍的运算量才到达88%分数。
OpenAI提出月付200美元的CahtGPT Pro计划,以获得运用o1正式版的运用资历。依据外国媒体报道,OpenAI乃至考虑高达2,000美元月费的计划。当人们看看上述o3运用多少运算量时,或许就能了解OpenAI为何如此规划。
“对大多数用处而言,o3看起来太贵了。但面临学术界、金融界或许多任务业问题的作业,支付数百美元乃至数千美元来获得成功的答案并不会让咱们望之止步”,华顿商学院教授Ethan Mollick在X推文写道。