C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  少尉

注册:2015-11-142
发表于 2024-12-9 19:59:37 |显示全部楼层

o1 Pro挑战最难本科数学考试,人类要考6小时,AI半小时交卷!

普特南数学竞赛(The Putnam exam),今年刚刚举行,卷子新鲜出炉就被拿来测试AI了。

亚星游戏官网-yaxin222


这个比赛有多难呢?看了一下历年成绩,只能说令人咂舌——
通常由数学专业的本科生参加,满分120分,但平均分通常是0分或1分。自1938年举办以来,截至2021年只有5人满分。
再看一组2003年的数据,在3615名参赛学生中,有1024人(28%)得分10分或以上,42分就能进入前1%。

亚星游戏官网-yaxin222


最终,个人得分前五名的学生获得普特南学者称号。而经过这种难度的“磨炼”,普特南学者中后来诞生了3位菲尔兹奖得主以及两位诺贝尔物理学奖得主。

总之一句话,即使对美国顶尖大学的顶尖数学学生来说,这个比赛的难度都堪称地狱级。

所以,o1 Pro具体表现如何呢??

o1 Pro挑战最难本科数学考试

普特南数学竞赛于每年12月的第一个周六举行,总共上下两场(每场3小时),每场6道题,每题10分,考查范围覆盖了本科数学中的高级概念,包括群论、集合论、图论、格论和数论等。

由于刚考完,官方还未正式公布今年的参考答案,所以下面大家先整体感受一下。

从时间来看,Pro完成12道题用时36分钟16秒,交卷速度非常快,平均每道用时2~3分钟。

亚星游戏官网-yaxin222


完成的题也很复杂,随机挑一道康康。

亚星游戏官网-yaxin222


比如这道A6,需要考生通过序列所生成的函数,来构建矩阵,并最终计算出这个矩阵的行列式。

这是一个典型的组合数学和线性代数的交叉问题。

最终,Pro给出了一大堆让人头疼的数学公式进行解答。(非专业选手两眼一黑的程度)

亚星游戏官网-yaxin222


为了进一步了解Pro的答题过程,大家再挑一道网友们都在cue的题——A1

原题及Dan Hendrycks博士输入的提示词如下:
大意为,确定所有正整数,使得存在正整数,和满足下列方程。
亚星游戏官网-yaxin222


亚星游戏官网-yaxin222


Pro的作答过程如下,并得出答案为1:

亚星游戏官网-yaxin222


结合网友们给出的评价,均提到Pro漏掉了n=2这种情况。

亚星游戏官网-yaxin222


总之,从大家对Pro的打分来看,其回答质量仍有待进一步完善。

由于目前还没有标准答案,因此AI究竟做对了多少还要等等结果。

亚星游戏官网-yaxin222


除此之外,首位全职提示词工程师Riley Goodside也对o1 Pro模式进行了其他诸多测试。

挑战指令跟随的极限

比如用它设计一个7x7的网格,网格的外围一圈填入7个字母的单词,这些单词代表Fantastic Four(神奇四侠)中每个成员的昵称。每个单词的首尾字母需要重叠,以便可以顺时针方向连续阅读,形成闭环。

PS:Fantastic Four包括漫威中的神奇先生(Mr. Fantastic)、隐形女(Invisible Woman)、霹雳火(Human Torch) 、石头人(The Thing)。

亚星游戏官网-yaxin222


看完这个测试,有网友借机许愿:
是否能够根据每个玩家剩余的棋子列表,创建一个checkmate(指另一方无法解围的情况,也称“将死”)的棋盘。
亚星游戏官网-yaxin222


受此启发,Riley Goodside转头就测上了。

他用Pro摆出了一个“将军”格局——每位玩家只剩下两个兵和一个车,棋盘上其他格子都是空的。(布局是人为设计的)

亚星游戏官网-yaxin222


就这,还是他一番努力尝试后的结果。他一开始用了两个兵、两个象和一个车的棋局,但在多次尝试中,Pro出现了错误,或者返回了不符合的棋局。

亚星游戏官网-yaxin222


不过他也提到,在5分45秒的时间内,Pro生成了与答案大致一致的COT思维链说明。

亚星游戏官网-yaxin222


总之,要问定价200美金的Pro到底值不值?

还是参考奥特曼的回答,绝大多数人用免费版或20美金版就足够了,Pro版只适合很小一部分人,他们想要大量使用,且愿意为解决真正困难的问题付更多钱。

亚星游戏官网-yaxin222


One More Thing

不过,如果你也心痒想要玩一玩,现在有个省钱的方法。根据网友提醒——

月底买Pro,只需按比例支付了。

具体来说,如果你之前订阅了ChatGPT Plus,如果在订阅接近结束时升级到Pro版,就可以在剩余时间内按照200美金的百分比支付。

亚星游戏官网-yaxin222


参考链接:

[1]https://x.com/DanHendrycks/status/1865858756040704335

[2]https://x.com/goodside/status/1865844652428919121

[3]https://x.com/goodside/status/1865629150104404150

[4]https://x.com/goodside/status/1865514669697323290

[5]https://x.com/goodside/status/1865090104441672183

[6]https://x.com/SmokeAwayyy/status/1865441145788199051


来源:36kr

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-22 13:10 , Processed in 0.298645 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图