全球热消息:GPT-4满分通过MIT本科数学考试,这套提示词火了

聚焦 >
量子位公众号
分享

声明:本文来自微信公众号“量子位”(ID:QbitAI),作者:关注前沿科技,授权站长之家转载发布。


【资料图】

万万想不到啊,MIT数学考试,被GPT-4攻破了?!

突然有人在最新论文工作中高调宣布:

GPT-4在MIT的数学和EECS(电气工程和计算机科学系)本科学位考试中,表现出的能力完全满足毕业要求。

而且妥妥地拿下满分!

要知道,测出这个结果的不是别人,正是来自MIT和波士顿大学、康奈尔大学的研究团队。

而且强如上一代王者GPT-3.5,在同样的测试中,只成功搞定了三分之一。

论文一出,无数目光迅速被吸引过来。

GPT-4这样看似开挂的行为,自然引发了不少网友的感慨。

比GPT-3.5强好多,好耶!

咱就是说,有没有可能以后不需要比GPT-4更强的模型,来解决学术问题了?

还有网友展现了自己网上冲浪的“前沿性”,玩了个这两天Yann LeCun吐槽“GPT-4智商不如狗”的梗:

GPT-4开挂MIT考试

具体来说,GPT-4这次是参与了这样一场测试:

研究团队策划了一个数据集,其中包含4550个问题和解决方案。

这4550个问题和解决方案,来自MIT数学系和EECS的学生获得本科学位,需要学习的课程问题集、期中考试和期末考试。

包括:

6-1:电气科学与工程;6-2:电气工程与计算机科学;6-3:计算机科学与工程;6-4:人工智能与决策;18-1:普通数学;18-2:应用数学;18-3:纯数学;18-C:数学与计算机科学。

题目统统出自MIT的数据集,从中随机生成228个问题,不涉及图像和已有解决方案的问题。

题目的难度等级由易到难依次为:练习、习题、 期中考试、期末考试、实验和专题。

按答案类型排序,题目的难度由易到难依次为:编程、开放、选择题、数值、表达式和图像。

这一次,参与考试的不只有GPT-4和GPT-3.5,还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。

选择让这4个大模型作为考试参赛选手,原因是它们是“最先进的大语言模型”。

通过表格里的数据可以看到,得分最高的是经过调优后的GPT-4,得分率100%;表现最一般的是LLaMA-30B,只拿下了30%的分数。

值得关注的是,原始版本的GPT-4开箱即用,完全不经过调优,在本次MIT考试中也拿到了90%的分数。

调优流程,包括Few-Shot+CoT+Self-critique+Experts。

从最终考试成绩的表格数据可以看到,从左到右每增加一个环节,调优后的GPT-4得分都会更上一层楼。

此外,研究团队还在提示框里进行了工程优化,具体的“咒语”如下:

等等,评分人是GPT-4自己?

看到这样的结果,不少网友心生感慨,LLM在数学考试上的进步,未免有些神速了哈。

2年前,AI还在苦苦挣扎小学数学问题。

类似“小明种了5棵柠檬树,每年从每棵树上得到6个柠檬,10年间他总共得到多少柠檬”这种。

去年年初,MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示,把数学问题转换成等价的编程问题,就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数,达到MIT本科水平。

学了6门MIT本科基础数学课里随机抽取的例题,6门课程每门随机出25道题,再加上一个ACT水平(美国高考)的数据集里的60道题。

总计210道题,AI全部答对。

不过有人提出,AI达到的“MIT本科水平”,实际是Codex在做语言题而非数学题——

因为当时的评测中,Codex负责读写,并不包括求解。

所以,这一回GPT-4表现奇佳,怎一个妙字了得~

好了,知道你很着急夸它,但你先别着急夸它,因为很快有人发现了一些“诡异”。

主要有2大槽点。

第一个值得质疑一番的,就是OpenAI的训练数据集没有完全公布。

这也就意味着,无法证明数据集中的4550个问题和解决方案,在GPT-4的训练集中不存在。

换句话说,如果GPT-4在预训练阶段已经接触到了这次的考题们,那最终拿下完美得分,就没什么好惊喜的了。

也难怪乎有网友毫不客气地yygq,认定GPT-4拿到这样的结果,一定是数据集已经包含在训练数据里了。

第二个槽点,就是GPT-4最后100%的得分率,似乎哪里不对劲???

定睛一看,在论文的第2.6节有一句很关键的点:

团队在数据集上微调开源大模型,“给定问题Q、基本事实解S和LLM答案A,我们使用GPT-4自动对模型响应进行评分”。

实际操作上,就是每个大模型生成这次考试的答案,然后派出GPT-4打分,分值在0-5之间。

所以给GPT-4打出满分的,实际上是GPT-4自己。

啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。

此外,关于要给GPT-4提供“好的提示”,才能让它达到满分成绩,也让许多人抱有微词。

到底什么算“好的提示”呢?似乎无法定义。

甚至有人喊着,应该把这些题丢给MIT数学和EECS的学生去做,并不断给他们“好的提示”,这样人类学生也能拿下100%的吧……

One More Thing

一个小小的彩蛋:

整个测试中,基本上可以在笔记本电脑上部署运行的StableVicuna-13B,也有48%的得分率。

这个成绩,不仅比模型更大的LLaMA-65B高出近10个百分点,就连MIT fine-tuing过后的LLaMA-30B,还要高。

让人不得不陷入一些关于模型规模与能力相关性的思考

参考链接:[1]https://arxiv.org/abs/2306.08997[2]https://twitter.com/johnjnay/status/1669687958960586753[3]https://twitter.com/arankomatsuzaki/status/1669528841629601792[4]https://twitter.com/emollick/status/1669742473097228292

标签:

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表中国财投网的观点和立场。

相关热点

资讯播报

全球热消息:GPT-4满分通过MIT本科数学考试,这套提示词火了
淘宝网拟新增“一物一鉴”特色服务|环球观速讯
米体:切尔西有意6000万欧+球员引进DV9,尤文想让卡萨迪加入交易 天天速看
热讯:电脑连不上无线网络是什么原因_电脑连不上无线网络
159㎡改造后和入住8年的对比,看得人神清气爽,这比新房都抢手了
西南地区最大橡胶沥青生产基地在广西钦州投产
南宁人有口福了!本地火龙果将大量上市 记者提前探“价”
微视频|大漠星光
全球资讯:转发提醒爸妈!这5种情形可能是非法集资
中新网评:“指鼠为鸭”事件不能再重演
《青年π计划》探讨创作平衡点,“大玩家”吴建豪给出人生建议 全球播资讯
极狐汽车:车机账号不登录状态下,高阶辅助驾驶部分功能使用受限
每日关注!toothbrush的复数形式_brush的复数形式
似的造句子简单点_似的造句子
【环球聚看点】第十九届福建粮洽会即将举行 亮点纷呈
全球今日讯!空头头寸跃升至3个月来最高!对冲基金再次看跌原油
全球快播:白敬亭宋轶新剧《长风渡》官宣定档6月18日!
【世界时快讯】哪种钥匙的锁最安全
洛阳创新又添“硬核”支撑!天津大学洛阳成果转化基地揭牌|环球速看料
当前热议!高热乙醇擦浴的浓度_乙醇擦浴的浓度
每日热门:母鸡网络用语啥意思_母鸡是什么意思网络用语
2023年首届深圳高校台湾师生嘉年华启动
焦点!申万宏源:泰勒规则指向美联储还有几次加息?
最新快讯!迅雷账号不存在怎么办(迅雷账号不存在)
鬼泣dmc怎么设置字幕 鬼泣dmc设置字幕方法介绍
Logo男:现在世界前三都不是美国人 恩比德&约基奇&字母哥
看了这所大学的录取通知书,狠狠心动了-环球简讯
最新:白酒价格战:到手价普遍“倒挂”指导价
当前头条:这场比赛球员李梦第一次迎来首发
世界今日讯!泉州街头,代某、陈某、贾某、吴某、徐某被查!最小年仅14岁……
当前热议!微软推出 LLaVA-Med AI 模型,可对医学病理案例进行分析
改编版古诗有哪些诗人 高中语文课本中改编成歌曲的古诗词有哪些
未来3周,四大生肖感情顺遂,财运节节攀升,喜获全收
推进汽车充电桩安装 昆山锦溪镇协商议事解决“充电难”-世界视点
“药妆茅”贝泰妮失速:砸20亿销售费,1.39亿预付款去向未明
第十五届海峡论坛·妈祖文化活动周开幕 全球微速讯
僵死之日 僵死
借呗催收说要通知村委会是真的吗?催收合法吗?
极兔冲刺港交所:三年翻四倍,国内不赚钱
Epic下周送出《猎人:荒野的召唤》!-快播报
天天速递!如何通过八字命理来预测自己的桃花运?
湘园新材过会:今年IPO过关第154家 民生证券过10单 全球看热讯
国家医保局推出十六项医保服务便民措施|今日要闻
父亲节AI海报 | 今天我们这样炫“父”|精彩看点
中央气象台6月17日10时发布暴雨黄色预警
滚动:粽子送上门 老人笑口开
部分车次车票已售罄!端午节将至,广西人出游热情高涨
焦点滚动:国产新车报道:新款东风风光580官图 于7月24日成都车展上市
夜消费嘉年华在广西三地同步启动!聚焦夜购、夜食、夜游、夜娱、夜秀5大板块 速讯
前5月广西完成水利建设投资153亿元 新开工水利项目516个|天天快看
环球今日报丨没有电子支付,古人怎么买买买?|“西”世珍宝·博物志②
当前速看:今年前5个月,广西进出口总额同比增长53.2%
法治花开香满园——怀化鹤城区构建“大普法”工作格局见闻
纾困中小企业仍需“帮把手” 全球快资讯
这个双休日,洛阳雨水又刷存在感_百事通
扩散!郑州市区小学期末测试时间确定
环球微头条丨连接南海大道和椰海大道 海口这个"断头路"通车啦
我的世界没有光影文件夹怎么办_我的世界没有mods文件夹怎么办
安踏柔软柱跑鞋
6月21日、22日 南宁邕江民生码头、畅游阁水域将开展两大赛事 天天速看料
花旗坚定站在空头阵营 警告标普500指数突破4400后已无上涨空间|全球实时
沈海高速是哪里到哪里的高速公路_沈海高速是哪里到哪里
当前快报:国家医保局推出首批十六项医保服务便民措施
济南方特泼水节清凉回归,夜场票限时发售_世界焦点
世界看热讯:BR对比梅罗数据:梅西704球303助38冠,C罗715球203助32冠
死小孩|全球速看料
每日热闻!国家医保局推出首批十六项医保服务便民措施
跳江救人小哥彭清林被奖励10万元和一套房,他想要反哺家乡教育
芯能科技:6月16日融资净买入366.39万元,连续3日累计净买入1483.34万元
天天热文:中缅新通道(缅甸—保山—成都)公铁联运班列首发
外观细节微调 奥迪RS 6 Avant GT谍照曝光-世界快讯
备战首届学青会!奥运冠军给小运动员上训练课 环球滚动
3313款壮乡农产品亮相(广州)农交会_通讯
预计23日前完成评卷!广西多措并举确保2023年高考评卷公平准确 全球观察
天天信息:普及急救新知 展示应急『黑科技』
消息!夜消费嘉年华在广西三地同步启动!聚焦夜购、夜食、夜游、夜娱、夜秀5大板块
前5月广西完成水利建设投资153亿元 新开工水利项目516个 世界视讯
为国争光!青岛小将杨瀚森获国际篮联赞誉 环球热讯-世界视点
变相优惠8,000元 特斯拉Model 3开启“清库”模式
《日经亚洲》:日本猎取人才的方向错了-当前消息
今头条!越位图解说明什么_越位图解
世界消息!梅西淘宝直播被吐槽广告多?淘宝回应了
全国新能源汽车下乡活动首站在无锡举行_当前资讯
警方通报“球迷冲进球场抱梅西”:行政拘留|今日法治硬核
康弘药业(002773) 眼科创新药龙头 中药板块或存在预期差
中国金花双喜临门!老将神奇逆转,1姐换教练,名帅带出3位大满贯 世界看热讯
wps表格粘贴板在哪里打开(wps粘贴板怎么打开)
这回能成么?马斯克表示特斯拉将很快解决自动驾驶问题
【独家】从业绩大幅波动看行业基金的结构缺陷
习近平会见比尔·盖茨
提高牛体外受精胚胎培养效率的方法
全球最大加密货币交易所又遭重锤!法国指控其有严重洗钱行为
6月16日基金净值:华夏中证5G通信主题ETF联接A最新净值1.0748,涨3.28%
环球简讯:扫地机5月销售额恢复正增长 618推升弱复苏预期|行业动态
【当前独家】专访中国设计师夏乙旗:少女情怀总是诗
有关干粉灭火器使用期限的法律法规_消防法规定干粉灭火器有效期是几年
三八汤做法? 世界今热点
春暖花开新地址欧美XX(春暖花开新地址)_焦点观察
退红时雨的寓意是_退红时雨
视频这件警服 阻隔了孩子的“恐惧” 世界速读

相关推荐

精彩推送

3