C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  少尉

注册:2015-11-142
发表于 2024-10-28 15:38:00 |显示全部楼层
西风 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI-o1替代品来了,大模型能根据任务复杂度进行不同时间的思考。

不限于推理性的逻辑或数学任务,一般问答也能思考的那种。

最近畅销书《Python机器学习》编辑Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。

亚星游戏官网-yaxin222



论文一作为华人学者Tianhao Wu,导师之一是2011年清华特奖得主焦剑涛。

团队提出了一种称作思考偏好优化Thought Preference Optimization)的方法,能让模型像OpenAI-o1一样,通过内部“思考”输出更好答案,最终只显示结果,不展示思考过程。

TPO将思维链式提示/推理融入训练中:

在回答之前,用思维链式方法进行思考;使用一个LLM评判来评估响应(不包括由LLM生成的想法);根据被拒绝和优选的响应形成偏好对进行DPO(包括这些响应中的想法)。

基于Llama 3 8B Instruct的结果表明,TPO效果相当好。

有意思的是,如果添加了思维提示,但Llama 3 8B Instruct基础模型没有在偏好对上经历DPO微调,那么这个基础模型的性能会比没有思维提示时差得多

在指令数据(直接响应基线)上对模型进行微调(无需思考提示)就能显著提升基模型的性能。

进一步加入TPO,在AlpacaEval、Arena-Hard基准测试中,性能比基线再提升约4%。

亚星游戏官网-yaxin222



网友纷纷表示这项研究很有意思,简单而又实用。

如果你已经在进行DPO,那么采用这种方法几乎就是不二之选了。
亚星游戏官网-yaxin222



所以,TPO到底长啥样?

两种思考提示模板,无需额外人工标注数据

TPO的基本思路就是让模型在给出最终回答前先生成“思考”过程,且思考过程对用户不可见,仅作为模型内部计算过程,然后通过迭代优化来提升思考的质量,无需额外的人工标注数据

亚星游戏官网-yaxin222



具体来说,它的实现过程始于一个经过指令微调的基础语言模型,首先通过提示词引导模型生成包含思考过程和最终回答两个部分的输出。

这个提示词可以是通用型的,简单要求模型写下思考过程;也可以是具体型的,明确要求模型先写出草稿回答并进行评估。

亚星游戏官网-yaxin222



对于每个用户指令,模型会生成多个不同版本的输出,每个都包含思考和回答部分

且思考过程采用自然语言形式,便于说明和利用预训练常识。

然后系统会将这些输出中的回答部分(不含思考过程)提供给一个评判模型来打分

评判模型可以是像ArmoRM这样直接对单个回答评分的模型,也可以是像Self-Taught Evaluator这样通过比较两个回答来选出更好者的模型。

基于评判结果,系统会选出得分最高和最低的回答,连同它们对应的思考过程一起构成偏好对。

这些偏好对随后被用于直接偏好优化(DPO)训练,通过这种方式,模型能够逐步学习到哪些思考方式能带来更好的回答。

整个过程是迭代进行的,每轮训练后得到的新模型会被用于下一轮的思考和回答生成。

为了防止回答变得过于冗长,TPO还引入了长度控制机制,通过在评分中加入长度惩罚项来平衡回答的质量和简洁性。

值得注意的是,在实际使用时,模型生成的思考过程会被隐藏,只向用户展示最终的回答部分。

更多细节,感兴趣的童鞋可自行查看原论文。

通过这种训练方法,即使是像Llama-3-8B-Instruct这样相对较小的模型也能在AlpacaEval等基准测试中取得接近甚至超过一些更大模型的性能。

在AlpacaEval基准测试中,TPO模型获得52.5%的胜率,比基线提升4.1%;在Arena-Hard测试上,TPO模型获得37.3%的胜率,比基线提升4.3%。

亚星游戏官网-yaxin222



研究发现,虽然在训练初期,带思考的模型表现不如直接回答的基线模型,但经过多轮迭代训练后,TPO模型的表现明显超过基线

亚星游戏官网-yaxin222



亚星游戏官网-yaxin222



更细致的分析显示,思考不仅对推理和数学等传统认为需要思考的任务有帮助,在营销、健康、一般常识等非推理任务上也表现出优势,模型会随着训练逐渐学会更高效的思考(思考长度缩短)。

亚星游戏官网-yaxin222



华人一作

这项研究由来自Meta FAIR、加州大学伯克利分校、纽约大学的研究人员共同提出。

亚星游戏官网-yaxin222



论文一作为华人学者Tianhao Wu

Tianhao Wu目前是加州大学伯克利分校博士生,导师是焦剑涛(Jiantao Jiao)和Kannan Ramchandran。

本科主修数学,合作导师是北大教授、清华交叉信息学院兼职教授王立威(Liwei Wang)。

他的研究重点是通过强化学习改善大语言模型的指令遵循和推理能力,目标是构建可以解决需要多步骤推理的复杂任务的大规模模型。

此外他还在开发由Agent组成的AI社会,这些Agent可以以模块化的方式连接起来,形成更强大的集体智能。

亚星游戏官网-yaxin222



论文链接:https://arxiv.org/abs/2410.10630

参考链接:
[1]https://x.com/rasbt/status/1850177459930497118
[2]https://thwu1.github.io/tianhaowu/


来源:网易

举报本楼

本帖有 1 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-23 15:13 , Processed in 0.182249 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图