大模型的发展分析报告

zharruy727

参考学习。

财通证券：计算机行业深度分析报告-大语言模型的前世、今生与未来.pdf (2.46 MB, 下载次数: 11, 查看: 5 家园分)

2024-3-9 15:46 上传

下载次数: 11
查看: 5 家园分  [查阅]

内容目录
1 大语言模型：NLP 技术的奇点时刻.................................................................................................. 4
1.1 技术探索：深度学习加速推进数据的无损压缩............................................................................... 4
1.2 技术应用：预训练语言模型成为 NLP 主流..................................................................................... 5
1.3 技术跃迁：大语言模型可能打开通往 AGI 之路 ............................................................................. 5
2 OpenAI 与 GPT：算法、工程、商业的融合...................................................................................... 6
2.1 GPT 系列模型的发展历程：千锤百炼，终见“涌现”...................................................................... 6
2.2 如何训练一个 ChatGPT：预训练获得“智商”，指令微调提升“情商” ......................................... 7
2.3 模型智能的“涌现”是生成式 AI 浪潮的充要条件 ............................................................................ 8
3 大模型应用：数据感知与代理（Agent）能力................................................................................. 10
3.1 外部数据：三条融合垂域数据打造大模型的技术路径................................................................. 10
3.1.1 Fine-Tuning 与 In-Context Learning 的实现方式案例.............................................................. 11
3.2 代理（Agent）：为大模型加上四肢，强化复杂任务处理能力..................................................... 13
3.2.1 与计算机内部交互：插件（Plugins）与代码说明器（Code Interpreter） ........................... 13
3.2.2 与物理世界交互：Robotics Transformer 2（RT-2）................................................................ 14
3.3 上下文长度：应用创新的关键靶点............................................................................................ 15
3.4 “大”模型“小”型化：应用落地的降本之道................................................................................... 16
4 应用分析框架：通用能力与外部能力的组合................................................................................. 17
5 投资建议.................................................................................................................................. 18
6 风险提示.................................................................................................................................. 19