C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  少尉

注册:2015-11-142
发表于 2024-11-2 14:42:33 |显示全部楼层

亚星游戏官网-yaxin222


新智元报道

编辑:乔杨 十二

【新智元导读】无需游戏引擎,视频基座模型直出实时交互可玩的Minecraft,初创企业Decart和Etched打造的Oasis已经做到了这一点。

现在,不用游戏引擎,AI就可以自动生成游戏了?


今天,两家初创企业Decart和Etched宣布,他们打造了一款世界上首个实时、可玩、可交互的世界模型——Oasis。

亚星游戏官网-yaxin222


Oasis经过了数百万小时游戏视频的训练,仅接收用户的键盘输入即可实时生成开放世界游戏,但其中并不包含任何游戏引擎,只有一个AI基座模型。

游戏允许玩家进行移动、跳跃、拾取物品、打破砖块等操作,生成的视频内容中不仅包含图形学的渲染,也能体现出对物理原则和游戏规则的理解。

亚星游戏官网-yaxin222


在没有任何延迟的情况下,Oasis在H100上运行时能以360p的分辨率实现每秒20帧的渲染,并实时生成视频交互内容。

此前,虽然,但并没有在发布论文后开源。

亚星游戏官网-yaxin222


然而,此次两家初创联手研发的Oasis不仅开源了代码,还公开了500M参数版本的模型权重。

亚星游戏官网-yaxin222


https://github.com/etched-ai/open-oasis

亚星游戏官网-yaxin222


https://huggingface.co/Etched/oasis-500m/tree/main

此外,官网上已经放出了游戏demo,感兴趣的玩家从项目官网进入即可在网页端试玩,体会一下复刻Minecraft的画风。

亚星游戏官网-yaxin222


项目网址:https://oasis.decart.ai/

虽然全AI生成是一大亮点,但在动辄4K HDR的的今天,360p的分辨率显得相当复古,可能对2024年的人类双眼不太友好。

幸好,如果在上运行100B+参数的优化模型,就能达到4K级别的实时渲染,并发用户数量也将提升超过10x。

就在模型发布的今天,红杉资本也宣布以2100万美金投资Oasis背后的其中一家初创企业Decart。

亚星游戏官网-yaxin222


虽然Oasis看起来是一个游戏,但事实上,真正的技术重点却是「视频」和「交互」。

OpenAI今年发布的Sora可以说是视频模型的「第一枪」。随着视频模型开始扩展,它们正在学习代表整个物理世界和游戏,从而赋能一个全新的产品类别。

从短视频社交媒体到视频通话,再到流媒体,目前超过70%的互联网流量来自视频;但另一方面,视频的数据密集程度相当高,AI生成视频所需的FLOPs比文本或图像多出10×。

因此,大部分人工智能推理工作负载将来自视频。无论是游戏、教育还是生成式内容,大型、低延迟、交互式的视频模型将成为下一波人工智能产品的核心。

Oasis是如何炼成的

之前GOOGLE推出的GameNGen本质上仍是一个由AI驱动的游戏引擎,但Oasis的底层机制并不是游戏引擎,而是单一的视频生成模型,相当于一个能交互、可玩的Sora。

那么,Oasis究竟是如何做到的?

根据博客先容,技术团队进行了数百次架构和数据实验,以确定用于快速生成自回归交互式视频的最佳架构。

Oasis模型均基于Transformer架构,由基ViT的变分自动编码器(VAE)和基于DiT的潜在扩散主干组成,使用了加速过的轴向、时空和因果注意力机制来克服长序列中的模型发散(divergence)。

亚星游戏官网-yaxin222


Oasis的ViT+DiT架构

你可以简单把它理解一个分工明确的工厂,各个组件各司其职。

VAE就像是工厂里负责整理和识别原材料(游戏里的各种信息)的车间,它基于ViT(Vision Transformer)架构,能够对看到的游戏画面的相关信息进行加工整理。

主干即工厂的核心生产线,基于DiT(Diffusion Transformer)架构,负责将加工处理好的信息产出游戏内容,比如游戏场景、物体等。

同时,利用Decart的推理引擎,结合Etched企业的Sohu(Transformer架构的ASIC)芯片,实现了实时视频生成。

这种架构选择保证了在Sohu芯片上的稳定扩展和快速推理,并且以自回归方式生成帧,能够根据游戏输入实时交互。

Sora这类模型根据用户输入的文本内容直出视频,但Oasis使用Diffusion Forcing进行训练,每次只生成一帧,根据游戏输入在token级别调节每个帧,因此可操纵性很高。

之所以能够被称为「世界模型」,是因为Oasis已经能够了解复杂的游戏机制,例如理解物体和建筑、照明的物理规律等等。

亚星游戏官网-yaxin222


模型理解照明的物理原理

亚星游戏官网-yaxin222


放置立方体砖块

不过,在生成游戏画面的时候,还有一个问题就是如何保证时间稳定性。因为在自回归模型中,一个画面出错了,后面可能就会越来越乱,如同多米诺骨牌一样。

解决这个问题需要长上下文生成方面的创新,Oasis的方案是部署动态噪声(dynamic noising)。

亚星游戏官网-yaxin222


Decart团队也表示,未来将针对部分远处物体出现模糊、不确定对象的时间一致性等问题进行研究,逐步提升Oasis的游戏体验。

两家初创,强强联手


生成式交互体验新纪元这就来了吗?这两家初创企业又是什么来头?

据公开报道,Oasis模型是由Decart和Etched两家初创企业共同推出的。

Decart成立于2023年9月,一直致力于提高AI模型的效率和降低运行成本,提供更快、更可靠的训练以及实时推理,成立三个月后便与一家GPU云服务商达成了数百万美金的交易。

亚星游戏官网-yaxin222


Decart联合创始人Moshe Shalev和Dean Leitersdorf

今天,红杉资本更是豪掷2100万美金对其进行了投资,合伙人Shaun Maguire更是大力称赞Decart的团队,认为他们是「超精英的AI工程师」、「合作过的技术最有天赋的团队之一」,正在将生成式体验推向极致。

亚星游戏官网-yaxin222


目前推出的Oasis只是一个实时推理方面的热身实验,接下来的几个月,他们还将发布更具有颠覆性的成果。

他们最耀眼的成绩,就是推出了Sohu——世界上第一个基于Transformer架构的ASIC芯片,专为LLM推理加速打造,不仅快过Groq,也能碾压英伟达最新的B200。

亚星游戏官网-yaxin222


以Llama 70B模型的推理性能为例,1张Sohu≈20张H100≈10张B200。

亚星游戏官网-yaxin222


令人咂舌的性能背后,是Etched的一场豪赌般的权衡。

打造针对特定算法的AI芯片,将模型架构直接烧录到芯片的硬件结构中,这意味着无法运行其他模型,比如CNN、RNN或LSTM,但对Transformer来说,就能得到有史以来最快的芯片。

2022年,创始团队大胆预言——Transformer将占领世界,于是投入花了两年时间研发,得到了今天的Sohu。

Etched创始人之一Gavin Uberti表示,「大家正在押注人工智能领域最大的赌注——一种只能运行Transformer模型的芯片,但其运行速度比GPU快几个数量级。也许注意力确实是你所需要的全部...」

亚星游戏官网-yaxin222


能高效推理的AI芯片,对于极耗算力的视频生成而言,可以说是类似于Scaling Law的福音。

虽然文生视频模型已经达到了很好的生成效果,但速度非常慢,成本也很高。

视频中的每个帧包含数百甚至数千个token,必须并行处理多次才能完全去噪。最好的模型平均每秒生成不到一帧,而且每个用户每分钟的费用可能高达1美金。

这种低效高成本的推理,不得不说是视频生成模型用于实际应用的一大障碍,而这正是Sohu芯片希望解决的问题。

今年6月,Etched宣布已经筹集了1.2亿美金的资金用于扩大生产,并与台积电合作,以35人的精干团队直接放话挑战市值3万亿的英伟达。

亚星游戏官网-yaxin222


参考资料:

https://x.com/shaunmmaguire/status/1852092981022794128

https://www.decart.ai/articles/oasis-interactive-ai-video-game-model

https://www.etched.com/blog-posts/oasis


来源:网易

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-23 10:32 , Processed in 0.237603 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图