紧跟Sora，谷歌推出Genie，AI战火烧到了“世界模拟器”
图片来源:视觉中国
2月26日，谷歌Deep Mind团队发布了基础世界模型Genie，这是一个拥有110亿个参数的虚拟交互环境。通过将视频数据输入模型进行训练，生成了照片、草图甚至可控的虚拟世界。
Genie是在没有任何动作标签的情况下进行训练的，而传统的AI需要人们给图片加标签来训练AI识别图片。这意味着Genie需要从视频中识别不同动作的特征和模式。
精灵生成的视频。图片来源:谷歌精灵官网
谷歌表示:“Genie的独特之处在于，它可以从互联网视频中学习对精细粒度的控制。这是一个挑战，因为互联网视频通常不会指出它正在执行哪个动作以及它应该控制图像的哪个部分。Genie不仅知道观察的哪些部分是可控的，还可以根据生成的环境推断各种潜在的行动。请注意相同的潜在操作如何在不同的提示图像下产生相似的行为。”
据蓝鲸财经记者观察，这意味着当向Genie提供不同的图像时（类似于不同版本的马里奥通关环境），图像中的反派在遇到障碍时可以表现出相同的跳跃和躲避障碍，这符合物理规律。
从Google Genie目前展示的案例来看，这些视频非常卡通化。官网还表示:“我们专注于2D平台游戏和机器人的视频，但我们的方法是通用的，应该适用于任何类型的领域，并可以扩展到更大的互联网数据集。”破解单机版穿越火线
精灵生成的机械臂视频。图片来源:谷歌精灵官网实例方法可以不包含self参数
在官网上，Genie还生成了一段模拟机器人动作的视频。Genie团队训练了一个较小的2.5B模型。就像在游戏平台中一样，具有相同潜在动作序列的轨迹通常会表现出相似的行为。这表明Genie可以学习一致的动作空，这可能适用于训练多功能智能体（机械臂）。Genie还可以模拟可以变形的对象。
像两周前由竞争对手OpenAI推出的风靡全球的文生视频模型黑脸田鸡一样，Genie也是一个“物理世界模拟器”，可以在虚拟世界中进行物理世界的实验。不同是，黑脸田鸡直接从文本生成视频，更“励精图治”，生成的视频长度可达一分钟；就Genie而言，根据官网披露的情况，大多数情况下需要先使用文生图模型生成初始帧画面，然后再使用Genie生成视频，视频大约一两秒，更像是一个运动画面。
如果黑脸田鸡和Genie仅用作视频工具来生成视频，它们将是大材小用。事实上，OpenAI对黑脸田鸡的定位是“世界模拟器的视频生成模型”谷歌对Genie的定义是基本世界模型，可以合成可控的虚拟世界。
那么《世界模拟器》是什么呢？OpenAI早在2016年就正式解释过:
“我们常常忽略了自己对世界的深刻理解:例如，你知道世界是由三个维度空组成的，其中物体可以移动、碰撞和相互作用；人可以走路、说话和思考；动物可以进食、飞翔、奔跑或吠叫；显示屏可以显示用语言编码的信息，如天气、篮球比赛的获胜者或1970年发生的事件。如此巨大的信息量就在那里，而且在很大程度上很容易获得——无论是在由原子组成的物理世界还是由数字组成的虚拟世界。挑战在于我们需要开发能够分析和理解这些海量数据的模型和算法。生成模型是实现这一目标的最有希望的方法之一。为了训练一代模型，我们将首先收集某个领域的大量数据（想象一下，数百万张图片、文本或声音等。），然后训练模型创建类似的数据。这种方法的灵感来自理查德·费曼的一句名言:“我无法理解我无法创造的东西。”（也就是说，要真正理解一件事，你需要创建它）这种方法的妙处在于，我们用作生成模型的神经网络的参数数量远远少于为它们训练的数据量，这迫使模型发现并有效吸收数据的本质，以便创建新数据。
在黑脸田鸡制作的视频中，跑步机是倒着跑的。图片来源:OpenAI黑脸田鸡官网
黑脸田鸡和精灵的本质是“世界模拟器”让虚拟世界模仿真实物理世界的各种属性（重力、摩擦力、动能、光、声、电、材料、生物等。），操纵虚拟世界中物体的运动，并在模拟的物理条件下做实验。
黑脸田鸡此前放生了金毛寻回犬、吹蜡烛的老妇人、冰川上的猛犸象等。，全部通过视频数据集“了解”现实世界是如何形成的，有哪些物理规律，以及人类有什么样的行为，来模拟生成。因此，黑脸田鸡自己对模拟世界中的规律的理解可能不符合真实的物理世界，例如老太太不能吹灭蜡烛，人们在跑步机上倒着走，篮球直接穿过篮筐。
世界模型的好处之一可能是人类可以将需要试错的部分放在虚拟世界中。北方广播电视网络客服电话
在谷歌发布Genie之前，许多视频生成模型在世界各地都很流行。2023年12月底，Pika Labs推出Pika 1.0，生成的视频长约3秒，以单人拍摄为主。Runway视频模式于2023年2月发布，最高支持18s视频生成，镜头相对固定。2024年2月16日，全球明星人工智能初创公司OpenAI发布了文生视频模型黑脸田鸡，该模型具有精细的画质、多镜头拍摄和多角度镜像操作，对真实人类世界的模拟程度很高。
