Sora到底懂不懂物理世界 Sora需要克服哪些物理难点

OpenAI所发布的文生视频模型Sora在最近几天受到全世界的关注。Keras之父Francois Chollet、图灵奖的得主Yann LeCun等众人针对Sora是不是物理引擎，甚至是不是世界模型展开了深入的探讨。Sora和以往的模型不同，以往的模型只能生成几秒钟的视频，而Sora却能够生成一段长达60秒钟的视频。不仅能够将用户在Prompt当中所提出的要求全部了解，还能够get到物、人在物理世界中的存在方式，以OpenAI所发布的海盗船在咖啡杯中的缠斗为例，Sora想要使生成的效果看起来更加逼真，需要克服多个物理难点。

比例和规模的适合

首先要将海盗船的尺寸进行缩小，让其能够在咖啡杯中缠斗，同时还要保持海盗船的结构和细节，这是一个相当大的挑战。AI需要充分的对这些需求进行理解，并且将这些对象在现实生活中的尺寸进行调整，这样才能够在视觉上给人带来合理的感觉。

流动动力学

咖啡杯中的咖啡对于海盗船的运动会产生一定的影响。AI模型可需要充分的将液体动力学的效果模拟出来，包括溅水、船只移动时液体的流动、以及波浪等，这些在计算方面是相当复杂的。

阴影和光线的处理

要使拍摄的场景看起来更加的真实，AI需要对光线如何照射在这个小型的场景当中进行精确的模拟，包括船只的阴影、透光效果、咖啡的反光等。

运动和动画的真实性

海盗船在咖啡杯中的运动需要与真实世界的物理规律相符合。也就是说AI需要考虑到船体结构在动态环境中的形、碰撞、浮力、重力等多种因素。

Sora所生成的视频效果虽然存在着一些瑕疵，但是已经非常的成功了。从中可以充分的体现出Sora是懂得一些物理的。英伟达的一位高级研究科学家甚至称Sora是一个使用数据驱动的物理引擎。这个模拟器可以学习，甚至表示Sora是世界模型。