阿里巴巴万象团队引领视频生成技术革新，推出Wan模型套件
阿里巴巴万象团队近期推出的Wan模型套件，在视频生成技术领域掀起了一场革命性的风暴。该套件基于前沿的扩散变压器范式，通过一系列创新技术，显著提升了视频生成的质量和效率。其中，时空变分自编码器VAE和可扩展的预训练策略是Wan模型的核心亮点，使得其在多个基准测试中超越了现有的开源和商业解决方案。
Wan模型以其卓越的性能、全面性和消费级效率著称，提供了1.3B和14B参数版本，满足不同场景下的需求。在数据处理方面，阿里巴巴万象团队严格遵循高质量、高多样性和大规模的原则，对预训练数据进行了多步清洗和筛选，确保了数据的质量。同时，团队还引入了新方法，增强了视觉文本生成能力，并通过图像和视频的优化处理，进一步提升了生成质量。
为了更深入地理解视觉内容并提升生成能力，Wan模型在后期数据处理中，开发了内部字幕模型，生成密集视频字幕。模型设计上的独特架构，结合时空压缩策略，有效减少了内存使用，确保了时间因果关系的准确性。同时，通过流匹配框架和图像-视频联合训练，Wan模型的性能得到了进一步提升。
在训练和推断效率上，Wan模型同样表现出色。通过并行策略、内存优化和扩散缓存等技术，模型显著降低了延迟，确保了高效稳定的运行。这不仅提升了视频生成的效率，也降低了用户的等待时间，提升了用户体验。
为了全面评估Wan模型的性能，阿里巴巴万象团队提出了专门的评估框架Wan-Bench，涵盖了动态质量、图像质量和指令遵循等多个维度。评估结果显示，Wan模型在多个指标上均优于竞争对手，展现了其卓越的性能和全面的能力。
目前，Wan模型已经广泛应用于多个领域，包括图像到视频生成、统一视频编辑、文本到图像生成、视频个性化、摄像机运动可控性、实时视频生成和音频生成等。这些应用不仅展示了Wan模型的卓越性能，也为其在更多领域的应用提供了广阔的空间。尽管在处理大幅度运动场景细节、计算成本和领域特定知识等方面仍面临挑战，但阿里巴巴万象团队表示，将继续扩展数据并优化模型架构，以推动视频生成技术的持续创新和发展。
