【国产github】星标超21K高性能的开发管道实现来袭!Open-Sora!(国产 新) 99xcs.com

AI原生应用里面将会以AI Agent即AI智能体为主要代表,将会有很多个像crewAI—用于编排角色扮演的AI agent(超级智能体)一样的Agent出现在我们的面前。在可以预见的未来,世界大模型Sora—聊聊火出圈的世界AI大模型——Sora毫无疑问将会带来革命性的AI热潮。

今天要介绍的是一款复现Sora技术的开源项目。

久久小常识(www.99xcs.com)™

Open-Sora 是一个开源项目,提供了一个高性能的开发管道实现,Sora 可能使用这种管道,由 Colossal-AI[2]驱动。

久久小常识(www.99xcs.com)™

核心功能

•提供完整的 Sora 复现架构解决方案,包括从数据处理到训练和部署的整个过程。

•支持动态分辨率,训练可以直接训练任何分辨率的视频,无需缩放。

•支持多种模型结构。由于 Sora 的实际模型结构未知,我们实现了三种常见的多模态模型结构,如 adaLN-zero、交叉注意力和上下文条件化(token concat)。

•支持多种视频压缩方法。用户可以选择使用原始视频、VQVAE(视频原生模型)或 SD-VAE(图像原生模型)进行训练。

•支持多种并行训练优化。包括与 Colossal-AI 兼容的 AI 大模型系统优化能力,以及 Ulysses 和 FastSeq 的混合序列并行性。

久久小常识(www.99xcs.com)™

更多信创开源资源下载,尽在XPlaza信创开源广场!