Open Sora v1.0 版本发布
4/15/2024
https://www.chatbro.cn/news/661c9ac665c74fa229ced147
北大团队与兔展合作开发的Open Sora项目在视频生成技术上取得了重大突破，该项目支持生成高分辨率且时长超过10秒的视频，并且这些视频的内容还能通过文本进行控制。Open Sora项目在开源社区中也获得了极高的关注，已经得到了6.6k的星标认可。最新版本的Open-Sora-Plan v1.0.0不仅能够生成高清视频，还实现了对华为昇腾910b AI芯片的推理支持，并计划未来能够支持国产算力进行训练。在技术层面，项目采用了CausalVideoVAE模型架构，这一架构通过联合训练图像和视频数据，并引入了创新的初始化方法，大幅提升了模型的性能。此外，在训练过程中，项目采用了多阶段级联训练方法，这不仅加快了模型收敛的速度，也提高了其视觉感知的能力。尽管目前版本在处理运动模糊和网格效果方面还存在一些问题，但团队正在努力优化，并计划不久的将来推出更新的版本。