昆仑万维开源国内首个面向AI短剧创作的视频生成模型SkyReels-V1

2025-02-18 11:08

2 月 18 日消息，昆仑万维今日宣布开源国内首个面向 AI 短剧创作的视频生成模型 SkyReels-V1、国内首个 SOTA 级别基于视频基座模型的表情动作可控算法 SkyReels-A1。

昆仑万维官方介绍称，SkyReels-V1 针对表演细节做了打标，还对情绪、场景、表演诉求等进行处理，利用“千万级别、高质量”的好莱坞级别数据进行训练微调。

此外，SkyReels-V1 可实现“影视级人物微表情表演生成”，支持 33 种人物表情与 400 + 种自然动作组合，还原真人情感表达，支持生成大笑、怒吼、惊讶、哭泣等微表情。
基于好莱坞级的影视数据训练，当前 SkyReels 生成的每一帧画面，在构图、演员站位、相机角度等号称都具备“电影级的质感”。

SkyReels-V1 不仅支持文生视频，还支持图生视频，号称是“开源视频生成模型中参数最大的支持图生视频的模型”，在同等分辨率下各项指标实现开源 SOTA。

总结来看，SkyReels-V1 可以实现：
影视化表情识别体系：11 种针对影视戏剧中的人物表情理解，如不屑、不耐烦、无助、厌恶等表情的理解；
人物空间位置感知：基于人体三维重建技术，实现对视频中多人的空间相对关系理解，助力模型生成影视级人物站位；
行为意图理解：构建超过 400 种行为语义单元，实现对人物行为的精准理解；
表演场景理解：实现人物-服装-场景-剧情的关联分析。
性能方面，在自研推理优化框架「SkyReels-Infer」的加持下，该模型可实现 544p 分辨率，推理基于单台 4090 用时 80s，还支持分布式多卡并行，支持 Context Parallel，CFG Parallel，和 VAE Parallel。
此外，模型采取 fp8 quantization 以及 parameter-level offload，满足低显存用户级显卡运行需求；支持 flash attention、SageAttention，模型编译优化等，进一步优化延迟；基于开源 diffuser 库，提升易用性。
为了实现更加精准可控的人物视频生成，昆仑万维还开源了 SOTA 级别的基于视频

余下全部

共有评论0条

<返回

<返回首页