字节科技携手高校推出全新STAR模型,助力提升视频质量与分辨率表现

近日,南京大学的研究团队与字节跳动、西南大学联合推出了一项创新技术 ——STAR(Spatial-Temporal Augmentation with Text-to-Video Models),旨在利用文本到视频模型,实现真实世界视频的超分辨率处理。该技术结合了时空增强方法,能够有效提高低分辨率视频的质量,尤其适用于在视频分享平台上下载的低清晰度视频。

image.png

为了方便研究者和开发者使用,研究团队已经在 GitHub 上发布了 STAR 模型的预训练版本,包括 I2VGen-XL 和 CogVideoX-5B 两种型号,以及相关的推理代码。这些工具的推出标志着在视频处理领域的一次重要进展。

使用该模型的过程相对简单。首先,用户需要从 HuggingFace 下载预训练的 STAR 模型,并将其放入指定目录。接着,准备待测试的视频文件,并选择适合的文本提示选项,包括无提示、自动生成或手动输入提示。用户只需调整脚本中的路径设置,便可轻松进行视频超分辨率的处理。

该项目特别设计了两种基于 I2VGen-XL 的模型,分别用于不同程度的视频降质处理,确保能够满足多种需求。此外,CogVideoX-5B 模型专门支持720x480的输入格式,为特定场景提供了灵活的选择。

该研究不仅为视频超分辨率技术的发展提供了新的思路,还为相关领域的研究者们开辟了新的研究方向。研究团队对 I2VGen-XL、VEnhancer、CogVideoX 和 OpenVid-1M 等前沿技术表示感谢,认为这些技术为他们的项目奠定了基础。

项目入口:https://github.com/NJU-PCALab/STAR

划重点:

🌟 新技术 STAR 结合文本到视频模型,实现视频超分辨率,提升视频质量。  

🛠️ 研究团队已发布预训练模型和推理代码,使用过程简单明了。  

📩 提供联系方式,鼓励用户与研究团队进行交流与探讨。

猜你喜欢

鱼山梵呗:穿越时空的非物质文化遗产之声,究竟是音乐的魅力还是蕴藏着更深的哲理?
鱼山梵呗:穿越时空的非物质文化遗产之声,究竟是音乐的魅力还是蕴藏着更深的哲理?

近日,一项关于非遗艺术的讨论在社交媒体上引起了广泛关注,讨论的焦点是“鱼山梵呗”究竟属于音乐还是建筑类别。经过多方查证,

张宜的《咏怀诗》艺术作品:通过细致笔触展现阮籍内心深邃的复杂情感与思考
张宜的《咏怀诗》艺术作品:通过细致笔触展现阮籍内心深邃的复杂情感与思考

在艺术的殿堂里,诗歌与绘画常常交相辉映,共同诠释着人类复杂而细腻的情感世界。近日,一场名为“意之动——王伟平&张宜写意作

跨越时空的音符,解楠等歌唱家在深圳大剧院精彩呈现“真爱永恒”音乐盛宴
跨越时空的音符,解楠等歌唱家在深圳大剧院精彩呈现“真爱永恒”音乐盛宴

深圳大剧院上演“真爱永恒”独唱音乐会,解楠领衔演绎中外经典近日,深圳大剧院内座无虚席,一场名为“真爱永恒”的独唱音乐会在

张宜笔下的怀素“重生”,书法与绘画交融展现艺术的狂放与张扬张力
张宜笔下的怀素“重生”,书法与绘画交融展现艺术的狂放与张扬张力

在齐鲁大地上,一场别开生面的书画展览——“意之动:王伟平与张宜写意作品展”吸引了众多艺术爱好者的目光。其中,张宜先生的一

绘画大师刘海粟的传奇人生:经历四任妻子和三位女学生,新婚之夜却选择了逃离
绘画大师刘海粟的传奇人生:经历四任妻子和三位女学生,新婚之夜却选择了逃离

在唐朝诗人孟郊的笔下,科举及第后的春风得意与放纵不羁跃然纸上。而在近现代艺术界,也有一位大师的情感生活同样丰富多彩,他就

北宗山水大家溥心畲:其绘画技艺堪比张大千,竟为何却在丫鬟手中落败?
北宗山水大家溥心畲:其绘画技艺堪比张大千,竟为何却在丫鬟手中落败?

在近现代的艺术领域中,山水画大师张大千的名字如雷贯耳,然而,在同时期,还有一位与他齐名的画家,被誉为“北宗山水第一人”,

书法追求的旅程:怀着快乐的心灵,书写人生的绚丽篇章
书法追求的旅程:怀着快乐的心灵,书写人生的绚丽篇章

四川美术学院近日成功举办了第五届国风艺术节系列活动,其中包括“美育浸润·翰墨薪传”优秀书画作品展示活动的颁奖典礼与“川美

洛阳新春佳节来临:百位书法家挥毫创作,市民欢喜领取春联及福字传祝福
洛阳新春佳节来临:百位书法家挥毫创作,市民欢喜领取春联及福字传祝福

近日,洛阳市洛龙区的兴洛湖公园广场迎来了一场别开生面的文化盛宴。为了迎接新春佳节的到来,洛阳市文学艺术界联合会精心组织了

孔仲起的山水画艺术:在云水交织之间展现浙江的时代精神与博大情怀
孔仲起的山水画艺术:在云水交织之间展现浙江的时代精神与博大情怀

著名山水画家孔仲起,以其独特的“钱江潮”系列作品享誉画坛。这位艺术家的家恰好坐落在钱塘江畔,仿佛与潮水有着不解之缘。他曾

天津市摄影家协会秘书长顾淳:在手机摄影中如何捕捉和展现“津味年”的独特魅力?
天津市摄影家协会秘书长顾淳:在手机摄影中如何捕捉和展现“津味年”的独特魅力?

在天津市东丽区文化馆的“大咖来袭”名家讲堂上,近日迎来了一位特别的嘉宾——天津市摄影家协会秘书长顾淳。他带来了一场别开生