开源动作估计模型ViTPose:能够针对每一帧进行动作预估和相应标注

ViTPose是一个开源的动作预估模型,它特别擅长识别人体姿态,就像能看懂你在做什么动作一样。 这个模型最厉害的地方在于它的简洁和高效,它没有采用复杂的网络结构,而是直接使用了一种叫做视觉Transformer的技术。

image.png

ViTPose 的核心是使用纯粹的视觉Transformer,这就像一个强大的“骨架”,可以提取图像中的关键特征。 它不像其他模型那样需要复杂的卷积神经网络(CNN)来辅助。 它的结构非常简单,就是把多个Transformer层叠在一起。

ViTPose 模型可以根据需要调整大小。 就像一个可以伸缩的尺子,你可以通过增减Transformer层的数量来控制模型的大小,从而在性能和速度之间找到平衡。 你还可以调整输入图片的分辨率,模型都能适应。 此外,它还可以同时处理多个数据集,也就是说,你可以用它来识别不同姿势的数据。 

尽管结构简单,ViTPose在人体姿态估计方面表现非常出色。 它在MS COCO这个著名的数据集上取得了非常好的成绩,甚至超过了许多更复杂的模型。 这表明,简单的模型也可以非常强大。ViTPose 还有一个特点就是可以把“知识”从大的模型转移到小的模型上。 这就像一个经验丰富的老师可以把知识传授给学生,让小模型也能拥有大模型的实力。

ViTPose 的代码和模型都是开源的,这意味着任何人都可以免费使用它,并在此基础上进行研究和开发。

ViTPose就像一个简单却强大的工具,它可以帮助计算机理解人类的动作。 它的优点在于简单、灵活、高效和易于学习。 这使得它成为人体姿态估计领域的一个非常有前途的基线模型。

该模型使用Transformer层处理图像数据,并使用轻量级的解码器来预测关键点。 解码器可以使用简单的反卷积层双线性插值来上采样特征图。 ViTPose 不仅在标准数据集上表现良好,而且在处理遮挡不同姿势的情况下也表现出色。 它可以应用于人体姿态估计,动物姿态估计,以及面部关键点检测等多种任务。

demo:https://huggingface.co/spaces/hysts/ViTPose-transformers

模型:https://huggingface.co/collections/usyd-community/vitpose-677fcfd0a0b2b5c8f79c4335

猜你喜欢

上海市将通过供给与需求双向发力推动低碳绿色消费模式的全面发展
上海市将通过供给与需求双向发力推动低碳绿色消费模式的全面发展

“欧莱雅健康低碳专项基金”揭牌。陈静摄上海7月18日电 (记者 陈静)当下,消费已经成为拉动中国经济增长的重要举措,上海

北京市对历史文物建筑开展技术保护工作 白塔寺千余平方米的外檐彩画焕发出新的光彩
北京市对历史文物建筑开展技术保护工作 白塔寺千余平方米的外檐彩画焕发出新的光彩

图为北京妙应寺(也称白塔寺)。中新社记者 富田摄北京7月18日电 (徐婧)位于北京市西城区阜成门内大街的妙应寺因院内白塔

崔景哲工笔画展在中国美术馆盛大开幕,展现“红”色艺术魅力与传统文化结合
崔景哲工笔画展在中国美术馆盛大开幕,展现“红”色艺术魅力与传统文化结合

展览现场史春阳摄北京7月18日电 (记者 应妮)由中国美术馆、中国工笔画学会共同主办的“中国红——崔景哲工笔画展”18日

福州推出全国首个城市标识数字藏品,彰显独特文化和城市魅力
福州推出全国首个城市标识数字藏品,彰显独特文化和城市魅力

图为福州城市形象标识数字藏品首发暨“格物链藏”平台上线仪式现场。张海供图福州7月19日电 (张海)18日下午,福州城市形

罗中立:尽管《父亲》已成为历史遗物,我仍渴望恢复那些传统文化让它们在未来得以永续流传
罗中立:尽管《父亲》已成为历史遗物,我仍渴望恢复那些传统文化让它们在未来得以永续流传

罗中立 《父亲》已是过去式 想追回传统让其永恒著名油画《父亲》的创作者罗中立首次在北京举办大型回顾展,接受新京报记者专访

北京文化论坛:缓缓展开艺术画卷 频频增添精彩亮点
北京文化论坛:缓缓展开艺术画卷 频频增添精彩亮点

北京文化论坛力争打造成为文化领域的全国性品牌 助推全国文化中心建设文化带徐徐展画轴 金名片频频添靓点大运河博物馆等三大文

倪妮主演的赖声川话剧《幺幺洞捌》即将在北京天桥艺术中心首次上演,引发观众期待
倪妮主演的赖声川话剧《幺幺洞捌》即将在北京天桥艺术中心首次上演,引发观众期待

话剧《幺幺洞捌》剧照Rino摄北京7月21日电 (记者 应妮)12月2日至4日,导演赖声川的古今谍战剧场拼贴密码《幺幺洞

通过汉语搭建桥梁,体验“云游”中的多彩中国风情
通过汉语搭建桥梁,体验“云游”中的多彩中国风情

1500余名英国中学生参加线上中文夏令营汉语为桥 “云游”中国为期两周、1500余名英国中学生参加的“汉语桥”英国“中文

东方文明之美:殷墟博物馆的司母辛鼎带你穿越历史长河,重温殷商王朝的辉煌故事
东方文明之美:殷墟博物馆的司母辛鼎带你穿越历史长河,重温殷商王朝的辉煌故事

殷墟,位于中国历史文化名城——安阳市的西北郊,横跨洹河南北两岸。古称“北蒙”,甲骨文卜辞中又称为“大邑商”“邑商”,是中

学习二十四史的正确方法:以正史为核心,辅以野史以增知识和理解
学习二十四史的正确方法:以正史为核心,辅以野史以增知识和理解

一部二十四史不知从何说起(子曰诗云)两百年前,德国哲学家黑格尔发出一句感慨:中国历史作家层出不穷、历史著作连续不断,这实