微软发布开源版 OmniParser V2,使大语言模型能够识别和操作图形用户界面(GUI)

微软近日推出了其 Windows 操作大模型 OmniParser 的升级版本——OmniParser-v2.0。该模型能够识别桌面和窗口元素,并与之进行交互,标志着 AI Agent 技术在实现完全自动使用电脑的方向上又迈进了一步。

 OmniParser-v2.0 的关键能力在于其对桌面环境的感知和交互能力。这意味着,通过与该模型的结合,AI Agent 不仅能理解用户的指令,还能直接在 Windows 操作系统层面上执行操作,例如打开特定窗口、定位并点击按钮、输入文本等。 

值得注意的是,OmniParser-v2.0 可以接入如 DeepSeek-R1等其他模型。这种可扩展性为构建更强大、更灵活的 AI Agent 提供了可能。

 业内人士指出,随着 OmniParser-v2.0 等工具的出现,AI Agent 的下游工具链正在日益完善。从操作浏览器到操作操作系统,AI Agent 的能力范围不断扩大,预示着未来 AI 在自动化办公、个人助理等领域将发挥更大的作用。 我们正逐步接近一个由 AI 驱动的、更加智能和高效的计算时代。

地址:https://huggingface.co/microsoft/OmniParser-v2.0


猜你喜欢

《老公请部长家里吃饭》:一场游戏中的策略与人际关系的较量,探索社交游戏的新玩法
《老公请部长家里吃饭》:一场游戏中的策略与人际关系的较量,探索社交游戏的新玩法

在当今快节奏的生活中,社交游戏已经成为一种新兴的娱乐方式,尤其是那些能够引发思考与交流的游戏更是备受玩家青睐。《老公请部长家里吃饭

亚洲经典一区二区三区区别小说:探索游戏世界中的策略与情感交织(沉浸式体验与游戏设计的深度探讨)
亚洲经典一区二区三区区别小说:探索游戏世界中的策略与情感交织(沉浸式体验与游戏设计的深度探讨)

在今天的数字时代,游戏不仅仅是消遣娱乐的工具,它更是一个深蕴文化和情感的载体。从简单的图形和音效演变为如今复杂的多维度世界,游戏的

春日阅读的盛况!南通崇川区“阅·音乐LiVE”活动隆重开启,带你沉浸书海与乐音交织的魅力世界
春日阅读的盛况!南通崇川区“阅·音乐LiVE”活动隆重开启,带你沉浸书海与乐音交织的魅力世界

在第30个世界读书日即将到来之际,南通市崇川区举办了一场别开生面的全民阅读推广活动,为春日阅读增添了一抹独特的色彩。4月

圆明园遗韵:清代陈枚《山水楼阁图册》中的东方美学极致体现与文化回顾
圆明园遗韵:清代陈枚《山水楼阁图册》中的东方美学极致体现与文化回顾

在东方园林艺术的璀璨星河中,18世纪的圆明园无疑是最为耀眼的明珠之一。而提及圆明园,便不得不提清代画家陈枚的杰出作品——

常波国画“鸿运当头鲤鱼”:在笔墨中展现吉祥与灵动之美的独特魅力与深邃意境
常波国画“鸿运当头鲤鱼”:在笔墨中展现吉祥与灵动之美的独特魅力与深邃意境

在当代国画艺术的璀璨星河中,常波以其“鸿运当头鲤鱼”系列作品脱颖而出,犹如一颗耀眼的星辰,以其深厚的文化底蕴和独特的艺术

放大古今艺术的魅力,蒙娜丽莎神秘的微笑与中国老农的欢快歌声在画作中交织
放大古今艺术的魅力,蒙娜丽莎神秘的微笑与中国老农的欢快歌声在画作中交织

在欣赏艺术品的微妙之处时,细节往往成为决定作品成败的关键。尤其是名画,其细节不仅体现了艺术家的匠心独运,还往往隐藏着背后

华一民书法艺术展再展风采,2025兰亭杯金奖荣耀续写传奇
华一民书法艺术展再展风采,2025兰亭杯金奖荣耀续写传奇

在书法艺术的浩瀚星空中,又一颗璀璨之星悄然升起。华一民,这位来自江苏无锡却在浙江杭州诞生的艺术家,如今在重庆南岸区安享晚

瑞安花木传奇:古茶花傲视群芳,铁树涅槃重生,大榕树勇抗日敌展现强大生命力
瑞安花木传奇:古茶花傲视群芳,铁树涅槃重生,大榕树勇抗日敌展现强大生命力

瑞安春色正浓,踏青赏花正当时。这座位于东南沿海的城市,因其温润的气候和充沛的雨水,孕育了众多奇花异卉,成为春日里一道亮丽

古代官府如何运用抽象画像和通缉令迅速定位和捕捉逃犯?
古代官府如何运用抽象画像和通缉令迅速定位和捕捉逃犯?

古代通缉令画像抽象,却为何总能迅速捉拿犯人?这一历史谜团近日被揭开。在古代,官府发布的通缉令上,犯人的画像往往十分抽象,

“光影朝阳”职工摄影大赛:捕捉城市动人时刻,你的佳作是否被评选为优秀作品?
“光影朝阳”职工摄影大赛:捕捉城市动人时刻,你的佳作是否被评选为优秀作品?

“美丽朝阳·奋斗朝阳·幸福朝阳”全市职工随手拍摄影展活动正如火如荼地进行中,吸引了众多摄影爱好者和职工的积极参与。此次活