OpenVINO 2024.5 新版本发布,带来更多英特尔优化并扩展 LLM 和 GenAI 的应用范围

2024年11月20日,英特尔开源软件开发人员发布了 OpenVINO 2024.5,这是此跨平台 AI 工具包的最新主要功能版本。

OpenVINO 2024.5 继续构建此工具包的生成式 AI“GenAI”功能,并扩大大型语言模型 (LLM) 的覆盖范围。OpenVINO 2024.5 增加了对 1B 和 3B 大小的 Llama 3.2、2B 和 9B 大小的 Gemma 2 以及 YOLO11 的支持。英特尔 NPU 现在还支持 Llama 3 8B、Llama 2 7B、Mistral-v0.2 7B、Qwen2 7B Instruct 和 Phi-3 的大型语言模型。

在优化方面,英特尔酷睿超显卡以及英特尔 Arc Graphics 独立 GPU 都有新的优化。现在还正式支持英特尔至强 6 P 核处理器,即 Granite Rapids,以及英特尔酷睿超 200V Arrow Lake S 台式机处理器。

OpenVINO 2024.5 还提供了对 Flax 的预览级支持,Flax 是一个基于 JAX 的高性能 Python 神经网络库。OpenVINO 2024.5 的完善之处在于为 GenAI API 添加了推测解码功能,为具有多模式管道的多模式 AI 部署添加了 GenAI API 预览支持,并为英特尔 NPU 上的 LLM 添加了 GenAI API 支持。

OpenVINO 2024.5是此 AI 工具包的一个相当大的更新。有关更改的更多详细信息可访问https://github.com/openvinotoolkit/openvino/releases/tag/2024.5.0

猜你喜欢

【专访】林保怡:挑战自我,首次出演让人困惑的角色,戏中不愿面对镜子
【专访】林保怡:挑战自我,首次出演让人困惑的角色,戏中不愿面对镜子

采写 | 黄文斌第42届香港电影金像奖颁奖礼于14日晚举办,演员林保怡凭借在电影《白日之下》中饰演的章剑华一角入围最佳男主角。章剑华是

腾讯视频“X剧场”再次推出新作,究竟为何要“早起赶晚集”?
腾讯视频“X剧场”再次推出新作,究竟为何要“早起赶晚集”?

腾讯视频最终还是走上了剧场的路。近日,腾讯视频“X剧场”推出第三部作品,古装悬疑剧《繁城之下》,该剧延续X剧场首部作品《漫长的季节》

上海Major正赛再掀波澜:香蕉道狂人归来!Liquid以13-10战胜GL
上海Major正赛再掀波澜:香蕉道狂人归来!Liquid以13-10战胜GL

上海Major 正赛阶段 Liquid对阵GL,上半场先做防守方的Liquid发挥一般以6-6战平,进入进攻方以后逐渐进入状态,连续的香蕉道抢夺对GL形成

吕克·贝松:如果我再次回到17岁,我会不停地追求电影梦想
吕克·贝松:如果我再次回到17岁,我会不停地追求电影梦想

“平遥惊喜”是今年平遥国际电影展新开设的板块。在影展开幕前的发布会上,贾樟柯透露最终入围影片将为最新出炉的大师新作或极具影响力的商

命运起源角色全景解析-开启超能英雄的奇幻冒险之旅
命运起源角色全景解析-开启超能英雄的奇幻冒险之旅

在网易推出的首款未来题材MMORPG手游命运起源中,玩家将踏入一个神话传说与未来世界交织的宏大舞台,在这个世界里,诸神与人类之间的纷争从

如何呵护年迈的奶奶-为她创造幸福晚年的有效方法-保障健康生活的实际技巧
如何呵护年迈的奶奶-为她创造幸福晚年的有效方法-保障健康生活的实际技巧

在我们生活中,80岁左右的老人是一个特殊群体。随着年龄的增长,身体机能逐渐衰退,生活自理能力可能会有所下降。作为子孙辈,关爱80岁奶奶

如何从教授肉晕了H1v1事件中分析其深刻的教育启示与意义?
如何从教授肉晕了H1v1事件中分析其深刻的教育启示与意义?

被教授肉晕了H1v1,这个话题在最近的讨论中引发了不少关注。很多人对H1v1的含义感到好奇,同时也想了解这个事件背后的故事。本文将深入探讨

历时118天的好莱坞演员罢工圆满结束,多部影视项目制作重返正常轨道
历时118天的好莱坞演员罢工圆满结束,多部影视项目制作重返正常轨道

历时118天的好莱坞演员大罢工按下终止键。当地时间11月8日晚,美国演员工会-美国电视和广播艺人联合会(SAG-AFTRA)在官网发布公告,称已与

乱斗西游中铁扇公主的获取方法及详细攻略分享
乱斗西游中铁扇公主的获取方法及详细攻略分享

主要介绍了在乱斗西游 2中获取铁扇公主的攻略。铁扇公主是一名强大的法师英雄,拥有出色的治疗和伤害技能。通过的指导,玩家可以了解到获

九幺短视频早期版本的独特魅力为何吸引了很多用户的青睐
九幺短视频早期版本的独特魅力为何吸引了很多用户的青睐

九幺短视频曾是许多人娱乐消遣的首选应用,尤其在旧版本发布时,凭借其简单易用的界面和丰富多样的视频内容,吸引了大量用户的关注和使用。