英特尔推出 OpenVINO 2024.1,增强人工智能与 LLM 功能支持

2024年4月25日,英特尔工程师发布了 OpenVINO 2024.1,这是这一优秀的开源人工智能工具包的最新功能版本,它将继续扩展其功能和能力,尤其是围绕生成式人工智能 “GenAI “和大型语言模型(LLMs)的功能和能力。

在生成式人工智能方面,OpenVINO 2024.1 增加了针对英特尔至强 CPU 进行优化的 Mixtral 和 URLNet 模型,针对配备 Arc Graphics 的更快英特尔酷睿 Ultra(Meteor Lake)性能优化了 Stable Diffusion 1.5 / ChatGLM3-6B / Qwen-7B 模型,现在还增加了对 Falcon-7B-Instruct LLM 的支持。

OpenVINO 2024.1 还缩短了支持英特尔高级矩阵扩展(AMX)的英特尔处理器的大型语言模型编译时间,提高了英特尔 Arc Graphics GPU 上 oneDNN / INT4 / INT8 的 LLM 压缩和性能,并显著减少了英特尔 Core Ultra 处理器上较小 GenAI 模型的内存。

OpenVINO 2024.1 还将英特尔酷睿超 “Meteor Lake “处理器的神经处理单元(NPU)插件引入 GitHub 代码库,而不必依赖外部 PyPi 软件包。OpenVINO 的 JavaScript API 现在也可以通过 NPM 代码库进行访问。对于 ARM 处理器上的 OpenVINO,Arm 的卷积神经网络现在默认支持 FP16 推理。

总的来说,OpenVINO 2024.1 是一个很棒的版本。我期待着试用 OpenVINO 2024.1,并运行一些新的 OpenVINO 基准测试,尤其是如果 Core Ultra NPU 插件现在状态良好的话。OpenVINO 2024.1 工具包可从https://github.com/openvinotoolkit/openvino/releases/tag/2024.1.0下载。

猜你喜欢

欧美精产国品一二三产品特点:品味与创新的完美结合,赋予生活更多灵感与享受
欧美精产国品一二三产品特点:品味与创新的完美结合,赋予生活更多灵感与享受

欧美精产国品一二三产品特点乃为追求卓越与品质之结合,展现独特之设计与精湛工艺,令人叹为观止,实为生活添彩之良品。 品质卓越,匠心独

书桌下妈妈苏荷最火的一句:在温暖的怀抱中,感受生活的真谛
书桌下妈妈苏荷最火的一句:在温暖的怀抱中,感受生活的真谛

书桌下妈妈苏荷最火的一句在温暖的怀抱中,感受生活的真谛。此句乃是苏荷母亲在书桌下所言,意在传达母爱之深厚与生活之美好。每当孩童在书

善交大结合:以人文素养为核心推进大学教育改革的新模式
善交大结合:以人文素养为核心推进大学教育改革的新模式

善交大结合其旨在提升高等教育之质量,辅以人文素养,开启一条独特之改革之路。此举意在凝聚多方力量,促使教育不再仅限于传授知识,更在于

红桃国际一起草:探索红桃国际一起草对全球博彩行业的深远影响
红桃国际一起草:探索红桃国际一起草对全球博彩行业的深远影响

红桃国际一起草乃为近年来博彩业内之翘楚,涉及范围广泛,涵盖线上线下之多样化业务。此举不仅为广大玩家提供丰厚之娱乐体验,更促使行业内

老农民老干棒的媳妇果儿是谁:探寻果儿背后那段鲜为人知的故事
老农民老干棒的媳妇果儿是谁:探寻果儿背后那段鲜为人知的故事

老农民老干棒的媳妇果儿是谁乃是一段充满人情味的故事,果儿虽为老干棒之妻,其生活之艰辛与幸福皆令人动容。果儿自幼生长于农村,历经风雨

又长又粗又大又硬起来了:探索事物发展的深远意义与影响
又长又粗又大又硬起来了:探索事物发展的深远意义与影响

又长又粗又大又硬起来了此一般描述物体成长变化之过程,然其意深广,非但形状之长大,更象征着内在力量与变化之融合。在各类事物中,此种现

含羞草传媒隐藏进入一二三:探讨其背后潜藏之机遇与挑战
含羞草传媒隐藏进入一二三:探讨其背后潜藏之机遇与挑战

含羞草传媒隐藏进入一二三,此乃一新兴传媒之风潮。其隐秘于网络之中,布下重重迷雾,令众多人士争相探求其真相。此现象揭示了现代传媒行业

疯狂农场3美国派78:探索疯狂农场3美国派78的全新玩法与乐趣
疯狂农场3美国派78:探索疯狂农场3美国派78的全新玩法与乐趣

疯狂农场3美国派78乃是一款备受玩家喜爱的休闲游戏,融合了农场经营与冒险元素,令众多玩家沉迷其中。此游戏不仅画面精美,玩法多样,更是

成全电影大全在线观看高清免费播放下载:探寻成全电影的魅力与价值
成全电影大全在线观看高清免费播放下载:探寻成全电影的魅力与价值

成全电影大全在线观看高清免费播放下载,此乃当今影迷所追求之盛宴,众多影片汇聚于此,观者可尽情享受高清播放之乐趣。无论是经典之作,抑

姐姐3之激战后厨第五集剧情简介:颜艺双全的厨艺对决引发的情感纠葛
姐姐3之激战后厨第五集剧情简介:颜艺双全的厨艺对决引发的情感纠葛

姐姐3之激战后厨第五集剧情简介第五集之中,众姐妹于厨房中展开厨艺大比拼,冲突与默契交错,情感潜流暗涌,各自展现独特风采,令人目不暇