微软正式发布开源强大AI小模型Phi-4,性能超越GPT-4o与Llama-3.1,技术突破引发广泛关注

微软近期在 Hugging Face 平台上发布了名为 Phi-4的小型语言模型,这款模型的参数量仅为140亿,但在多项性能测试中表现出色,超越了众多知名模型,包括 OpenAI 的 GPT-4o 及其他同类开源模型如 Qwen2.5和 Llama-3.1。

image.png

在之前的在美国数学竞赛 AMC 的测试中,Phi-4获得了91.8分,显著优于 Gemini Pro1.5、Claude3.5Sonnet 等竞争对手。更令人惊讶的是,这款小参数模型在 MMLU 测试中取得了84.8的高分,充分展现了其强大的推理能力和数学处理能力。

image.png

与许多依赖于有机数据源的模型不同,Phi-4采用了创新的方法来生成高质量的合成数据,包括多智能体提示、指令反转和自我修正等技术。这些方法大大增强了 Phi-4在推理和解决问题方面的能力,使其能够处理更为复杂的任务。

Phi-4采用了仅解码器的 Transformer 架构,支持长达16k 的上下文长度,非常适合处理大输入的数据。其预训练过程中使用了约10万亿个 token,结合合成数据与经过严格筛选的有机数据,确保在 MMLU 和 HumanEval 等基准测试中表现出色。

Phi-4的特点和优势包括:适用于消费级硬件的紧凑性和高效性;在 STEM 相关任务中超越了前代和更大模型的推理能力;支持与多样化的合成数据集进行微调,便于满足特定领域的需求。此外,Phi-4在 Hugging Face 平台上提供了详细的文档和 API,方便开发者进行集成。

在技术创新方面,Phi-4的开发主要依托三个支柱:生成合成数据的多智能体和自我修正技术,后期训练增强方法如拒绝采样和直接偏好优化(DPO),以及严格过滤的训练数据,确保与基准的重叠数据最小化,提高了模型的泛化能力。此外,Phi-4利用关键标记搜索(PTS)来识别决策过程中的重要节点,从而优化其处理复杂推理任务的能力。

image.png

随着 Phi-4的开源,开发者们的期待终于成真。该模型不仅可以在 HuggingFace 平台下载,还支持在 MIT 许可证下进行商业用途。这一开放政策吸引了大量开发者和 AI 爱好者的关注,HuggingFace 的官方社交媒体也对此表示祝贺,称其为 “史上最好的14B 模型”。

模型入口:https://huggingface.co/microsoft/phi-4

划重点:

🧠 ** 微软推出小参数模型 Phi-4,参数仅140亿却超越多款知名模型。**

📊 ** 在多项性能测试中,Phi-4表现优异,特别是在数学与推理方面。**

🌐 Phi-4现已开源,并支持商业用途,吸引了众多开发者的关注与使用。

猜你喜欢

绘画大师刘海粟的传奇人生:经历四任妻子和三位女学生,新婚之夜却选择了逃离
绘画大师刘海粟的传奇人生:经历四任妻子和三位女学生,新婚之夜却选择了逃离

在唐朝诗人孟郊的笔下,科举及第后的春风得意与放纵不羁跃然纸上。而在近现代艺术界,也有一位大师的情感生活同样丰富多彩,他就

北宗山水大家溥心畲:其绘画技艺堪比张大千,竟为何却在丫鬟手中落败?
北宗山水大家溥心畲:其绘画技艺堪比张大千,竟为何却在丫鬟手中落败?

在近现代的艺术领域中,山水画大师张大千的名字如雷贯耳,然而,在同时期,还有一位与他齐名的画家,被誉为“北宗山水第一人”,

书法追求的旅程:怀着快乐的心灵,书写人生的绚丽篇章
书法追求的旅程:怀着快乐的心灵,书写人生的绚丽篇章

四川美术学院近日成功举办了第五届国风艺术节系列活动,其中包括“美育浸润·翰墨薪传”优秀书画作品展示活动的颁奖典礼与“川美

洛阳新春佳节来临:百位书法家挥毫创作,市民欢喜领取春联及福字传祝福
洛阳新春佳节来临:百位书法家挥毫创作,市民欢喜领取春联及福字传祝福

近日,洛阳市洛龙区的兴洛湖公园广场迎来了一场别开生面的文化盛宴。为了迎接新春佳节的到来,洛阳市文学艺术界联合会精心组织了

孔仲起的山水画艺术:在云水交织之间展现浙江的时代精神与博大情怀
孔仲起的山水画艺术:在云水交织之间展现浙江的时代精神与博大情怀

著名山水画家孔仲起,以其独特的“钱江潮”系列作品享誉画坛。这位艺术家的家恰好坐落在钱塘江畔,仿佛与潮水有着不解之缘。他曾

天津市摄影家协会秘书长顾淳:在手机摄影中如何捕捉和展现“津味年”的独特魅力?
天津市摄影家协会秘书长顾淳:在手机摄影中如何捕捉和展现“津味年”的独特魅力?

在天津市东丽区文化馆的“大咖来袭”名家讲堂上,近日迎来了一位特别的嘉宾——天津市摄影家协会秘书长顾淳。他带来了一场别开生

国画大师杨彦与跨国妻子的爱情长跑:29岁年龄差,豪华4000万婚礼后9年的感情发展如何?
国画大师杨彦与跨国妻子的爱情长跑:29岁年龄差,豪华4000万婚礼后9年的感情发展如何?

在当代艺术界,国画大师杨彦不仅以其色彩斑斓、气势恢宏的作品为人称道,更因他跨越国界与年龄的爱情故事而备受瞩目。著名画家范

白云区硬笔书法家协会隆重召开盛典:携手共创书法艺术新篇章,展望文化辉煌明天!
白云区硬笔书法家协会隆重召开盛典:携手共创书法艺术新篇章,展望文化辉煌明天!

白云区硬笔书法家协会第一届第二次会员代表大会近日在太和丽华创新产业园隆重举行,以“墨韵白云,耀启华章”为主题,旨在回顾协

方人也国画技艺:音符的灵动与诗意交融绘出视觉盛宴
方人也国画技艺:音符的灵动与诗意交融绘出视觉盛宴

在国画艺术界,方人也以其独树一帜的笔触风格,成为了备受瞩目的艺术家。他的画作不仅仅是色彩与线条的堆砌,更是情感与思想的深

安贞街道新春期间举办“四区六街”书法联展,共同书写祝福送给邻里传递温暖
安贞街道新春期间举办“四区六街”书法联展,共同书写祝福送给邻里传递温暖

在朝阳区安贞街道,一场别开生面的迎新春活动近日温暖上演。1月8日,安贞书院迎来了来自周边四区六街的书法爱好者,他们齐聚一