您的位置 首页 科研

蚂蚁集团开源Ming-lite-omni:首个媲美GPT-4o的开源多模态模型

蚂蚁集团旗下百灵大模型团队在近期蚂蚁技术日上宣布重大决定:将统一多模态大模型Ming-lite-omni进行全面开源。这一举措不仅标志着蚂蚁集团在AI领域的又一次重大开放,更被业界…

蚂蚁集团旗下百灵大模型团队在近期蚂蚁技术日上宣布重大决定:将统一多模态大模型Ming-lite-omni进行全面开源。这一举措不仅标志着蚂蚁集团在AI领域的又一次重大开放,更被业界视为首个在模态支持方面能够与GPT-4o相媲美的开源模型。

220亿参数的技术突破

Ming-lite-omni基于Ling-lite构建,采用先进的MoE(专家混合)架构,拥有220亿总参数和30亿激活参数的强大配置。这一参数规模在开源多模态模型中达到了新的高度,展现了蚂蚁集团在大模型技术上的深度积累。

目前,Ming-lite-omni的模型权重和推理代码已向公众全面开放,后续的训练代码和训练数据也将陆续发布,为全球开发者提供完整的技术支持。

持续开源战略显成效

今年以来,百灵大模型团队已连续开源多个重要模型产品,包括Ling-lite、Ling-plus等大语言模型,多模态大模型Ming-lite-uni以及预览版Ming-lite-omni。

其中,五月中旬开源的Ling-lite-1.5版本能力已接近同水位SOTA水平,性能介于千问4B和8B之间,成功验证了300B尺寸SOTA MoE大语言模型在非高端算力平台上训练的可行性。

性能对标国际顶级模型

在多项理解和生成能力评测中,Ming-lite-omni的性能与10B量级领先的多模态大模型相当或更优。蚂蚁集团表示,这是目前已知首个在模态支持方面能够与GPT-4o相媲美的开源模型,为全球开发者提供了重要的技术选择和参考标准。

百灵大模型负责人西亭介绍了团队的技术路线:”我们坚定地在语言大模型和多模态大模型上统一使用MoE架构,并大量使用非高端算力平台,成功证明了国产GPU在训练可比拟GPT-4o模型方面的能力。”

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: 崔玉华

账户发布的文章都是来源于网络整合!内容仅代表提供方的观点,不代表本人的观点和看法,与本人立场无关,相关责任提供方自负。如有侵权联系站内删除!

为您推荐

全链条技术突破让“一粒种子”实现精准设计

记者22日从中国科学院获悉,经过6年攻关,我国科研人员已实现全链条技术突破,“一粒种子”通过精准设计,可同时实现增产、节...

农技推广破局 玉米单产跃升——内蒙古玉米密植精准调控高产技术推广实践

内蒙古作为国家重要农畜产品生产基地,玉米种植面积达6600万亩、稳居全国前列。“十四五”以来,内蒙古扛牢粮食安全政治责任...

山西:专家下沉 企业上市

“科技改变生产。在专家们的持续帮扶下,我们从手工作坊发展成为了晋兴版上市公司;从没有自己的原粮基地发展成为了拥有5万亩优...

新技术助力新疆棉花生产 高分子肥料实现提质增效

金秋九月,新疆维吾尔自治区石河子市121团炮台镇的百亩棉花试验田,白絮吐露,远望如雪。试验田管理员白如心站在田边,望着长...

“闽宁1号”水稻新品种拍卖成交,创宁夏水稻品种转让最高价

“66万元一次,66万元两次,66万元三次,成交!”11月22日,宁夏农林科学院科技成果拍卖会上,随着拍卖师一锤定音,1...

发表评论

返回顶部