近日,国际权威数据调研机构IDC发布的《中国AI开源框架市场研究报告(2024)》引发行业高度关注。报告中的数据显示,昇思MindSpore AI框架在2024年新增市场份额达 30.26%,在竞争激烈的中国AI开源框架市场中脱颖而出,成绩斐然。
数据来源:IDC中国,《中国AI开源框架市场研究报告(2024)》
从市场份额增长情况来看,昇思MindSpore的表现尤为亮眼。在2024年,众多开源框架竞相角逐,昇思MindSpore能取得30.26%的新增市场份额,这一数据背后是其不断深耕技术、贴合市场需求的努力成果。与之对比,T框架新增市场份额为11.23%,PyTorch为22.12%,昇思MindSpore在新增份额方面优势明显,展现出强大的市场拓展能力。
在技术创新与应用适配方面,昇思MindSpore紧紧跟随AI发展趋势,多维度提升自身竞争力。为满足开发者基础易用性诉求,昇思MindSpore积极兼容业界主流开发接口,涵盖模型表达、算子、并行、数据格式、权重格式等多个关键领域。
目前,昇思MindSpore已成功兼容100+Transformers接口、100+Diffusers接口,支持1300 +算子表达,还支持流程控制类、硬件以及调测等功能。不仅如此,昇思MindSpore完善了动态图和调优能力,能够灵活对接各种加速库,为开发者实现低成本的模型脚本平滑迁移替换提供了便利,大大降低了开发门槛,提升了开发效率。
随着大模型时代的到来,模型并行优化成为关键技术点。昇思MindSpore原生亲和超节点,基于八维分布式并行技术持续升级,针对超长序列、MoE、多模态模型等制定多维混合并行策略。
例如,通过RingAtt超长序列并行、3D超长序列并行和2D/3D高维张量并行技术,超长序列大模型训练性能提升20%;借助MoE通信计算并行、Router融合,万亿MoE模型训练性能提升40%;利用细粒度多副本、虚拟流水交织并行、序列流水线并行以及负载均衡技术,千亿稠密模型训练性能提升20%。
更为重要的是,昇思MindSpore还提供并行策略自动搜索和仿真执行能力,从依赖专家经验和集群实测的传统模式,转变为自动搜索最优并行策略,通过Dryrun仿真分析获得更优结果,大幅缩短大模型调优时间,实现天级大模型开箱性能,为大模型开发和应用提供了高效的技术支撑。
在AI技术创新前沿领域,昇思MindSpore打造AI融合框架,实现大模型与AI4S两大领域的原生融合。通过持续升级架构,支持MPMD多模型多任务调度,实现训推同构,可自由组合封装RL模块搭建高性能强化学习套件,在线重排训推权重任务,端到端提升系统吞吐能力,还能自动分配切分计算资源,实现多模型多任务并行处理。其具备的函数式编程亲和架构,支持Numpy/Scipy原生操作和自动微分加速,为开发者提供高性能强化学习、AI4S使能套件,推动了AI技术在多领域的创新应用。
昇思MindSpore在社区生态建设方面同样成果丰硕。自2020年3月正式开源以来,昇思MindSpore通过创建学术奖励基金、培养原生大语言模型、举办AI框架峰会、成立社区委员会、成为Gitee重要贡献者、创立昇思生态创新中心等一系列举措,吸引了大量B端企业合作伙伴以及企业、高校开发者。
截至目前,已有4万+社区核心贡献者、1100万+全球用户下载、10万+代码合入请求、1700+学术论文创新,在全球范围内的影响力不断扩大。在大模型应用落地方面,昇思MindSpore已成功孵化、适配50+国内外主流大模型,助力1700+企业、研究院所在政府、交通、金融、医疗、驾驶等多个领域落地2000+大模型解决方案,切实推动了AI技术的产业应用和社会发展。
笔者看来,在AI开源框架市场蓬勃发展的当下,昇思MindSpore凭借技术创新、生态建设和市场拓展等多方面的突出表现,成为推动行业发展的重要力量。随着技术的不断迭代和生态的持续完善,昇思MindSpore有望在未来为AI领域带来更多创新成果和应用突破,为产业升级和社会发展注入源源不断的动力。