近日,浪潮信息成功入选北京市通用人工智能产业创新伙伴, "源"大模型将持续加速开放赋能,促进通用人工智能产业发展,提升产业普惠价值。
浪潮信息在业界率先推出了中文AI巨量模型"源1.0",参数规模高达2457亿。"源1.0"在语言智能方面表现优异,获得中文语言理解评测基准CLUE榜单的零样本学习(zero-shot)和小样本学习(few-shot)两类总榜冠军。浪潮信息通过千亿参数规模的大模型创新实践,已在算力集群构建、算力调度部署、算法模型开发等方面,构建起全栈领先的大模型算力系统解决方案,助力大模型训练开发。
浪潮信息AI团队将"源1.0"成功的系统工程经验应用于智算中心算力系统,对集群架构、高速互联、算力调度等进行全面优化,对分布式训练策略进行了针对性优化,通过合理设计张量并行、流水并行和数据并行,精准调整模型结构和训练过程的超参数,最终实现千亿参数规模的大模型训练算力效率达至53.5%。
目前,浪潮信息"源1.0"已在众多行业领域实现应用的快速落地,真正实现AIGC的产业普惠:通过构建强大稳健的基础大模型,让千行百业拥有"顺势而为"的大模型能力。浪潮信息推出的"源1.0"开源开放计划,开放模型API、工具链、数据集,构建"开放、共赢"的开发者社区生态,助力开发者快速创新,目前"源开发者社区"已汇聚了近万名高水平开发者,孵化出众多创新应用。