31|信通院最新报告:盘点大模型领域2024年发展动态
你好,这里是极客头条。
近年来,语言大模型、多模态大模型、智能体和具身智能等领域不断出现创新性突破,过去的一年,全球大模型也在井喷式发展,想要找到其中的机遇,就要充分了解人工智能技术的创新方向,产业升级重点、行业落地趋势等等动态。
今天,我们就一起来看中国信通院(全称为中国信息通信研究院)近期发布的《人工智能发展报告(2024年)》,看看从中能够学到什么。
以下是正文:
近日,中国信息通信研究院(简称“中国信通院”)对外发布《人工智能发展报告(2024年)》。
报告指出,基础模型保持快速演进态势,重点突破多模态和复杂推理能力。语言大模型能力多维度持续进化,主要体现在上下文窗口长度扩展、海量信息压缩与知识密度提升、MoE架构融合以及通过引入强化学习算法优化推理能力。
其中,推理侧改进成为近期热点,规模定律适用范围从预训练向后训练和推理延伸。多模态大模型探索交叉模态融合处理,由早期子任务模型组合转向端到端跨模态统一特征表示,实现原生多模支持。
此外,随着国产深度学习框架技术能力不断完善,百度飞桨等国产框架正快速崛起,基于国产框架的行业解决方案向垂直领域快速渗透。未来,人工智能逐步进入大规模赋能新型工业化阶段,国产深度学习框架将迎来新一轮发展机遇,继续加强渗透。
深度学习框架是支撑大模型技术创新的核心工具,对大模型技术发展至关重要。它通过提供高效开发环境、灵活扩展机制、模型复用与共享功能,以及分布式训练与推理能力,极大简化复杂算法的开发、优化和实际应用过程,显著降低大模型开发门槛,提高设计、训练和部署深度学习模型的效率。
以百度文心大模型为例,通过与飞桨框架协同优化,其推理性能提升了百余倍。中国互联网络信息中心(CNNIC)不久前发布的《生成式人工智能应用发展报告(2024)》也强调,深度学习框架已成为生成式人工智能的迭代关键。
2022年以来,大模型行业飞速发展,全球大模型厂商的模型矩阵不断扩充完善。信通院报告指出,在Scaling Law驱动下,大模型支持模态已逐步从自然语言处理拓展到多模态理解和生成等场景。2024年,大模型推理理解能力跃迁,并开始探索垂类领域应用落地。

在大模型技术快速迭代的要求下,大规模分布式训练正成为框架发展的新发力点,百度飞桨所采纳的集成分布式能力的一体化通用发展路径,是这一进程中的重要路线之一。
作为中国首个自主研发、功能丰富、开源开放的深度学习平台,百度飞桨框架原生支持超大规模分布式训练能力,推出端到端自适应分布式训练技术,实现了低成本自动并行开发、最优并行策略自动选择和异步流水调度,突破了模型结构和硬件环境多样导致的分布式训练策略开发复杂、训练性能调优难的技术瓶颈。
公开数据显示,截至2024年11月,百度飞桨文心开发者数量已达1808万,服务了43万家企业,创建了101万个模型。
此外,2024年大模型应用也迎来了爆发。相较于传统应用开发,智能应用开发的门槛大幅降低。
报告认为,一方面,大模型服务化供给加速了智能技术的普惠化落地,Agent、RAG等框架成为常用AI 应用开发框架;另一方面,大模型应用开发工具趋于平台化,不仅整合了必要的开发工具、框架与服务,还极大地简化了从模型调用到应用部署的全过程,为开发者提供了高效、便捷的创新环境。例如,百度智能云千帆AppBuilder面向不同开发能力的用户和开发场景,分别以零代码态、低代码态、代码态的产品形态,帮助开发者构建AI原生应用。
报告指出,工程化技术是人工智能从实验室走向生产环境的关键桥梁,大模型开发及应用工具链的快速发展,标志着人工智能工程化进入了新阶段。
开发工具链加速大模型技术的迭代,显著提升了训练效率,降低了推理成本。在训练方面,开发工具围绕分布式训练持续优化,显著提升了大模型训练效率。如DeepSpeed、Megatron-LM 等分布式训练框架通过支持更丰富的并行策略,以及更丰富的计算加速策略,有效支持产业界超大规模模型的预训练。同时,训练框架围绕参数高效微调等方面的技术创新,可以有效降低计算和存储成本。
在推理方面,开发工具链聚焦优化量化、剪枝等压缩技术持续突破,加速推理过程并降低部署成本。同时,开发工具通过完善并行推理、混合精度推理、推理缓存等技术,可以有效降低计算资源消耗,提升推理服务速度。
大模型应用工具主要围绕 Agent(智能体)、多模型编排、大小模型协同、知识库集成、检索增强生成(RAG)及多组件融合等核心要素持续创新。应用工具链拓展了大模型应用范围,增强了系统的扩展性,降低了应用门槛。
展望未来,信通院报告表示,引入强化学习等技术来增强大模型能力仍是近期技术演进的重点方向,多模态模型、智能体有望加速突破。随着人工智能赋能新型工业化向纵深发展,人工智能在实体经济中的应用场景将进一步拓展,加速向生产制造环节渗透,加速迈向全方位、深层次智能化转型升级新阶段。
完整报告可查看:
http://www.caict.ac.cn/kxyj/qwfb/bps/202412/t20241210_647283.htm