百度文心大模型4.0 Turbo:性能飞跃,应用升级

原文标题:百度文心 4.0 Turbo 来了!联合飞桨框架 3.0 推理性能跃升 30%,文心快码升级至 2.5 版

原文作者:AI前线

冷月清谈:

- 百度发布文心大模型4.0 Turbo,上下文输入长度从2K tokens升级到128K tokens,AI生图分辨率从512*512提升至1024*1024。
  • 飞桨框架3.0联合文心大模型优化,提升模型推理性能30%。

  • 智能代码助手“文心快码”升级至2.5版,支持深度解读代码库、关联权威知识生成新代码,提供安全漏洞检测和修复功能。




怜星夜思:


1、文心大模型4.0 Turbo的性能提升对人工智能应用有何影响?
2、飞桨框架3.0的推出对大模型训练和推理有哪些促进作用?
3、文心快码2.5的升级可以为企业和开发者带来哪些便利?

原文内容

作者 | 华卫

6 月 28 日,百度推出了文心大模型 4.0 Turbo,并公布一系列技术、产品、生态最新成果,包括新一代的飞桨框架 3.0、文心快码 2.5。

“文心一言累计用户规模已达 3 亿,日调用次数也达到了 5 亿。”现场,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰还披露了文心一言的最新数据。

王海峰认为,通用人工智能已经越来越近,而大模型技术为其带来了曙光:一是人工智能技术的通用性,大模型在面向不同任务、语言、模态、场景时的通用性越来越强;二是能力的全面性,人工智能的理解、生成、逻辑、记忆等四项基础能力越强,越接近通用人工智能。

文心 4.0 Turbo 开放
上下文窗口提升至 128k

大会现场,王海峰发布了文心大模型 4.0 Turbo,网页版、APP、API 陆续面向用户开放,开发者登录百度智能云千帆大模型平台即可使用文心大模型 4.0 Turbo API 服务。

据介绍,通过数据、基础模型、对齐技术、提示、知识增强、检索增强和对话增强等核心技术的持续创新以及飞桨文心的联合优化,文心大模型 4.0 Turbo 的速度更快、效果更好。

其在基础大模型的基础上,进一步创新智能体技术,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,能够调用工具自主完成复杂任务,在环境中持续学习实现自主进化。

王海峰表示,文心一言 4.0 Turbo 的上下文输入长度从 4.0 版的 2K tokens 升级到了 128K tokens,能够同时阅读 100 个文件或网址,AI 生图分辨率也从 512*512 提升至 1024*1024。

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜表示,过去半年文心大模型取得了显著进展,用户日均提问量增加 78%,提问平均长度提升 89%。文心大模型为用户提供的帮助从简单需求延伸到更多元、复杂的任务。

截至目前,文心大模型已累计生成 70 亿行代码、创作 5.9 亿篇文章、编撰百万篇专业研报、解答了 1.7 亿学习问题,辅助 1.3 亿人次工作等。与此同时,文心大模型还支持了大量的应用创新。“在大模型应用落地过程中,选择合适的模型对应用效果至关重要。“吴甜介绍到。

具体能力表现上,文心轻量级模型适合解决确定场景的问题,同时具有成本更低、速度更快的优势;3.5 是一个强通用性模型,适用于日常信息处理和文本生成任务;4.0 规模更大、能力更强,具备更强的理解能力、逻辑推理能力与更丰富的知识,可以提供专业深度的帮助;4.0 工具版基于智能体技术,擅长综合运用多种工具和数据,按要求完成非常复杂的任务。

大会现场,百度还发布了与中国工程院朱有勇院士及团队共同打造的首个农业智能体“农民院士智能体”,以及和上海体育大学共同研发的国内首个面向体育行业的大模型上体体育大模型。

飞桨新一代框架 3.0 
提升模型推理性能 30%

“文心一言的快速发展,包括整个文心大模型的快速发展,离不开飞桨平台的支撑。”王海峰表示。据介绍,文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的布局,尤其是飞桨深度学习平台和文心的联合优化,包括训练吞吐、分布式扩展、多模型结构混合并行和硬件通信层的联合优化。

现场,百度 AI 技术生态总经理马艳军主要详细解读了飞桨新一代框架 3.0 的设计理念和技术特点。“在 3.0 版本的设计中,我们充分考虑了目前大模型技术发展和异构多芯的趋势,并从三个方面做了综合考量,一是保障大模型训练和推理的性能,二是足够简化大模型本身的开发和调优过程,三是更好适配各种各样的芯片。”

据介绍,飞桨框架 3.0 面向大模型、异构多芯进行专属设计,向下适配异构多芯,向上一体化支撑大模型的训练、推理,同时具有动静统一自动并行、编译器自动优化、大模型训推一体、大模型多硬件适配四项能力。

其中,自动并行能力可以把代码开发做更好的封装,训推一体让训练与推理的能力相互复用,为大模型全流程提供统一的开发体验和极致的训练效率。而通过一系列的编译器自动优化过程,不管是对于语言模型还是扩散模型,整个推理性能都能提升到 30%。

飞桨框架 3.0 还为大模型硬件适配提供了功能完善、低成本的方案,建设了面向硬件厂商的代码合入、持续集成、模型回归测试等研发基础设施,为硬件适配提供了全套保障。马艳军表示,“在 3.0 版本中,硬件厂商只需要针对基础算子做适配,大幅减少了对应的开发工作量。”

此外,新一代框架也为文心大模型提供了压缩、推理、服务等支撑。在 AI for Science 领域,飞桨框架 3.0 为科学计算提供了高阶自动微分、编译优化、分布式训练能力支撑,还建设了面向通用数理问题求解的赛桨 PaddleScience 以及专注于生物计算的螺旋桨 PaddleHelix 工具包。飞桨框架 3.0 还原生支持复数技术体系,这对于如气象预报、汽车 / 飞行器气动分析等场景下的数据特征分析具有重要意义。

“文心快码” 升级至 2.5 版
 代码采纳率达 46%

现场,百度副总裁陈洋宣布智能代码助手 Comate 的中文名为“文心快码”,并发布了最新升级的版本文心快码 2.5。据介绍,文心快码 2.5 在知识增强、企业研发全流程赋能、企业级安全等方面实现了能力提升。

在之前续写、解释代码、问答等能力的基础上,新版本可深度解读代码库、关联权威公域和私域知识生成新的代码,生成的代码更加安全,并且可以智能检测安全漏洞、一键修复漏洞,支持混合云部署等。

陈洋表示,文心快码的“快”主要体现在三大方面:开发速度快、业务迭代快、企业落地快,提供标准版、专业版、企业版、企业专有版 4 大版本。

目前,百度 80% 的工程师已经在深度使用文心快码,其中代码采纳率已达到 46%,新增代码生成占比 29%,百度单位时间提交代码数量增加 35%、研发单周交付占比达到了 57%,整体研发提效 14% 以上。

“原本需要 7 天才能完成的工程量,在 5 天就能够开发完成;百度内部一半以上的研发需求,可以在一周之内完成交付。”陈洋介绍,喜马拉雅一个季度落地文心快码的采纳率就可以达到了 44%。

与此同时,文心快码还已应用到包括上海三菱电梯、软通动力、吉利汽车、晶合集成电路和奈雪的茶等企业,覆盖金融、汽车、机械制造、软件服务等诸多领域。

结语

现场,百度文心大模型同甲骨文信息处理教育部重点实验室打造的“来自甲骨文的回答”互动程序也正式上线,通过调用文心一言的对话能力及对甲骨文文字的释义,古老的甲骨文“活起来”了。

同时,百度与国际爱护动物基金会联合发布“AI 守护官 2.0 版”,通过飞桨平台开发工具 PaddleX 定制打造的模型,提高了鉴别野生动物制品的准确度,缩短了耗费时间,用技术让野生动物保护更加高效。

如今,大模型为代表的人工智能正加速各行各业转型升级。正如王海峰所说,人工智能基于深度学习及大模型工程平台,包括算法、数据、模型、工具等,已经具备了非常强的通用性以及标准化、模块化和自动化的特征,进入到工业大生产阶段,通用人工智能将加速到来。


活动推荐

AICon 全球人工智能开发与应用大会将于 8 月 18 日至 19 日在上海举办,汇聚顶尖企业专家,深入端侧AI、大模型训练、安全实践、RAG应用、多模态创新等前沿话题。现在大会已开始正式报名,6 月 30 日前可以享受 8 折优惠,单张门票节省 960 元(原价 4800 元),详情可联系票务经理 13269078023 咨询。

内容推荐
大模型正在推动历史性技术革命,知识触手可及。2024年6月14日至15日,ArchSummit全球架构师峰会在深圳成功举办,我们精选了峰会中聚焦AI大模型技术应用的相关PPT,内容涵盖了华为云AI原生应用引擎的架构与实践、微众银行大模型研发实践以及B站容量管理实践等。关注「AI前线」,回复关键词「大模型落地」免费获取PPT资料。

今日荐文






图片
你也「在看」吗?👇

文心快码2.5是一款功能强大的工具,可以帮助企业和开发者释放AI的潜力,值得关注。

飞桨框架3.0可以说是人工智能领域的一次重大飞跃。它为大模型训练和推理提供了强大的工具,必将推动人工智能应用的进一步发展。

飞桨框架3.0将大模型训练和推理提升到了一个新的水平,很高兴看到它在未来人工智能领域的发展。

文心快码2.5的升级为企业和开发者带来了许多好处。其深度解读代码库并生成新代码的能力可以显著提高开发效率,而安全漏洞检测和修复功能可以确保代码的安全性。此外,它还提供了标准版和企业版,以满足不同用户的需求。

文心大模型4.0 Turbo的性能提升将使人工智能应用能够处理更多数据、解决更复杂的任务并提供更准确的结果。这对于依赖大数据和需要处理复杂问题的人工智能应用尤其重要,例如自然语言处理、图像识别和药物发现。它还将允许人工智能应用在以前不可能的实时环境中运行。

飞桨框架3.0的推出为大模型训练和推理提供了显著的好处。它的自动并行能力可以简化大模型的开发和调优过程,而编译器自动优化和训推一体可以分别提高推理性能和训练效率。此外,3.0还原生支持复数技术体系,这对于涉及复杂数据分析的应用尤为重要。

文心大模型4.0 Turbo是人工智能发展的福音,让我们拭目以待它在实际应用中的表现。

文心大模型4.0 Turbo的性能提升令人印象深刻,期待它在未来几年对人工智能产业的影响。