蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上

专题:2026北京智源大会

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向	,生成速度可达传统模型4倍以上-第1张图片

  6月12日至13日 ,2026第八届北京智源大会在北京中关村国际创新中心举行。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲 。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第2张图片

  李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充 ,其在生成速度和可编辑性方面展现出显著优势 。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第3张图片

  他解释到,扩散模型在图像生成领域已是主流范式 ,应用非常广泛。正向过程是通过对图像逐步添加噪声直至变为白噪声,反向过程是从白噪声中逐步去噪,恢复出原始图像。

  而在语言领域 ,当前主流范式是“Next Token Prediction ” 。“就像打字机一样,我前面打出一个字,后面接着就依赖前面去产生下一个字。扩散语言模型则将图像领域的范式迁移到语言中 ,可以像印刷机一样批量、成批地输出词元。 ”

  李建国以今年2月发布的LLaDA 2.1模型(可编辑扩散生成)与蚂蚁百灵2.0模型(100B参数)对比为例 。LLaDA的生成速度约为1000 token/秒,而百灵2.0约为200 token/秒,速度相差4倍以上。

  他指出 ,从核心特性看 ,有两个速度,一个是传统的AR模型,一次只输出一个token ,即使采用投机采样方法(如MTP)也只能做到2-3个。另外一个速度,就是扩散语言模型,起步平均能做到5-6个 ,在代码生成 、智能体等场景中,实际观察可超过10个,最高可达15个 。

  此外 ,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误,可以通过“悔改”机制只修改错误的那一个位置,而无需重新生成整个序列。

  新浪声明:所有会议实录均为现场速记整理 ,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述 。

标签:

相关推荐

  • 德国大学的申请条件/德国大学申请步骤

    德国大学的申请条件/德国大学申请步骤

    去德国读大学需要哪些条件学历条件申请预科:中国普通高校一年级本科生、三年制大专毕业生可申请德国大学预科。专科院校毕业生若想去德国读本科,需先读预科,完成预科后参加大学入学资格鉴定考试,才有申请本科资格。去德国读大学,需要满足以下条件:学历条件211大学一学期或非211大学三学期:申请人需在中国完成至少一学期的211大学学习,或者三学期的非211大学学习。...

  • 6倍“牛股”,紧急回应传闻!

    6倍“牛股”,紧急回应传闻!

      炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!  来源:证券日报之声  本报记者张晓玉  近期AI算力、半导体赛道热度持续上涨,市场出现一些不实供应链传闻,相关上市公司紧急回应。  有网络流传消息称,半导体特气龙头中船特气与台积电签订三年长期供货协议,六氟化钨对台积电供货份额自10%提升至70%,产品单价约1300元/...

    2026/06/16
  • 哈佛访问学者条件/哈佛 访问学者

    哈佛访问学者条件/哈佛 访问学者

    深度解析访问学者类别与哈佛麻省总医院的访学之旅〖壹〗、其类别主要分为基础科研、临床观摩、临床和科研相结合三种,以下以哈佛麻省总医院为例介绍访学相关情况:医学访问学者类别基础科研类申请要求:申请人需具备一定实验室经历,掌握实验技能,发表过相关研究方向文章且做过课题项目,若有SCI发表会更具优势。〖贰〗、方光光在哈佛大学麻省总医院期间主要有以下收获:专业技能的...

  • 【留学生考试有几次,留学生考试有几次机会】

    【留学生考试有几次,留学生考试有几次机会】

    2025年EJU考试,日本留学读本科必看!EJU考试总分是800分(不含记述)+记述50分,分为文科和理科,考生需根据自身情况和目标专业选取参加文科考试或理科考试。文科日语:满分400分+记述50分,主要考察考生的日语阅读、听力、语法和写作能力。数学1:满分200分,主要考察考生的数学基础知识,包括代数、几何、概率等。综合科目是EJU独有的科目,涵盖日本...

  • uow大学(UOW大学马来西亚,土木工程专业)

    uow大学(UOW大学马来西亚,土木工程专业)

    留学性价比之王,伍伦贡大学马来西亚校区〖壹〗、超高性价比:相较于欧美高校高昂的学费和生活成本,伍伦贡大学马来西亚校区提供了更为合理的学费和低廉的生活成本。每年可节省数十万的留学费用,使得更多家庭能够承担得起高质量的留学教育。灵活入学时间:该校提供每年1月、5月、9月三次入学机会,为留学生提供了更加灵活的留学规划选取。〖贰〗、校区分布:伍伦贡马来西亚分校共有...

    2026/06/16
  • 新加坡上小学的条件/去新加坡上小学的费用

    新加坡上小学的条件/去新加坡上小学的费用

    新加坡访问学者—孩子如何就读当地小学〖壹〗、新加坡访问学者的孩子可通过申请私立小学或世界学校就读当地小学,需单独办理学生签证,并根据学校要求准备材料完成申请流程。以下是详细解读:新加坡小学教育概况学制与阶段:新加坡小学入学年龄为7周岁,每年1月第一个星期一开课,学制6年,分为四年基础阶段(小一至小四)和两年定向阶段(小五至小六)。〖贰〗、需要问你给你办理签...

  • 西班牙留学生的未来/西班牙留学生真实生活

    西班牙留学生的未来/西班牙留学生真实生活

    西班牙留学就业前景如何?〖壹〗、西班牙留学之后的工作情况整体不错,但会因专业、语言能力、个人机遇等因素有所差异。就业前景整体向好2025年西班牙失业率降至29%,创17年新低,就业市场呈现复苏趋势。在2025年泰晤士全球大学就业力排名中,西班牙多所顶尖学府因教育质量、就业支持体系及毕业生职场表现获全球雇主认可,为留学生提供了良好的就业环境。〖贰〗、欧盟就业...

  • 德国每年回流留学生(德国留学生回国就业前景)

    德国每年回流留学生(德国留学生回国就业前景)

    出国留学生有什么补贴吗〖壹〗、出国留学生可享受的补贴主要包括免税车补贴、房租补贴、生活补助、购房补贴及职业证书类补贴,具体政策因地区和条件存在差异。免税车补贴留学生毕业两年内回国定居并工作(含港澳地区),可享受购车税减免政策。减免幅度通常为10%,补贴金额根据车型不同,范围在3万至13万元之间。〖贰〗、美国晨光基金奖助学金:为留学生提供奖助学金,其中包...

  • 法国布雷斯特大学/法国布雷斯特商学院是公立还是私立

    法国布雷斯特大学/法国布雷斯特商学院是公立还是私立

    为什么大家选取MBA都选取法国布雷斯特商学院呢?秉承法国独特的“精英教育模式”,强调严格选拔与优质教学,注重理论与实践结合。培养体系完善:提供学士、理学硕士、精英大学文凭(PGE)、专业硕士(MS)、MBA及DBA等多层次课程,满足不同学生的学术与职业需求。世界权威认证与排名优势世界认证齐全:法国国家教育部承认,中国教育部认可,硕士文凭世界通用。法国高等教...

  • 国外大学条件(国外读大学的条件)

    国外大学条件(国外读大学的条件)

    申请国外的大学需要什么条件〖壹〗、申请国外大学的核心条件分为学术、语言、经济和申请材料4类。学术条件:学历上,本科需高中毕业,硕士需本科毕业并获学位,部分专业要求相关背景或工作经历。GPA通常需0/0以上,热门院校或专业可能要求5-8。〖贰〗、申请国外顶尖大学,学术成绩方面需满足以下条件:核心科目成绩良好:顶尖大学期望申请者有一份基本全是“A”的成绩单...

    2026/06/16
返回顶部