云天励飞SPACE引擎在ACL展现卓越性能：大模型推理速度提升4倍
发布时间：2026-09-03阅读(1)
根据您提供的内容，我为您优化了这篇文章的段落结构，并保留了原文中的图片和代码标签。以下是优化后的文章：
---
**第62届国际计算语言学年会（ACL）在泰国曼谷举行**
*云天励飞大模型团队的论文《Generation Meets Verification: Accelerating Large Language Model Inference with Smart Parallel Auto-Correct Decoding》被录用为ACL24的Findings长文。这是云天励飞大模型部分研究成果的阶段性展示。*
**ACL 年会简介**
*ACL 是计算语言学和自然语言处理领域国际排名第一的顶级学术会议，由国际计算语言学协会组织，每年召开一次，在中国计算机学会（CCF）推荐会议列表中被列为 A 类会议。*
**云天励飞的入选论文**
*提出了SPACE引擎—— 一种实现大模型推理无损加速的创新方案。在不同类型大模型测试的结果表明，使用SPACE引擎后，模型在HumanEval测试集上推理速度提升270%-400%，推理结果质量保持不变，可做到兼顾“算得快”和“算得准”。*
!SPACE引擎示意图
**主流推理方案面临挑战**
*主流推理方案难以做到“既要又要”，半自回归推理和投机解码等方案都存在弊端。*
**SPACE引擎的特点**
*SPACE是Smart Parallel Auto-Correct Decoding的简称，意为“智能并行自动纠错解码”。*
*这种推理方案有两大特点：一是采用半自回归推理模型，极大加快推理速度；二是在推理过程中加入验证手段，能够在提升推理速度的同时，保证推理精度。*
**什么是半自回归？为什么要加入验证的环节？**
*要解释这个问题，我们需要先了解下当前大模型是如何“工作”的。*
!大模型工作原理示意图
*大模型在背后经历了多次“自回归”的循环。*
*首先，大模型会根据我们输入的内容，预测输出的第一个字——“大”，然后把“大”字重新带回到输入端，基于“大”字预测下一个字应该输出什么。当然，这个“预测”并不是凭空“瞎猜”，而是模型会依据前期训练过程中见过的数据综合判断，选择概率最高的字，作为下一个输出字。*
*在这个案例中，第二个输出的字是“模”，输出了第二个字后，大模型再次会把“大模”这两个字带回到输入端，预测第三个生成的字。如此不断循环往复，直至完整的句子结束。*
*这个过程就是“自回归”。*
*目前，自回归是大模型推理采用的主流方案。无论是ChatGPT、开源的Llama，还是国内的一众大模型，主要都是采用自回归的推理方案。*
!自回归方案示意图
*自回归方案的优势和弊端也十分明显。优势是能够确保生成的内容准确且有意义，而且上下文连贯。弊端是计算成本高、推理延时长。*
**行业解决方案**
*为了克服这些问题，行业提出的解决方案是“半自回归”和“投机解码”。*
**SPACE引擎的优势**
*SPACE通过结合“半自回归监督微调”和“自动修正解码”两种方案，使得大模型能够在一次推理中生成多个结果，并且同步完成结果验证，保证生成结果的质量。同时，*
