连续扩散与流匹配模型有望成为自回归方法在大语言建模(LM)领域的有力替代方案,因为它们解锁了目前仅限连续模态使用的一系列优势,包括加速采样和倾斜(tilting)。近期,多项研究证明了通过在高斯分布与独热编码数据分布之间进行简单流匹配过程来连续生成离散数据的可能性。这些研究还进一步展示了通过类别流映射(Categorical Flow Maps,CFMs)实现加速采样的可行性,从而获得了具有竞争力的样本……
我可以帮您: