7 月 31 日消息,字节跳动 Seed 团队今天宣布推出实验性扩散语言模型 Seed Diffusion Preview,目标是以结构化的代码生成为实验领域,系统性地验证离散扩散技术路线作为下一代语言模型基础框架的可行性。
实验结果显示,Seed Diffusion Preview 代码推理速度可达到 2146 tokens / s,速度相比同等规模的自回归模型提升 5.4 倍。在多个业界基准上,Seed Diffusion Preview 性能与优秀的自回归模型相当,并在代码编辑等任务上实现超越。
IT之家从 Seed 团队介绍获悉,在实现高效采样的同时,模型在多个代码生成基准测试中,表现出与同规模自回归模型相当的性能。此外,在代码编辑(如 CanitEdit 等)这类需要全局视角规划的任务中,模型展现了扩散模型框架的内在优势,性能超过基于自回归的模型,为解决更复杂的结构化推理问题提供了新的可能性。
文章来源:
IT之家
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至23467321@qq.com举报,一经查实,本站将立刻删除;如已特别标注为本站原创文章的,转载时请以链接形式注明文章出处,谢谢!