LLM-FSM：LLM硬件代码生成能力基准测试 [2026]
- 使用1,000个FSM问题评估LLM的RTL代码生成能力
- FSM复杂度越高，最新LLM的准确率也急剧下降
- 微调和扩大推理时间是性能改善的关键
能否用自然语言创建芯片设计代码
斯坦福研究团队公开了LLM-FSM基准测试。 用于测量LLM从自然语言理解有限状态机(FSM)并将其转换为RTL代码的能力。[arXiv] 通过将YAML规范转换为自然语言，然后要求LLM实现的方式自动生成了1,000个问题。
复杂FSM中准确率急剧下降
即使是最强大的LLM，状态数量增加时准确率也会急剧下降。[arXiv] 虽然可以很好地处理3~5个状态，但超过10个状态时准确性会大大降低。 由于实际芯片设计中要处理数百个状态，因此目前很难在实际工作中应用。
微调和推理扩展是突破口
应用微调(SFT)后，对新型FSM的泛化性能得到了提高。 增加推理时的运算量也提高了可靠性。[arXiv] Synopsys、Cadence等EDA企业也在开发AI芯片设计工具，因此该方向备受关注。[Synopsys]
常见问题 (FAQ)
Q: LLM-FSM是什么？
A: 斯坦福研究团队创建的评估工具。 用于测量LLM是否可以读取自然语言FSM规范并生成准确的RTL代码。 由1,000个自动生成的问题组成，包含各种复杂度。
Q: RTL代码为何重要？
A: RTL是描述数字电路的核心设计阶段。 用Verilog或VHDL编写，自动化后会对芯片开发速度和成本产生重大影响。
Q: 可以直接在实际工作中使用吗？
A: 目前还很难。 在复杂的FSM中，准确率会大大降低。 但是，已经确认微调和推理扩展可以改善性能，因此有可能发展成为辅助工具。
如果这篇文章对您有帮助，请订阅AI Digester。
参考资料
- LLM-FSM 论文 – arXiv (2026-02-03)
- Synopsys AI EDA – Synopsys (2026-02-10)
- Cadence Cerebrus – Cadence (2026-02-10)