跳到正文
arXiv 电力系统研究· S. M. Monzurul Hoque Chowdhury; Nabila Tasfiha Rahman; Qinghua Li·· 1 天前AI 评分36

PS-HalluBench:面向电力系统 LLM 幻觉的分类基准测试

PS-HalluBench: Taxonomy-Driven Benchmarking of LLM Hallucinations in Power Systems

AI 导读

研究团队构建了 PS-HalluBench,一个含 200 道人工编写题目的基准,覆盖数值推理、网络拓扑、约束校验、错误前提接受和拒答五类电力系统任务,用于评估大语言模型的幻觉相关失败。对十款模型的测试整体正确率为 39.35%,约束校验仅 21.75%。引入数值求解器支持和经核验的网络信息后性能显著提升,表明独立 LLM 推理存在明显局限,需与经核验的工程工具结合。

来源:arXiv 电力系统研究 · arxiv.org