研究团队发布PS-HalluBench电力系统幻觉基准
热点事件观察中
研究团队发布PS-HalluBench电力系统幻觉基准
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
研究团队发布预印本论文,提出 PS-HalluBench——一个含 200 道人工编写题目的基准,覆盖数值推理、网络拓扑、约束校验、错误前提接受和拒答五类电力系统任务,用于评估大语言模型的幻觉相关失败。 团队用该基准评测十款模型,整体正确率为 39.35%,约束校验仅 21.75%。作者称,引入数值求解器支持和经核验的网络信息后性能显著提升,表明独立 LLM 推理存在明显局限,需与经核验的工程工具结合。该论文为预印本,尚未经同行评审。
AI 根据报道生成 · 46 分钟前更新
最新进展11月17日 07:59
PS-HalluBench:面向电力系统 LLM 幻觉的分类基准测试报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- arXiv 电力系统研究PS-HalluBench:面向电力系统 LLM 幻觉的分类基准测试
研究团队构建了 PS-HalluBench,一个含 200 道人工编写题目的基准,覆盖数值推理、网络拓扑、约束校验、错误前提接受和拒答五类电力系统任务,用于评估大语言模型的幻觉相关失败。对十款模型的测试整体正确率为 39.35%,约束校验仅 21.75%。引入数值求解器支持和经核验的网络信息后性能显著提升,表明独立 LLM 推理存在明显局限,需与经核验的工程工具结合。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。