跳到正文
热点事件观察中

研究团队发布PS-HalluBench电力系统幻觉基准

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究团队发布预印本论文,提出 PS-HalluBench——一个含 200 道人工编写题目的基准,覆盖数值推理、网络拓扑、约束校验、错误前提接受和拒答五类电力系统任务,用于评估大语言模型的幻觉相关失败。 团队用该基准评测十款模型,整体正确率为 39.35%,约束校验仅 21.75%。作者称,引入数值求解器支持和经核验的网络信息后性能显著提升,表明独立 LLM 推理存在明显局限,需与经核验的工程工具结合。该论文为预印本,尚未经同行评审。

AI 根据报道生成 · 46 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. arXiv 电力系统研究
    PS-HalluBench:面向电力系统 LLM 幻觉的分类基准测试

    研究团队构建了 PS-HalluBench,一个含 200 道人工编写题目的基准,覆盖数值推理、网络拓扑、约束校验、错误前提接受和拒答五类电力系统任务,用于评估大语言模型的幻觉相关失败。对十款模型的测试整体正确率为 39.35%,约束校验仅 21.75%。引入数值求解器支持和经核验的网络信息后性能显著提升,表明独立 LLM 推理存在明显局限,需与经核验的工程工具结合。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。