发布 Old Ideas, Novel Problems 研究：LLM 判断研究创新性的可靠性存疑

allenai 发布 Old Ideas, Novel Problems 研究及 novelty judge 基准。研究通过 ICLR 2026 同行评审挖掘 novelty 信号，构建 Human-Only 与 Human+Generated 两评估设置。实验发现，在六款 LLM 判断模型中，仅提示词的细微变化即可使判断准确率偏移 50 个百分点以上；检索和额外推理并不能 consistently 改善判断结果，且两套专用 novelty 评估系统表现不如简单的 prompted Claude Opus 4.6 baseline。核心结论是，LLM 判断研究创新性的能力高度依赖于评估设置，目前尚不可靠。

AI 根据报道生成 · 4 天前更新

1. 110月28日 00:00收录于 10月28日 00:45单一来源有修订

   发布Old Ideas, Novel Problems研究

   核对原始报道 ↗ Hugging Face Blog在探索工作台回到这个时点

不确定性标注指出需要核对原文的地方，不是已证实的因果。

不同报道并不自动代表观点冲突；阅读原文核对事实、条件和发布日期。后续来源加入后此处会自动更新。