多Agent系统自动发现科学假设：前沿方法评测

科学假设的生成历来依赖研究者的直觉与经验。互联网信息规模爆炸式增长，能否让AI从这些“原始矿藏”中自主发掘有潜力的新假设？南洋理工大学、德克萨斯大学、华中科技大学及新加坡科技设计大学组成的联合团队，试图回答这一问题。他们提出的MOOSE框架，可能为这一方向开辟新路径。

标题: Large Language Models for Automated Open-domain Scientific Hypotheses Discovery

论文地址：https://arxiv.org/pdf/2309.02726

代码链接：https://github.com/zongliny/moose

摘要

科学家探索未知时，常通过归纳推理形成假设来解释观测现象。但现有归纳推理研究存在两处短板：

1. 多数研究依赖人工筛选的句子，而非直接使用原始网络数据，导致数据来源受限。

2. 作为基准的假设往往基于常识，降低了问题的挑战性。

若能直接从非结构化网络数据中自动提取信息，并生成人类尚未提出的科学假设，将是极具价值的方向。

核心内容

数据集处理

该研究首先要啃的硬骨头是构建一个干净且具备挑战性的评估数据集。团队的做法如下：

1. 论文筛选：从2023年1月起，选取50篇发表在顶级社会科学期刊的论文，覆盖心理学、人力资源管理、信息系统等多个子领域。

2. 专家分析：由社会科学专家逐篇提取论文核心假设，追溯其背景与灵感来源，形成完整推理链。随后在互联网语料中检索语义相近的内容，收集完整段落作为原始语料补充。

3. 数据纯净性：设计关键——刻意避开直接复述论文背景与灵感，转而在原始网络语料中匹配语义相似的文本，确保从原始语料出发提炼假设。

4. 材料搜集：除论文链接外，还收集全部50篇论文相关的14篇综述，用于评估假设的新颖性。

5. 数据集制作：由一名社科博士生独立完成数据构建。因手动筛选工作量大，该数据集的标注较多用作人类表现基准。

MOOSE框架

MOOSE（MultimOdule framewOrk with paSt present future feEdback）是一个面向自动化开放领域科学假设发现的前沿框架。其核心在于将大型语言模型的生成能力与多重反馈机制相结合，从海量文本中自动识别并提炼出潜在的高价值研究假设。

1. 核心架构 (MOOSE-Core)

MOOSE体系的基础是多功能核心架构，它复现了社会科学家构建初步假设的流程，主要包含以下阶段：

• 背景探索器 (Background Explorer): 分析原始网络文本资源，识别合适的研究背景。
• 创意标题搜索器 (Creative Title Searcher): 确定背景后，搜索与之相关的标题，激发潜在创意。
• 创意搜索器 (Creative Searcher): 基于选定标题，在相关文献中挖掘能触发假设构思的关键句子或段落。
• 假设生成器 (Hypothesis Generator): 融合背景与创意，输出可能的研究假设。

2. 改进策略（Feedback）

MOOSE通过三种反馈策略增强假设生成的准确性：

• 即时反馈：当某模块输出可立即评估时，框架利用其他大型语言模型（LLMs）的反馈，使该模块依据反馈和之前生成内容自动调整，提升质量。
• 历史反馈：对于无法即时评估输出的模块，持续运行至产生可评估的输出，再通过评估结果为先前操作提供反馈。例如，生成“灵感标题”时无法即时判断效果，但借助该标题生成“假设”后，可通过评估假设质量来反推标题生成的有效性。
• 未来反馈：为后续模块提供额外信息以促进更高质量输出，包含两方面：一是提供输出理由（FF1），二是在关键模块前增设辅助模块以减轻推理负担（FF2）。

总结

本文主要贡献包括：

• 构建了一个面向开放领域科学假设发现的NLP专用数据集。
• 设计了一套创新多模块系统（MOOS）及三种反馈策略，有效提升科学假设生成的准确性，并验证了从原始网络语料中提取科学假设的可行性。

来源：互联网