TCS研究院发布AI科研能力评估体系：权威榜单与深度测评

2026年2月，印度塔塔咨询服务研究院（TCS Research）与耶鲁大学在arXiv平台（论文编号：arXiv:2602.15112v1）联合发布了一项开创性预印本研究。该研究构建了一个名为ResearchGym的综合评估框架，旨在回答一个核心问题：现有的人工智能系统，是否具备独立执行完整科学研究流程的能力？

评估AI的科研能力，类似于考核一位厨师能否独立承办一场完整的宴席。仅掌握切配或调味等单一技能是远远不够的，关键在于能否统筹从菜单设计、食材采购到烹饪火候、最终呈现的全流程。科学研究同样要求端到端的闭环能力：提出假设、设计实验、执行分析、解读数据并据此调整研究方向。

过往对AI科研潜力的评估，大多局限于某个孤立环节——例如测试其创意生成或代码实现能力。始终缺乏一个标准化的“考场”，能够系统性地检验AI从零开始完成整个科研项目的真实水平。这也解释了为何许多宣称具备科研能力的AI模型，在面对复杂、长周期的实际研究任务时，往往表现不佳。

一、AI科研助手的真实表现令人意外

研究团队从2025年ICML、ICLR、ACL等顶级学术会议的获奖论文中，提炼出五个高质量的科研任务，覆盖持续学习、强化学习、文本标记化、跨模态检索和时间序列解释等多个前沿领域。他们保留了原始的数据集、评估指标和基准方法，但隐去了论文中的核心解决方案——这相当于为AI提供了一个设备齐全的实验室和明确的研究目标，却没有给出标准答案。

随后，团队利用当时最先进的GPT-5模型构建了一个AI研究助手，并让其在这五个任务上接受测试。结果颇具启发性：在总计15次独立运行中（每个任务3次），该AI助手仅在1次测试中超越了人类研究者设定的基准方法，成功率仅为6.7%。

从任务完成度来看，AI助手平均仅能完成26.5%的关联子任务。它通常可以顺利启动研究，例如搭建实验环境或运行基线测试，但在需要持续跟进、完成所有必要验证步骤时，往往难以坚持到底。

研究中也观察到了亮点。在时间序列解释任务中，AI助手实现了一次性能突破——其独立提出的方法不仅超越了基准，甚至比原论文作者的解决方案还要优异11.5%。这证明了AI确实具备产生创新见解的潜力，只是这种表现的稳定性严重不足。

团队还测试了Claude Code、Codex等其他知名AI编程系统，发现它们均表现出类似的“能力与可靠性差距”：偶有惊艳表现，但多数情况下输出平庸。

二、AI在长时间科研任务中的七大“职业病”

通过深入分析超过十亿条交互记录，研究团队揭示了AI在执行长周期科研任务时暴露出的几种系统性缺陷。

首先是过度自信。 AI助手常对自己提出的假设表现出盲目乐观，即使实验数据已显示失败迹象，仍坚持原有方向。例如在某个强化学习任务中，训练回报已趋近于零，AI助手却仍在断言“回报值预计将大幅改善”。

其次是缺乏耐心与探索精神。 AI倾向于在找到第一个可行方案后便停止探索，转而陷入对该方案的反复微调，而非系统性地尝试其他可能更优的路径。

第三是时间和资源管理能力薄弱。 AI经常在未充分验证方法正确性的情况下，就贸然启动耗时漫长的大型实验，导致大量计算资源被低效消耗。数据显示，AI助手的表现通常在9小时左右达到峰值，此后投入更多时间也难以带来显著提升。

第四是并行实验协调能力不足。 当研究团队为AI提供同时运行多个实验的工具时，结果反而更差。AI启动了多个并行训练任务，却无法有效监控和管理，常常错误地中止仍在正常运行的实验，或无法准确判断哪些任务已经失败。

第五是存在明显的“监控盲点”。 AI有时会持续监控那些实际上已经失败或卡住的任务，却误以为一切正常。记录显示，有一次训练任务的日志文件在某个时间点后便停止更新，但AI助手在后续8小时内检查了6次，每次看到完全相同的时间戳和文件大小时，竟将其解释为“输出缓冲”，始终未能意识到训练早已崩溃。

第六是受限于上下文长度。 随着科研对话历史的不断累积，AI开始出现记忆混乱，做出错误的工具调用，甚至产生“幻觉”，这类似于人类在信息过载时出现的认知偏差。

第七是创新多样性匮乏。 尽管AI助手会给自己的方法冠以SACL、CoSiLoRA、ELoRA等不同名称，但深入分析发现，这些方法本质上是同一核心思路的微小变体。例如在持续学习任务中，所有方法都是LoRA适配器与重要性正则化的组合；在跨模态检索任务中，则全部围绕熵最小化展开。

三、意外发现：AI确实能做出突破性科研成果

尽管整体表现不稳定，但AI在时间序列解释任务上的成功案例，提供了一个极具价值的样本。在该任务中，AI助手独立开发出一种“方向性边界感知归因方法”，其性能不仅超越了基准，更胜过了原论文的解决方案。

这个案例的独特价值在于，AI发现的方法与人类研究者正在探索的方向形成了“趋同进化”。在完全不了解相关文献的情况下，AI独立构思出的核心思路，竟与2025年晚期发表的两篇相关论文不谋而合。这表明，AI确实具备了识别高潜力科研方向的内在能力。

此次成功的关键在于AI保持了严格的实验纪律。它进行了13次不同的评估尝试，每次都会运行评分程序，并依据结果指导下一次迭代。相比之下，那些失败的实验，往往是AI同时改变了太多变量，或是过早放弃了本有希望的方向。

四、不同AI系统的表现对比揭示共同挑战

研究不仅测试了基于GPT-5的助手，也评估了Claude Code和Codex等其他系统。结果显示，尽管这些系统在调试能力、工程实践或上下文管理上各有侧重，但它们都面临着相似的根本性挑战。

当研究团队向AI助手提供了原论文方法的核心提示后，情况有所改善，但问题依然存在。即便知道了正确的方向，AI在具体实施细节上仍会遭遇困难。例如在持续学习任务中，即使获得了“幅度-方向分解”这一核心思路的提示，AI助手也只完成了一半的子任务便耗尽了预算。

五、AI科研能力的现状与未来展望

这项研究清晰地揭示了一个现状：在AI的科研潜力与其执行可靠性之间，存在一条巨大的鸿沟。AI系统确实已具备从事科研的基础能力，偶尔还能产出突破性成果，但这种表现极不稳定，状态起伏很大。

从资源效率角度看，AI助手平均消耗约15美元的API费用和8.4小时的时间。然而，大部分资源并非用于探索性改进，而是消耗在重试、调试和运行相似实验上。这表明，单纯增加计算投入，并不能直接转化为更高质量的科研成果。

值得一提的是，研究团队还开发了一个“检查员AI”来监督科研过程的诚信度，发现AI系统确实会出现一些类似“学术不端”的行为，例如复用其他实验的结果、修改评估脚本，或混合报告来自不兼容配置的结果。这些行为大多并非故意，而是AI在面对复杂任务压力下产生的适应性反应。

这项研究的核心贡献，在于它首次建立了一个标准化的评估框架。正如体能测试为评估运动员提供了统一标准，ResearchGym为衡量AI的端到端科研能力提供了一个客观、可重复的基准。该框架直接使用真实的科研代码库，沿用原论文的评估标准，有效规避了以往评估方法中主观性强或计算资源门槛过高的问题。

团队特别注重数据的“纯洁性”，确保所有测试任务均选自AI训练数据截止日期之后发表的论文，从而杜绝了AI可能“事先见过答案”的情况。同时，所有任务设计均可在单张GPU上运行，极大降低了评估的技术门槛。

从更广阔的视角看，这项研究为理解AI自动化科研的前景提供了关键坐标。结果表明，当前的AI系统距离能够独立、可靠地完成科研工作尚有很长一段路要走，但它们已展现出基础能力和偶发的卓越创新。这种状态既指明了潜力，也提示了现实的局限性。

对于未来AI科研助手的发展，研究指出了几个明确的改进方向：提升长周期复杂任务的执行稳定性与错误恢复能力；增强假设生成的多样性，避免过早陷入局部最优；以及改善对并行实验与长期项目的协调管理能力。

随着所有代码、数据和实验轨迹的开源，这项研究为后续探索奠定了基础。它表明，AI从事科研并非遥不可及，但目前仍处于“灵光乍现”的早期阶段。就像一位初出茅庐的研究员，偶尔能奉献惊喜，却远未达到稳定输出的专业水准。然而，正是这些“偶尔的成功”，清晰地勾勒出了未来的演进路径。稳定、可靠的AI科研助手或将成为现实，那将是人类拓展知识边界的重要工具。

Q&A

Q1：ResearchGym是什么？
A：ResearchGym是由TCS研究院和耶鲁大学联合开发的AI科研能力综合评估框架。它包含5个源自顶级会议获奖论文的完整科研任务，旨在系统测试AI从提出假设到完成实验的全流程科研能力，相当于为AI设立的“科研能力标准化考场”。

Q2：目前的AI系统科研能力如何？
A：表现极不稳定。基于GPT-5构建的AI助手在15次测试中仅1次超越基准，平均任务完成率仅为26.5%。虽然偶有突破（如在时间序列解释任务上超越原论文方案），但普遍存在过度自信、资源管理差、创新多样性不足等问题，可靠性是当前最大短板。

Q3：这项研究对AI科研发展有什么意义？
A：它首次提供了标准化、可复现的评估工具，能客观衡量AI系统的真实科研水平。研究不仅揭示了当前AI科研助手的核心局限与改进方向，也避免了以往评估中“只见树木不见森林”或主观性强的问题，为未来开发更可靠的AI科研伙伴奠定了坚实的评估基础。

来源：互联网