从发文数量到证据质量:科研机构如何评价 AI 成果
从发文数量到证据质量:科研机构如何评价 AI 成果
一家研究机构宣布,新工具让团队一年多发了三成论文。这个数字容易写进年报,却没回答成果是否更可信。论文数量增加,可能因为文献整理和绘图省了时间,也可能只是把同一批数据切成更多稿件。评价 AI 科研项目,应先抽样走回研究现场:问题怎么提出,样本怎样得到,分析有没有预先计划,最终图表能否从原始资料重做。
机构可以为每个项目保留一张简明证据地图,把研究假设、样本、数据版本、代码、图表和论文结论连起来。模型帮助找缺口,但负责研究的人逐项确认。若模型生成了分析脚本,研究者不仅要证明代码能运行,还要说明统计方法为什么适用。若它提出了文献,作者要打开原文,看这篇研究是否真的支持自己的话。发表后发现错误,能找到当时使用的版本,才有条件及时更正。
抽样复核时,别只挑最光鲜的项目。选择几项发表快、几项未达到预期、几项跨学科合作,分别看证据链。失败实验如实记录,可能阻止别的团队重复浪费;一份长期维护的数据集,可能比一篇短文更有后续价值。评价表里应该给复现研究、负面结果、方法标准和面向公众的可靠解释留位置。撤稿和更正也不能机械算成负分,主动报告问题通常比隐瞒更负责。
工具还会改变资源分配。模型容易建议已有大量文献的热门题目,小团队和冷门领域可能更难获得注意。机构应检查使用工具后,长期观察、地方研究和资源较少的团队是否被挤压。项目结题时,除了数论文,还可请不参与写作的研究者从存档资料复算一项关键结果;请实际受研究影响的人说说,成果是否回答了他们的问题。
科研人员的时间确实宝贵。若 AI 省下整理文献和排版的时间,机构应允许其中一部分回到检查数据、讨论反例和改进方法,而不把所有节省都变成下一篇投稿期限。管理层若仍按发文量分奖金,工具最终会被推向增加篇数。要改变结果,先改变奖励什么。
对制度的检验可以从一次年度评审开始。让评委分别看论文数和一份完整证据档案,再比较他们的判断是否变化。若一项复现工作纠正了广泛引用的错误,或一个数据集被多个团队正确复用,它应该有与新论文相称的评价位置。机构可以公开这类案例,告诉年轻研究者严谨和纠错同样有职业价值。
一项研究值得信任,不是因为写得快、图画得漂亮,而是它允许别人回到证据,提出异议,并得到认真回应。AI 成果评价若抓住这一点,效率才可能成为知识质量的帮手。