Ushma Neill是紀念斯隆—凱特琳癌癥中心（MSKCC）科學教育與培訓部門的副主席，她提出，決定頂級科研機構做出雇傭和晉升，以及資金支持決議的一個問題是：“候選人是否將會到達其所在領域的最前沿？”她表示，最重要的一點是這些科研組織需要能夠促進科學向前發展的成員。她說，一般而言，評估候選人潛力的方法，通常在很大程度上是出于“直覺”，但這種情況正在發生改變。
對學科的影響仍然主要是通過發表作品來衡量。盡管高校不會為雇傭或者晉升設置發表作品數量，因為嚴格數量的限制并不能反映出作者的學術貢獻，也無法反映出發表作品是研究綜述還是原創發現。另外，不同領域因其工作形式不同也無法一概而論。有些領域看重同行評議和會議論文，有些則強調書籍和專著。非正式研討會議會提出每年目標，比如博士后人員發表幾份，而正式成員要發表五份或者更多。然而，Neill指出，質量遠遠要比數量更重要。一項綜合的、被廣泛征引的研究比起從一個單獨項目中摘下多篇次要文章更有價值。
丹麥哥本哈根大學理學院負責科研工作的副院長Morten Pejrup說，學術影響力還通過顧問和同行推薦以及研究、指導和教學獎項來衡量。但他說，這些“老派的方法”可以輔之以新的工具。
超越傳統衡量方法
在對求職者進行評估時，Pejrup會檢查Scopus，這是一個經過同行評議的期刊文章、著作和會議記錄組成的訂閱數據庫系統。“你可以看到引用、期刊影響因子以及作者的排序，”他說。“但你也可以看到，一個人是否總是與相同的人一起出版，或者是否為不同的群體做出過貢獻”。諸如Scopus或web of Science之類的出版物數據庫可以包括“h因子”和“m因子”等文獻統計學工具，這些工具結合了出版物和引用數量的測計方法來表征影響力大小。
哥本哈根大學理學院的高級執行顧問Trine Buhl Monty指出，衡量學術成果的趨勢在一定程度上是由資助者推動的。例如，英國最近制定完成了《2014年科學研究卓越框架》（REF 2014），該決議旨在推進大學的研究質量及其對經濟和社會的影響。除此之外，此項決議還有影響科研資金支持的功能。Buhl Monty說，“地平線2020”（Horizon 2020）是歐盟最大的研究和創新資助項目，它強調與部門間伙伴合作關系以及開放科學相關的影響，以確保項目結束后仍會繼續發揮影響力。作為回應，一些教師現在將產學研協作、開放獲取發表作品和開源軟件歸入“科研成果”。
華盛頓大學圣路易斯醫學院的圖書管理員Cathy Sarli專門從事科研影響力評估工作。除了出版物、引用量以及期刊影響因素（以兩年內被引用于某一給定期刊所發表文章中的平均次數為計）之外，她的研究涉及多樣化評估。她說，影響因素是在20世紀中期發展起來的，用來比較同行評議的期刊，而不是個別的研究者。“相關組織正在超越傳統的原始數據，”她說。“他們正在利用其他指標，開發自己的資源。”
一個例子是相對引文率（RCR），它是由美國國立衛生研究院（NIH）最近開發的，用來衡量一篇文章的影響力。今年，NIH公布了計算這個指標的免費工具iCite。相對引文率可作為與同一領域其他論文進行比較的指標。這樣就可以在具有不同專業的科學家之間進行比較，這種比較在分配內部資源、任命主席和領導職位以及提供資金時，往往是必要的。這些決定可能需要比較“蘋果和橘子，有時是蘋果和西葫蘆，”Neill說。
2015年，Neill和紀念斯隆—凱特琳癌癥中心的兩位同事發表了他們的方法，利用來自Scopus和其他來源的數據，對不同領域和不同階段的研究人員進行考量。她解釋說，“我們希望創造一個公平的競爭環境，用來比較諸如結構生物學家和外科醫生的生產力和影響力。”Neill指出了另一個追蹤學術生產力的潮流引導者：紐約大學Langone醫學中心。
研發儀表板和數據集系統
紐約大學Langone醫學中心用以追蹤學術及臨床績效的儀表板系統開始于2007年任命Robert Grossman為院長兼CEO。Grossman想要標準化的報告來指導戰略決策。紐約大學Langone醫學中心的信息技術團隊構建了一個系統，該系統可以顯示來自整個組織的數據。圖形顯示了臨床評估、科研績效、教學統計數據以及資金支持情況。負責科研實體及戰略的副總裁Laura Ahlborn表示，對于衡量基礎研究，儀表板系統提供四個方面的指標：資助、出版物、創新(如專利)和效率(例如，每位全職員工的生產率)。管理者使用儀表板來跟蹤各部門的業績，以及每一位成員。
“我們使用儀表板指標來制定戰略決策，確定我們的優勢和劣勢，并指導我們把時間和資源投入何處，”紐約大學Langone醫學中心負責科學研究工作的高級副主席兼副院長、該中心的首席科學官Dafna Bar-Sagi表示。“儀表板顯示出一段時間內的表現，所以它對監測教師的職業軌跡也很有用，并可據此向他們提供建議。”
Ahlborn和Bar-Sagi強調儀表板系統是與人的判斷力結合使用的。“學術上的努力不能嚴格地以數字來衡量，”Bar-Sagi說。“因此，儀表板系統是成員和領導之間進行持續交流的諸種要素之一。”
兩人都表示，人們對衡量學術影響力的工具很感興趣，而且他們經常劃定范圍要求提供有關儀表板系統的信息。毋庸置疑，這需要做大量工作。設置儀表板系統需要對基礎結構進行初始投資，并就收集哪些數據以及系統如何相互通信作出決定。儀表板不斷更新，包括添加“相對引文率”作為衡量指標。Ahlborn說，開發和維護這個資源是可行的，因為紐約大學Langone醫學中心擁有一種量化、精確、數據驅動的決策文化。
追蹤受訓人員
從2006年開始，丹麥政府決定增加投入以擴大其大學博士生的招收。學校使用了增長數據（其中大部分是自生成報告數據）來追蹤他們的畢業生是如何在教育、研究、政府和其他部門找到工作的。鑒于公眾對利用納稅人的資金讓非丹麥人接受教育的關注，這些大學還要知道國際學生去了哪里，以及他們得到了什么工作。
“我們必須透明，向決策者和納稅人展示我們正在生產的產品，”Pejrup說。“理科占了大學預算的40%。”Pejrup的部門現在已經編制了兩份實質性報告，其中載有關于碩士和博士畢業生的縱向數據：他們從事的工作、他們工作所在國家以及他們的工資。例如，通過說明該國是否正在為國內和國際就業市場培訓適當數量的博士人才，來為研究生課程安排、培訓戰略和政策制定提供信息。
Buhl Monty說，這些報告還有助于通過展示學術界以外的職業選擇來為博士生提供指導。對于想做教員的學生來說，這些數據可以指明去到另一個國家找到工作的重要性。“它向學生展示了什么是可能的，”她說，“并以此來調整他們的預期。”
Pejrup還在實施一項他評估科學貢獻的措施，并希望使其得到廣泛傳播。“更多的大財團正在制作出版物，”他說，“例如在物理學或基因組學合作方面。除非有人是第一作者，最后作者，或通訊作者，否則很難知道他們貢獻了什么。”在生物信息學等領域，發表作品可以有很長的作者名單。需要知道是誰做了最重要的工作，以此來對每一位協作者進行評估。
Pejrup希望看到對科研貢獻的描述在學術報告中變得更加標準化。他一開始就要求博士論文中插入出版文獻作為章節，并涵括學生對文獻所作出的綜述。“許多期刊現在需要這種描述，”Pejrup說。“將其作為公開信息，有助于人們對作者的工作進行評價。”
個別科學家也在開發自己的績效測量指標。在華盛頓大學水產和漁業科學學院，Trevor Branch副教授創建了一個數據庫，其中包含了他所在領域中被引用最多的論文。它包括一個測量標準，用于評估個人對在與多位作者進行合作研究中所作出的貢獻。這個計算并不是自動進行的，但已經在2016年的概念驗證論文中進行了測試。Branch說數據庫主要是一種愛好，但他認為它在戰略上很有用。“我是一個建模師和數據分析師，”他說。“這個數據庫能幫我了解大局——我在哪里可以發揮最大的作用，哪些領域是別人感興趣的，我應該做什么，我應該在哪里發論文？”
聯合信息圖像和社交媒體
開羅美國大學生物信息學和基因組學副教授Ahmed Moustaf表示，為你個人的研究系統添加測量指標是很簡單的。在他的2013年任期檔案中就包括來自Impactstory的數據，這是一個基于網絡的工具，用于評估科研成果的承擔份額以及引用情況。在其在線履歷中的發表作品清單，采用Altmetric這一數字科學公司的彩色甜甜圈圖表形式，顯示出他所發表成果的傳播情況。這些評估舉措反映出了公共傳播與公眾參與，資助者和機構現在將這一領域也納入學術成果評估體系之中。
Moustafa認為，這些信息豐富了他的檔案材料。“這很受歡迎，”他表示。“我的評審委員會在把我的終身教職申請提交給院系和學校的時候使用它。報告介紹了我在科學界的研究情況，并對我的工作做出了全球知名度以及重要性方面的評估。”
Moustafa說，設置Impactstory和Altmetric這些工具不需要花費太多時間和精力，而且更新是自動的。他還利用這些信息向潛在的合作者做自我介紹。他指出，其所在的生命科學領域中，資助提議將Altmetrics或Impactstory以及其他創造力評估系統所提供的信息作為衡量標準的情況并不罕見。
Branch已將社交媒體活動納入到其資助申請的參與計劃中，而報告卻反應出評審人員意見的毀譽參半。他說，推廣和參與可以通過多種方式進行。一些人可能會傾向于使用社交媒體與社區互動，但其他人可能更喜歡公共活動、博客或其他方法。“要了解什么類型的科學推廣方式對你有用，”他說。但是，當你有機會推動工作進展時，在適當地方有一個接觸渠道會很有幫助。
當Branch的學生Cole Monnahan在2014年發表了一份關于藍鯨的研究報告時，他們知道公眾會感興趣，所以Branch在社交媒體賬號上宣傳了這一報告。“這簡直是一飛沖天，”他說，結果是獲得了一次BBC專訪，又被其他新聞媒體采用報道。由此實現了面向更多公眾的傳播，但這種方法之所以有效，是因為這個主題是關于大型海洋哺乳動物。“同一位學生發出一份關于統計方法的論文，可能會對這一領域產生更大的影響，”Branch說，“但它不會有那么大的新聞價值。”
正確使用評估工具：始終將其置于相關信息之中
隨著學術績效評估工具的更新換代，專家們強調，數量指標只是科學影響真正發生作用的一部分。“這些測量方法從來不是在真空中使用的，”Neill表示。“它們增加了推薦信、教學經驗、科研經費申請成功率以及機構服務情況。”一份真實的發表成果概況可能會得到候選人面試，Pejrup指出，但是被面試者對研究目標進行描述的能力以及談話中的印象才是真正重要的。
Sarli同樣認為，數字和圖表是很有說服力的，但應該始終結合其他相關情況一起考量。當使用文獻計量學或其他表征指數時，她建議提供一份關于評估工具及其局限性的描述。她說，定量指標應該始終是關于你的科學影響力表征的一部分。“對于衡量績效、質量或影響力，單獨一項指標是不夠的，”她說。“不要單單用數字來講述你的故事。”■
Chris Tachibana是美國西雅圖和丹麥哥本哈根專題科學作家。
DOI: 10.1126/science.opms.r1700173
鳴謝：“原文由美國科學促進會（www.aaas.org）發布在2017年2月10日《科學》雜志”。官方英文版請見http://www.sciencemag.org/features/2017/02/new-tools-measuring-academic-performance。