科學家們的工作通常使用由一家名為ISI的公司編輯的引用統計數據來評估。但是，如何使用這些數據以及這些數據的可靠性如何呢?《自然》雜志社的編輯對引用數據的分析方法以及相關的產業進行了調查。
編者按：2002年2月14日出版的英國《自然》雜志發表了專題特稿和討論文章，對科學引文統計，特別是ISI的SCI統計和使用中存在的一系列問題進行了調查。文章指出了ISI統計數據中的方法所造成的內在差錯，以及在使用中出現的種種問題。文章認為，使用ISI的期刊影響因子等指標來衡量科研質量是
“窮人省錢的評價方法”。文章還說明了ISI早期的“浪漫時代”和公司現今的商業化操作方式間的重要差別。文章特別指出ISI的商業策略是完全合法的，ISI對使用中出現的問題不負任何法律責任，但是，ISI的商業策略以及使用引用分析本身是否對科學事業總體有益，是一個更大的和無法回答的問題。文章指出，只要引用分析還被用于科學界的評估，這場爭論就一定會繼續下去。
荷蘭萊頓大學科學技術研究中心的Henk E.
Moed在同期《自然》雜志也發表了題為“關于影響因子的討論：ISI的用處和局限性”的文章，?渲兄賦雋嗽謔褂夢南準屏墾?臣蒲芯恐校?芯空吆褪褂謎弒匭胍??宄??8個關鍵問題。中國國家自然科學基金委員會雜志部的祖廣安等也參與了這場討論，他們在該期《自然》上的文章特別指出了ISI非英語科學期刊統計中存在的嚴重誤差，以及對非英語國家、特別是中國的科學期刊所造成的嚴重問題。
SCI在中國科學界已是家喻戶曉，本報在過去兩年時間曾以專欄形式進行專門討論。SCI在科學評價中的作用問題也是國際學術界普遍關注的問題。我們在此將《自然》雜志上有關SCI問題的最新討論全面介紹給大家參考。
謊言通常有三種：謊言、徹頭徹尾的謊言和統計數據。許多科學家們發現他們的研究工作通常是通過其論文被引用的頻率來衡量的，他們一定認同本文開頭這種觀點。由非專業人士做引用分析，理解起來相對遲鈍。更嚴重的是，該領域的專家們已發現，這些粗糙的引用數據中常常都含有錯誤。
科學信息研究所(ISI)是位于美國費城的一家公司。從事科學論文引用分析的工作人員一般需要依賴于ISI收集的數據。在過去40年的時間里，ISI收集了學術出版物的引用名單，整理了以前發表論文的引用情況。這些數據被應用到信息檢索上，讓研究人員能快速搜索文獻，確定單個的科學家在某一特別課題上的工作。
因為政府部門、基金管理機構和促進委員會發現他們難以找到可靠的研究質量評價標準，于是，他們通常就使用ISI的引用數據來幫助他們實施評估工作。他們的觀點是重要的論文應該更多地被引用。作為一般的規則，這看來是合理的假設。但是，盲目地使用這一規則而不考慮原始數據的質量和限制性，那么，你所得出的結論可能就非常不合理。
荷蘭萊頓大學科學和技術研究中心主任Anthony van
Raan說：“你必須非常小心，因為這關系到科學家們的聲譽。用于信息檢索的數據庫不是100%地適合用于評價。”
ISI一直都在表明引用分析數據的局限性。但是，對那些負責評價科學家工作的人們來說，這些數據的誘惑力被證明是不可抗拒的。ISI的創始人Eugene
Garfield從20世紀90年代初開始出售這些數據，正是對這種需求的反應。現在，ISI被加拿大多倫多的湯姆遜公司擁有，這家公司制作軟件包，用于幫助用戶檢索ISI的數據庫。去年該公司發布一個名為“重要的科學指標”(Essential
Science Indicators)的軟件，據稱可用于評估“未來的雇員、合作者、評審人和同行”。
與此同時，ISI對使用其數據的獨立的文獻計量學研究人員采取了更為嚴厲的態度。面對湯姆遜公司越來越嚴重的一意孤行的商業姿態，一些機構說他們現在面臨數據價格上漲和使用限制的問題，迫使他們徹底退出引用數據的分析。
許多文獻計量研究都在關心這種變化趨勢，他們說獨立的小組有助于為引用數據的質量提供保證。其他一些人則警告說ISI所制作的產品非常容易被誤用。一位文獻計量學家質問道：“他們(ISI)通過在使用指南的附加條例中來說明這些問題，以在法律上保護自己，可是誰會閱讀這些內容呢?這讓我們感到心灰意冷。”
靠不住的指標
(本報點評：科學計量指標化，具有其內在的社會需求。可靠的指標，而不是方便的指標最為重要。有誰關心美國人用什么指標?)
當引用統計數據被誤用時會出現什么情況?許多專家提到了ISI的期刊影響因子。期刊影響因子是期刊質量的一個評價指標，指每一種期刊所收錄的論文平均被引用情況的數據。出版商急于抓住這些數據，利用好的影響因子來促銷他們的產品，而圖書管理人員則發現在決定訂閱哪些期刊時，這些數據是一個方便的指導工具。
但是，期刊影響因子的使用過了頭，人們甚至用它們來評價單個研究機構、部分(系)和科學家的工作。最值得注意的是，對各學科研究人員的工作評價都采取直接計算引用率的方法。這些數據可能來自ISI的數據庫，但是歷史經驗證明，要讓ISI或獨立的機構來實施引用分析是一件費時、昂貴的工作。于是，作為一個便宜又方便的選擇辦法，許多評估機構開始尋找科學家的發表記錄，并采用他們發表論文的期刊的影響因子來評價論文的質量，而期刊的影響因子是很容易獲得的數據。van
Raan說：“這是窮人的(省錢的)引用統計分析方法。(It's poor man's citation
analysis)”比如，德國的大學經常性使用科學家們發表論文的期刊的影響因子來幫助他們決定系的基金分配。意大利癌癥研究協會要求基金的申請者提供他們發表論文的期刊的影響因子一覽表。在世界各地，各種委員會使用期刊的影響因子來決定研究人員的提升或任命已成為一種流行玻
