摘要：本文根據學術期刊評價中評價方法眾多，評價結果不唯一問題，提出了九個評價方法的選取原則：高區分度、低靈敏度、單調遞增、完全數據、公眾接受、主客觀結合、高擬合度、指標齊備、評價結果初步認同。從而為學術期刊評價方法選取提供了一些可行的解決辦法。
關鍵詞：學術期刊 指標體系 評價方法
1學術期刊評價概況
期刊評價是文獻計量學研究的重要組成部分，它通過對學術期刊的發展規律和增長趨勢進行量化分析，揭示學科文獻數量在期刊中的分布規律，為優化學術期刊的使用提供重要參考，同時可以提高學術期刊的內在質量，促進學術期刊的健康成長和發展。美國著名情報學家加菲爾德博士在20
世紀60年代對期刊文獻的引文進行了大規模統計分析，得到了大量被引用文獻集中在少數期刊上，而少量被引用文獻散布在大量期刊中的結論，這可以被認為是國外期刊評價理論的起源。
學術期刊評價主要有兩大類方法，一種是直接根據期刊評價指標進行對比，二是采用多指標綜合評價方法，該方法克服了單指標評價容易帶來的片面性，比較適合期刊的綜合評價，因此得到了較廣泛的應用。學術期刊多指標綜合評價是一項復雜的系統工程，牽涉到評價原則、指標選取、數據歸一化、評價方法選擇等諸多方面，國內外學者在該領域進行了大量廣泛的研究。從評價方法的角度，Weiping
Yue、Concepcion S.
Wilson(2004)[1]利用結構方程的原理建立了一個期刊影響力的分析框架。蘇新寧(2008)[2]采用指標體系賦權進行中國人文社會科學期刊的評價。邱均平、張榮等(2004)[3]提出了期刊評價指標體系的三維層次結構圖，并利用灰色關聯法進行評價。龐景安、張玉華等(2000)[4]及李凱揚、賈玉萍(2005)[5]利用層次分析法對期刊進行評價。王小唯、楊波等(2003)[6]將期刊以往狀態的評價結果作為各期刊基礎條件的一種度量，再運用數據包絡分析方法(DEA)測算出它們的二次相對評價值。李修杰、陳景武(2006)[7]運用判別分析法建立的期刊評估指標體系。王玖、徐天和(2003)[8]運用秩和比法進行醫學學術期刊學術質量綜合評價。陳漢忠(2004)[9]等數位學者[10-15]應用主成分分析對學術期刊進行評價。凌春艷、莫琳(2004)[16]提出自然科學學術期刊質量指標體系的屬性數學綜合評價模型并進行了評價。李繼曉、蔡成瑛(2006)[17]對各種核心期刊的評價方法進行了介紹和分析，認為選擇核心期刊的評價方法并不是一件一勞永逸的事，只能通過不斷實踐、比較、分析，才能使核心期刊的評價日臻完善。此外，還有一些學者將兩種或兩種以上的評價方法進行有機融合，采用復合方法進行評價，如根據層次分析法確定權重，再采取加權TOPSIS法進行評價，由于復合評價方法只有一個評價結果，因此本質上仍然可以認為是一種多指標綜合評價方法。
許多多屬性評價與多屬性決策方法在學術期刊評價中得到了廣泛的應用。從方法論的角度，決策方法的研究要多于評價方法的研究，這是因為評價和決策具有某種程度的相似性，都是選取一定指標然后按照某種方法進行指標集結，最后得出評分或排序結果。經典的多準則決策(MCDM)可以劃分為多屬性決策(MADM)和多目標決策(MODM)。多屬性決策的決策空間是離散的，往往采取各種定量方法進行選優;多目標決策的決策空間是連續的，一般采用運籌學方法進行選優，因此多屬性決策方法全部可以用于多指標綜合評價。現在用于學術期刊評價的方法不過10多種，一些用于其它領域的多屬性評價和決策方法將會在學術期刊評價中繼續得到應用。新出現的多屬性決策方法也將有可能在評價領域(包括學術期刊評價)中得到應用。
2學術期刊評價存在的問題
目前國內外綜合評價方法有數十種之多，根據權重確定方式結合評價原理，可以分為三大類：第一類是主觀評價法，其基本原理是進行指標主觀賦權，然后將數據標準化后加權匯總，如專家會議法、德爾菲法、層次分析法等等。第二類是客觀評價法，包括兩種，一種是采用客觀賦權法確定指標權重，然后進行加權匯總，如熵權法、變異系數法、復相關系數法等;另一種是不需要賦權的系統方法，如主成分分析法、因子分析法、TOPSIS等。第三種是主客觀相結合的賦權法，首先采用主觀賦權方法確定權重，然后采用系統方法進行綜合處理，如ELECTRE法、模糊綜合評價法、PROMETHEE等等。指標體系綜合評價方法存在的主要問題是，針對同一評價對象，選取相同的指標，采取同樣的數據，不同評價方法得出的評價結果不一致，結果難以得到公認，那么，如何進行評價方法的選擇呢?
雖然一些評價方法本身提供了一些統計檢驗方法，比如層次分析法的CI排序一致性檢驗，主成分分析法提供的KMO檢驗等等，問題是，如果學術期刊評價全部通過了這兩種評價方法的統計檢驗，那如何進行取舍呢?有沒有公認的尺度進行方法選擇呢?迄今為止的文獻，對這方面問題進行系統研究的比較缺乏，本文重點對這個問題進行深入分析。
3學術期刊評價方法的選擇原則
3.1 高區分度原則
評價的目的之一就是對所有評價對象的綜合表現進行區分，很顯然，相同的評價對象，不同的評價方法的區分度是不一樣的。如果評價值比較擁擠，那么相鄰評價對象就不易區分。俞立平(2008)[18]提出了一種區分度的計算方法。
對于某種評價結果，假設有m個評價對象，將其按分值Vi高低進行降序排列，然后給每個分值編上序號N，這里1≤i≤m，則函數V=f(N)是單調遞減函數，評價結果最好的坐標值為(V1,1)，最差值坐標為(Vm,m),本文將區分度定義為
(1)
即評價結果相鄰兩點距離之和(折線長度)與首尾兩點距離(極值距離)的比值，D≥1，D越大，說明相鄰兩點越分散，評價結果的區分度越好。由于評價數據可能存在誤差，因此，區分度好意味著評價結果的可靠性高，評價更為穩定。
由于各種評價方法結果的極值(極大值與極小值之差)范圍不一，比如TOPSIS法結果的極值范圍在0～1之間，因子分析法結果的極值范圍在-1～1之間，而德爾菲法根據人們的習慣結果一般在0～100之間，必須將結果標準化后才具有可比性。標準化的方法對區分度的計算也有很大影響，若標準化后的分值在0～1之間，根據區分度的原理，勢必導致相鄰兩點之間距離之和與首尾兩點距離之比過小，導致不同評價方法區分度相差不大;若標準化后的分值根據人們的日常習慣在1～100之間，但是由于評價對象數量不一，如此處理也不合適。本文將標準化處理后分值設定為0～m之間，即最大值點坐標(m，1)，最小值點坐標為(0，m)，中間某點的標準化值根據原值與極大值的差等比例處理。計算公式如下：
(2)
公式(2)中，V‘為原指標值，Vi為標準化后的指標值。由于進行的是簡單線性變換，因此不會改變原評價結果的分布規律，保真度較好。如果評價結果分值相同，則允許并列，實際上是兩點完全重合。標準化后，區分度的計算可以進一步簡化為：
(3)
3.2低靈敏度原則
靈敏度是用來分析評價指標數值或權重變化對評價結果排序影響的一種方法，它廣泛應用于多屬性決策、多屬性評價領域，但在學術期刊評價中，靈敏度分析比較少見。權重靈敏度分析可以用來分析指標權重的變化對評價結果排序的影響。通常情況下，幾乎所有的權重賦值方法對指標權重都允許有一定的變化范圍，即指標權重在某個范圍內變動不會影響排序結果，這也就是靈敏度的本質含義。很顯然，靈敏度越低的評價方法，允許指標權重變化范圍較大而不會影響評價結果的排序，對數據誤差有一定的防范能力，因此靈敏度越低，評價方案越好。
一些評價方法已經不用權重，如主成分分析、證據理論等;一些評價方法即使用到權重，也是一種過渡，即權重只是評價的中間變量，如ELECTRE法、模糊綜合評價法等。在這種情況下，可以采用回歸分析法，將評價結果作為因變量，評價指標作為自變量進行回歸，然后將回歸系數標準化后作為權重，在此基礎上做靈敏度分析。當然，對于基于排序的評價結果，在回歸時要采取排序因變量模型進行回歸。
3.3單調遞增原則
所謂單調遞增原則，就是不管什么評價方法，正向指標值增加一定會導致總評分值增加，反向指標增加一定會導致總評分值減少，按道理似乎這不應該存在問題。在按照權重加權匯總類的評價方法中，這并沒有任何問題，如熵權法、專家會議法、層次分析法等，但是在一些系統評價中，則存在遞減的可能性。比如主成分分析、因子分析、灰色關聯法等，在給定期刊評價指標和數據后，用這些方法進行評價，然后再用評價值作為因變量，評價指標作為自變量進行回歸，有時會發現某些評價指標的系數為負數的異常情況，即出現期刊某個指標值增加，其總得分會減少，排序會下降的異常現象。
對這種情況，要具體問題具體分析，如果排除評價指標選擇不當的情況，那么說明是評價方法選擇有問題，即不能用該評價方法進行評價，因此，評價方法是否單調遞增可以作為評價指標篩選和評價方法選擇的一個標準。
那么如何發現指標遞減現象呢?可以將評價值作為因變量，評價指標作為自變量進行回歸，然后看回歸系數符號是否為負數。
筆者選取14個評價指標，采用主成分分析對518種期刊進行評價，將評價結果與指標進行回歸，發現他引率的回歸系數為負。繼續將所有數據保持不變，僅將其中一種期刊的他引率提高了20%，繼續采用主成分分析進行評價，結果發現該期刊排序下降了10位。
3.4完全數據原則
評價和決策的目的往往是不相同的，評價重在總體，決策重在選優，有時甚至只關心最好的方案，對于中等或較差的對象是不敏感的。考慮到數據獲取成本和處理方便，有時抽取少部分對象進行處理即可。比如某市移動公司篩選最重要的1000個客戶，只要選取月話費前5000名的客戶，再結合其他指標進行分析即可，因為前1000個重點客戶肯定在這5000個里面，根本沒有必要評價所有的幾十萬客戶。
但是對于大多數不能獨立于數據的評價方法，評價結果是完全不一樣的。比如要篩選前10種最重要的醫學期刊，若采用中國科學技術信息研究所CSTPC數據庫和TOPSIS法評價，可以有兩種不同的做法。該數據庫2006年共收錄了518種醫學期刊，選取影響因子前50名的期刊進行評價，與選取所有518種醫學期刊評價相比，兩種情況下前10名往往是不同的，那么哪種結果可信呢?顯然是采用所有期刊數據來進行評價的結果更可信、更服人。
如果采取不依賴于數據的評價方法，如專家會議法、德爾菲法、層次分析法，那么評價對象數據是否齊全對評價結果是沒有影響的，這里要說明一下。
3.5公眾接受原則
決策更多地體現了決策者的意志，它不需要關心決策對象的滿意度。而評價則類似于考試，更多地要兼顧公平。在大多數情況下，決策者根本無須向公眾公布決策方法甚至決策結果，而評價方法和評價結果往往是要公開的。因此，在評價方法的選取過程中，除了兼顧方法的科學性外，一些影響小，使用不多的評價方法要慎重使用，比如，指標體系賦權中采取的變異系數法、復相關系數法。對于近年來出現的一些新的評價方法，如遺傳算法、康托對角線法也要在認真研究評價原理的基礎上加以選用。你的方法再科學，但只要評價對象較普遍地不認可你的方法與結論，那這樣的評價就是失敗的。我國某些大學排行榜就遭到這樣的命運。
3.6主客觀結合原則
為了排除評價中的人為因素，出現了許多客觀評價方法，固然起到了貌似公平的作用，但是客觀評價法最大的缺點也正是無視評價者的主觀因素。對評價者而言，不同的期刊評價指標的重要性是不同的，通過專家會議不同評價者有可能對指標權重達成共識。
不同類型的評價對評價的客觀性要求是不同的，比如大氣環境評價就相對客觀一些。學術期刊更多地是以科學技術研究為主要對象的人類勞動，期刊的一些評價指標如影響因子、基金論文比、作者數等都與人的主觀因素聯系比較緊密，因此其評價必須充分考慮人的主觀性，建議在期刊評價中采取主觀或主客觀相結合的一些評價方法。
3.7高擬合度原則
不管什么評價方法，評價指標都是為了說明評價值的，也就是說，評價指標與評價結果之間必須有很好的擬合關系。除了加權平均類的評價方法外，其他幾乎所有的評價方法都可以采用回歸分析的方法對評價結果與評價指標的擬合度進行度量，方法是看R2值的大小。通常情況下，根據經驗一般要求R2>0.80，過小的R2值是不合適的，說明指標對評價結果的解釋力差，不能“自圓其說”。
3.8指標齊全原則
一些評價方法，為了減少計算量和消除指標間的相關性，人為刪除部分存在重復信息的指標，對這個問題的處理要慎重，因為完全相同的指標是不存在的，刪除指標必然帶來信息的損失。在期刊數量較多的情況下，由于期刊數據比較密集，刪除指標對整個排序結果將產生較大的影響。現在計算機技術發展很快，已經沒有必要考慮計算的精簡，何況許多評價方法都有自己的軟件包，我們需要解決的問題是如何消除指標間的相關問題。
當然，并不是說在指標選取時就可以濫選指標，要綜合考慮指標的內涵及獲取成本，就學術期刊評價而言，數據的獲取成本是相對低廉的，不像醫學檢驗，指標多了，意味了病人化驗的項目多了，既增加了病人的負擔，也延誤了診斷時間。
3.9評價結果初步認同原則
在學術期刊評價中，針對某個學科的期刊評價，如果存在某種大家一致公認的最好的期刊，但是在用某種評價方法進行評價時，該期刊沒有排在第一，那么該評價方法最好不要選用，因為與人們的常識不符。當然，如果不存在大家公認的最好的期刊則另當別論。
4討論
本文提出了學術期刊評價方法選取的一些原則，根據本原則可以篩選掉一些不合適的評價方法，但是仍然會留下數種評價方法，在這樣的情況下，建議采用組合評價方法進行處理，即根據一定的方法將幾種評價方法的結果進行綜合，最后得出唯一的評價結果。
雖然本文是針對學術期刊評價進行的討論，但基本的原則和方法對所有的評價是普遍適用的，可供其它領域的評價方法選取參考。
