Title: Evaluating research: From informed peer review to bibliometrics.
Citation: Scientometrics, 87(3), 499-514.
Topic: Bibliometrics, Peer review
Purpose:
藉由比較測量研究的方法：同儕評鑑、書目計量、資訊輔助型同儕評鑑(Informed peer review)，此三大方法在執行上的優缺點與差異，證明書目計量相較於同儕評鑑，是最適合用以進行國家級研究測量的測量方法。同時介紹有關義大利所發展出的國家級研究測量資料庫ORP（Italian Observatory on Public Research）。
Methodology:
Methodology:
透過測量系統中的五大變數：精確性（Accuracy）、健全性（Robustness）、有效性（Validity）、功能性（Functionality）、時間與成本（Time and Costs），對同儕評鑑與書目計量兩種研究評鑑方法進行比較。
Findings:
Findings:
國家級研究測量制度若使用書目計量學進行研究評鑑，在測量系統的各變數中優於同儕評鑑的表現，並且在時間與成本上具有較大的效益。
Summary:
現今許多國家皆針對大學與研究機構定期進行國家型研究評鑑(National research assessment)，這些研究評鑑的目的在於：作為對各大學與研究機構分配經費時的依據；鼓勵更好的研究成果；減少知識提供者與接收者間的資訊不對等；以及證明對研究的投資是有效的並且助於公共利益。
本文選擇三個國家的國家級研究評鑑制度進行比較：英國的REF（Research Excellent Framework）、義大利的VQR（Quinquennial Research Evaluation）與澳洲的ERA（Excellence in Research for Australia initiative）。REF為典型的資訊輔助型同儕評鑑，但非評鑑機構整體，而是由機構自行挑選研究單位進行評鑑，再由研究單位內成員繳交三到四份最好的作品。VQR是混合三種評鑑方法：同儕評鑑、書目計量、資訊輔助型同儕評鑑，大學的每位研究者須繳交兩份作品，其他類型的機構則須繳交四份。ERA則是完全透過書目計量來進行研究評鑑，各研究機構的全部成員均須繳交個人所有的研究產出。
接下來作者設定以下變數，作為比較同儕評鑑與書目計量兩種研究評鑑的五個重要變數：精確性（Accuracy）、健全性（Robustness）、有效性（Validity）、功能性（Functionality）、時間與成本（Time and Costs）。在經過五種變數的探討之後，二者各自有以下的問題存在。
同儕評鑑由於主觀判斷的成分過重，公平性與一致性不足。並且被評鑑的研究機構必須挑選研究人員給評鑑，而研究人員也必須挑選作品送交評鑑，挑選的過程中可能無法挑出最好的研究人員與作品。在評鑑後的機構內部資金分配上，也未必可以依據研究者的表現予以適當的分配，因為最初的評鑑方式僅是挑選出幾個研究者與作品。最後是時間與金錢成本的問題，同儕評鑑的直接成本相當高，同時也隱含未計算的機會成本，舉例而言RAE評鑑的機會成本甚至是直接成本的五倍之多，並且需花費五到六年的時間。
在書目計量方面，書目計量無法應用於全部的研究產出過程上，只能應用於出版品與會議論文，而且可能會受到延遲確認（delayed recognition）、影響係數等問題影響。在經費的分配上，書目計量可以達到評鑑每一位研究者或是研究團體，而不是只到機構層次，所以就不需要有挑選的過程。並且可以比較不同學科研究的測量標準，使研究者可以與同領域的研究者的研究產出在相同基準上比較。最後在時間與金錢成本上，相較於同儕評鑑，書目計量可以大幅縮短評鑑時間，成本上也相對較為經濟。
最後則是介紹關於義大利所發展出的ORP資料庫，其包含自2001年以來義大利的科學出版品、學術文章與會議論文等等，可成功將所有出版品與學術作者聚集，並且辨識作者所屬機構，具備整個國家在自然科學的學術研究產出代表性。ORP可以做為一項對於研究評鑑的支援系統，透過書目計量指標對研究產出進行各種評鑑與比較，也可以用來進行各層級的學術排名，使評鑑更加精確，資源分配更加公平且具效益。
Comments:
同儕評鑑是較為質化的評鑑方式，透過人為的方式進行審查，但是衍生的問題就在於是否有可能每篇呈繳作品都會被閱讀，再者，由於每個人的背景與思維的差異，在閱讀與選擇的過程中就出現主觀性，因此可能導致評鑑結果過於主觀，甚至有所偏頗，儘管後來建立出資訊輔助型同儕評鑑，期望可約束同儕評鑑的主觀性，但是實際上仍是由人為進行最後的判斷。此外，同儕評鑑所花費的時間與金錢也相當可觀，因此在執行上有無法每年執行。
相較而言，以書目計量學進行評鑑，可以去除人為的因素，受審者不必為了挑選自身作品感到困擾，而評鑑的過程也不會受到評鑑者的主觀判斷影響。而且花費的時間與金錢成本較小，所以有相較同儕評鑑所沒有的優點。我認為書目計量學因為執行上的特色，可以做到同儕評鑑所無法達到的層次，讓評鑑的精緻度可以提升，免去同儕評鑑因為人力的關係而造成的挑選與困難。同時同儕評鑑的主觀性也可能造成在某些較小的學科領域中，被評鑑者由於專精某領域，因此直接因為同儕評鑑而被辨識出身分，導致評鑑者心中的既定印象與偏見，於是判斷失準，可是如果利用書目計量的方式，就可以避免這類的問題發生，做出較為公平與準確的評鑑。
Summary:
現今許多國家皆針對大學與研究機構定期進行國家型研究評鑑(National research assessment)，這些研究評鑑的目的在於：作為對各大學與研究機構分配經費時的依據；鼓勵更好的研究成果；減少知識提供者與接收者間的資訊不對等；以及證明對研究的投資是有效的並且助於公共利益。
本文選擇三個國家的國家級研究評鑑制度進行比較：英國的REF（Research Excellent Framework）、義大利的VQR（Quinquennial Research Evaluation）與澳洲的ERA（Excellence in Research for Australia initiative）。REF為典型的資訊輔助型同儕評鑑，但非評鑑機構整體，而是由機構自行挑選研究單位進行評鑑，再由研究單位內成員繳交三到四份最好的作品。VQR是混合三種評鑑方法：同儕評鑑、書目計量、資訊輔助型同儕評鑑，大學的每位研究者須繳交兩份作品，其他類型的機構則須繳交四份。ERA則是完全透過書目計量來進行研究評鑑，各研究機構的全部成員均須繳交個人所有的研究產出。
接下來作者設定以下變數，作為比較同儕評鑑與書目計量兩種研究評鑑的五個重要變數：精確性（Accuracy）、健全性（Robustness）、有效性（Validity）、功能性（Functionality）、時間與成本（Time and Costs）。在經過五種變數的探討之後，二者各自有以下的問題存在。
同儕評鑑由於主觀判斷的成分過重，公平性與一致性不足。並且被評鑑的研究機構必須挑選研究人員給評鑑，而研究人員也必須挑選作品送交評鑑，挑選的過程中可能無法挑出最好的研究人員與作品。在評鑑後的機構內部資金分配上，也未必可以依據研究者的表現予以適當的分配，因為最初的評鑑方式僅是挑選出幾個研究者與作品。最後是時間與金錢成本的問題，同儕評鑑的直接成本相當高，同時也隱含未計算的機會成本，舉例而言RAE評鑑的機會成本甚至是直接成本的五倍之多，並且需花費五到六年的時間。
在書目計量方面，書目計量無法應用於全部的研究產出過程上，只能應用於出版品與會議論文，而且可能會受到延遲確認（delayed recognition）、影響係數等問題影響。在經費的分配上，書目計量可以達到評鑑每一位研究者或是研究團體，而不是只到機構層次，所以就不需要有挑選的過程。並且可以比較不同學科研究的測量標準，使研究者可以與同領域的研究者的研究產出在相同基準上比較。最後在時間與金錢成本上，相較於同儕評鑑，書目計量可以大幅縮短評鑑時間，成本上也相對較為經濟。
最後則是介紹關於義大利所發展出的ORP資料庫，其包含自2001年以來義大利的科學出版品、學術文章與會議論文等等，可成功將所有出版品與學術作者聚集，並且辨識作者所屬機構，具備整個國家在自然科學的學術研究產出代表性。ORP可以做為一項對於研究評鑑的支援系統，透過書目計量指標對研究產出進行各種評鑑與比較，也可以用來進行各層級的學術排名，使評鑑更加精確，資源分配更加公平且具效益。
Comments:
同儕評鑑是較為質化的評鑑方式，透過人為的方式進行審查，但是衍生的問題就在於是否有可能每篇呈繳作品都會被閱讀，再者，由於每個人的背景與思維的差異，在閱讀與選擇的過程中就出現主觀性，因此可能導致評鑑結果過於主觀，甚至有所偏頗，儘管後來建立出資訊輔助型同儕評鑑，期望可約束同儕評鑑的主觀性，但是實際上仍是由人為進行最後的判斷。此外，同儕評鑑所花費的時間與金錢也相當可觀，因此在執行上有無法每年執行。
相較而言，以書目計量學進行評鑑，可以去除人為的因素，受審者不必為了挑選自身作品感到困擾，而評鑑的過程也不會受到評鑑者的主觀判斷影響。而且花費的時間與金錢成本較小，所以有相較同儕評鑑所沒有的優點。我認為書目計量學因為執行上的特色，可以做到同儕評鑑所無法達到的層次，讓評鑑的精緻度可以提升，免去同儕評鑑因為人力的關係而造成的挑選與困難。同時同儕評鑑的主觀性也可能造成在某些較小的學科領域中，被評鑑者由於專精某領域，因此直接因為同儕評鑑而被辨識出身分，導致評鑑者心中的既定印象與偏見，於是判斷失準，可是如果利用書目計量的方式，就可以避免這類的問題發生，做出較為公平與準確的評鑑。
沒有留言:
張貼留言