A meta-evaluation of scientific research proposals: Different ways of comparing rejected to awarded applications.
Author: Bornmann, L., Leydesdorff, L., & Van den Besselaar, P.
Title: A meta-evaluation of scientific research proposals: Different ways of comparing rejected to awarded applications.
Citation: Journal of Informetrics, 4(3), 211-220.
Topic: Research evaluation, Peer review, Bibliometrics,
Purpose:
對於在科學研究之提案，比較通過與拒絕的申請兩者之間的差異，並且探討同儕評鑑決策的準確性。
Methodology:
利用二個資料集中四個領域作為研究對象，分別是MaGW與EMBO資料集。在MaGW資料集中選取671筆申請書，時間為2003年到2005年，其中有370筆屬於心理學領域與屬於301筆經濟學領域；在EMBO資料集則選取the LTF programme中668筆申請書與the YI programme中297筆申請書。將四項資料兩兩比對，比較組內獲得核准的申請與被拒絕的申請，以及組內獲得核准的申請與最佳被拒絕(best-rejected)的申請。
統計過程為將以上獲得核准的申請，對被拒絕的與最佳被拒絕的申請利用SPSS進行無母數檢定中的Mann-Whitney 檢定。接著使用科學計量指標比較申請時間上的事前與事後。機構可能做出錯誤決定，拒絕未來有良好表現得申請，對於錯誤決定則使用h index來計算核准的申請與被拒絕的申請之間的平均差異值。對於機構核准的申請是否發生型一或型二錯誤，則使用事前與事後的h index值來判斷。
由於引用次數與共同作者數、文章長度、引用數視窗有明顯的關聯性，因此調整機構所做的核准決策與申請書之間書目計量的共同變數。接著進行十六個多重回歸分析，文章頁數與共同作者數為共變數，發表年分作為顯現時間點，用以預測引文數。最後使用叢集進行獨立假設，引用數對於所有的申請者都是獨立的，但是在相同的申請者中不獨立。
導出結果變數，也就是被引用數。回歸分析住要是針對事前與事後分別至少發表過一篇文章的申請者，未發表者則不列入分析。這個分析對於MaWG的影響較大，有百分之八的心理學領域申請者與百分之十六的經濟學領域申請者，在事前與事後未發表文章。
Findings:
檢定的結果顯示MaGW與EMBO二者對於申請的決策都成功將排除掉較不佳的申請，但也較無優先考慮較頂尖的申請者。在MaGW資料集中有發現最佳被拒絕申請的數值高於核准申請的數值，但是在EMBO則未見。但在EMBO中以生產力來比較核准申請與最佳被拒絕申請，核准申請的表現則優於最佳被拒絕申請。
Summary:
這份是有關於同儕審查相關的研究。透過二個研究資助機構對於申請者的申請結果與這些申請者的表現進行比較。二個機構分別代表社會領域與生命科學領域，選取的機構分別是MaGW與EMBO，並從MaGW選出經濟與心理二門社會領域學科，從EMBO中選取的the LTF programme與the YI programme二項獎助計畫，皆為分子生物學相關（生命科學領域）。
這些申請研究獎助的申請者被分為三種：核准申請者、被拒絕申請者、最佳被拒絕申請者。本研究將核准申請者對被拒絕申請者與最佳被拒絕申請者進行比較，分為事前與事後，主要比較引文數，藉以分析是否有產生錯誤決策，機構的審查者是否拒絕了可能在未來有良好科學表現得申請者。
結果顯示在兩個領域中，核准申請者平均表現優於所有被拒絕申請者，即生產力與平均引文影響力都高於被拒絕申請者。
Comments:
在這篇文章可以發現最佳被拒絕之申請者可能在研究品質上、日後成就上都可能高過於通過申請者，這就表示其實同儕評鑑也有誤判的時候，或者人在對於說通過申請者與最佳被拒絕之申請者的判斷上，就其實有著難分軒輊的困難處存在，我們有可能無法只借助同儕評鑑來判斷這兩者之間的差異。像是老師提及對於碩博生推甄申請書的汰選，以及我自身擔任助教時，在對同學的作業排列等第的時候，這也是一種review，而我們會發現最好跟最差的申請或作業，我們一眼就可以看出來，並且毫不考慮的就分到這兩堆，但是最困難的就是屬於中間的這一大群，品質接近且數量大，所以我們必須在判斷上花費較多時間與精力，也就產生誤判或是錯估未來發展的可能性。
因此為了解決這樣的情況，勢必要增加其他判斷的指標來協助同儕評鑑，例如使用書目計量學。如果極端一些，我們就直接用作者的學術影響力直接排名，來限制申請門檻，最後的審請結果採取亂數分配產生，也許結果有可能與同儕評鑑的結果差距不大，可是新進學者由於產量未豐，很可能就被排擠在申請之外，再者，若是完全使用計量方式來評鑑，似乎也失去同儕評鑑中「人」存在的意義，所以書目計量學與同儕評鑑間的互動與關聯，仍然是現今重要的研究議題。
Title: A meta-evaluation of scientific research proposals: Different ways of comparing rejected to awarded applications.
Citation: Journal of Informetrics, 4(3), 211-220.
Topic: Research evaluation, Peer review, Bibliometrics,
Purpose:
對於在科學研究之提案，比較通過與拒絕的申請兩者之間的差異，並且探討同儕評鑑決策的準確性。
Methodology:
利用二個資料集中四個領域作為研究對象，分別是MaGW與EMBO資料集。在MaGW資料集中選取671筆申請書，時間為2003年到2005年，其中有370筆屬於心理學領域與屬於301筆經濟學領域；在EMBO資料集則選取the LTF programme中668筆申請書與the YI programme中297筆申請書。將四項資料兩兩比對，比較組內獲得核准的申請與被拒絕的申請，以及組內獲得核准的申請與最佳被拒絕(best-rejected)的申請。
統計過程為將以上獲得核准的申請，對被拒絕的與最佳被拒絕的申請利用SPSS進行無母數檢定中的Mann-Whitney 檢定。接著使用科學計量指標比較申請時間上的事前與事後。機構可能做出錯誤決定，拒絕未來有良好表現得申請，對於錯誤決定則使用h index來計算核准的申請與被拒絕的申請之間的平均差異值。對於機構核准的申請是否發生型一或型二錯誤，則使用事前與事後的h index值來判斷。
由於引用次數與共同作者數、文章長度、引用數視窗有明顯的關聯性，因此調整機構所做的核准決策與申請書之間書目計量的共同變數。接著進行十六個多重回歸分析，文章頁數與共同作者數為共變數，發表年分作為顯現時間點，用以預測引文數。最後使用叢集進行獨立假設，引用數對於所有的申請者都是獨立的，但是在相同的申請者中不獨立。
導出結果變數，也就是被引用數。回歸分析住要是針對事前與事後分別至少發表過一篇文章的申請者，未發表者則不列入分析。這個分析對於MaWG的影響較大，有百分之八的心理學領域申請者與百分之十六的經濟學領域申請者，在事前與事後未發表文章。
Findings:
檢定的結果顯示MaGW與EMBO二者對於申請的決策都成功將排除掉較不佳的申請，但也較無優先考慮較頂尖的申請者。在MaGW資料集中有發現最佳被拒絕申請的數值高於核准申請的數值，但是在EMBO則未見。但在EMBO中以生產力來比較核准申請與最佳被拒絕申請，核准申請的表現則優於最佳被拒絕申請。
Summary:
這份是有關於同儕審查相關的研究。透過二個研究資助機構對於申請者的申請結果與這些申請者的表現進行比較。二個機構分別代表社會領域與生命科學領域，選取的機構分別是MaGW與EMBO，並從MaGW選出經濟與心理二門社會領域學科，從EMBO中選取的the LTF programme與the YI programme二項獎助計畫，皆為分子生物學相關（生命科學領域）。
這些申請研究獎助的申請者被分為三種：核准申請者、被拒絕申請者、最佳被拒絕申請者。本研究將核准申請者對被拒絕申請者與最佳被拒絕申請者進行比較，分為事前與事後，主要比較引文數，藉以分析是否有產生錯誤決策，機構的審查者是否拒絕了可能在未來有良好科學表現得申請者。
結果顯示在兩個領域中，核准申請者平均表現優於所有被拒絕申請者，即生產力與平均引文影響力都高於被拒絕申請者。
Comments:
在這篇文章可以發現最佳被拒絕之申請者可能在研究品質上、日後成就上都可能高過於通過申請者，這就表示其實同儕評鑑也有誤判的時候，或者人在對於說通過申請者與最佳被拒絕之申請者的判斷上，就其實有著難分軒輊的困難處存在，我們有可能無法只借助同儕評鑑來判斷這兩者之間的差異。像是老師提及對於碩博生推甄申請書的汰選，以及我自身擔任助教時，在對同學的作業排列等第的時候，這也是一種review，而我們會發現最好跟最差的申請或作業，我們一眼就可以看出來，並且毫不考慮的就分到這兩堆，但是最困難的就是屬於中間的這一大群，品質接近且數量大，所以我們必須在判斷上花費較多時間與精力，也就產生誤判或是錯估未來發展的可能性。
因此為了解決這樣的情況，勢必要增加其他判斷的指標來協助同儕評鑑，例如使用書目計量學。如果極端一些，我們就直接用作者的學術影響力直接排名，來限制申請門檻，最後的審請結果採取亂數分配產生，也許結果有可能與同儕評鑑的結果差距不大，可是新進學者由於產量未豐，很可能就被排擠在申請之外，再者，若是完全使用計量方式來評鑑，似乎也失去同儕評鑑中「人」存在的意義，所以書目計量學與同儕評鑑間的互動與關聯，仍然是現今重要的研究議題。
留言
張貼留言