Title: What is societal impact of research and how can it be assessed? A literature survey.
Citation: Journal of the American Society for Information Science and Technology, 64(2), 217-233.
Topic: Research evaluation, Societal impact.
Purpose:
探討有關評鑑科學研究對於社會、文化、環境與經濟的影響力與貢獻度，包含哪些測量指標以及應該用什麼方法測量與評鑑，進而發展健全的社會影響力評鑑方法。
Methodology:
Methodology:
使用文獻研究(literature survey)，於2011年底系統化地搜尋相關期刊文章、專書與出版品，透過引文資料庫(例如：Web of Science, Scopus)與網路搜尋引擎搜尋，約略有一百份出版品在文章當中。
Summary:
Introduction
自九零年代之後，科學研究的評鑑範圍逐漸擴及至社會產出(societal product)、社會利用(societal use)與社會效益(societal benefits)三個面向。各國的政策制訂者開始關切利用公共資源投資的科學研究，是否對於社會有正面的影響或是回饋?科學研究刊登於頂尖期刊或是高被引用數，或許對於學術機構帶來益處，但是不一定對於社會有用處，因此科學研究的社會影響力便逐漸受到關注。
過去科學研究體系為第一模式(mode 1)，即單純學科研究，建立科學理論，由特定或同質性的專家社群進行，逐漸轉變為第二模式(mode 2)的協作模式與跨學科的形式，並且轉向使用者為中心的思維。對於第二模式而言，就是期待科學研究可以提供使社會持續成長茁壯的知識。
在眾多社會影響力評鑑的研究中，大致分為四個研究面向：
1. 社會性(Social)：科學研究對於國家的社會資本的增加。例如激發新的社會議題思考，增進政策的制定。
2. 文化性(Cultural)：科學研究對於國家的文化資本的增加。例如增進大眾對文化多元的理解，並且與其他社會文化連結，保存或發揚特殊文化。
3. 環境性(Environmental)：科學研究對於國家的自然資本的增加。例如減少浪費與汙染，增進資源回收科技。
4. 經濟性(Economic)：科學研究對於國家的經濟資本的增加。例如加速生產技術的提升，增加生產量。
然而這只是大致上的劃分，因為此四個面向的界線相當模糊。在時間因素方面，由於社會影響力是一個長期累積的結果，並且關乎中介因素，例如相關合作對象、新舊產出間的承接與連貫；最終結果，例如增進企業實力；回饋，例如投資的報酬。所以是否可以將社會影響力由時間分期來評鑑，是需要再更多考量的。此外，社會影響力不一定只影響某一特定區域或國家，有可能是造成跨國間或是世界性的影響，也為社會影響力的評鑑上增加困難度。
對於社會影響力的評鑑上，目前尚未具備完整的架構與系統性量化的方法，在測量上有幾個問題需要解決：
1. 因果問題，無法明確找出造成影響的原因。
2. 歸因問題，對於導致影響的直接研究或產出很難判別。
3. 國際性問題，研究或創新可能是國際性的成果，無法明確分析。
4. 時間尺度的問題，如何劃分評鑑時間。
5. 若使用同儕評鑑，很難找到適合的評鑑者。
6. 科學研究成果對社會的影響層面很廣泛，測量的複雜度很高。
7. 可能會有正反效益的衝突，例如捕魚業與環境保育的問題。
Social Impact Assessment in Research and Application
在社會影響力評鑑的相關研究與應用方面，主要有國家級的研究評鑑；研究資金獎助組織針對研究計畫的評鑑；社會影響力評鑑的相關研究計畫；研究社會影響力測量方式的研究計畫等等。爾後衍生出三個主要的方法，經濟計量研究(econometrics studies)、調查法、個案研究法。其中部分學者認為個案研究適合用來進行影響力評鑑，因為具有可以處理複雜與細部的議題，但是缺乏客觀性與難以量化，而且議題深度研究者較難以控制。
National Evaluation Systems
在國家級評鑑系統中，分別介紹荷蘭、英國和其他國家。
荷蘭有超過百分之八十的評鑑都包含社會影響力評鑑，相關研究與政策的評估與發展依據SEP(Standard Evaluation Protocols)制定，根據荷蘭皇家藝術與科學學院(Royal Netherlands Academy of Arts and Sciences)的規範，機構的評鑑主要有三大方向：
1. 研究產出的社會品質(Societal quality of the work)，指的是研究機構與利益關係者的互動關係，牽涉研究產出對於社會議題與政策制定的幫助。
2. 研究產出的社會影響力(Societal impact of the work)，科學研究如何對特定利益關係者或社會發展有所影響，例如相關法案的推動。
3. 研究產出的應用(Valorisation of the work)，指的是研究結果可以應用於各公私部門，並且應用於產品、生產過程與服務方式。
在另一方面，許多荷蘭的組織均有加入ERiC計畫之下的品質保證協議，而ERiC計畫亦與SIAMPI計畫有著高度的連結，強調研究成果間的互動與交流。此外，相關學者亦提出REPP(Research Embedment and Performance Profile)的研究成果表現方式，透過一張圖表顯示研究產出的五個面向與相關指標。
英國的國家級評鑑系統舊稱RAE(Research Assessment Exercise)，在2014年以REF(Research Excellence Framework)取代，評鑑目的是為了提供必要的證明以政府增加對於大學與研究機構中各學術領域的資金支持。
在其他國家方面，有澳洲的ERA(Excellence in Research for Australia)，用以評鑑研究的質量與影響力。
Summary:
Introduction
自九零年代之後，科學研究的評鑑範圍逐漸擴及至社會產出(societal product)、社會利用(societal use)與社會效益(societal benefits)三個面向。各國的政策制訂者開始關切利用公共資源投資的科學研究，是否對於社會有正面的影響或是回饋?科學研究刊登於頂尖期刊或是高被引用數，或許對於學術機構帶來益處，但是不一定對於社會有用處，因此科學研究的社會影響力便逐漸受到關注。
過去科學研究體系為第一模式(mode 1)，即單純學科研究，建立科學理論，由特定或同質性的專家社群進行，逐漸轉變為第二模式(mode 2)的協作模式與跨學科的形式，並且轉向使用者為中心的思維。對於第二模式而言，就是期待科學研究可以提供使社會持續成長茁壯的知識。
在眾多社會影響力評鑑的研究中，大致分為四個研究面向：
1. 社會性(Social)：科學研究對於國家的社會資本的增加。例如激發新的社會議題思考，增進政策的制定。
2. 文化性(Cultural)：科學研究對於國家的文化資本的增加。例如增進大眾對文化多元的理解，並且與其他社會文化連結，保存或發揚特殊文化。
3. 環境性(Environmental)：科學研究對於國家的自然資本的增加。例如減少浪費與汙染，增進資源回收科技。
4. 經濟性(Economic)：科學研究對於國家的經濟資本的增加。例如加速生產技術的提升，增加生產量。
然而這只是大致上的劃分，因為此四個面向的界線相當模糊。在時間因素方面，由於社會影響力是一個長期累積的結果，並且關乎中介因素，例如相關合作對象、新舊產出間的承接與連貫；最終結果，例如增進企業實力；回饋，例如投資的報酬。所以是否可以將社會影響力由時間分期來評鑑，是需要再更多考量的。此外，社會影響力不一定只影響某一特定區域或國家，有可能是造成跨國間或是世界性的影響，也為社會影響力的評鑑上增加困難度。
對於社會影響力的評鑑上，目前尚未具備完整的架構與系統性量化的方法，在測量上有幾個問題需要解決：
1. 因果問題，無法明確找出造成影響的原因。
2. 歸因問題，對於導致影響的直接研究或產出很難判別。
3. 國際性問題，研究或創新可能是國際性的成果，無法明確分析。
4. 時間尺度的問題，如何劃分評鑑時間。
5. 若使用同儕評鑑，很難找到適合的評鑑者。
6. 科學研究成果對社會的影響層面很廣泛，測量的複雜度很高。
7. 可能會有正反效益的衝突，例如捕魚業與環境保育的問題。
Social Impact Assessment in Research and Application
在社會影響力評鑑的相關研究與應用方面，主要有國家級的研究評鑑；研究資金獎助組織針對研究計畫的評鑑；社會影響力評鑑的相關研究計畫；研究社會影響力測量方式的研究計畫等等。爾後衍生出三個主要的方法，經濟計量研究(econometrics studies)、調查法、個案研究法。其中部分學者認為個案研究適合用來進行影響力評鑑，因為具有可以處理複雜與細部的議題，但是缺乏客觀性與難以量化，而且議題深度研究者較難以控制。
National Evaluation Systems
在國家級評鑑系統中，分別介紹荷蘭、英國和其他國家。
荷蘭有超過百分之八十的評鑑都包含社會影響力評鑑，相關研究與政策的評估與發展依據SEP(Standard Evaluation Protocols)制定，根據荷蘭皇家藝術與科學學院(Royal Netherlands Academy of Arts and Sciences)的規範，機構的評鑑主要有三大方向：
1. 研究產出的社會品質(Societal quality of the work)，指的是研究機構與利益關係者的互動關係，牽涉研究產出對於社會議題與政策制定的幫助。
2. 研究產出的社會影響力(Societal impact of the work)，科學研究如何對特定利益關係者或社會發展有所影響，例如相關法案的推動。
3. 研究產出的應用(Valorisation of the work)，指的是研究結果可以應用於各公私部門，並且應用於產品、生產過程與服務方式。
在另一方面，許多荷蘭的組織均有加入ERiC計畫之下的品質保證協議，而ERiC計畫亦與SIAMPI計畫有著高度的連結，強調研究成果間的互動與交流。此外，相關學者亦提出REPP(Research Embedment and Performance Profile)的研究成果表現方式，透過一張圖表顯示研究產出的五個面向與相關指標。
英國的國家級評鑑系統舊稱RAE(Research Assessment Exercise)，在2014年以REF(Research Excellence Framework)取代，評鑑目的是為了提供必要的證明以政府增加對於大學與研究機構中各學術領域的資金支持。
在其他國家方面，有澳洲的ERA(Excellence in Research for Australia)，用以評鑑研究的質量與影響力。
Criteria used in grant peer-review processes
對於大型同儕評鑑的指標中，歐盟委員會(European Commission)除了對於社會影響力的評估外，也包含研究成果對於歐盟的貢獻；澳洲研究委員會(Australian Research Council)除了審查研究成果的創新與重要性外，也重視研究成果對於澳洲的潛在國家助益。
Studies which assess societal impact
大多數關注社會影響力的研究皆聚焦於經濟的面向，但是仍有其他面向的存在，因此必須嘗試將其他面向加入。此外，可以將評估引用數的方式加入社會影響力評鑑，使得社會影響力評鑑可藉由與科學影響力相同的測量方式，並且藉由引用關係，進一步了解資料間的關係。
Projects to find possible societal impact indicators
為了建立評鑑社會影響力的相關指標，各個國家與組織展開以下幾個計畫：
1. SISOP，目的在於定義科學的社會影響力之概念模型。
2. 歐洲大學第三任務的指標與排名方法(European Indicators and Ranking Methodology for University Third Mission)，此為一個三年計畫，目的為發展大學活動中可辨識、評鑑與比較社會影響力的工具。
3. Payback Framework，出現於九零年代中期的研究評估方法，現今被應用於更廣泛的情境來評鑑社會影響力。
4. SIAMPI，目的為發展可應用於各不同領域與評估情境中的工具與方式。以評估社會影響力。
5. SMART metrics，用以評估第三任務活動的概念架構。
6. The U-Multirank project，目的為建立多元面向的世界大學排名，並且評估知識傳遞的經濟、社會與文化發展面向。
Discussion
在進入第二模式後，由於對社會影響力評鑑的關注興起，也讓政府與資助機構了解研究產出是否對於社會的益處，增加資金投入判斷的指標，所以也使得對於資金有需求的研究機構，便開始紛紛注重起自身的社會影響力。然而，對此科學研究者們仍對於社會影響力抱持褒貶不一的看法，最主要的原因是尚未建立一個健全且合適的社會影響力評鑑的指標、方法與架構，再者，研究成果有時並非對社會有重大助益，但是對科學可能是重大的突破，所以可知社會影響力與科學影響力彼此之間不一定有關聯，因此必須建立一個可適用評鑑於兩者的架構。
Comments:
現今大學對於教授的評鑑指標不同以往只專注於學術研究上，也增加教學、服務、社會影響力等指標，但是對於社會影響力的評鑑上，一直沒有一個具體的依循的模式與指標，主要就是因為社會影響力存在太多變數。我認為社會影響力在時空上的變因是最明顯的因素，在空間方面，因為社會影響力不只會在一個區域形成影響，可能會形成跨區或是跨國，甚至是全球性的影響，例如醫學相關的研究，可能改變了全球人類的平均壽命；而在時間方面，我們無法明確劃分一個學者的研究產出的影響力，其形塑社會影響力的期間，例如在科學睡美人理論中，有些重要的科學研究，可能在剛出現並無任何關注，而是在日後某一天突然結束沉睡而受到世人關注，成為一個影響世界的科學研究，但是如果我們對於社會影響力設定評鑑期間，可能就不得不注意這樣的問題。
另外，在許多嘗試建立社會影響力的模型與方法上，可以發現共同點都是包含經濟(Economic)的指標，所以許多國家與機構對於社會影響力一致在乎的地方是科學研究帶給社會在金錢上的效益，然而科學研究應不該只有經濟上的價值，而忽略其科學上的價值。再者，經濟指標其實會某些指標或價值有所衝突，像是環保方面，例如科學研究增進某一產業的生產效率，但是可能是更加劇環境的破壞；或者是科學研究發現某種大眾時常在食用的魚類對人體健康有害，但是卻會造成漁業經濟受到衝擊。所以對於社會影響力的指標，仍必須尋找一個適切的評量方式，以解決時空上與其他種種的限制與缺點，各國與機構進行社會影響力的評鑑才有其價值與意義。
沒有留言:
張貼留言