User relevance criteria choices and the information search process.

Author: A. Taylor

Title: User relevance criteria choices and the information search process.

Citation: Information Processing & Management, 48(1), 136-153.

Topic: Relevance



Purpose: 

探究相關判斷準則的選擇方式，以及如何對資訊檢索歷程造成影響，進而了解動態相關判斷歷程中的重要資訊。


Methodology:

研究設計
分為兩階段的研究，第一階段為：

1. 以美國某大學商學院二、三年級的學生為對象，進行便利抽樣。

2. 指派研究計畫為學生的課程作業，學生自主題清單中選擇題目作為研究計畫題目進行研究，這些題目已設定難易程度皆相同。

3. 從學生蒐集資料的過程中，汲取研究數據。

第二階段為蒐集受測者給予相關判斷各準則的重要性權重。


資料蒐集
1. 藉由建立一個網站對受測者主動回報的資料進行蒐集，同時網站中有對於如何提供檢索與相關判斷的資訊如何回報進行說明。

2. 受測者利用指令來使用網站，並且允許先使用練習模式學習操作網站。

3. 受測者可以進行多樣化的搜尋，每次的搜尋均須辨識出相關的文獻，以及判斷相關的準則。

4. 初步蒐集到的資料：

• 受測者為來自美國某大學的大學生共82名，總共在網路上檢索到的文獻有758筆。
• 約百分之三十六的受測者每天回報一次檢索資訊，而約百分之四十一的受測者一天回報數次檢索資訊。
• 受測者性別比例方面百分之六十四為男性，百分之三十五為女性。
• 受測者多以英語為母語，約佔受測者人數百分之七十七。

檢索歷程
1. 參考Wilson於1999年文章所整理的Ellis和Kuhlthau定義的資訊搜尋階段，將兩者整合，並且將各階段之名詞以直白的詞彙對受測者解釋。同時也在網站設置協助頁面，讓受測者在回報時可以參考。

相關準則
1. 參考先前Barry、Schamber與Cool等等所提出的相關準則，以及其他有提及相關準則的文獻。

2. 控制選擇的準則數量在十五到二十個，將類似性質的準則合而為一，避免受測者有過多選擇。準則以一至二個詞彙簡明表示，再以表格條列進行詳細敘述。

3. 受測者必須在進行相關判斷時，回報其判斷相關的一至多個準則。

資料蒐集流程
1. 受測者使用以事先設定的帳號與密碼登入研究網站。

2. 受測者使用網站的搜尋引擎進行檢索，其檢索結果由Yahoo搜尋引擎回傳，然後系統顯示檢索結果，同時檢索結果均附上結果的說明、結果頁面的連結以及讓受測者輸入該頁面相關資訊的連結。

3. 接著受測者必須選擇對於每個文獻相關的判斷；進行判斷時所處的檢索歷程階段；相關評估：相關、無關、部份相關、不確定。


Findings:
在第一階段研究方面：

1. 受測者在各檢索階段中對於相關判斷準則相當多樣，並且在檢索歷程後期對於準則的選擇數量會增加。在五個檢索歷程階段中，初始(initiation)、探索(exploration)、辨別(differentiating)合稱成檢索歷程初期；理解(extracting)與確認(verifying)為檢索歷程後期。

2. 透過卡方檢定後發現十九個相關判斷準則中的十三個具有統計上的顯著性。顯示檢索歷程與準則的選擇之間有強關聯性。而此十三個準則因在晚期檢索階段被頻繁使用，因此具有重要性。

第二階段研究中使用與階段依相同資料蒐集方式進行，另外加入重要程度供受測者選取，層級分為略為重要、重要、非常重要三級。

1. 正確性(accuracy)在檢索歷程中各階段均被受測者認為重要；權威性(authority)、架構(structure)、新穎性(recency)與指引(guidelines)之重要性則隨檢索歷程增加。

2. 多數準則之重要程度在檢索歷程後期，即理解(extracting)階段皆呈現上升的現象，此顯示準則的選擇與檢索歷程階段有強關聯性。


Summary:

本研究主要在於檢驗相關判斷準則的選擇上，這些選擇如何隨著資訊搜尋過程改變。相關判斷所利用的準則讓我們的了解在資訊搜尋過程中，個體認知狀態發生的改變。研究證實使用者的相關判斷準則會因為處於檢索歷程的不同階段，因為新的資訊加入而產生變化，同時強化相關判斷之能力。本研究提供顯著的統計證據，證實相關的動態本質，同時顯示動態的、具調整性的資訊檢索系統之重要性，資訊檢索系統必須更具適應性，以隨使用者在檢索歷程的認知狀態改變進行調整，並且提供比過去更多樣化的搜尋設定


Comments:

本研究發現人類不同檢索歷程中對於相關判斷的準則不一致，對於不同準則的重要性判斷也不一致，顯示出檢索歷程與相關判斷準則的選擇上具高度關聯。研究者都一直在追求相關的本質，但是人類判斷相關的不一致與變動性是極大的難題，本研究則是嘗試自人類判斷相關的方式與階段觀之，以理解所謂的相關。但是對於檢索歷程的相關判斷上，現實生活中影響的因素相當的多，同時資訊需求亦會受到現實生活中的人事物而變遷，所以對於人類相關判斷的研究上還有很多問題需要考慮與克服。