問卷調查法是教育研究中廣泛采用的一種調查方法,根據調查目的設計的調查問卷是問卷調查法獲取訊息的工具,其質量高低對調查結果的真實性、適用性等具有決定性的作用。為了保證問卷具有較高的可靠性和有效性,在形成正式問卷之前,應當對問卷進行試測,并對試測結果進行信度和效度分析,根據分析結果篩選問卷題項,調整問卷架構,從而提升問卷的信度和效度。信度和效度分析的方法包括邏輯分析和統(tǒng)計分析,本文主要討論后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同樣的方法對同一對象重復測量時所得結果的一致性程度。信度指標多以相關系數來表示:大致可分為三類:穩(wěn)定系數(跨時間的一致性)、等值系數(跨形式的一致性)和內在一致性系數(跨項目的一致性)。 若以信度系數來表示信度的大小。信度系數越大,表示測量的可信程度越大。究竟信度系數要多少才算有高的信度。學者DeVellis(1991)認為,0.60~0.65(最好不要);0.65~0.70(最小可接受值);0.70~0.80(相當好);0.80~0.90(非常好)。由此,一份信度系數好的量表或問卷,最好在0.80以上,0.70至0.80之間還算是可以接受的范圍;分量表最好在0.70以上,0.60至0.70之間可以接受。若分量表的內部一致性系數在0.60以下或者總量表的信度系數在0.80以下,應考慮重新修訂量表或增刪題項。 信度分析的方法主要有以下四種︰ 1、重測信度法 這一方法是用同樣的問卷對同一組被調查者間隔一定時間重復施測,計算兩次施測結果的相關系數。顯然,重測信度屬于穩(wěn)定系數。重測信度法特別適用于事實式問卷,如性別、出生年月等在兩次施測中不應有任何差異,大多數被調查者的興趣、愛好、習慣等在短時間內也不會有十分明顯的變化。如果沒有突發(fā)事件導致被調查者的態(tài)度、意見突變,這種方法也適用于態(tài)度、意見式問卷。由于重測信度法需要對同一樣本試測兩次,被調查者容易受到各種事件、活動和他人的影響,而且間隔時間長短也有一定限制,因此在實施中有一定困難。 2、復本信度法 復本信度法是讓同一組被調查者一次填答兩份問卷復本,計算兩個復本的相關系數。復本信度屬于等值系數。復本信度法要求兩個復本除表述模式不同外,在內容、格式、難度和對應題項的提問方向等方面要完全一致,而在實際調查中,很難使調查問卷達到這種要求,因此采用這種方法者較少。 3、折半信度法 折半信度法是將調查項目分為兩半,計算兩半得分的相關系數,進而估計整個量表的信度。折半信度屬于內在一致性系數,測量的是兩半題項得分間的一致性。這種方法一般不適用于事實式問卷(如年齡與性別無法相比),常用于態(tài)度、意見式問卷的信度分析。在問卷調查中,態(tài)度測量最常見的形式是5級李克特(Likert)量表。進行折半信度分析時,如果量表中含有反意題項,應先將反意題項的得分作逆向處理,以確保各題項得分方向的一致性,然后將全部題項按奇偶或前后分為盡可能相等的兩半,計算二者的相關系數(rhh,即半個量表的信度系數),最后用斯皮爾曼-布朗(Spearman-Brown)公式︰ru=2rhh/(1+rhh)求出整個量表的信度系數(ru)。 4、α信度系數法 Cronbachα信度系數是目前最常用的信度系數,其公式為︰ α=(n/n-1)*(1-(∑Si2)/ST2) 其中,n為量表中題項的總數,Si2 為第i題得分的題內方差,ST2為全部題項總得分的方差。從公式中可以看出,α系數評價的是量表中各題項得分間的一致性,屬于內在一致性系數。這種方法適用于態(tài)度、意見式問卷(量表)的信度分析。 二、效度分析 效度(Validity)即有效性,它是指測量工具或手段能夠準確測出所需測量的事物的程度。效度分為三種類型︰內容效度(Face Validity)、準則效度(Criterion Validity)和架構效度Construct Validity)。效度分析有多種方法,其測量結果反映效度的不同方面。常用于調查問卷效度分析的方法主要有以下幾種。 1、單項與總和相關效度分析 這種方法用于測量量表的內容效度。內容效度又稱表面效度或邏輯效度,它是指所設計的題項能否代表所要測量的內容或主題。對內容效度常采用邏輯分析與統(tǒng)計分析相結合的方法進行評價。邏輯分析一般由研究者或專家評判所選題項是否“看上去”符合測量的目的和要求。統(tǒng)計分析主要采用單項與總和相關分析法獲得評價結果,即計算每個題項得分與題項總分的相關系數,根據相關是否顯著判斷是否有效。若量表中有反意題項,應將其逆向處理后再計算總分。 2、準則效度分析 準則效度又稱為效標效度或預測效度。準則效度分析是根據已經得到確定的某種理論,選擇一種指標或測量工具作為準則(效標),分析問卷題項與準則的聯(lián)系,若二者相關顯著,或者問卷題項對準則的不同取值、特性表現(xiàn)出顯著差異,則為有效的題項。評價準則效度的方法是相關分析或差異顯著性檢驗。在調查問卷的效度分析中,選擇一個合適的準則往往十分困難,使這種方法的應用受到一定限制。 3、結構效度分析 結構效度是指測量結果體現(xiàn)出來的某種結構與測值之間的對應程度。架構效度分析所采用的方法是因子分析。有的學者認為,效度分析最理想的方法是利用因子分析測量量表或整個問卷的架構效度。因子分析的主要功能是從量表全部變量(題項)中提取一些公因子,各公因子分別與某一群特定變量高度關聯(lián),這些公因子即代表了量表的基本架構。透過因子分析可以考察問卷是否能夠測量出研究者設計問卷時假設的某種架構。在因子分析的結果中,用于評價架構效度的主要指標有累積貢獻率、共同度和因子負荷。累積貢獻率反映公因子對量表或問卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負荷反映原變量與某個公因子的相關程度。為了提升調查問卷的質量,進而提升整個研究的價值,問卷的信度和效度分析絕非贅疣蛇足,而是研究過程中必不可少的重要環(huán)節(jié)。 Cronbachα系數 柯隆巴哈(Cronbach 1951)提出計算一個測量系統(tǒng)(問卷或測驗)的信度稱為Cronbachα系數(簡稱α系數),是目前社會科會研究最常使用的信度。當一個研究主題(或構面)由很多項目組合,每個問項都與主題相關,由總分的變異數與問項的變異數做為評量信度的指標即為α系數。 01. Cronbach α系數的定義 利用各問項變異數之和與整份量表分數的變異數的比值,可用來估計一份量表的信度,柯隆巴哈(Cronbach)提出α系數為: 此式為最常作為信度指標,其中s2i表示第i個問項xi的變異數,s2H 表所有問項總和(H= x1+x2+ ...+xn)的變異數(即整份測驗分數的變異數),n是問項個數。 02. Cronbach α系數的實施技巧 要做信度分析需先檢查每個問項是否都是同方向的(即都是正面問法,也就是題間的相關系數都是正的),如有一題與其它題相關系數都是負的,應考慮將此題先“變號”或“刪除”后再進行計算α系數。如有受測者亂答,可將它的數據刪除后再算α值。 對問卷調查當有題目與其它題目是負相關時須注意是否反向問法。如是,則應先將得分反向,再計算α信度或是刪除該題。若為測驗,則不能做反向處理,只能做刪除題目。 03.標準化 Cronbach α系數的定義 若一份量表有n題,題間的平均相關系數為r,則此量表的標準化α系數為 04. 利用SPSS進行信度分析 在SPSS中,專門用來進行測驗信度分析的模塊為Scale下的Reliability Analysis;使用Data Reduction之下的Factor模塊。 Reliability Analysis模塊主要功能是檢驗測驗的信度,主要用來檢驗折半信度、庫李及a系數以及Hoyt信度系數值。至于重測信度和復本信度,只需將樣本在二次(份)測驗的分數的數據合并到同一數據文件之后,利用Correlate之下的Bivariate求其相關系數,即為重測或復本信度;而評分者信度則使用的Spearman等級相關及Kendall和諧系數。 表1 Reliability Analysis模塊的Model選項的參數術語
表2 Reliability Analysis模塊的Statistics部分選項的參數術語
建議進行因素分析之樣本數宜大于330份。 論文:A first course in factor analysis 出處:New York: Academic Press, 1973. 作者:Comrey, A. L. 在因素分析前先以「KMO抽樣適合性衡量」 (Kaiser Meyer Olkin)和「巴列特球型檢定」(Bartlett’s Test of Sphericity) ,當KMO值愈大時,表示變項間的共同因素愈多,愈適合進行因素分析,根據學者Kaiser(1974)觀點,如果KMO的值小于0.5時,較不宜進行因素分析 Kaiser, H. F. “An Index of Factorial Simplicity,” Psychometrika (39), 1974, pp. 31-36. KMO是做主成分分析的效度檢驗指標之一,以前的文獻中寫說,KMO在0.9以上,非常適合做因子分析;在0.8-0.9之間,很適合;在0.7-0.8之間,適合;在0.6-0.7之間,尚可;在0.5-0.6之間,表示很差;在0.5以下應該放棄. 量表題之處理 量表題的運用,通常是因為用一題無法完整測量某一個變量,因而需要使用數道題目來表示一個變量,然而這些題目真的能有效并一致地指涉同一個變項嗎?這時我們便需要透過因素分析與信度分析來檢視量表的信、效度。 因素分析 量表題組是否具有效度,這組題目是否測量同一面向(或同一因素),其能解釋的變異量又有多高,便需要靠因素分析來檢驗。 1. 選擇分析、數據縮減下之因子。 2. 將量表題組(請注意,只能同時放一組量表,如同儕關系量表,切勿將多組量表或所有的題目一起點選進去)點選至右邊之窗格。 3. 按下描述性統(tǒng)計量,勾選KMO與Bartlett球形檢定。 4. 萃取選擇「主成分」分析,并選擇「陡坡圖」。 5. 至選項內勾選「依據因素負荷排序」。全都選完后,即可按下確定。 1. KMO與Bartlett檢定,是在檢定量表題組之間的相關。 (1)Bartlett:量表題組是用來測量一個變項,因此應具有一定的相關程度,當Bartlett檢定達顯著(顯著性=.000),即表示此題組具有共同之因素(一或數個因素)。 (2)KMO:然而題組間的相關程度若太高,則會造成多重共線性的問題,也就是說相關程度特別高的題目,事實上就是同一題拆成數題,如此便不符合設計量表題的原意,也會造成重復解釋、過度膨脹解釋力的后果,因此接著要看KMO取樣適切性量數,KMO必須要在0.6以上,KMO越接近1,表示量表題目間的相關情形良好,越適合進行因素分析。 2. 解說總變異量,在此會從題組中采用主成分分析法選擇出數個成分,并指出成分中的數個題目共同解釋的總變異量,通常以第一個成分之解釋變異量最高,如自右圖中所選出之第一個成分的題組,此一成分所能解釋的變異量為46.53%,而本次研究法報告亦以選取第一個成分之題組即可。 3. 因素陡坡圖,亦即解說總變異量中每一成分之總和的圖示。如第1到第2成分間之落差特別大,則表示第1成分內有重要的因素,而第2至第3、第4...成分間之坡度十分平緩,表示第2~第6成份并未出現(xiàn)重要的因素,則不采用第2~第6成份之題目。 4. 從最后的成分矩陣中,SPSS只抽選出一個成分,以及每一道題目在此成分中的因素負荷量。因素負荷量越高,表示該題在此成分中的重要性越高若因素負荷量低于0.6,則此題(如V47.6_1)不被列入該成分中,因此,在做下一階段的信度分析時,此題亦需被剔除。但下面仍將此題放入,看看該題信度分析之結果。 信度分析 具有信度(Reliability)的題目,必須具有穩(wěn)定性、一致性與精確性。至于量表是由「題組」所構成,這些題目間的穩(wěn)定性、一致性與精確性,就必須用信度分析來檢測。 1. 自「分析」下的「量尺法」進入信度分析的對話框。 2. 將一組量表題(請注意,只能同時放一組量表,如同儕關系量表,切勿將多組量表或所有的題目一起點選進去)的題目自左邊點選至右邊的「項目」框內。 3. 按下「統(tǒng)計量」,進入另一個窗口,將左上角的描述性統(tǒng)計量對象的三個選項勾選起來。 4. 模式部分,請選取Alpha值(即α值),即可按確定,讓SPSS自動執(zhí)行信度分析。 1. 接下來出現(xiàn)的信度分析輸出檔,首先可以看到最下面出現(xiàn)的Alpha值,α值越高,表示此組量表的信度越高,各題之間也具有更高的一致性。α值若低于0.6,則此量表信度太低,不宜采用。 2. 若α值低時,首先可以看Alpha if Item Deleted,這部分是指在這個量表題組中,若刪掉V47.1_1題,則此量表的α值將由0.7314降到0.6733,刪掉V47.6_1題(亦即作因素分析后,被剔除的無效的題目),則量表的α值會提升至0.7946;因此,此一量表題組便需刪去V47.6_1題以提升信度,其它題目則要保留。若整體的α值都低于0.6時,此時只能藉由修改題目內容來提升其信度。 3. 在Corrected Item-Total Correlation的部分看到的是這些題目之間的相關程度,其相關系數越高,表示該題和其它題目間的一致性越高,像V47.6_1,和其它題目間的相關系數低,因此和其它題目較不一致。 總而言之,一組量表的信度(α值)不得低于0.5,若太低則可藉由刪掉其中幾題以提高α值。另外若此題組具有信度時,不一定需要刪去某些題目來提高信度。若怎么試都無法提高量表信度,只有重新修改題目了。 /計算 量表做完信度分析的檢測后,還不能馬上進行統(tǒng)計分析。一組量表雖是由許多題目所構成,但這些題目所要測的其實是一個概念的各個面向,所以也要把這些題目組合成一個變量。其組合的方式如下所示: 1. 點選「轉換」下的「計算」,進入計算變量的對話框。 2. 要組合的量表題,必須先給他一個新的變量名稱,所以要在「目標變量」框中打上此新變量的名稱。 3. 將要加總的量表題組一題題自左下的框中點選到右邊「數值表達式」的框里,并且將每一題加起來后,除以總題數,再按下確定即可得到一新的變量(如下圖四)。 量表題加起來后,不一定要除以總題數,除以總題數,得到的數據是所有題目的平均,沒有除,看到的是受訪者在此一大題所得到的總分,如此而已,看你喜歡用哪一個。 量表題加總時必須要注意的是,這些量表題目的方向必須一致,都是正向題或都是反向題,例如:
第2、3題都是同一個方向,在這兩題所得到的分數越高,表示他越會去面對困難的事情,而第1題得到的分數越高,則越不會面對困難,因此,第1題和第2、3題間的方向是相反的,若直接將這三題加起來,則其分數會互相抵銷。因此,在處理不同方向的問題時,必須先用「重新編碼」的方式,讓所有題目的方向都一致后,再進行加總的工作。 |
|