在用戶(hù)研究工作中，如何讓自己的數據和結論更有說(shuō)服力，是很重要的問(wèn)題。最近將自己積累的用研信度和效度的筆記整理一下，羅列在文中，希望對大家有所幫助。
一、調查的質(zhì)量取決于調查的信度和效度
信度主要指測量結果的一致性、穩定性。也就是說(shuō)結論和數據是否反映了用戶(hù)最真實(shí)穩定的想法。用戶(hù)在回答問(wèn)題的時(shí)候，往往會(huì )受到環(huán)境、時(shí)間、當時(shí)當地的情緒影響，而作出并不真實(shí)的想法，即會(huì )有隨機誤差。信度就是衡量這種隨機誤差對用戶(hù)想法的影響大小。
效度是指多大程度上測量了你想要測量的東西。
對某個(gè)產(chǎn)品用研，我們現在用得最多是用戶(hù)訪(fǎng)談、問(wèn)卷調查和可用性測試。而在這幾個(gè)過(guò)程中都會(huì )涉及信度和效度的問(wèn)題。
二、用戶(hù)訪(fǎng)談中的效度和信度
1. 訪(fǎng)談不能僅僅局限于用戶(hù)
任何一個(gè)產(chǎn)品項目都會(huì )受到市場(chǎng)環(huán)境、公司戰略、技術(shù)力量、平臺規范和流行趨勢等各個(gè)方面的影響。對某一產(chǎn)品的需求，可能來(lái)自用戶(hù)、產(chǎn)品、技術(shù)、交互以及視覺(jué)。不同崗位人員看待產(chǎn)品的角度不一樣，側重點(diǎn)也不一樣，找多個(gè)角色有助于把需求找全，不遺漏，所以必須提前了解他們的需求。這樣才能使我們的研究更有針對性、全面性、有用性。有用程度、全面程度是效度的重要組成部分。
通常，前期深度訪(fǎng)談的用戶(hù)數量不會(huì )太多，所以用戶(hù)條件一定要把握適當。反饋的問(wèn)題才能全面、合理、有用。
比如是做Android平臺上的某一軟件。
首先Android新手用戶(hù)和熟練用戶(hù)都是必須的，熟練用戶(hù)更能反映android用戶(hù)習慣性操作方式、平臺特點(diǎn)、以及長(cháng)期使用過(guò)程中積累的意見(jiàn)和建議；而新手用戶(hù)可以更好的反映該平臺哪些地方存在學(xué)習困難，從而通過(guò)我們的設計幫助用戶(hù)去降低學(xué)習成本。
其次非Android平臺用戶(hù)也是必須的，可以從側面了解他們不用Android的原因。從而幫助產(chǎn)品挖掘更多潛在用戶(hù)提供方向。
人口學(xué)信息（學(xué)歷、職業(yè)、性別、年齡）要覆蓋全面。不同屬性的用戶(hù)看重地方會(huì )存在差異。需求也會(huì )不一樣。
包含競品用戶(hù)。通過(guò)了解用戶(hù)對競品的評價(jià)，可以提煉出競品的優(yōu)劣勢，從而為增強產(chǎn)品競爭力提供方向。
3. 一定要有專(zhuān)家
專(zhuān)家是重要的信息攜帶者。李樂(lè )山教授說(shuō)專(zhuān)家有三類(lèi)，用戶(hù)專(zhuān)家、制造專(zhuān)家、市場(chǎng)銷(xiāo)售專(zhuān)家，他指出判斷某人是否 是專(zhuān)家的標準是：（1）能夠熟練使用一種產(chǎn)品；（2）能夠比較同類(lèi)產(chǎn)品；（3）有關(guān)的新知識容易整合到自己的知識結構中；（4）具有10年專(zhuān)業(yè)經(jīng)驗； （5）積累大量經(jīng)驗并且在使用經(jīng)驗方面具有絕招；（6）了解有關(guān)的歷史（該產(chǎn)品設計史、技術(shù)發(fā)展史等）；（7）關(guān)注產(chǎn)品發(fā)展趨勢;（8）知識鏈或者思維鏈 比較長(cháng)，提起任何一個(gè)有關(guān)話(huà)題，他們都能夠談出大量的有關(guān)信息；（9）能夠提出改進(jìn)或創(chuàng )新的建議，他們的創(chuàng )新或改進(jìn)方案，其高水平體現在采用簡(jiǎn)單方法解決 復雜問(wèn)題。
對于互聯(lián)網(wǎng)，專(zhuān)家應該指的是用戶(hù)專(zhuān)家、開(kāi)發(fā)專(zhuān)家、設計專(zhuān)家以及產(chǎn)品專(zhuān)家；他們憑借豐富的經(jīng)驗，系統全面的掌握行業(yè)同類(lèi)產(chǎn)品、開(kāi)發(fā)及設計模式、歷 史及發(fā)展趨勢、專(zhuān)業(yè)水平極高。他們可以為我們提供很多我們始料未及的建議。這是保證用研過(guò)程，特別是對于后期問(wèn)卷結構效度有很大的作用。
三、問(wèn)卷調查與分析中的信度與效度
為了提高工作效率，問(wèn)卷調查往往采用網(wǎng)絡(luò )調查的方法，信度效度問(wèn)題出現的可能性就更大。
最近看到一些滿(mǎn)意度調查是采用量表加結構方程模型（SEM）的方式。我們看看哪些地方可能會(huì )出現信度和效度的問(wèn)題。
1. 理論模型支持
由于SEM進(jìn)行的是驗證性因子分析，是檢驗而不是探索新的模型，因此，整個(gè)因果關(guān)系的假設必須有強有力的理論支持和嚴密的邏輯框架。包括模型中 變量關(guān)系的假定、指標的選取、甚至測度項的表達方式等。如果最終輸出的模型和理論模型結構不符，那么該模型是沒(méi)有任何說(shuō)服力的。比如用ACSI模型作為滿(mǎn) 意度的理論模型時(shí)，是否真的按照感知質(zhì)量、感知價(jià)值、顧客期望這幾個(gè)層面去設計問(wèn)卷？
普通抽樣調查中原則上是越多越好，但遇到目標用戶(hù)較少的情況，只要保證一定的條件就ok的，樣本量受到置信區間、抽樣誤差范圍的影響，可以用公式算出最小樣本量。
但對于結構方程模型大樣本是必須的，SEM中涉及的變量眾多，變量間的關(guān)系很復雜交錯，小樣本量會(huì )導致模型不穩定，收斂失敗進(jìn)而影響模型中參數。朱遠程等[1]在 文獻中指出，當樣本低于100時(shí)，幾乎所有的結構方程模型分析都是不穩定的，大于200以上的樣本，才稱(chēng)得上一個(gè)中型樣本。若要得到穩定的結構方程模型結 構，低于200的樣本數量是不鼓勵的。有些學(xué)者將最低樣本量與模型變量結合在一起，建議樣本數至少應為變量的十倍，這一規則經(jīng)常被引用。模型中變量越多， 對大樣本的要求就越高。
a. SEM模型中各變量的函數關(guān)系要是線(xiàn)性的，否則是不能用回歸計算路徑系數的。
b. 在使用最大似然估計法時(shí)，變量一定要是多元正態(tài)分布的，這就要求指標要呈正態(tài)分布，否則就要對指標進(jìn)行正態(tài)處理才行。
c. 變量間的多重共線(xiàn)性程度要低，否則路徑系數會(huì )有很大誤差。
d. SEM建立的過(guò)程中會(huì )不斷的修正才能得到比較完美的模型，比如因子分析時(shí)，若發(fā)現某一測度項對應的因子載荷過(guò)小，就會(huì )人為的將該測度項刪除，但是若模型建 立之后，一些變量對應了4~5個(gè)測度項，一些變量只剩下1~2個(gè)測度項，那么我們就需要思考只有兩個(gè)測度項的變量是否被完全解釋?zhuān)@僅有的兩個(gè)測度項就全 面真實(shí)的反映該變量么？如果是這樣，就算KMO、Bartlett、因子載荷都通過(guò)了，效度也是難以保證的。所以問(wèn)卷前期需要反復的預調研，不斷的對問(wèn)題 進(jìn)行修正，而不是隨意的人為刪除。我學(xué)生時(shí)代對某電子商務(wù)網(wǎng)站滿(mǎn)意度進(jìn)行調查時(shí)，就犯了類(lèi)似的錯誤，模型中的“互動(dòng)性”片段，互動(dòng)性由四個(gè)變量衡量，其中 “雙向溝通性”一開(kāi)始設計的時(shí)候由5個(gè)測度項支持，但是因子分析檢驗通不過(guò)，就直接將因子載荷比較小的客服、論壇、SNS三者去掉了，最后雖然在數據上通 過(guò)了信度效度檢驗，但是只有IM、留言板這兩個(gè)測度項支持是絕對不能解釋“雙向溝通性”的。
4. 數據質(zhì)量是根源
要使模型結構穩定有效，首先要保證數據質(zhì)量，反復檢驗問(wèn)卷的信度。
a. 不同時(shí)間的一致性。
在設計問(wèn)卷時(shí)，可以將同樣的問(wèn)題對同一個(gè)人重復測試，如果這兩道題得到的答案是不一致的，相關(guān)系數（Pearson r）小于0.7，那么這份問(wèn)卷的穩定信度就值得考量。
假如問(wèn)卷樣本足夠大，可以一分為二（每一個(gè)樣本也要保證足夠樣本量），分別建立兩個(gè)模型；通過(guò)對比兩個(gè)模型中參數的差異，便可以檢驗該模型的穩定性和適用性。如果兩者差異太大，就說(shuō)明模型本身是有問(wèn)題的。
用內容等效但表達方式不同的兩份問(wèn)卷調查，檢測兩者的等效信度，比如Gamma系數。
c. 內在一致性
問(wèn)卷中相關(guān)的問(wèn)題為同樣的目標服務(wù)，他們在邏輯一致，也就是同質(zhì)的。首先要測量每個(gè)測度項與總體的相關(guān)性（item-total correlation），然后再測量同一變量下相關(guān)問(wèn)題間的同質(zhì)性，而對于不同的提問(wèn)方式選擇對應的方法：比如,對于李克特量表方法，就用 Chronbach系數檢驗；在基礎研究中，信度至少應達到 0.80 才可接受，在探索性研究中，0.70 可接受，0.70－0.98 為高信度,小于0.35 為低信度。對于是非題則采用kuder-Richardson系數檢驗。在進(jìn)行內在一致性檢驗時(shí)，要看題目選項是否反序，如果兩道題都是問(wèn)“對該產(chǎn)品是否 滿(mǎn)意”，一道7代表滿(mǎn)意，1代表不滿(mǎn)意；另一道1代表滿(mǎn)意，7代表不滿(mǎn)意，這樣就會(huì )影響信度。遇到這種情況要提前人為調整過(guò)來(lái)。
5. 看得更遠一點(diǎn)
問(wèn)卷結論不僅要解決當前的問(wèn)題和需求，還有具有一定的預測作用，市場(chǎng)是變化的，當前的目標用戶(hù)不一定就是未來(lái)的（或者下一個(gè)版本的）目標用戶(hù)， 比如目標用戶(hù)的收入可能有增加的趨勢，某一平臺的使用率在快速提高，當前的滿(mǎn)意度模型可能在一個(gè)月之后就不適用了（比如新功能點(diǎn)的出現）。
6.關(guān)注細節
a. 問(wèn)卷設計中題項表述不能出現歧義、避免太專(zhuān)業(yè)詞匯以及誘導詞匯
b. 選項間要有明確的區分（互斥）
c. 避免遺漏，“其他”選項是必須的，而且最好配有輸入框，記憶中，每次問(wèn)卷調查中都能從“其他”選項中獲取大量信息。
d. 一般題項不能太多，設置問(wèn)題選項的時(shí)候，盡可能的讓選項隨機顯示，特別是在選項較多的情況下。
e. 數據處理過(guò)程中刪除重復項矛盾項之外，最好能統計到用戶(hù)填寫(xiě)問(wèn)卷的時(shí)間差。如果整個(gè)填寫(xiě)的時(shí)間極短，完全可以判定用戶(hù)沒(méi)有認真填寫(xiě)。
f. 極端的、離群的選項可以考慮將其刪除。
四、可用性測試中的信度與效度
首先保證，主持人的態(tài)度親切、測試前隨意聊聊彼此熟悉、測試提綱清晰全面。另外，以下幾點(diǎn)也對保證測試的信度和效度很重要。
1. 不要忽略異想天開(kāi)
腦暴中要求彼此不能批評，在進(jìn)行訪(fǎng)談或測試中，也不能對用戶(hù)某些操作做出評論，否則用戶(hù)很有可能隱藏內心真實(shí)的感受。關(guān)注并記錄用戶(hù)出錯，但是用戶(hù)出錯時(shí)態(tài)度要中立。
通常，用戶(hù)在體驗的真實(shí)的原型后，會(huì )產(chǎn)生很多看似異想天開(kāi)的訴求，有些雖然在當前不能實(shí)現，但是會(huì )為未來(lái)發(fā)展提供很多思路和方向。所以，我們要積極鼓勵用戶(hù)進(jìn)行思維發(fā)散。
2. 前后驗證、競品比對
在測試完成后，可以加上一個(gè)總體調查問(wèn)卷，一者讓用戶(hù)對自己體驗的各個(gè)功能點(diǎn)有一個(gè)回顧和比較，同樣也可以驗證用戶(hù)體驗過(guò)程的態(tài)度和最終的態(tài)度是否具有一致性。如果存在不一致，應該進(jìn)一步追問(wèn)理由，確定用戶(hù)的真實(shí)想法。
測試時(shí)，讓用戶(hù)體驗競品，并作出比較，也是發(fā)現有效信息的途徑。
3. 敏銳觀(guān)察
測試中，除了按照已定的提綱進(jìn)行問(wèn)答之外，過(guò)程中還要敏銳的觀(guān)察用戶(hù)一些細微的表情、停留、思考。不但要了解用戶(hù)對個(gè)功能點(diǎn)如何評價(jià)的，還要知 道用戶(hù)做某一任務(wù)過(guò)程中，是怎么思考、計劃、實(shí)施的，用戶(hù)的第一反應、習慣性的操作、思維路線(xiàn)的作用遠遠大于單純的評價(jià)。用戶(hù)任務(wù)完成之后，要追問(wèn)用戶(hù)如 此操作的原因。
4. 記錄原話(huà)并習慣性確認
測試結論要有用戶(hù)的原話(huà)支持，不能輕易的改變用戶(hù)的表述。和用戶(hù)交流過(guò)程中，要習慣性的問(wèn)：“請問(wèn)你的意思是……?”“我這樣理解你的意思，你看對么……?”以保證測試結論的效度。
5. 必要時(shí)進(jìn)行入戶(hù)調查
首先，入戶(hù)調查會(huì )大大減少外界環(huán)境的影響，用戶(hù)在自己的空間中，會(huì )更真實(shí)的反映常見(jiàn)的問(wèn)題。其次，入戶(hù)調查一般是在用戶(hù)畫(huà)像提取出來(lái)之后，按照 用戶(hù)畫(huà)像描述的屬性，有意識有針對性去挑選具有某些典型屬性的對象進(jìn)行深入、全面、系統調查（典型調查），比如某一產(chǎn)品的目標用戶(hù)，他們反映的問(wèn)題，代表 性強，往往有以一當十的功效，避免了非目標用戶(hù)信息造成的干擾。
6. 用戶(hù)條件與數量
參與測試用戶(hù)根據目標用戶(hù)特征選擇。
一般衡量測試是否需要繼續進(jìn)行的方法是：看是否發(fā)現新的問(wèn)題，如果有新的問(wèn)題，就應該繼續，反之，可以結束。
Neilson研究結果表明，5名用戶(hù)的測試可以發(fā)現85%的可用性問(wèn)題。而在我們在以往的可用性測試經(jīng)驗中，用戶(hù)數一般定為6個(gè)，基本上能發(fā)現全部問(wèn)題。當然任何數字都只是一個(gè)參考，用戶(hù)數量最好根據具體的測試情況（衡量時(shí)間、資源、投入產(chǎn)出比）而定?？傊?，關(guān)鍵在于是否有新的問(wèn)題出現。
信度效度貫穿整個(gè)用戶(hù)研究過(guò)程，肯定會(huì )有很多沒(méi)有考慮到的地方，還請各位輕輕拍磚。
參考
1. 朱遠程、馬棟，“談結構方程模型的應用策略”，[企業(yè)管理]，2010
2. 李樂(lè )山教授2010騰訊演講
4. 劉金蘭等譯，“美國顧客滿(mǎn)意度指數”[管理學(xué)報]，2005
聯(lián)系客服
