如何進(jìn)行可用性評估和研究
報告框架
什么是可用性評估？——理解可用性
為什么要做評估？——探明評估目標
評估哪些方面？——確定評估指標
選擇哪類(lèi)評估？——選擇評估方法
評估前需要哪些準備？——評估準備
如何實(shí)施評估？——評估實(shí)施
如何撰寫(xiě)評估報告？——評估報告
什么是可用性評估？——理解可用性
可用性定義（ISO9241-11）：產(chǎn)品在特定環(huán)境下特定用戶(hù)用于特定用途時(shí)所具有的效果、效率和用戶(hù)主觀(guān)滿(mǎn)意度。
為什么要做評估？——探明評估目標
研究導向：證實(shí)與證偽
產(chǎn)品導向：發(fā)現問(wèn)題，改善設計
為什么要做評估？——研究導向
我發(fā)明了一個(gè)全新的技術(shù)，我想知道用戶(hù)對這個(gè)創(chuàng )新技術(shù)的反應，以確認它是否有價(jià)值。
——驗證性評估
我發(fā)明了一個(gè)可替代現有技術(shù)的新技術(shù)，我想知道它是否比現有技術(shù)更有價(jià)值（對比）。
——對比性評估
為什么要做評估？——產(chǎn)品導向（1）
戰略上的目標
1 使我的產(chǎn)品所提供的功能用戶(hù)真正“想要”和“想用”，建立起清晰的產(chǎn)品定位。
2 使我的產(chǎn)品在同類(lèi)產(chǎn)品中更具核心競爭力。
功能是產(chǎn)品的核心價(jià)值，當同類(lèi)競爭產(chǎn)品之間的功能相差不大時(shí)，可用性和用戶(hù)體驗就升格為核心價(jià)值。
Idea：可用性/用戶(hù)體驗是產(chǎn)品競爭的最后一座“堡壘”。
3 使我的用戶(hù)滿(mǎn)意我的產(chǎn)品——〉信賴(lài)我的產(chǎn)品的品牌——〉成為我的產(chǎn)品的“骨灰級粉絲”
為什么要做評估？——產(chǎn)品導向（2）
具體目標
（1）建立可用性標準
對當前版本進(jìn)行可用性評估，為下一版本的產(chǎn)品提供可用性標準。
（2）控制開(kāi)發(fā)成本
在開(kāi)發(fā)周期的早期就能夠發(fā)現設計上的問(wèn)題（原型測試） VS Coding的成本非常高
（3）降低開(kāi)發(fā)風(fēng)險
等待產(chǎn)品發(fā)布后再獲得用戶(hù)的反饋，風(fēng)險太高
（4）降低技術(shù)支持和維護成本
用戶(hù)容易學(xué)習和使用產(chǎn)品，自然就很少打技術(shù)支持的“熱線(xiàn)電話(huà)”，也無(wú)需太多的時(shí)間去維護產(chǎn)品
（5）提高銷(xiāo)售額
好用的產(chǎn)品自然就會(huì )有良好的口碑，良好的口碑成就更高的銷(xiāo)售額
要評估哪些方面？——確定評估指標
選擇哪類(lèi)評估？ ——選擇評估方法
1、用戶(hù)參與
（1）對比實(shí)驗：用戶(hù)數：
多組設計的可用性比較；
用戶(hù)數：每組12人以上。
（2）可用性觀(guān)察測試：
通過(guò)觀(guān)察找出界面可用性問(wèn)題，提出設計改進(jìn)建議；
可以是正式的實(shí)驗室觀(guān)察，也可以是非正式的觀(guān)察。
用戶(hù)數：2人以上，一般6——12人。
2、用戶(hù)不參與
（1）啟發(fā)式評估
可用性專(zhuān)業(yè)人員根據已有的可用性原則，對界面進(jìn)行逐一評估
（2）認知走查法
可用性專(zhuān)業(yè)人員將自己“扮演”成為用戶(hù)，通過(guò)一定的任務(wù)對界面進(jìn)行檢查評估。
（3）GOMS模型預測
（4）擊鍵層模型預測
選擇哪類(lèi)評估？ ——選擇評估方法
評估方法的選擇，取決于：
1 我的評估目標——如前面所述
研究導向：驗證我的設計Idea是否有利于用戶(hù)（觀(guān)察測試等）；比較兩個(gè)或多個(gè)設計Ideas（對比實(shí)驗）
產(chǎn)品導向：發(fā)現問(wèn)題，改善設計（觀(guān)察測試、啟發(fā)式評估、認知走查等） ；證實(shí)我的產(chǎn)品達到可用性目標（觀(guān)察測試、對比實(shí)驗等）
2 我希望獲取的數據的類(lèi)型
量化數據（對比實(shí)驗）
質(zhì)性數據（其他評估方法）
3 我關(guān)于評估和與用戶(hù)打交道的價(jià)值觀(guān)念
用戶(hù)參與的評估
評估前需要哪些準備？——評估準備
一、人員組成
二、人員培訓
三、觀(guān)察者安排
四、測試計劃
五、測試任務(wù)設計
六、招募測試用戶(hù)
評估前需要哪些準備？——評估準備
用戶(hù)參與的評估
一、人員組成
一個(gè)可用性評估組中至少要有兩位實(shí)施人員.
雖然一個(gè)人也可能完成可用性測試，但他/她必須是經(jīng)過(guò)嚴格訓練的可用性專(zhuān)家，必須能夠即時(shí)處理所有的任務(wù)。他/她需要：
1 照看好測試測試用戶(hù) (使所有測試用戶(hù)都感覺(jué)良好并完成得比較順利)
觀(guān)察測試中發(fā)生的事情，安排管理測試場(chǎng)景 (作為測試的促進(jìn)者)，并提出問(wèn)題(如果需要)
2 觀(guān)察時(shí)要做好筆記
3 如果你用了錄音設備，還要照看好它們。
所有這些，一個(gè)人難以辦到
兩人組成小組，有如下好處：
1 測試結束時(shí)，會(huì )有兩種視角來(lái)看待測試結果
2 其中一人可以照看測試用戶(hù)并坐在測試用戶(hù)的旁邊 ，另外一個(gè)人可以做記錄，并照看好記錄設備
3 兩個(gè)人必須都可以觀(guān)察測試用戶(hù)并聽(tīng)到測試用戶(hù)說(shuō)話(huà)
如果空間和人員足夠，還可以用更多的人加入可用性測試小組（如項目經(jīng)理、開(kāi)發(fā)人員等）。小組中的成員都應該觀(guān)察、聆聽(tīng)并作筆記。
二、人員培訓
評估小組中至少有一個(gè)成員是可用性專(zhuān)業(yè)人員。 所有的其他成員必須知道如何:
1 在可用性測試期間如何與用戶(hù)進(jìn)行溝通
2 客觀(guān)觀(guān)察的方法
3 聆聽(tīng)用戶(hù)真實(shí)意圖的方法
4 將觀(guān)察（所看到的和所聽(tīng)到的）與推論（對觀(guān)察做出假設和結論）區別開(kāi)來(lái)
5 有效地作筆記的方法
6 詢(xún)問(wèn)時(shí)，不引導或責備用戶(hù)
三、觀(guān)察者安排
觀(guān)察者：想親眼目睹整個(gè)觀(guān)察過(guò)程的任何相關(guān)人員
還有哪些人需要對可用性測試進(jìn)行觀(guān)察？
很多人。努力為這些觀(guān)察者安排位置。
1 負責產(chǎn)品設計的團隊應該過(guò)來(lái)，進(jìn)行觀(guān)察和聆聽(tīng)。
2 負責產(chǎn)品內容編輯的人員應該過(guò)來(lái)，進(jìn)行觀(guān)察和聆聽(tīng)。
3 那些對可用性工程表示過(guò)懷疑或對你的用戶(hù)知識技能分析表示過(guò)懷疑的經(jīng)理和管理者們應該過(guò)來(lái)，進(jìn)行觀(guān)察和聆聽(tīng)。
4 可用性測試是許多設計者、開(kāi)發(fā)者、編輯和經(jīng)理第一次看到真正的用戶(hù)使用產(chǎn)品。這些人需要看到可用性測試這一真實(shí)過(guò)程。
在典型的可用性測試中，你不想將超過(guò)一個(gè)以上的觀(guān)察者與用戶(hù)一起待在一個(gè)房間。因此，你需要為其他觀(guān)察者安排另外的空間。
可用性實(shí)驗室中通常具有一個(gè)獨立的房間，在這個(gè)房間里，觀(guān)察著(zhù)可以通過(guò)單向玻璃或監視器來(lái)觀(guān)察可用性測試過(guò)程。
如果你把測試安排在一個(gè)會(huì )議室，你可以在隔壁為觀(guān)察者搭建一個(gè)房間。你可以在觀(guān)察室里放置影音設備，將將錄像投到一個(gè)大監視器上。
四、測試計劃
評估范圍：我需要評估什么內容?
評估指標：我關(guān)注想評估產(chǎn)品的哪些方面？
測試用戶(hù)：我應該請什么用戶(hù)來(lái)參加測試？
評估環(huán)境：在什么地方實(shí)施評估？在固定的實(shí)驗室？會(huì )議室？或其他擁有可移動(dòng)實(shí)驗室的地方？在會(huì )議室或其他沒(méi)有任何錄音設備的地方？遠程？
評估預算：這次評估我大概要花多少錢(qián)？
五、測試任務(wù)設計
選擇用戶(hù)將要嘗試的相關(guān)任務(wù)
準備、試驗并精煉為這些任務(wù)所設計的任務(wù)場(chǎng)景。
注意：確保這些任務(wù)場(chǎng)景寫(xiě)得很清晰，在測試時(shí)間分配上比較合理。
如果是對比實(shí)驗，還需要考慮你的實(shí)驗設計
測試內設計、測試間設計、混合設計
無(wú)關(guān)變量的消除與平衡
順序效應的平衡
練習效應的消除
滿(mǎn)意度問(wèn)卷
六、招募測試用戶(hù)
招募那些當前的或潛在的用戶(hù)來(lái)參加測試
考慮請一個(gè)專(zhuān)門(mén)招募可用性測試的測試用戶(hù)的公司來(lái)幫助招測試用戶(hù)
如果自己招募，可以建立一個(gè)用戶(hù)庫以便將來(lái)的測試之用。
如何實(shí)施評估？——評估實(shí)施
預測試
找找親近的人、與測試用戶(hù)背景相似的人或其他部門(mén)的人（如人力資源部、會(huì )計部等）過(guò)來(lái)，請他們幫忙過(guò)來(lái)做預測試
預測試用戶(hù)一般2個(gè)人左右
預測試能夠幫助我們對評估的過(guò)程進(jìn)行預演，從而找出我們在評估設計可能存在的問(wèn)題或沒(méi)有考慮到的情況，盡量減少在正式的評估中出現不愉快的或影響評估的客觀(guān)性的或不可預知的問(wèn)題。
檢查軟硬件是否有沖突
任務(wù)描述是否有問(wèn)題
實(shí)驗者的口頭說(shuō)明是否清晰
實(shí)驗者先自己測試，將任務(wù)完整過(guò)一遍。
測試實(shí)施
一、評估人員介紹測試的目的
自我介紹（姓名，稱(chēng)呼：**公司的研究人員）
所在機構和他的主要目標（公司主要是做手機可用性測試方面的）
介紹這次研究的目的（該系統是否符合用戶(hù)的使用方面的要求）
聲明這個(gè)測試的對象是手機/手機軟件，而不是用戶(hù)本人
聲明他們的參與是完全自愿的，他們可以在任何時(shí)候要求停止
提供知情同意書(shū)，請他們閱讀，并要求他們簽名，同時(shí)可收集用戶(hù)的人口學(xué)、知識等信息。
讓用戶(hù)參觀(guān)測試設備，并解釋每部分的功能，告訴他們將使用什么設備
讓用戶(hù)了解將要對他們的聲音和行為進(jìn)行記錄。保密聲明，征求同意。
二、出聲思維訓練
在做什么？
看到了什么？
怎么想的？
有什么疑問(wèn)？
三、任務(wù)介紹
用戶(hù)使用系統之前盡可能告訴用戶(hù)有關(guān)系統的信息
告知用戶(hù)任務(wù)。一次告知一個(gè)任務(wù)。任務(wù)描述頁(yè)，同時(shí)口頭上向他們表述。
詢(xún)問(wèn)用戶(hù)是否有關(guān)于研究目標、過(guò)程或任務(wù)的問(wèn)題?；卮疬@些問(wèn)題，但是不能回答類(lèi)似于“我該怎樣做這項任務(wù)？”的問(wèn)題，如有用戶(hù)問(wèn)到，可以跟他們說(shuō)：“那正是我需要觀(guān)察的情況，我想看看系統是怎樣幫助你完成這個(gè)任務(wù)的。”
四、開(kāi)始測試
用戶(hù)采用出聲思維法完成任務(wù)。如果用戶(hù)沉默5-10秒，告訴他“請一直說(shuō)”。
如果用戶(hù)開(kāi)始解釋他們的步驟而不是報告工作記憶區的內容，先讓其停止，然后說(shuō)：“請不要向我解釋你正在做什么。表現得就好像你一個(gè)人在解決問(wèn)題時(shí)一樣自言自語(yǔ)。”
適時(shí)讓用戶(hù)休息
五、結束測試
詢(xún)問(wèn)用戶(hù)是否還有更多的關(guān)于系統或研究的問(wèn)題?；卮鹉切┈F在就可以回答的問(wèn)題，或讓用戶(hù)和可以回答這些問(wèn)題的人聯(lián)系。
詢(xún)問(wèn)用戶(hù)關(guān)于所測試產(chǎn)品的意見(jiàn)和改進(jìn)建議。
感謝用戶(hù)的參與，重申他們的參與將幫助我們確定系統的問(wèn)題，從而可以改進(jìn)系統。
用戶(hù)不參與的評估：?jiǎn)l(fā)式評估
評估準備
人員組成
人員培訓
評估過(guò)程
一、人員組成
要考慮用3——5個(gè)可用性專(zhuān)業(yè)人員
二、人員培訓
評估小組中所有成員均為可用性專(zhuān)業(yè)人員。所有的成員必須:
對可用性評估原則有一致的理解
能夠在一個(gè)顯而易見(jiàn)的可用性范例中取得一致的評估（檢查到的問(wèn)題、對問(wèn)題的解釋?zhuān)辉O計建議可以不一致）
了解評估實(shí)施過(guò)程
共同形成評估任務(wù)
能夠形成可用性專(zhuān)業(yè)人員評估的報告規范和呈現方式
Jakob Nielsen的啟發(fā)式原則
1.0 – 約 1990
簡(jiǎn)單而自然的對話(huà)
采用用戶(hù)的語(yǔ)言
使用戶(hù)的記憶負擔減至最低
一致性
提供反饋
提供清晰的退出標志
提供快捷方式
提供良好的出錯消息
預防錯誤
幫助和文檔
2.0 – 約 1994
美觀(guān)和最小化設計
系統和現實(shí)世界相匹配
運用再認而不是回憶
一致性和標準化
系統狀態(tài)可視化
用戶(hù)控制和自由度
使用的靈活性和效率
幫助用戶(hù)識別、診斷、恢復錯誤
錯誤預防
幫助和文檔
評估過(guò)程
評估小組 (最好3-5人) 評估一個(gè)用戶(hù)界面
每個(gè)評估者根據啟發(fā)式原則獨立地、依次地進(jìn)行檢查評估
不同的評估者可能會(huì )發(fā)現不同的問(wèn)題
評估者聚在一起，合并他們的發(fā)現
共同估計問(wèn)題的嚴重性
任務(wù)報告/頭腦風(fēng)暴 ? 如何修正該問(wèn)題 ，指出哪種設計建議/解決方案比較好
如何撰寫(xiě)評估報告？——評估報告
評估報告的風(fēng)格因不同的目標、不同的閱讀對象而不同。
通用工業(yè)規范可用性測試報告標準(CIF, ANSI/NCITS 354, 2001)
標題頁(yè)
實(shí)施概要
簡(jiǎn)介
方法
結果
附錄
對比實(shí)驗報告
介紹
產(chǎn)品描述
實(shí)驗目標
方法
實(shí)驗用戶(hù)
實(shí)驗任務(wù)
實(shí)驗設備
軟件環(huán)境
顯示設備；聲音設備；輸入設備
數據收集工具
實(shí)驗設計
實(shí)驗過(guò)程；實(shí)驗用戶(hù)通用指導語(yǔ)；實(shí)驗任務(wù)指導語(yǔ)
可用性測量指標
結果
效率對比；效果對比；滿(mǎn)意度對比
討論
總結
附錄
啟發(fā)式評估報告
啟發(fā)式評估報告，又叫可用性方面報告UAR），內容主要包括：
1 可用性問(wèn)題或優(yōu)點(diǎn)（關(guān)鍵事件的證據）
用戶(hù)的目標。
用戶(hù)行動(dòng)的效果。
2 對問(wèn)題或優(yōu)點(diǎn)的解釋
3 問(wèn)題的嚴重性或優(yōu)點(diǎn)的好處
5點(diǎn)量表
4 設計建議
5 與其他可用性方面的關(guān)系
