級別: 初級 kerry, 軟件開(kāi)發(fā)咨詢(xún)顧問(wèn) 2004 年 4 月 01 日 本文中作者介紹了自動(dòng)化測試的好處、概念和步驟。并介紹了 Rational Robot 工具是如何支持自動(dòng)化測試的。 在過(guò)去的數年中，通過(guò)使用自動(dòng)化的測試工具對軟件的質(zhì)量進(jìn)行保障的例子已經(jīng)數不勝數。到現在為止自動(dòng)化測試工具已經(jīng)足夠完善了，我們完全可以通過(guò)在軟件的測試中應用自動(dòng)化的測試工具來(lái)大幅度的提供軟件測試的效率和質(zhì)量。在使用自動(dòng)化的測試工具的時(shí)候我們建議盡早的開(kāi)始測試的工作，這樣可以使修改錯誤更加的容易和廉價(jià)，并且可以減少更正錯誤對軟件開(kāi)發(fā)周期的影響。下圖顯示了手工測試與自動(dòng)化測試的比較。這個(gè)測試案例中包括1750個(gè)測試用例和700多個(gè)錯誤。 手工測試與自動(dòng)化測試的比較
通過(guò)這個(gè)表我們可以看出自動(dòng)化測試與傳統的手工測試在所有的方面都有很大的不同，尤其是在執行測試和產(chǎn)生測試報告的方面。
迭代式的開(kāi)發(fā)過(guò)程已經(jīng)顯示了比瀑布式開(kāi)發(fā)的巨大好處，并已逐漸的取代傳統的瀑布式開(kāi)發(fā)成為了目前最流行的軟件開(kāi)發(fā)過(guò)程。在迭代開(kāi)發(fā)中強調在較短的時(shí)間間隔中產(chǎn)生多個(gè)可執行、可測試的軟件版本，這就意味著(zhù)測試人員也必須為每次個(gè)迭代產(chǎn)成的軟件系統進(jìn)行測試。測試工作的周期被縮短了，測試的頻率被增加了。在這種情況下，傳統的手工測試已經(jīng)嚴重的滿(mǎn)足不了軟件開(kāi)發(fā)的需求。如下圖所示，當第一個(gè)可測試的版本產(chǎn)生后，測試人員開(kāi)始對這個(gè)版本的系統進(jìn)行測試，很快第二個(gè)版本在第一個(gè)版本的技術(shù)上產(chǎn)生了，測試人員需要在第二次測試時(shí)重復上次的測試工作，還要對新增加的功能進(jìn)行測試，每經(jīng)過(guò)一個(gè)迭代測試的工作量會(huì )逐步的累加。隨著(zhù)軟件開(kāi)發(fā)過(guò)程的進(jìn)展，測試工作變得越來(lái)越繁重，如果使用手工測試的方法，將很難保證測試工作的進(jìn)度和質(zhì)量。在這種情況下應用良好的自動(dòng)測試工具將勢在必行。通過(guò)使用自動(dòng)化測試工具測試人員只要根據測試需求完成測試過(guò)程中的所需的行為，自動(dòng)化測試工具將自動(dòng)生成測試腳本，通過(guò)對測試腳本的簡(jiǎn)單修改便可以用于以后相同功能的測試了，而不必手工的重復已經(jīng)測試過(guò)的功能部分。 手工測試的問(wèn)題  同時(shí)，現代的 GUI 開(kāi)發(fā)技術(shù)已經(jīng)非常的先進(jìn)了，它提供給開(kāi)發(fā)人員快速開(kāi)發(fā)的能力。這就意味著(zhù)開(kāi)發(fā)人員能夠非?？焖俚母淖儜贸绦?，并將新的版本交個(gè)測試人員進(jìn)行測試。實(shí)際上，很多公司每天都會(huì )有多個(gè)應用版本產(chǎn)生。如果還是使用傳統的手工測試的方法是根本不可能符合軟件快速開(kāi)發(fā)的要求的。
自動(dòng)化測試過(guò)程  開(kāi)始自動(dòng)化測試過(guò)程的第一個(gè)步驟是根據測試用例（測試需求）錄制測試活動(dòng)的過(guò)程。當測試人員在被測試的應用程序中進(jìn)行測試的活動(dòng)時(shí)，自動(dòng)化測試工具將捕獲測試人員與應用程序之間的所有交互，并根據這些交互生成可重用的測試腳本。測試人員在這個(gè)階段需要考慮的一個(gè)關(guān)鍵問(wèn)題就是，使用的測試工具是否有能力在應用程序的環(huán)境中捕獲所有與應用程序的交互。 這里我們要強調的是你需要考慮與測試應用有關(guān)的所有環(huán)境。讓我們通過(guò)一個(gè)例子進(jìn)行說(shuō)明。假如你的應用是一個(gè)基于 Web 的應用，你可能會(huì )認為我們測試工具只要能夠支持你使用的瀏覽器就足夠了。但這并不是足夠的，在測試基于 Web 的應用的過(guò)程中，一定會(huì )去要和一些其他的補助應用打交道，比如也許你需要和某種數據庫查許工具進(jìn)行交互以確認數據被正確的輸入到了數據庫，或者也許你需要和注冊表編輯器進(jìn)行交互以驗證注冊表的鍵值?；蛘咭苍S你將需要和一個(gè)電子郵件的客戶(hù)端程序交互來(lái)驗證從你的 Web 應用發(fā)出的郵件。 你對主要測試環(huán)境將是你對瀏覽器，但是你同時(shí)要確認你能夠通過(guò)測試工具來(lái)測試其他所有的輔助環(huán)境，這樣才能實(shí)現測試的所有環(huán)節的自動(dòng)化。如果某一個(gè)測試環(huán)節不能被自動(dòng)化測試工具支持，它將成為阻礙測試效率的瓶頸。 自動(dòng)化測試過(guò)程的第二個(gè)步驟是增強和改進(jìn)已錄制的測試腳本。你需要閱讀錄制好的腳本代碼，并對其進(jìn)行適當的需改。我們舉例說(shuō)明，當你錄制一個(gè)腳本時(shí)，自動(dòng)化測試工具將記錄你輸入的所有數據。用一個(gè)簡(jiǎn)單的腳本來(lái)說(shuō)，你的腳本可以讀出一個(gè)文本文件的內容，你可以通過(guò)設置參數為這個(gè)腳本輸入不同的數據集。這樣這個(gè)腳本變得更加有用了。 為了實(shí)現這一點(diǎn)，你需要確保你能夠得到一種簡(jiǎn)單的語(yǔ)言以支持你所有的需要。 你還要確認你的測試工具能夠支持所有你應用程序中的控件。通常情況下，開(kāi)發(fā)人員將創(chuàng )建自己的GUI 或者甚至是一些非 GUI 的對象在應用程序中。你需要確認你能夠通過(guò)修改測試腳本來(lái)使用這些控件。 執行單個(gè)或者少量的測試腳本是十分簡(jiǎn)單的，但是當回歸測試不斷的增加時(shí)，情況就變得復雜多了。你必須確認你能夠協(xié)調測試腳本之間的關(guān)系，并能夠從多臺機器上按照多種配置來(lái)執行測試腳本。
Ratioanl Robot 幫助你實(shí)現有效的自動(dòng)化測試 Robot 可以監測到測試人員與應用程序之間的所有交互行為，并可以產(chǎn)生相應的測試腳本。 現在你必須理解自動(dòng)化測試中關(guān)于驗證點(diǎn)和檢查的主要區別。當你進(jìn)行手工測試時(shí)，通常你可以通過(guò)看屏幕中顯示的結果來(lái)判斷應用程序執行是否是正確的，或者你可以將屏幕上的結果與文檔或者其他的一些結果基線(xiàn)進(jìn)行比較。在 Robot 中這種比較是通過(guò)在測試腳本中設置驗證點(diǎn)實(shí)現的。在執行腳本時(shí)Robot 會(huì )在驗證點(diǎn)獲取測試感興趣的數據，然后與已設定好的結果集進(jìn)行比較判斷測試是否通過(guò)。這個(gè)比較的過(guò)程叫作檢查。 目前 Robot 對幾乎所有流行的應用環(huán)境多有良好的支持和工作表現。尤其是對象 HTML、Java 和 .NET 應用、 Visual Basic,、PowerBuilder,、Delphi、 Oracle 表單 和 MFC 控件（控件最常用在 C和 C++ 的應用中）有著(zhù)非常強大的支持。 在 Robot 覆蓋了幾乎所有的應用環(huán)境的同時(shí)，仍然存在一些用很少被使用的語(yǔ)言和環(huán)境創(chuàng )建的程序部分，對于這些環(huán)境， Robot 具有一種通用的記錄引擎可以捕獲幾乎所有的基本界面交互。因此可以說(shuō)，使用 Robot 能過(guò)滿(mǎn)足幾乎所有的測試環(huán)境要求。 驗證點(diǎn)是一個(gè) Robot 測試腳本中的一個(gè)術(shù)語(yǔ)，在驗證點(diǎn)上你可以檢查某些系統表單的行為。 在 Robot中最常用的驗證點(diǎn)是對象屬性和對象的數據驗證。這些驗證點(diǎn)被用于捕獲對象的狀態(tài)和對象測試期間的數據。在 Robot 中創(chuàng )建驗證點(diǎn)與選擇想得到的驗證點(diǎn)和識別想要被測試的對象一樣的簡(jiǎn)單。 但是很多情況下我們想要的驗證點(diǎn)可能并不是眼睛可以看到的控件。就像下面圖中顯示的，測試者看到的是瀏覽器中各個(gè)元素的結果值，這些結果值 Robot 也可以看到，但測試者卻看不到網(wǎng)頁(yè)上對象的屬性，比如網(wǎng)頁(yè)的 Cookie 屬性，但是這些對象屬性都可以被 Robot 看見(jiàn)。 Robot 的測試驗證點(diǎn) 一旦驗證點(diǎn)被捕獲了，信息就會(huì )被存儲在測試數據區域。在執行回放時(shí)，測試捕獲的數據將與測試數據區域中的數據基線(xiàn)進(jìn)行比較。如果比較結果有任何的不同，他們將獲被標記為"失敗"并被記錄在測試日志中。 Robot 還具有對整個(gè)網(wǎng)站的斷裂鏈接進(jìn)行檢查的能力，這也是通過(guò)設置驗證點(diǎn)實(shí)現的。 一旦腳步錄制完成，在某些情況下，你可以直接執行它。對于一個(gè)簡(jiǎn)單的腳本，可能不需要進(jìn)行任何的改進(jìn)工作。然而，多數的測試腳本將從通過(guò)改進(jìn)與增強中受益。改進(jìn)和增強測試腳本的工作非常簡(jiǎn)單，就像在程序代碼中添加幾行代碼以處理一些條件邏輯一樣簡(jiǎn)單，這對于有一點(diǎn)開(kāi)發(fā)語(yǔ)言基礎的人來(lái)說(shuō)也是很容易的工作。舉一個(gè)簡(jiǎn)單的例子，你需要測試在給定的環(huán)境中計算機屏幕上是否彈出了一個(gè)窗口。在這個(gè)例子中，你只需要在測試腳本的代碼中添加簡(jiǎn)單的類(lèi)型聲明以處理窗口是否出現。 Robot 使用 SQA Basic 語(yǔ)言對測試腳本進(jìn)行編輯。SQA Basic 遵循Visual Basic 的語(yǔ)法規則并且為我們提供了非常適合與測試環(huán)境的方便的閱讀語(yǔ)言代碼的方式。通過(guò)使用這種語(yǔ)言，即便是很少編程經(jīng)驗的測試人員也能夠很容易的理解代碼的含義。對于哪些有豐富編程經(jīng)驗的人來(lái)說(shuō)，他們將會(huì )發(fā)現，SQA 可以非常靈活的進(jìn)行一些高級的編程，比如利用 COM 對象或者訪(fǎng)問(wèn)Windows 的編程接口。 SQA Basic 語(yǔ)言是從 Visual Basic 語(yǔ)言中演化而來(lái)的，同時(shí)它對語(yǔ)法進(jìn)行了擴展，添加了一些測試專(zhuān)用的命令。這些新的命令擴展了 Robot 對所有 GUI 對象的編程訪(fǎng)問(wèn)能力，同時(shí)也使通常的編程任務(wù)―象創(chuàng )建一個(gè)數據驅動(dòng)的測試―更加的簡(jiǎn)單。 對于測試人員來(lái)說(shuō)，無(wú)法實(shí)現自動(dòng)化測試的一個(gè)共同原因是，他們無(wú)法測試自定義的控件。自定義的控件通常是被開(kāi)發(fā)人員編寫(xiě)的，或者是從特定的控件供應商買(mǎi)來(lái)的以填補開(kāi)發(fā)的缺口，而這些控件的并不一定會(huì )保證是在標準的控件環(huán)境下被創(chuàng )建的。這些控件使開(kāi)發(fā)人員的工作更加簡(jiǎn)單的同時(shí)，卻給測試人員的工作帶來(lái)了極大的麻煩。 通常的情況下， Robot的通用錄制機制將可以支持多數的自定義的控件。但是也存在著(zhù) Robot 本身無(wú)法訪(fǎng)問(wèn)到被給的屬性或者控件的數據的情況。在這種情況下，也不要感到無(wú)助， Robot 具有非常好的擴展接口，這個(gè)擴展接口使 IBM Rational 的合作伙伴可以擴展 Robot 的功能，以支持幾乎任何的控件。這就可以使測試人員從問(wèn)題控件中解脫出來(lái)，將精力放到測試任務(wù)之中。 一旦完成了了錄制和改進(jìn)測試腳本，就應該開(kāi)始執行腳本完成測試了。 在執行或者回放時(shí)， Robot承擔了這個(gè)任務(wù)。Robot 重復所有的用戶(hù)交互，計算當前的應用程序結果與驗證基線(xiàn)的任何差異，并將結果記錄在測試日志中。在所有的測試腳本被執行完后，QA 小組檢查測試日志評估他們應用程序的健康性。 成功的腳本執行的關(guān)鍵在于擁有多執行點(diǎn)的能力。有時(shí)你可能希望只是執行單個(gè)的或者少量的腳本，其他的時(shí)候你希望執行所有的測試用例。這兩種情況是需要不同的考慮的。 Robot 給你提供了你所需要的執行腳本的靈活性。你可以以以下的方式執行測試腳本：
Robot 執行測試的方式 單一的腳本或者少量的腳本能過(guò)從 Robot 圖形界面中或者從命令行被執行。更加復雜的大量的測試腳本能夠在 IBM Rational TestManager 工具中被創(chuàng )建和執行。 當從 TestManager 中執行測試時(shí)，你可以獲得在遠程的機器上執行測試的增強能力。通過(guò)在遠程的機器上安裝"測試代理"，TestManager 可以與遠程的機器進(jìn)行通訊并計劃在遠程機器上進(jìn)行測試腳本的執行 － 這個(gè)遠程機器可能是在隔壁房間或者根本是在其他的地方！ Robot 與 Rational TestManger 緊密的集成實(shí)現自動(dòng)化測試的有效管理 Robot 通過(guò)與 Rational TestMananger 的集成可以實(shí)現：
從 Rational TestManager 執行測試 從 TestManager 執行測試提供了創(chuàng )建復雜的測試執行組合。TestManager 可以協(xié)調測試執行的時(shí)間安排和測試腳本的依賴(lài)關(guān)系。當你的回歸測試不斷增長(cháng)時(shí)，這種能力時(shí)絕對必要的。 當從 TestManager 執行測試腳本時(shí)，你將獲得管理測試配置的增強能力。TestManager 是"可配置的" ，這就意味著(zhù)當它計劃在遠程機器上執行一個(gè)測試腳本時(shí) －它對遠程機器是可配置的（操作系統、處理器和其他任何條件） － 并針對配置來(lái)執行測試腳本。因為一個(gè)測試腳本需要對不同的操作系統有一些稍微不同的版本，比如 Windows 98 和 Windows XP。TestManager 將僅僅對被給定的測試代理配置發(fā)送正確的測試腳本。 最后我們來(lái)對 Robot 成功實(shí)現自動(dòng)化測試的功能特性作一個(gè)總結。 Robot 具有廣泛的環(huán)境支持。Robot 給你很好的靈活性來(lái)測試在幾乎所有環(huán)境中被創(chuàng )建的應用程序。 Robot 提供了靈活的和可擴展的腳本語(yǔ)言 － SQA Basic 。 SQA Basic 是足夠簡(jiǎn)單易懂的，沒(méi)有編程經(jīng)驗的測試人員也可以很容易的理解，SQA Basic 同時(shí)也是足夠強大的，可以滿(mǎn)足專(zhuān)業(yè)的測試工程師進(jìn)行復雜的編程需求。Robot 的通用錄制引擎具有良好的擴展性，使你可以建立對任何控件的支持。當你排除了對控件的困擾時(shí)，你便可以將精力放到測試工作上。 Robot 提供了非常靈活的執行測試腳本的方式，你可以通過(guò) Robot 圖形界面和命令行執行測試腳本，也可以從 Rational TestManager 按照不同的配置計劃在遠程機器上的復雜的測試腳本的執行。 |
聯(lián)系客服
