軟體測試實務:業界成功案例與高效實踐 I《Chapter 8

右移測試的方法與實踐

蘇義傑

趨勢科技

你怎麼知道產品在客戶端出現問題了呢?

常常測試團隊會遇到的一個挑戰就是每每在自家測試環境中程式都跑得好好的,但為何每次到客戶的環境安裝後跑起來就是會有問題呢?其實很多時候並不是開發團隊測試的能力不足,而是真實的世界中有太多因素會影響程式是否正常運作。以微軟作業系統上的應用程式為例,其中一個最大產品品質的變數就是相容性問題,在微軟作業系統上開發的協力廠商或是可運行的軟體千奇百種,測試團隊實在是很難覆蓋所有的測試可能性,既然沒有辦法在產品上線前就找到所有的問題,那有沒有什麼其他方式改變這個現狀呢?

章節大綱

CH8 右移測試的方法與實踐

8.1 在測試的世界,沒有最好,只有更好

8.2 想要把測試做好,先來了解什麼是產品品質

8.3 時間給開發團隊帶來極大的壓力和挑戰

  8.3.1 從瀑布到敏捷

  8.3.2 測試時間從寬裕到緊縮

  8.3.3 從覆蓋率100%到自動化100%

8.4 曙光乍現- 右移測試

  8.4.1 問題不是你就是客戶會找到

  8.4.2 左移測試和右移測試

  8.4.3 左移測試(Test Early)

  8.4.4 持續測試(Test Often)

  8.4.5 右移測試(Test in Production)

  8.4.6 右移測試的方法

8.5 利用右移測試探索客戶真正的需求:拆分測試和假門測試

  8.5.1 增加團隊的實驗力,拆分測試(A/B Test)

  8.5.2 拆分測試執行的步驟

  8.5.3 A/B測試常見的地雷

  8.5.4 邪惡但是有效的假門測試(Fake Door)

8.6 利用右移測試兼顧開發速度與品質:遙測和金絲雀佈署

  8.6.1 知己知彼才能百戰百勝

  8.6.2 遙測(Telemetry)

  8.6.3 跨出遙測的第一步

  8.6.4 小心駛得萬年船:金絲雀佈署策略

  8.6.5 透過數據反饋持續改善產品,增加團隊應變的能力

8.7 右移測試案例實作分享

  8.7.1 如何利用遙測資料和佈署策略讓產品在上線後持續改善品質

  8.7.2 透過遙測資料可以快速確定客戶端遇到的問題

  8.7.3 透過遙測資料來幫助團隊在產品上線後持續測試

  8.7.4 加強了遠端除錯的能力(隔空把脈空中抓藥)

  8.7.5 萬一正常的溝通渠道出現問題怎麼辦

  8.7.6 小規模的佈署來管控每次發布的風險

  8.7.7 細節藏在魔鬼中:佈署的細膩度

  8.7.8 數據被淹沒的風險

  8.7.9 遙測資料的生命週期

8.8 向左走或向右走

  8.8.1 可以完全依賴測試右移嗎?

  8.8.2 測試策略:設計測試左移和測試右移的策略是重要的

8.9 結語-天下武功唯快不破

內容預覽

作者簡介

蘇義傑

研發部門經理。超過十年SaaS DevOps的經驗,擅長帶領公司SaaS產品導入適合專案的Practice。最新實作案例是如何利用佈署在客戶端產品的遙測數據,透過收集回來資料的解析,幫助團隊主動快速地發現問題,並有策略地提升產品的品質。

作者所屬機構

專章引用

蘇義傑,〈右移測試的方法與實踐〉。《軟體測試實務:業界成功案例與高效實踐 I》,博碩文化,2023年5月,ISBN 978-626-333-485-4。