充分挖掘測(cè)試需求
系統(tǒng)非功能需求是指系統(tǒng)必須具備的屬性或品質(zhì),功能測(cè)試需求可由業(yè)務(wù)人員獨(dú)立提出,而非功能測(cè)試需求往往需要業(yè)務(wù)人員和技術(shù)人員共同完成。業(yè)務(wù)人員了解系統(tǒng)運(yùn)行基礎(chǔ)需求,掌握系統(tǒng)未來(lái)用戶規(guī)模及業(yè)務(wù)發(fā)展趨勢(shì),技術(shù)人員則對(duì)系統(tǒng)高可用保證、數(shù)據(jù)庫(kù)實(shí)現(xiàn)等技術(shù)細(xì)節(jié)較為了解,兩者綜合互補(bǔ)才能形成完整的系統(tǒng)非功能測(cè)試需求。
完整具體的測(cè)試需求是測(cè)試成功的前提條件,非功能測(cè)試需要有明確的測(cè)試需求來(lái)指引。盲目開(kāi)展測(cè)試工作容易事倍功半,達(dá)不到測(cè)試效果。實(shí)際測(cè)試時(shí),我們往往首先得到一份需求的半成品,部分技術(shù)細(xì)節(jié)或測(cè)試信息缺失,此時(shí)應(yīng)針對(duì)測(cè)試需求進(jìn)一步和需求方討論確認(rèn),逐步完善測(cè)試需求,明確測(cè)試重點(diǎn),同時(shí)要引導(dǎo)需求方提供更多的銀行信息系統(tǒng)非功能測(cè)試實(shí)踐技術(shù)實(shí)現(xiàn)細(xì)節(jié),補(bǔ)充測(cè)試場(chǎng)景。
為了更加高效高質(zhì)地完成測(cè)試需求采集工作,我們可以為需求方構(gòu)建非功能測(cè)試需求模板框架,內(nèi)容包括測(cè)試背景、系統(tǒng)架構(gòu)、業(yè)務(wù)量規(guī)模、測(cè)試案例、測(cè)試場(chǎng)景、測(cè)試環(huán)境、測(cè)試數(shù)據(jù)、網(wǎng)絡(luò)策略和高可用機(jī)制等相關(guān)需求要素。尤其是針對(duì)測(cè)試場(chǎng)景和測(cè)試案例的選擇,需求方可以通過(guò)選擇系統(tǒng)類型或自由裁剪的方式實(shí)現(xiàn)需求采集標(biāo)準(zhǔn)化和自動(dòng)化。系統(tǒng)根據(jù)客戶定制類型自動(dòng)生成必測(cè)、選測(cè)內(nèi)容,然后再針對(duì)此需求進(jìn)一步討論完善,達(dá)到提升需求采集效率的目的。
合理制訂測(cè)試方案
需求分析是測(cè)試計(jì)劃階段的重要活動(dòng),是測(cè)試需求轉(zhuǎn)化為測(cè)試方案的必須過(guò)程。測(cè)試方案是需求分析的結(jié)果產(chǎn)出,完整的測(cè)試方案應(yīng)至少包含測(cè)試計(jì)劃、測(cè)試目標(biāo)、測(cè)試案例、監(jiān)控策略、測(cè)試場(chǎng)景設(shè)計(jì)、測(cè)試條件及約束等內(nèi)容,完善可行的測(cè)試方案是測(cè)試工作高效執(zhí)行的前提保證。
尤其重要的是在抽象測(cè)試場(chǎng)景時(shí),要根據(jù)被測(cè)系統(tǒng)的需求內(nèi)容和技術(shù)特點(diǎn)進(jìn)行拆解制訂,以實(shí)現(xiàn)精準(zhǔn)測(cè)試的目的。比如當(dāng)前各家銀行與互聯(lián)網(wǎng)公司競(jìng)相推出的線上理財(cái)搶購(gòu)活動(dòng),當(dāng)面對(duì)集中式搶購(gòu)的瞬間沖擊時(shí),理財(cái)系統(tǒng)及后端關(guān)聯(lián)系統(tǒng)能否平穩(wěn)運(yùn)行關(guān)系重大。針對(duì)此類測(cè)試需求,除了要涵蓋基礎(chǔ)的性能測(cè)試場(chǎng)景,驗(yàn)證系統(tǒng)的最大處理能力、最大并發(fā)用戶數(shù)和最大在線用戶數(shù),還要包括異常測(cè)試場(chǎng)景,檢查系統(tǒng)通訊超時(shí)情況的處理機(jī)制 ;同時(shí)要增加限流測(cè)試場(chǎng)景,針對(duì)系統(tǒng)的限流機(jī)制,還需細(xì)分到交易限流、渠道限流、系統(tǒng)總量限流等微測(cè)試場(chǎng)景。
總之,要對(duì)測(cè)試需求進(jìn)行精準(zhǔn)定位、合理分類,制訂可行性強(qiáng)的測(cè)試方案,不同的業(yè)務(wù)場(chǎng)景應(yīng)至少有一個(gè)或多個(gè)測(cè)試場(chǎng)景與之對(duì)應(yīng),非功能測(cè)試場(chǎng)景制訂得合理與否決定著測(cè)試質(zhì)量的高低。在測(cè)試方案形成后,一般還要根據(jù)系統(tǒng)的重要程度,進(jìn)行相匹配的評(píng)審工作,以保證測(cè)試方案的嚴(yán)謹(jǐn)性。
建立科學(xué)指標(biāo)體系
測(cè)試方案的核心是測(cè)試場(chǎng)景與測(cè)試目標(biāo),有了精準(zhǔn)的測(cè)試場(chǎng)景,還要有明確的測(cè)試目標(biāo),這依賴于一套科學(xué)完整的評(píng)價(jià)指標(biāo)體系。以系統(tǒng)性能指標(biāo)為例,常規(guī)指標(biāo)包括TPS(Transations per Second)、響應(yīng)時(shí)間、資源使用率等。TPS 應(yīng)由業(yè)務(wù)量估算所得,常用“二八”原則(80%交易量在 20% 時(shí)間內(nèi)完成)進(jìn)行推算,也可通過(guò)采集生產(chǎn)系統(tǒng)的連續(xù)交易量進(jìn)行數(shù)據(jù)建模分析,對(duì)系統(tǒng)未來(lái)業(yè)務(wù)量和 TPS 發(fā)展進(jìn)行預(yù)測(cè)推演。響應(yīng)時(shí)間根據(jù)系統(tǒng)類型及測(cè)試方法差異而設(shè)定不同,如 OLTP(On-Line Transaction Processing)類型系統(tǒng),對(duì)響應(yīng)時(shí)間要求較高,應(yīng)以毫秒級(jí)標(biāo)準(zhǔn)要求,而 OLAP(On-Line Analytical Processing)類型系統(tǒng),對(duì)響應(yīng)時(shí)間要求略低,則可適當(dāng)放寬標(biāo)準(zhǔn)。資源使用率可根據(jù)系統(tǒng)開(kāi)發(fā)語(yǔ)言類型區(qū)別對(duì)待,如 C 語(yǔ)言和Java 語(yǔ)言對(duì)硬件資源消耗特點(diǎn)差別明顯,可根據(jù)不同特點(diǎn)制訂不同標(biāo)準(zhǔn)要求。
科學(xué)的非功能測(cè)試指標(biāo)規(guī)劃體系應(yīng)考慮從業(yè)務(wù)類型、主機(jī)資源、數(shù)據(jù)庫(kù)以及中間件等多維度規(guī)劃,充分考慮系統(tǒng)多樣性,將系統(tǒng)分級(jí)分類,根據(jù)系統(tǒng)特點(diǎn)和測(cè)試條件規(guī)范測(cè)試目標(biāo),指導(dǎo)系統(tǒng)優(yōu)化過(guò)程,科學(xué)客觀地對(duì)被測(cè)系統(tǒng)測(cè)試結(jié)果進(jìn)行評(píng)價(jià)。
規(guī)范測(cè)試執(zhí)行過(guò)程
與功能測(cè)試相比,非功能測(cè)試既要驗(yàn)證系統(tǒng)業(yè)務(wù)邏輯,又要檢測(cè)系統(tǒng)健壯可靠,是業(yè)務(wù)與技術(shù)綜合應(yīng)用的過(guò)程。非功能測(cè)試主要包含四個(gè)階段。設(shè)計(jì)階段開(kāi)始需求分析,完善測(cè)試方案;開(kāi)發(fā)階段調(diào)試測(cè)試腳本,準(zhǔn)備測(cè)試數(shù)據(jù);執(zhí)行階段實(shí)施測(cè)試場(chǎng)景,監(jiān)控系統(tǒng)狀態(tài);分析階段分析測(cè)試結(jié)果,驗(yàn)證系統(tǒng)問(wèn)題。每個(gè)階段過(guò)程都有相應(yīng)的重點(diǎn)任務(wù),都應(yīng)規(guī)范有序開(kāi)展,忽視每個(gè)測(cè)試過(guò)程都有可能錯(cuò)過(guò)發(fā)現(xiàn)系統(tǒng)缺陷的機(jī)會(huì),規(guī)范執(zhí)行測(cè)試過(guò)程是測(cè)試質(zhì)量控制的重要手段。
細(xì)節(jié)決定成敗,注重測(cè)試細(xì)節(jié)是發(fā)掘系統(tǒng)缺陷的基礎(chǔ),測(cè)試過(guò)程的規(guī)范離不開(kāi)測(cè)試細(xì)節(jié)的把控。從每個(gè)階段的輸入輸出成果到測(cè)試過(guò)程控制,從每類測(cè)試場(chǎng)景的業(yè)務(wù)比例分配到場(chǎng)景執(zhí)行時(shí)間要求,從每個(gè)系統(tǒng)的監(jiān)控要求到測(cè)試問(wèn)題記錄,都應(yīng)遵循相應(yīng)的測(cè)試規(guī)范。比如測(cè)試執(zhí)行階段需要具備充足的測(cè)試數(shù)據(jù)后才能開(kāi)展場(chǎng)景執(zhí)行工作 ;基準(zhǔn)測(cè)試場(chǎng)景案例應(yīng)至少迭代 100 次才能統(tǒng)計(jì)平均響應(yīng)時(shí)間 ;混合測(cè)試場(chǎng)景應(yīng)至少持續(xù)平穩(wěn)運(yùn)行 1 小時(shí) ;穩(wěn)定性場(chǎng)景資源監(jiān)控至少每隔 30 秒進(jìn)行打點(diǎn)采集等。這些測(cè)試細(xì)節(jié)都應(yīng)重視并嚴(yán)格按標(biāo)準(zhǔn)要求執(zhí)行。
每一個(gè)致命生產(chǎn)問(wèn)題的爆發(fā)都是由一個(gè)個(gè)細(xì)微缺陷堆積迭代所產(chǎn)生的蝴蝶效應(yīng)。這要求我們?cè)跍y(cè)試過(guò)程中,嚴(yán)把測(cè)試過(guò)程,注重測(cè)試細(xì)節(jié),不放過(guò)任何異?,F(xiàn)象。諸如TPS 或響應(yīng)時(shí)間波動(dòng)劇烈、CPU 突增、內(nèi)存無(wú)回收等現(xiàn)象,這些細(xì)節(jié)問(wèn)題都應(yīng)引起測(cè)試人員的關(guān)注,進(jìn)而深入探究問(wèn)題成因,不斷提升測(cè)試質(zhì)量。
沉淀積累測(cè)試數(shù)據(jù)
組織過(guò)程資產(chǎn)積累對(duì)任何工作都是重要而有意義的事情,測(cè)試工作更是如此。測(cè)試過(guò)程不斷積累的測(cè)試數(shù)據(jù)以及生產(chǎn)系統(tǒng)運(yùn)行數(shù)據(jù)對(duì)于提升測(cè)試質(zhì)量有著重要作用。基于豐富的基礎(chǔ)數(shù)據(jù),我們可以將系統(tǒng)運(yùn)行數(shù)據(jù)和歷史問(wèn)題集中提煉歸類并進(jìn)行大數(shù)據(jù)分析,評(píng)估系統(tǒng)每次測(cè)試的性能抖動(dòng)程度,研究其歷史上曾經(jīng)出現(xiàn)的代表缺陷,尋找內(nèi)在規(guī)律,為發(fā)現(xiàn)系統(tǒng)缺陷、性能調(diào)優(yōu)提供有力的參考依據(jù)。
測(cè)試和生產(chǎn)數(shù)據(jù)分析的過(guò)程也是測(cè)試質(zhì)量管理的支持過(guò)程,我們可以為每個(gè)系統(tǒng)建立測(cè)試數(shù)據(jù)檔案和測(cè)試知識(shí)庫(kù)。每次測(cè)試結(jié)果都進(jìn)行跟蹤對(duì)比,通過(guò)與歷史數(shù)據(jù)進(jìn)行對(duì)照分析,評(píng)估測(cè)試數(shù)據(jù)差異與系統(tǒng)變更程度是否匹配,描繪系統(tǒng)性能變化曲線,達(dá)到提升測(cè)試質(zhì)量,全面掌控系統(tǒng)性能、可靠性和穩(wěn)定性的目的。
定期回溯生產(chǎn)問(wèn)題
盡管我們不斷致力于提升測(cè)試質(zhì)量,但再完善的測(cè)試也不能排除所有系統(tǒng)缺陷,這個(gè)客觀事實(shí)無(wú)法改變,總有部分系統(tǒng)問(wèn)題會(huì)被遺漏并被帶到生產(chǎn)環(huán)境后觸發(fā)。認(rèn)真分析這些生產(chǎn)問(wèn)題,我們會(huì)發(fā)現(xiàn)測(cè)試工作的種種不足,例如測(cè)試方案不完善,測(cè)試環(huán)境不一致,測(cè)試人員不盡職等。
定期回溯生產(chǎn)問(wèn)題的核心內(nèi)容是根本原因分析,這個(gè)過(guò)程的重要性不言而喻。通過(guò)分析生產(chǎn)問(wèn)題,我們可以回溯測(cè)試過(guò)程中問(wèn)題遺漏的原因,映射測(cè)試過(guò)程中不規(guī)范的執(zhí)行過(guò)程,被忽視的細(xì)節(jié)問(wèn)題等。同時(shí),生產(chǎn)問(wèn)題分析也是完善測(cè)試需求的有益過(guò)程,將生產(chǎn)環(huán)境各類高頻問(wèn)題歸類整理后,可以反哺測(cè)試需求中的案例庫(kù)和場(chǎng)景集,重點(diǎn)問(wèn)題可納入同類系統(tǒng)常態(tài)測(cè)試關(guān)注點(diǎn),為系統(tǒng)提供個(gè)性化的定制測(cè)試服務(wù)。生產(chǎn)問(wèn)題是一面鏡子,通過(guò)它我們可以發(fā)現(xiàn)測(cè)試自身的諸多問(wèn)題,在查漏補(bǔ)缺中不斷改進(jìn)測(cè)試方法,豐富測(cè)試場(chǎng)景,推動(dòng)測(cè)試管理流程的改善,達(dá)到測(cè)試工作持續(xù)改進(jìn)的目的。
總結(jié)
測(cè)試工作是對(duì)軟件系統(tǒng)質(zhì)量檢測(cè)的重要手段,非功能測(cè)試是對(duì)系統(tǒng)可靠性、易用性、效率、可維護(hù)性、可移植性的全面檢測(cè)。提升非功能測(cè)試質(zhì)量對(duì)于控制銀行信息系統(tǒng)運(yùn)行風(fēng)險(xiǎn)有著重要意義。隨著非功能測(cè)試的重要性越來(lái)越受認(rèn)可,非功能測(cè)試階段在整個(gè)軟件開(kāi)發(fā)周期中所占的比重也日益增大。從質(zhì)量管理角度來(lái)看,提升非功能測(cè)試質(zhì)量可從質(zhì)量保證、質(zhì)量控制和質(zhì)量回溯三個(gè)過(guò)程著手 :質(zhì)量保證是非功能測(cè)試的過(guò)程能效保障,質(zhì)量控制是非功能測(cè)試的階段能效把控,質(zhì)量回溯是非功能測(cè)試的能效提升來(lái)源,三者缺一不可。
對(duì)于非功能測(cè)試工作,完整需求分析、全面測(cè)試方案和科學(xué)指標(biāo)規(guī)劃是質(zhì)量保證的基礎(chǔ)前提,規(guī)范測(cè)試過(guò)程和歷史數(shù)據(jù)分析是質(zhì)量控制的有效手段。生產(chǎn)問(wèn)題回溯是質(zhì)量回溯的核心內(nèi)容,三者構(gòu)成質(zhì)量管理閉環(huán),是提升測(cè)試工作質(zhì)量的完整過(guò)程,也是推動(dòng)測(cè)試工作不斷改進(jìn)的持續(xù)動(dòng)力。
第三十四屆CIO班招生
國(guó)際CIO認(rèn)證培訓(xùn)
首席數(shù)據(jù)官(CDO)認(rèn)證培訓(xùn)
責(zé)編:content
免責(zé)聲明:本網(wǎng)站(http://www.www.gypb.net/)內(nèi)容主要來(lái)自原創(chuàng)、合作媒體供稿和第三方投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
本網(wǎng)站刊載的所有內(nèi)容(包括但不僅限文字、圖片、LOGO、音頻、視頻、軟件、程序等)版權(quán)歸原作者所有。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),請(qǐng)及時(shí)通知本站,予以刪除。