Channel 4于1982年成立,旨在向英國提供電視服務。它在倫敦設有兩個辦公地點,擁有1000多名員工。Channel 4由第四電視頻道公司擁有和運營,所有資金以商業(yè)方式自籌。該頻道是英國政府文化、媒體和體育部的下屬機構。
遭遇挑戰(zhàn)
在廣播電視行業(yè)中,諸如趕進度或點播之類的非線性收看正逐漸占據(jù)更重要的位置——視頻網(wǎng)站channel 4.com的成功與否對該頻道來說至關重要。channel 4.com的注冊用戶達到了一千萬,每天的點播觀看次數(shù)超過一百萬,因此,高效運行該網(wǎng)站非常關鍵。這意味著在網(wǎng)站的任何項目上線之前都需要進行嚴格的測試。
正如Channel 4的質(zhì)量保證經(jīng)理Mark Smith所說,性能測試尤其是負載測試是開發(fā)過程中的關鍵要素:“我們有很多非常小的版本,我們在開發(fā)團隊中嵌入了性能測試。我們的敏捷開發(fā)團隊有兩個性能測試員,測試具有很強的針對性。”
除了更長的通宵測試和功能測試之外,Channel 4的測試團隊還在Bamboo軟件的持續(xù)部署中使用了10到15分鐘的負載測試,以便能在新項目投入生產(chǎn)之前發(fā)現(xiàn)有關每秒處理事務數(shù)的任何問題。
但是,這些傳統(tǒng)測試工具阻礙了測試。有些工具無法提供必要的復雜報告,而另一些則難以編寫腳本或定價模型。測試團隊如果想要持續(xù)集成和部署模型,需要一個能夠提供更詳細的統(tǒng)計信息和數(shù)據(jù)分析的系統(tǒng)。
尋找對策
Channel 4的高級性能分析師Nicholas Godfrey曾在LoadRunner工作。這款符合行業(yè)標準的性能工程軟件可生成實際負載數(shù)據(jù),識別和診斷問題,并使開發(fā)人員部署的項目從一開始就可以高效運行。
“我是LoadRunner的忠實粉絲。我已經(jīng)使用LoadRunner10多年了,它是一流的產(chǎn)品和分析工具,是我的首選。”
由于Nicholas Godfrey的推薦以及LoadRunner有吸引力的定價模型,第四電視頻道公司聯(lián)系了Micro Focus合作伙伴和測試專家Infuse咨詢公司。Infuse和LoadRunner開發(fā)人員隨后與Channel 4合作進行概念驗證,為其開發(fā)自動化解決方案獲得持續(xù)集成插件并運行。
Channel 4的測試團隊不再將數(shù)百萬模擬用戶放置到高速緩存的前端,而是隔離應用程序,用單獨的測試訪問后端服務器。數(shù)量是根據(jù)服務記錄確定的,這意味著典型測試僅限于1,000或1,500個線程以內(nèi)。
LoadRunner每周最多可以發(fā)布13個應用程序編程接口,因此多個測試可以同時運行——這對于僅有兩人的測試團隊來說是非常大的工作量。而現(xiàn)在有一半的工作是自動化的,大大減少了人工工作量。
新增價值
正如Mark Smith所說,LoadRunner測試現(xiàn)在已經(jīng)解決了新服務的性能問題:
“以前,我們約有25%的版本會出現(xiàn)性能問題。有一些問題是重復出現(xiàn)的,我們可以找到它們,但那是在測試快結束的時候,也就是項目上線之前。我們可以避免對其中的大部分產(chǎn)品投產(chǎn),但有一些投產(chǎn)是無法避免的,并且后期測試導致了許多延誤。現(xiàn)在,我們在測試下線之前就發(fā)現(xiàn)了問題,這避免了最后一刻的測試并節(jié)省了時間和金錢。我們不再有任何前期生產(chǎn)或生產(chǎn)問題,我們可以有信心地部署項目。”
“現(xiàn)在,一半的測試工作已經(jīng)由自動化覆蓋完成。這為公司節(jié)省了雇傭另一名測試人員的費用——加上工資和其他開銷,每年會節(jié)省18.6萬美元。
另一方面,我估計生產(chǎn)率的提高將為公司提供價值為18.6萬美元的免費測試服務。如此算來,公司通過LoadRunner測試可獲得的總價值為37.2萬美元,這是保守估計。”
流線型測試意味著開發(fā)人員現(xiàn)在可以完全投入到測試過程中,而LoadRunner是引入自助服務測試自動化計劃的一部分。開發(fā)人員發(fā)送一條消息,該消息將啟動環(huán)境中的應用程序,運行負載測試,然后通過電子郵件發(fā)回結果。
這意味著測試人員將成為主題專家,為性能設計提供建議,分析性能問題,建模新的場景。