（相關(guān)資料圖）
隨著國內(nèi)游戲用戶數(shù)量趨于飽和，中國游戲產(chǎn)業(yè)已從高速增長期逐步轉(zhuǎn)型。市場更加成熟，競爭更加精細(xì)。
隨著游戲出海、私域流量運(yùn)營面臨挑戰(zhàn)，游戲企業(yè)對數(shù)據(jù)分析的需求和依賴進(jìn)一步增加。 A/B測試可以在游戲研發(fā)、驗(yàn)證、開發(fā)、測試、上線和運(yùn)營中發(fā)揮重要作用。
本文講述了一款游戲產(chǎn)品通過A/B測試實(shí)現(xiàn)“數(shù)據(jù)驅(qū)動(dòng)增長”能力的故事。并介紹了A/B測試在游戲開發(fā)和推廣的全過程中可以應(yīng)用的場景。
游戲產(chǎn)業(yè)的發(fā)展經(jīng)歷了多個(gè)階段，包括主機(jī)游戲時(shí)代、頁游時(shí)代、移動(dòng)游戲時(shí)代。如今，手游收入占國內(nèi)游戲收入的70%以上，不少傳統(tǒng)游戲公司面臨轉(zhuǎn)型壓力。隨著游戲技術(shù)的成熟，大量新興公司涌入該行業(yè)，競爭壓力進(jìn)一步加劇。
游戲開發(fā)流程大致分為立項(xiàng)、驗(yàn)證、開發(fā)、測試、上線準(zhǔn)備、運(yùn)營六個(gè)階段。每個(gè)階段通常都伴隨著許多修改。
修改后的效果如何？會(huì)對核心指標(biāo)產(chǎn)生負(fù)面影響嗎？傳統(tǒng)的思路是推出新功能后驗(yàn)證效果，但這往往存在上線周期長、過度依賴經(jīng)驗(yàn)、影響面廣等問題。
A/B測試可以完美解決上述痛點(diǎn)。它取一小部分在線流量，完全隨機(jī)分配給原策略A（對照組）和新策略B（實(shí)驗(yàn)組），然后結(jié)合科學(xué)的統(tǒng)計(jì)方法，獲得對策略A（對照組）和新策略B（實(shí)驗(yàn)組）的準(zhǔn)確估計(jì)相對效果。兩種策略。
A/B測試可以利用較小的在線流量來驗(yàn)證效果，并可以有效衡量不同策略的收益。
《全民彈彈彈》在發(fā)布時(shí)就獲得了“年度最佳休閑游戲”獎(jiǎng)項(xiàng)，是超休閑游戲品類的熱門產(chǎn)品代表。這是一款操作簡單、易上手的跳球塔休閑游戲。玩家不僅可以讓彈球?qū)訉哟┩覆噬u塊，享受純粹的彈射快感，還能解鎖更多未知的球。體驗(yàn)開發(fā)合成的樂趣。
在這款游戲的開發(fā)和推廣過程中，我們借鑒字節(jié)跳動(dòng)的成長經(jīng)驗(yàn)，連接字節(jié)跳動(dòng)自主研發(fā)的A/B測試產(chǎn)品——火山引擎數(shù)據(jù)測試儀，對游戲的多個(gè)方面進(jìn)行A/B測試。
在《全民彈彈彈》的游戲運(yùn)營環(huán)節(jié)中，為了驗(yàn)證游戲首頁對玩家留存和廣告數(shù)據(jù)的影響，設(shè)計(jì)了兩種首頁方案，通過A/B測試來對比玩家留存數(shù)據(jù)：跳塔頁面（左圖） ）和合成頁面（如右圖）。
經(jīng)過在DataTester中進(jìn)行2周的實(shí)驗(yàn)測試，結(jié)果顯示，合成首頁的頁面（右圖）在3天用戶留存、7天用戶留存、用戶留存等核心指標(biāo)上明顯優(yōu)于對照組。廣告效果。該計(jì)劃的頁面（左）。
在A/B測試的數(shù)據(jù)結(jié)果支持下，《全民彈彈彈》最終全面啟動(dòng)了合成頁面計(jì)劃，并取得了優(yōu)異的效果。
A/B測試可用于提高游戲從開發(fā)到打磨再到上線后持續(xù)優(yōu)化的效率和決策準(zhǔn)確性。除了以上場景外，DataTester在游戲產(chǎn)品中還可以用于以下場景：
1.驗(yàn)證新手指導(dǎo)變更、新手任務(wù)難度調(diào)整、初始資源調(diào)整等。
2.驗(yàn)證關(guān)卡難度、裝備爆率、寶箱中獎(jiǎng)率調(diào)整等影響游戲體驗(yàn)的變更。
3. 驗(yàn)證商城界面、積分系統(tǒng)、公告板、橫幅、按鈕、圖標(biāo)等功能區(qū)域的變更
4. 驗(yàn)證匹配系統(tǒng)、好友系統(tǒng)、聊天系統(tǒng)等社交功能的變更
5. 驗(yàn)證游戲IP、NPC、游戲場景、劇情變更
在游戲內(nèi)測階段，我們經(jīng)常會(huì)遇到需要并行進(jìn)行多個(gè)A/B測試的場景：
小A想要驗(yàn)證新武器系統(tǒng)，需要50%的流量驗(yàn)證；小B修改商城界面，同樣需要50%的流量；小C改進(jìn)了新手任務(wù)，同樣需要50%的流量驗(yàn)證。此時(shí)同時(shí)進(jìn)行3個(gè)實(shí)驗(yàn)，需要150%的流量。
如果線上流量不夠，只能優(yōu)先進(jìn)行實(shí)驗(yàn)，連續(xù)進(jìn)行多個(gè)實(shí)驗(yàn)，但這樣會(huì)導(dǎo)致效率低下。
Volcano Engine A/B 測試DataTester 流量分層技術(shù)將整體流量“無數(shù)次”復(fù)制，形成“無數(shù)”流量層。流量層之間相互正交，同一層上運(yùn)行的實(shí)驗(yàn)流量是互斥的，從而保證同時(shí)運(yùn)行的多個(gè)實(shí)驗(yàn)不會(huì)互相干擾。
實(shí)驗(yàn)性分層技術(shù)可以有效解決線上流量不足的問題，尤其是在游戲內(nèi)測階段，往往很難獲取用戶。游戲玩家需要通過發(fā)布內(nèi)測任務(wù)、小規(guī)模購買等方式獲取，獲取流量成本較高。
現(xiàn)階段不僅需要驗(yàn)證游戲的性能和兼容性，還需要對游戲玩法、關(guān)卡設(shè)置、故事情節(jié)、盈利模式等進(jìn)行調(diào)整。
如果內(nèi)測時(shí)間過長，不僅需要持續(xù)投入買量，還會(huì)減慢游戲上線的節(jié)奏，甚至可能錯(cuò)過市場熱點(diǎn)。通過DataTester實(shí)驗(yàn)性的流量分層技術(shù)，突破流量限制，大大縮短游戲驗(yàn)證時(shí)間，快速啟動(dòng)迭代。
除了傳統(tǒng)的客戶端和服務(wù)端A/B測試外，火山引擎DataTester還具備3種特殊場景的A/B測試能力，可以大大提高游戲在廣告、信息推送等場景的效率。
推送實(shí)驗(yàn)：測試推送通知的標(biāo)題、內(nèi)容、點(diǎn)擊動(dòng)作等，尋找最佳方案。 DataTester支持多種推送渠道和設(shè)備類型；可用于游戲招募、召回、活動(dòng)推廣等場景，及時(shí)響應(yīng)影響，避免負(fù)面影響。
廣告實(shí)驗(yàn)：提高廣告投資回報(bào)率，比較不同實(shí)驗(yàn)文案、不同投放渠道的廣告效果。 DataTester可以通過轉(zhuǎn)化效率測量來控制“自然轉(zhuǎn)化”對實(shí)驗(yàn)結(jié)果的影響，保證廣告實(shí)驗(yàn)的科學(xué)性和嚴(yán)謹(jǐn)性。
可視化實(shí)驗(yàn)：DataTester可以實(shí)現(xiàn)所見即所得的A/B測試配置，新手可以直接上手。通過所見即所得的在線編輯，降低了產(chǎn)品方和運(yùn)營商在Web/H5頁面優(yōu)化場景下使用A/B測試工具的成本?？捎糜谟螒蚧顒?dòng)的推廣頁面以及抽獎(jiǎng)頁面的效果對比，無需編程即可快速上線。
上述能力均來自于字節(jié)跳動(dòng)在多年的業(yè)務(wù)打磨中完成超過150萬次A/B測試所積累的經(jīng)驗(yàn)。因此，該產(chǎn)品在實(shí)用性和易用性方面都非常有能力。
如今，全球化運(yùn)營已成為新趨勢，海外游戲收入增速高于國內(nèi)游戲。國內(nèi)自研游戲紛紛出海，迅速搶占重點(diǎn)地區(qū)份額。同時(shí)，也帶來了差異化運(yùn)營、全球發(fā)布、信息安全等新挑戰(zhàn)。
地域差異化運(yùn)營由于各國文化、宗教信仰、潮流的差異，同樣的游戲活動(dòng)和修改往往在海外不同地區(qū)獲得不同的收益。對于企業(yè)來說，海外不同地區(qū)的差異化運(yùn)營往往需要積累各地區(qū)的運(yùn)營經(jīng)驗(yàn)，成本通常較高。
盲目執(zhí)行很容易造成一些負(fù)面影響。 DataTester的A/B測試支持選擇不同地區(qū)的游戲用戶，可以針對不同地區(qū)的用戶進(jìn)行針對性測試，快速對比實(shí)驗(yàn)結(jié)果，確定適合該地區(qū)的最優(yōu)方案。
全球發(fā)布全球發(fā)布也是企業(yè)出海過程中不得不面對的挑戰(zhàn)。全球發(fā)布意味著運(yùn)維成本的增加，多版本管理也增加了發(fā)布的復(fù)雜性。
DataTester運(yùn)行的A/B實(shí)驗(yàn)支持直接轉(zhuǎn)換為要發(fā)布的功能。它還支持漸進(jìn)式發(fā)布、計(jì)劃式發(fā)布和回滾操作。通過使用特性發(fā)布功能，使發(fā)布流程更加簡潔，降低發(fā)布風(fēng)險(xiǎn)。
DataTester是火山引擎數(shù)字智能平臺(tái)的產(chǎn)品。經(jīng)過抖音、頭條等字節(jié)商家多年驗(yàn)證，累計(jì)開放150萬次A/B測試。它可以提供基于先進(jìn)底層算法的科學(xué)卸載能力和智能。支持多種復(fù)雜A/B 測試類型的統(tǒng)計(jì)引擎。
在應(yīng)用和分析場景方面，DataTester深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等各種業(yè)務(wù)場景的需求，為業(yè)務(wù)增長、轉(zhuǎn)化、產(chǎn)品迭代、策略優(yōu)化提供科學(xué)的決策依據(jù)、運(yùn)營效率提升等方面。使業(yè)務(wù)真正由數(shù)據(jù)驅(qū)動(dòng)。
目前，DataTester已在多家外部公司上線應(yīng)用，將其成熟的“數(shù)據(jù)驅(qū)動(dòng)增長”經(jīng)驗(yàn)賦能到游戲、汽車、大消費(fèi)、金融等多個(gè)領(lǐng)域。
A/B 測試- 火山引擎
