《Click Here》EP3：Holdout 增量測試完全解析—電商如何辨識哪些廣告真的有效

你買的那些廣告，真的有用嗎？

上個月在一個諮詢現場，一位經營保健食品電商的老闆拿出手機給我看 Meta 廣告後台的數字，再行銷廣告 ROAS 8 倍，數字漂亮得讓我有點警惕。

他問我：「王董，這個有效嗎？應該繼續加碼嗎？」

我沒有立刻回答他。

我反問他一個問題：「你有沒有試過把這個廣告停掉？」

他愣了一下。「停掉？怎麼可能停，這是我效果最好的廣告。」

這就是問題所在。

ROAS 8 倍，聽起來很美。但這個數字告訴你的是：每花 1 塊錢廣告費，平台告訴你回來了 8 塊錢的收入。問題是，那 8 塊錢裡，有多少是「因為廣告才發生的銷售」？有多少是「那個客人本來就要買，廣告只是攔截了他一下，然後搶了功勞」？

這兩件事，差距可以非常大。

台灣電商業界最普遍的歸因方式，是 Last-click（最後點擊歸因）或是 GA4 的多觸點歸因模型。這些模型的邏輯，說穿了是在算「誰最後接觸到這個用戶，誰就是功臣」。

這不是在量廣告的真實效益，這是在幫廣告記功。

你的再行銷廣告打到的那些人，他們在你廣告打出去之前，可能已經：加過購物車、比價比了三次、跟朋友討論過、甚至已經決定要買了。廣告出現在他們眼前，他們點了，買了，廣告後台記了一筆轉換，ROAS 就漂亮了。

但沒有廣告，他們會不會還是買？

這才是真正的問題。

eBay 的實驗告訴你什麼：廣告停掉，客人還是來了

2010 年代初，eBay 委託加州柏克萊大學經濟學教授 Steve Tadelis 做了一個至今仍是業界最重要的廣告實驗之一。研究後來成為 NBER Working Paper w20171，在學術界廣泛被引用。

eBay 的問題很簡單：他們買了大量的品牌關鍵字廣告（就是在 Google 搜尋「eBay」時出現的廣告），而且這些廣告的 ROAS 看起來非常好看。

他們想知道，這些廣告是真的有效，還是只是看起來有效？

於是他們做了一件大膽的事：在部分地區把品牌字廣告完全停掉，然後觀察自然流量有沒有下降。

結果讓整個廣告業界震驚。

自然搜尋流量幾乎沒有下降。那些「靠廣告帶進來」的用戶，大多數根本就要自己搜尋 eBay 進站，廣告只是在搜尋結果頁面上多出現了一個位置，攔截了他們一下，然後被記錄為廣告的轉換。

Schultz 在《Click Here》裡把這個現象描述得很直白，大意是：歸因告訴你有關聯，增量才告訴你有沒有真正的貢獻。

把這個邏輯放回台灣電商的語境，你想想：你的再行銷廣告主要打的是什麼人？

是在你網站瀏覽過、加過購物車、甚至已經結帳到一半的人。

這些人，他們已經有很強烈的購買意圖了。廣告再打他們，固然可以加速他們回來，但有多少人是「沒有廣告就不會買」？有多少人是「就算沒有廣告，這週週末也會自己回來」？

你不知道，因為你從來沒有停下來測試過。

Uber 的廣告費被詐走了，而他們根本不知道

如果 eBay 的案例讓你驚訝，那 Uber 的案例會讓你更不舒服。

2017 年前後，Kevin Frisch 當時擔任 Uber 的行銷績效主管，他和團隊決定對某一部分行動廣告做增量測試，實際看看廣告關掉之後，新用戶安裝數字會掉多少。

他們發現了一件詭異的事：廣告預算砍到趨近於零，新用戶安裝數幾乎沒有明顯下降。

這代表什麼？

Uber 一直在付廣告費，但那些廣告帶來的「轉換」，有相當大的比例根本不是真實的新用戶，而是詐欺流量（ad fraud）。外部廣告網路偽造了點擊和安裝數字，讓廣告看起來有效，Uber 一直在付錢，但受益的是詐欺方，不是 Uber。

這件事後來成為一場大型法律訴訟（Uber v. Fetch Media），也是業界對行動廣告 attribution 的一個警鐘。

重點是什麼？

不做增量測試，你不知道你在付錢給誰。你的廣告後台數字可能漂亮，但那個「漂亮」背後是真實的銷售，還是被廣告商系統定義出來的記帳方式，你搞不清楚。

這個問題在台灣電商業界也存在，只是形式不同。

你有沒有跑過聯盟行銷（affiliate marketing）？聯盟平台的計費方式通常是「最後點擊者拿傭金」。一個本來就要買的客人，在結帳前的最後一秒點了一個聯盟連結，聯盟夥伴就拿到了那筆傭金。你付出了成本，但那個銷售本來就會發生。

你的 KOL 廣告也可能有類似的問題。KOL 在週五發了一支開箱影片，你的週末銷售上升了。但那個週末本來就是你的旺季，銷售增長有多少是 KOL 帶來的，有多少是自然季節效應，你能說清楚嗎？

大多數台灣品牌，說不清楚。

Holdout 增量測試是什麼，怎麼做

好，重點來了。

Holdout Test（增量測試，或稱保留組測試）的設計邏輯其實不複雜：

第一步，把你的目標受眾隨機分成兩組。一組是實驗組，正常投廣告給他們。另一組是保留組（holdout group），這段期間不投廣告，或是投一個完全無關的 PSA（公益廣告），讓他們看到廣告位但不是你的品牌廣告。

第二步，讓廣告跑一段時間，最少兩週，消費型電商四週更好，因為要覆蓋到自然的購買週期。

第三步，時間到之後，對比兩組的購買率或轉換率差異。

這個差異，就是廣告的真實增量效益（incremental lift）。

如果實驗組的購買率是 5%，holdout group 的購買率是 4.8%，那廣告帶來的真實增量只有 0.2 個百分點，不是你 ROAS 計算出來的那個數字。

聽起來很合理，但很多台灣電商一聽到這個方法，第一個反應是：「我怕停掉廣告會虧錢。」

我理解這個擔心，但請換個角度想：如果你現在的廣告增量效益很低，你其實已經在虧錢了，只是你不知道。你在付的是你以為有用、但其實很大部分沒有貢獻的廣告費。

不做 holdout，你不知道哪些錢是真的在賺，哪些錢是在燒。

「那我沒有技術資源做隨機分組怎麼辦？」

台灣電商最容易上手的簡化版，是地理 holdout。

選兩個購買力和消費習慣相近的城市，例如台中和高雄。台中繼續正常投廣告，高雄這段時間停投或大幅降低投放量。兩週後對比兩個城市的銷售變化。

這不是完美的實驗設計，有很多干擾變數，但比起你完全不測試，已經能給你一個方向：這些廣告的效果，大概在哪個量級。

Meta 廣告平台本身也有 Conversion Lift 功能，可以做平台內的 holdout 測試，但這個功能需要帳戶規模和技術人員配合設定，不是每個帳戶都開放。

另一個選項是時段 on/off test：在某一個週期完全停掉某個廣告類型，同時對比去年同期或上個類似週期的銷售數字，看有沒有明顯差異。

這個方法有很多干擾因子，但用來做「初步評估某個廣告類型是否真的在貢獻銷售」，成本最低，你明天就可以開始。

台灣電商的增量測試阻力框架

如果你問我，台灣電商為什麼普遍沒有在做增量測試，我的答案是：不是技術問題，是文化問題。

第一個阻力：廣告代理商的利益結構

很多台灣電商把廣告操盤外包給代理商，而代理商的收費模式通常是「媒體費的一定比例」。這代表廣告預算越大，代理商收費越多。

代理商有沒有動機幫你做增量測試、發現廣告效果沒你想的好、讓你降低預算？

這個問題你自己想。

這不是說代理商壞，而是利益結構就是如此，不能期望和自身利益相衝突的人主動幫你做這件事。

第二個阻力：老闆要看漂亮的數字

ROAS 8 倍，在報告裡看起來很棒。「廣告帶來了大約 12% 的真實增量銷售」這個數字，不管實際上有多真實，在報告裡就是比較難讓人興奮。

以前我們的廣告報告，核心永遠是「這個月投了多少、帶回了多少、ROAS 是多少」。

現在如果你要改成「增量貢獻了多少」，你需要說服整個組織接受一個更複雜、數字可能更小但更真實的衡量方式。

這不是一件容易的事，但這是正確的事。

第三個阻力：電商平台的歸因黑箱

Shopee、Momo、PChome 的廣告後台，都只給你一個視角：last-click，或是平台自己定義的歸因窗口。

他們沒有動機告訴你，有多少用戶本來就要買、廣告只是讓你付了一筆你不需要付的錢。

在這些平台上做廣告，你基本上是在他們定義的遊戲規則裡玩。想要真正理解增量效益，你需要自己建立 holdout 邏輯，或是找到一個你能控制的對照環境。

第四個阻力：雙十一的短線文化

台灣電商業界的節奏，就是跑活動、衝 GMV、看這個月業績有沒有達標。雙十一、618、周年慶，每個大檔期都是全力衝刺，沒有任何空間做「先停掉一個廣告看看會怎樣」這種測試。

這個文化讓所有人都活在短線裡，沒有人有耐心去搞清楚廣告的真實效益是什麼。

但事情的另一面是：也就是因為沒有人做，你如果做了，就有競爭優勢。你知道廣告真正有效的部分在哪，你可以把預算集中投在那裡，讓每一塊廣告費的效率高過你的競爭對手。

三個你現在就能做的事

行動建議，直接說：

第一步：找一個廣告類型排程地理 holdout

選你現在投最多錢的廣告類型，例如再行銷廣告。找兩個消費力相近的城市，一個繼續正常投，另一個接下來兩到四週大幅降低或停掉這個廣告類型。記錄兩個城市在這段期間的訂單數和銷售額變化。

你不需要完美的實驗設計。你需要的是第一個數據點，讓你開始理解廣告的真實貢獻大概在什麼量級。

第二步：在下次代理商會議裡問一個問題

「我們什麼時候做過增量測試？結果是什麼？」

如果代理商說「沒有做過」，那你現在就知道你有一個功課要做。如果代理商說「有，數字在這裡」，請他說清楚測試的設計方法、holdout group 是怎麼產生的、測試跑了多長時間。

第三步：審視你的再行銷廣告受眾設定

你的再行銷廣告，現在打的是什麼行為的用戶？如果你打的是「90 天內曾加購但未購買的用戶」，裡面有相當大比例的人其實在接近購買決策的尾聲，他們不需要太多廣告刺激就會回來。

考慮縮短你的再行銷窗口，例如從 90 天縮到 14 天，或者把更多預算移到對不熟悉你品牌的新受眾投放，測試那個效果是否更真實。

結語：廣告的錢，你花的越清醒，越有優勢

《Click Here》這本書讓我重新審視了一件事：行銷人很容易被自己的工具說服自己。

ROAS 這個指標，設計上就是讓你覺得廣告有效的一個數字。它不是壞的，但它告訴你的是「有關聯性」，不是「有因果性」。

在 EP1 我介紹了 Schultz 的整體行銷框架，在 EP2 我們談到北極星指標，這兩集都在說同一件事：你追的那個數字，可能追錯了。

這一集的 Holdout 增量測試，是同一個邏輯的另一個面向：你以為有效的廣告，可能沒有你想的那麼有效。而「沒有你想的有效」和「沒效」之間，差了一個測試的距離。

台灣電商的競爭愈來愈激烈，廣告成本愈來愈高。以前你可以燒錢換成長，現在如果你繼續燒不知道有沒有效的廣告，你是在幫競爭對手。

去測試。去知道真相。然後把你的預算集中在真正有增量效益的地方。

EP4 我們來談另一個業界普遍用錯的框架：漏斗思維（Funnel Thinking）。很多人把漏斗想成「上層獲客、中層培育、下層轉換」的線性流程，但 Schultz 的觀點是，漏斗的每個階段應該用增量思維重新審視，而不只是用轉換率優化它。

← EP1：Meta 行銷長 Alex Schultz 的數位行銷框架全解析 ｜ EP2：北極星指標診斷法 ｜ → EP4：漏斗思維 vs 增量（coming soon）

常見問題：Holdout 增量測試 FAQ

Q1：什麼是廣告增量測試（Holdout Testing）？和 A/B 測試有什麼不同？

廣告增量測試（Holdout Testing）的目的是量測「廣告帶來多少真實的新增銷售」，也就是沒有廣告的情況下，這些銷售是否還會發生。做法是把受眾分成實驗組（有廣告）和保留組（無廣告），對比兩組的轉換差異。A/B 測試通常是在廣告素材、落地頁、出價策略等「有廣告」的前提下做比較優化；Holdout Test 的對照組是「沒有廣告」，測的是廣告本身存在與否的效益，問題層次不同。

Q2：台灣電商規模太小，能做 Holdout Test 嗎？

可以，但設計需要適配你的規模。大型電商可以做平台內的 Conversion Lift（Meta 廣告系統有提供），或是技術團隊建立 Cookie 隨機分組。中小型電商最低成本的方式是地理 holdout：選兩個相近的城市或縣市，一個正常投廣告、另一個停投或大幅降低，觀察兩週到四週。數據不會完美，但足以給你一個方向性的判斷。

Q3：我的廣告代理商說 ROAS 很好，但我要怎麼驗證是否真的有增量效益？

直接問代理商：「你們有做過 holdout 測試嗎？」如果沒有，你可以自己在某個城市或某個時段暫停一個廣告類型，觀察業績有沒有明顯變化。另一個方式是和代理商討論跑 Meta 官方的 Conversion Lift 測試，這個工具會在平台內自動建立保留組，出報告後你能看到廣告的真實增量數字，不只是 ROAS。

本文為《Click Here》連載系列第三集，共七集。

協作聲明與免責

這篇文章由王董與 AI 一起整理製作完成。文中引用的第三方資料、研究或工具都會標註來源名稱；若原始出處有公開連結，會以 [來源名稱](URL) 形式附上，方便你進一步查找。若文中內容與原始出處有任何出入，請以原文為準。

內容僅供參考與學習交流，不構成任何專業、商業或投資建議，請依自身情況判斷並自行承擔行動風險。文中提及的工具功能、數據與平台政策可能隨時間異動，請以各官方最新公告為準。