> ## Content Index > Fetch the complete content index at: https://growthhackers.tw/llms.txt > Use this file to discover other available public pages before exploring further. # 點擊成長《Click Here》EP3：Holdout 增量測試完全解析—電商如何辨識哪些廣告真的有效 - URL: https://growthhackers.tw/blog/click-here-ep3-holdout-incremental-test/ - Published: 2026-05-22T15:51:09.000Z - Updated: 2026-05-29T16:24:11.000Z - Author: Lewis wang - Tags: Holdout 測試, 增量測試, 廣告歸因, Click Here 連載, 成長行銷 ## 你買的那些廣告，真的有用嗎？ 上個月在一個諮詢現場，一位經營保健食品電商的老闆拿出手機給我看 Meta 廣告後台的數字，再行銷廣告 ROAS 8 倍，數字漂亮得讓我有點警惕。 他問我：「王董，這個有效嗎？應該繼續加碼嗎？」 我沒有立刻回答他。 我反問他一個問題：「你有沒有試過把這個廣告停掉？」 他愣了一下。「停掉？怎麼可能停，這是我效果最好的廣告。」 這就是問題所在。 ROAS 8 倍，聽起來很美。但這個數字告訴你的是：每花 1 塊錢廣告費，平台告訴你回來了 8 塊錢的收入。問題是，那 8 塊錢裡，有多少是「因為廣告才發生的銷售」？有多少是「那個客人本來就要買，廣告只是攔截了他一下，然後搶了功勞」？ 這兩件事，差距可以非常大。 台灣電商業界最普遍的歸因方式，是 Last-click（最後點擊歸因）或是 GA4 的多觸點歸因模型。這些模型的邏輯，說穿了是在算「誰最後接觸到這個用戶，誰就是功臣」。 這不是在量廣告的真實效益，這是在幫廣告記功。 你的再行銷廣告打到的那些人，他們在你廣告打出去之前，可能已經：加過購物車、比價比了三次、跟朋友討論過、甚至已經決定要買了。廣告出現在他們眼前，他們點了，買了，廣告後台記了一筆轉換，ROAS 就漂亮了。 但沒有廣告，他們會不會還是買？ 這才是真正的問題。 ![Holdout 增量測試封面：廣告 ROAS 光鮮數字背後，歸因功勞搶奪示意圖](https://growthhackers.tw/content/images/2026/05/cover-ep3.png) ROAS 漂亮不等於廣告真的有效，歸因記功與增量貢獻是兩件事 ## eBay 的實驗告訴你什麼：廣告停掉，客人還是來了 2010 年代初，eBay 委託加州柏克萊大學經濟學教授 Steve Tadelis 做了一個至今仍是業界最重要的廣告實驗之一。研究後來成為 [NBER Working Paper w20171](https://www.nber.org/papers/w20171?ref=growthhackers.tw)，在學術界廣泛被引用。 eBay 的問題很簡單：他們買了大量的品牌關鍵字廣告（就是在 Google 搜尋「eBay」時出現的廣告），而且這些廣告的 ROAS 看起來非常好看。 他們想知道，這些廣告是真的有效，還是只是看起來有效？ 於是他們做了一件大膽的事：在部分地區把品牌字廣告完全停掉，然後觀察自然流量有沒有下降。 結果讓整個廣告業界震驚。 自然搜尋流量幾乎沒有下降。那些「靠廣告帶進來」的用戶，大多數根本就要自己搜尋 eBay 進站，廣告只是在搜尋結果頁面上多出現了一個位置，攔截了他們一下，然後被記錄為廣告的轉換。 Schultz 在《Click Here》裡把這個現象描述得很直白，大意是：歸因告訴你有關聯，增量才告訴你有沒有真正的貢獻。 把這個邏輯放回台灣電商的語境，你想想：你的再行銷廣告主要打的是什麼人？ 是在你網站瀏覽過、加過購物車、甚至已經結帳到一半的人。 這些人，他們已經有很強烈的購買意圖了。廣告再打他們，固然可以加速他們回來，但有多少人是「沒有廣告就不會買」？有多少人是「就算沒有廣告，這週週末也會自己回來」？ 你不知道，因為你從來沒有停下來測試過。 ![eBay 品牌字廣告實驗：自然流量 vs 廣告流量，停掉廣告後流量幾乎不變的增量測試示意圖](https://growthhackers.tw/content/images/2026/05/ep3-illust-1-ebay.png) eBay 實驗：停掉品牌字廣告後，自然流量幾乎沒有下降，ROAS 高不等於廣告有增量效益 ## Uber 的廣告費被詐走了，而他們根本不知道 如果 eBay 的案例讓你驚訝，那 Uber 的案例會讓你更不舒服。 2017 年前後，Kevin Frisch 當時擔任 Uber 的行銷績效主管，他和團隊決定對某一部分行動廣告做增量測試，實際看看廣告關掉之後，新用戶安裝數字會掉多少。 他們發現了一件詭異的事：廣告預算砍到趨近於零，新用戶安裝數幾乎沒有明顯下降。 這代表什麼？ Uber 一直在付廣告費，但那些廣告帶來的「轉換」，有相當大的比例根本不是真實的新用戶，而是詐欺流量（ad fraud）。外部廣告網路偽造了點擊和安裝數字，讓廣告看起來有效，Uber 一直在付錢，但受益的是詐欺方，不是 Uber。 這件事後來成為一場大型法律訴訟（Uber v. Fetch Media），也是業界對行動廣告 attribution 的一個警鐘。 重點是什麼？ 不做增量測試，你不知道你在付錢給誰。你的廣告後台數字可能漂亮，但那個「漂亮」背後是真實的銷售，還是被廣告商系統定義出來的記帳方式，你搞不清楚。 這個問題在台灣電商業界也存在，只是形式不同。 你有沒有跑過聯盟行銷（affiliate marketing）？聯盟平台的計費方式通常是「最後點擊者拿傭金」。一個本來就要買的客人，在結帳前的最後一秒點了一個聯盟連結，聯盟夥伴就拿到了那筆傭金。你付出了成本，但那個銷售本來就會發生。 你的 KOL 廣告也可能有類似的問題。KOL 在週五發了一支開箱影片，你的週末銷售上升了。但那個週末本來就是你的旺季，銷售增長有多少是 KOL 帶來的，有多少是自然季節效應，你能說清楚嗎？ 大多數台灣品牌，說不清楚。 ## Holdout 增量測試是什麼，怎麼做 好，重點來了。 Holdout Test（增量測試，或稱保留組測試）的設計邏輯其實不複雜： **第一步**，把你的目標受眾隨機分成兩組。一組是實驗組，正常投廣告給他們。另一組是保留組（holdout group），這段期間不投廣告，或是投一個完全無關的 PSA（公益廣告），讓他們看到廣告位但不是你的品牌廣告。 **第二步**，讓廣告跑一段時間，最少兩週，消費型電商四週更好，因為要覆蓋到自然的購買週期。 **第三步**，時間到之後，對比兩組的購買率或轉換率差異。 這個差異，就是廣告的真實增量效益（incremental lift）。 如果實驗組的購買率是 5%，holdout group 的購買率是 4.8%，那廣告帶來的真實增量只有 0.2 個百分點，不是你 ROAS 計算出來的那個數字。 聽起來很合理，但很多台灣電商一聽到這個方法，第一個反應是：「我怕停掉廣告會虧錢。」 我理解這個擔心，但請換個角度想：如果你現在的廣告增量效益很低，你其實已經在虧錢了，只是你不知道。你在付的是你以為有用、但其實很大部分沒有貢獻的廣告費。 不做 holdout，你不知道哪些錢是真的在賺，哪些錢是在燒。 「那我沒有技術資源做隨機分組怎麼辦？」 台灣電商最容易上手的簡化版，是**地理 holdout**。 選兩個購買力和消費習慣相近的城市，例如台中和高雄。台中繼續正常投廣告，高雄這段時間停投或大幅降低投放量。兩週後對比兩個城市的銷售變化。 這不是完美的實驗設計，有很多干擾變數，但比起你完全不測試，已經能給你一個方向：這些廣告的效果，大概在哪個量級。 Meta 廣告平台本身也有 Conversion Lift 功能，可以做平台內的 holdout 測試，但這個功能需要帳戶規模和技術人員配合設定，不是每個帳戶都開放。 另一個選項是時段 on/off test：在某一個週期完全停掉某個廣告類型，同時對比去年同期或上個類似週期的銷售數字，看有沒有明顯差異。 這個方法有很多干擾因子，但用來做「初步評估某個廣告類型是否真的在貢獻銷售」，成本最低，你明天就可以開始。 ![Holdout 增量測試三步驟流程圖：隨機分組 → 實驗組有廣告 vs 保留組無廣告 → 對比轉換差異](https://growthhackers.tw/content/images/2026/05/ep3-illust-2-holdout-3steps.png) Holdout 增量測試三步驟：分組、跑測試、對比轉換差異，計算真實 incremental lift ## 台灣電商的增量測試阻力框架 如果你問我，台灣電商為什麼普遍沒有在做增量測試，我的答案是：不是技術問題，是文化問題。 **第一個阻力：廣告代理商的利益結構** 很多台灣電商把廣告操盤外包給代理商，而代理商的收費模式通常是「媒體費的一定比例」。這代表廣告預算越大，代理商收費越多。 代理商有沒有動機幫你做增量測試、發現廣告效果沒你想的好、讓你降低預算？ 這個問題你自己想。 這不是說代理商壞，而是利益結構就是如此，不能期望和自身利益相衝突的人主動幫你做這件事。 **第二個阻力：老闆要看漂亮的數字** ROAS 8 倍，在報告裡看起來很棒。「廣告帶來了大約 12% 的真實增量銷售」這個數字，不管實際上有多真實，在報告裡就是比較難讓人興奮。 以前我們的廣告報告，核心永遠是「這個月投了多少、帶回了多少、ROAS 是多少」。 現在如果你要改成「增量貢獻了多少」，你需要說服整個組織接受一個更複雜、數字可能更小但更真實的衡量方式。 這不是一件容易的事，但這是正確的事。 **第三個阻力：電商平台的歸因黑箱** Shopee、Momo、PChome 的廣告後台，都只給你一個視角：last-click，或是平台自己定義的歸因窗口。 他們沒有動機告訴你，有多少用戶本來就要買、廣告只是讓你付了一筆你不需要付的錢。 在這些平台上做廣告，你基本上是在他們定義的遊戲規則裡玩。想要真正理解增量效益，你需要自己建立 holdout 邏輯，或是找到一個你能控制的對照環境。 **第四個阻力：雙十一的短線文化** 台灣電商業界的節奏，就是跑活動、衝 GMV、看這個月業績有沒有達標。雙十一、618、周年慶，每個大檔期都是全力衝刺，沒有任何空間做「先停掉一個廣告看看會怎樣」這種測試。 這個文化讓所有人都活在短線裡，沒有人有耐心去搞清楚廣告的真實效益是什麼。 但事情的另一面是：也就是因為沒有人做，你如果做了，就有競爭優勢。你知道廣告真正有效的部分在哪，你可以把預算集中投在那裡，讓每一塊廣告費的效率高過你的競爭對手。 ![台灣電商增量測試四大阻力：代理商利益、老闆要漂亮數字、平台歸因黑箱、雙十一短線文化](https://growthhackers.tw/content/images/2026/05/ep3-illust-3-tw-ecommerce-4walls.png) 台灣電商不做增量測試的四大阻力：這不是技術問題，是文化問題 ## 三個你現在就能做的事 行動建議，直接說： **第一步：找一個廣告類型排程地理 holdout** 選你現在投最多錢的廣告類型，例如再行銷廣告。找兩個消費力相近的城市，一個繼續正常投，另一個接下來兩到四週大幅降低或停掉這個廣告類型。記錄兩個城市在這段期間的訂單數和銷售額變化。 你不需要完美的實驗設計。你需要的是第一個數據點，讓你開始理解廣告的真實貢獻大概在什麼量級。 **第二步：在下次代理商會議裡問一個問題** 「我們什麼時候做過增量測試？結果是什麼？」 如果代理商說「沒有做過」，那你現在就知道你有一個功課要做。如果代理商說「有，數字在這裡」，請他說清楚測試的設計方法、holdout group 是怎麼產生的、測試跑了多長時間。 **第三步：審視你的再行銷廣告受眾設定** 你的再行銷廣告，現在打的是什麼行為的用戶？如果你打的是「90 天內曾加購但未購買的用戶」，裡面有相當大比例的人其實在接近購買決策的尾聲，他們不需要太多廣告刺激就會回來。 考慮縮短你的再行銷窗口，例如從 90 天縮到 14 天，或者把更多預算移到對不熟悉你品牌的新受眾投放，測試那個效果是否更真實。 ## 結語：廣告的錢，你花的越清醒，越有優勢 《Click Here》這本書讓我重新審視了一件事：行銷人很容易被自己的工具說服自己。 ROAS 這個指標，設計上就是讓你覺得廣告有效的一個數字。它不是壞的，但它告訴你的是「有關聯性」，不是「有因果性」。 在 EP1 我介紹了 Schultz 的整體行銷框架，在 EP2 我們談到北極星指標，這兩集都在說同一件事：你追的那個數字，可能追錯了。 這一集的 Holdout 增量測試，是同一個邏輯的另一個面向：你以為有效的廣告，可能沒有你想的那麼有效。而「沒有你想的有效」和「沒效」之間，差了一個測試的距離。 台灣電商的競爭愈來愈激烈，廣告成本愈來愈高。以前你可以燒錢換成長，現在如果你繼續燒不知道有沒有效的廣告，你是在幫競爭對手。 去測試。去知道真相。然後把你的預算集中在真正有增量效益的地方。 EP4 我們來談另一個業界普遍用錯的框架：漏斗思維（Funnel Thinking）。很多人把漏斗想成「上層獲客、中層培育、下層轉換」的線性流程，但 Schultz 的觀點是，漏斗的每個階段應該用增量思維重新審視，而不只是用轉換率優化它。 [← EP1：Meta 行銷長 Alex Schultz 的數位行銷框架全解析](https://growthhackers.tw/click-here-alex-schultz-book-review/) ｜ [EP2：北極星指標診斷法](https://growthhackers.tw/click-here-ep2-north-star/) ｜ [→ EP4：行銷漏斗沒過時，用 AIDA、池子大小與增量測試找成長破口](https://growthhackers.tw/click-here-ep4-funnel-incrementality/) ｜ [EP5：Channel-Market Fit（通路選擇）](https://growthhackers.tw/blog/click-here-ep5-channel-market-fit/) ｜ [→ EP6：Creative 4P 創意素材科學](https://growthhackers.tw/blog/click-here-ep6-creative-4p/) --- ## 常見問題：Holdout 增量測試 FAQ **Q1：什麼是廣告增量測試（Holdout Testing）？和 A/B 測試有什麼不同？** 廣告增量測試（Holdout Testing）的目的是量測「廣告帶來多少真實的新增銷售」，也就是沒有廣告的情況下，這些銷售是否還會發生。做法是把受眾分成實驗組（有廣告）和保留組（無廣告），對比兩組的轉換差異。A/B 測試通常是在廣告素材、落地頁、出價策略等「有廣告」的前提下做比較優化；Holdout Test 的對照組是「沒有廣告」，測的是廣告本身存在與否的效益，問題層次不同。 **Q2：台灣電商規模太小，能做 Holdout Test 嗎？** 可以，但設計需要適配你的規模。大型電商可以做平台內的 Conversion Lift（Meta 廣告系統有提供），或是技術團隊建立 Cookie 隨機分組。中小型電商最低成本的方式是地理 holdout：選兩個相近的城市或縣市，一個正常投廣告、另一個停投或大幅降低，觀察兩週到四週。數據不會完美，但足以給你一個方向性的判斷。 **Q3：我的廣告代理商說 ROAS 很好，但我要怎麼驗證是否真的有增量效益？** 直接問代理商：「你們有做過 holdout 測試嗎？」如果沒有，你可以自己在某個城市或某個時段暫停一個廣告類型，觀察業績有沒有明顯變化。另一個方式是和代理商討論跑 Meta 官方的 Conversion Lift 測試，這個工具會在平台內自動建立保留組，出報告後你能看到廣告的真實增量數字，不只是 ROAS。 --- *本文為《Click Here》連載系列第三集，共七集。* --- **協作聲明與免責** 這篇文章由王董與 AI 一起整理製作完成。文中引用的第三方資料、研究或工具都會標註來源名稱；若原始出處有公開連結，會以 \[來源名稱\](URL) 形式附上，方便你進一步查找。若文中內容與原始出處有任何出入，請以原文為準。 內容僅供參考與學習交流，不構成任何專業、商業或投資建議，請依自身情況判斷並自行承擔行動風險。文中提及的工具功能、數據與平台政策可能隨時間異動，請以各官方最新公告為準。