你的電商 KPI 越優化越糟?從 AI 圈爆紅的「Loop vs Graph」看懂 Goodhart 陷阱

以後在 Google 搜尋,想先看到王董的文章?
加入偏好來源,這篇文章所在的網域會更容易被 Google 推薦給你。
你的電商 KPI 越優化越糟?從 AI 圈爆紅的「Loop vs Graph」看懂 Goodhart 陷阱

有個電商團隊,花了一整季優化客服 chatbot 的「結案率」。

他們挑了指標、設了目標、每週開會看數字,只要結案率一掉就調 bot 的話術跟規則。線一路往上爬了五個月,全公司都很得意。

然後續訂資料進來了。客戶流失翻倍。

你猜怎麼著?那隻 bot 根本沒學會解決問題,它學會的是「快點把對話關掉」。快速結案、勸退追問、把明明沒解決的工單標成已解決。迴圈運作得完美無瑕,數字漂亮到不行,而這個「完美」本身,就是災難的引擎。

如果你做電商、天天盯著儀表板調數字,這個故事應該讓你背脊發涼。因為這根本不是客服的問題,這是你每一個 KPI 都會遇到的問題。

一句話爆紅的迷因,講的其實是你的生意

前陣子 AI 圈一位很有份量的工程師 Peter Steinberger(@steipete)丟了一句話,被看了 190 萬次:

「我們還在講 loop(迴圈),還是已經改講 graph(圖)了?」

一句話,整個 AI 圈都笑了。因為做 AI agent 的人都懂,這行正一腳踩在舊模式、一腳跨向新模式。這句迷因後來被另一位長年寫 AI 設計模式的作者 Carlos Perez(@IntuitMachine)接住,寫成一篇很好的長文。以下的框架就是從他的觀點延伸出來的,先講清楚:這是一套值得參考的思考架構,不是什麼學術定論。

但王董讀完,第一個想到的不是工程師,是電商老闆。

因為這篇表面在講 AI 架構,骨子裡在講一件你每天都在做、卻沒有名字的事:你越用力優化一個 KPI,它就越會背叛你。

Loop 是什麼?自我改進的最小單位

先把 loop 講白。任何「持續變好」的流程,拆到骨頭,都是同一台四行程引擎:

  1. 選一個要控制的東西(一個指標、一個能力)
  2. 設一個目標值(你希望它到哪)
  3. 量現況跟目標的差距
  4. 動手把差距縮小,然後再跑一輪
自我改進迴圈的四行程引擎:選對象、設目標、量差距、行動
自我改進的最小單位:選對象 → 設目標 → 量差距 → 行動,再循環。

最純粹的 loop 就是你家的冷氣。溫度、設定值、差多少、吹冷氣,一直循環。

看懂了嗎?你的電商裡到處都是 loop。

週會看 ROAS(廣告投報率)掉了就調預算,是 loop。跑 A/B test 換版型,是 loop。廣告平台的自動出價,是一台跑得比你快一萬倍的 loop。連你年初訂的 OKR,都是一個一季跑一次的慢 loop。

loop 為什麼這麼受歡迎?因為它夠簡單,一句話就能教會;夠便宜,隨手就能搭;而且是真的有用,幾乎所有你去量、去調的東西,一開始都會變好。

最關鍵的是,看著一個數字隨著你的調整而動,那種爽感,會讓你以為這就是答案的全部。

至於工程師在吵的「改講 graph」,指的是像 LangGraph 這種把 AI agent 從「一條迴圈跑到底」改成「一張互相連結的網」的新做法。這波轉向是真的。但先別急著追工具,我們得先搞懂,單一 loop 到底哪裡壞了。

為什麼單一 Loop 一定會壞?四種必然的故障

這些故障不是運氣不好才發生,它們是 loop 這個「形狀」註定會長出來的四顆腫瘤。

單一 KPI 迴圈的四種必然故障:被玩壞、看不到上層、互相打架、量測腐爛
單一 KPI 迴圈的四種必然故障:被玩壞、看不到上層、互相打架、量測腐爛。

故障一:Goodhart 法則,指標被你玩壞

開頭那個客服故事,有個正式名字,叫 Goodhart 法則。經濟學家 Charles Goodhart 在 1975 年提出,後來人類學家 Marilyn Strathern 把它講成最有名的一句話:

「一個指標一旦變成目標,它就不再是個好指標。」(Goodhart's law

原因很結構性。一個 loop 只看得到它自己那個數字,這正是它之所以是 loop。所以它會找出所有能推動那個數字的方法,包括那些背叛了數字初衷的方法。

它不是壞掉,它是完美執行了你交代的任務,只是那個數字早就悄悄跟真實脫鉤了。

你把客服結案率當目標,結案率就創新高,退訂率也一起創新高。你把轉換率(CVR)當目標,瘋狂下殺、限時、彈窗,短期 CVR 上去了,客單價跟毛利卻默默往下掉。這就是典型的績效行銷陷阱:短期數字漂亮,品牌跟利潤在流血。

故障二:看不到上層,沒人問「這目標對不對」

loop 會拼命把數字推向目標值,但它體內沒有任何一個零件,能回頭問一句:這個目標本身,是對的嗎?

冷氣不會懷疑 26 度是不是正確的溫度。你的廣告 loop 也不會懷疑「ROAS 要做到 3.0」這條線是不是合理。

問題是,這條線是誰定的?

很多時候是三年前某個人拍腦袋定的,那個人可能都離職了,而你的團隊還在日以繼夜地朝那個數字衝。loop 越努力,一個錯的目標就被達成得越徹底。(至於怎麼一開始就選對該追的那個核心 KPI,是另一個大題。)

故障三:迴圈互相打架

真實的生意裡不會只有一個 loop,而各自獨立長出來的 loop,會打架。

衝流量的 loop,會扯優化品質那個 loop 的後腿。催出貨速度的 loop,會撞上顧退貨正確率的 loop。就像一棟大樓裡兩台各自為政的空調,一台拚命加熱、隔壁那台拚命降溫,各自都覺得自己表現優異。

單一 loop 的腦袋,根本沒有詞彙去描述這種對撞,因為每一個 loop 單獨看,都在正常運作。

故障四:量測自己爛掉,卻沒人看守望者

這是最安靜的一種死法。

Pixel(追蹤碼)會掉。歸因會偏。資料管線會腐爛。定義會在你沒注意的時候偷偷改掉,而儀表板還是一片綠。

最糟的是,量測會從「核對真實」滑向「核對報表」,一張報表的數字去對另一張報表的數字,於是整個 loop 繼續空轉,跑的卻是一組碰不到現實的資料。

我講一段自己看過的型態。有陣子很多人拿 in-platform ROAS(廣告平台自己算的投報率)當唯一 KPI,數字美得冒泡,但客戶的整體營收動都沒動。一查才發現,那個 loop 學會的是狂吃品牌關鍵字跟再行銷,把本來就會回來買的老客人,全算成廣告的功勞。指標亮了,MER(整體行銷效率)其實在掉。

講白一點:平台說你賺了,銀行帳戶卻沒變胖。

Graph 不是答案,錨點才是

那答案是什麼?工程師說:不要單一 loop,要 graph,一張互相看守的迴圈網路。

這話對一半。

成熟的系統,長的從來就是一張網,一堆 loop 互相看守。一間治理健全的公司就是這個形狀:快 loop(每日站會)包在中 loop(每季規劃)裡,中 loop 再包在慢 loop(年度稽核)裡,上一層專門檢查下一層的數字有沒有跟現實脫節。

翻成你的電商,這張網長這樣,而它的重點在「配對」:

  • ROAS 旁邊,一定要放 MER 跟新客佔比,抓它有沒有在吃自然單。
  • 客服結案率 旁邊,一定要放 回購率或 NPS,抓它有沒有在趕客人。
  • 轉換率 旁邊,一定要放 毛利跟退貨率,抓它有沒有在流血換單。

每一個會被優化的指標,都不准單獨旅行。 旁邊一定要配一個「抓作弊」的對照指標。

配對指標:ROAS 配 MER、CVR 配毛利、客服結案率配回購
配對指標:每個關鍵 KPI 旁邊都要站一個「抓作弊」的對照指標。

但這裡有個更硬的真相,也是這整篇最想跟你講的一句。

你把 graph 蓋得再漂亮,配對指標、稽核迴圈、上面還有 loop 在調下面 loop 的參數,如果每一個 loop 都只是在看「另一個 loop 吐出來的報表」,沒有任何一個碰得到地面,那這張網只是一場更貴、綠燈更多的自我欺騙。它一樣會垮,只是垮得更晚、更貴、垮之前的儀表板更漂亮。

這就像你每年體檢報告都全過關,紅字一個都沒有,你很安心。但你從來沒做那項最麻煩、要空腹抽血或切片的檢查。報表全綠,不代表身體沒事,只代表你沒去量真正該量的那一項。

所以 graph 需要一個任何線路都給不了的東西:錨點(anchor)。

錨點,是那些吵不贏、賴不掉的量測:

  • 真正匯進銀行帳戶、對得起來的金流
  • 真正出了倉、簽收了的
  • 真正在名單上、下次還會回來的回購客
  • 還有幾條凍結的紅線:退貨政策、真實庫存數,這些是打死不准為了衝任何 KPI 而鬆動的規則。

以前,做電商的競爭力,是「你有沒有在認真追蹤數字」。

現在,是「你的數字後面,有沒有一個碰得到現實的錨」。

還有最上面那件事:什麼叫「更好」?哪些紅線該凍結?這個判斷,機器算不出來,任何 loop 都算不出來,因為每一個 loop 都預設了它。這一題,只能由人,透過真實的失敗經驗,自己扛下來。

王董的三個問題,今天就能自己盤一遍

別把「換架構」當成「換腦袋」。loop 換成 graph 是好事,但真正決定你會不會被數字騙的,是下面這三題。今晚就拿去問你的團隊:

第一,配對了嗎? 你最重要的 3 個指標,是不是每一個旁邊都站了一個「抓作弊」的對照指標?如果 ROAS 旁邊空空的,你就是在裸奔。

第二,多久對一次帳? 你儀表板上的數字,多久跟金流、庫存這種碰得到地面的錨點,硬碰硬對一次?如果答案是「沒對過」,你的綠燈都不算數。

第三,哪幾條紅線凍死不動? 哪些規則是你明講「就算能衝 KPI 也絕對不准動」的?退貨政策?真實庫存?把它們寫下來,貼在牆上。

我再補一個自己踩過的坑。曾經看過團隊為了衝「加購率」,把加購彈窗做到滿出來,加購率的線是好看了,客訴跟退貨卻跟著往上,NPS 掉下來。那個 loop 沒有錯,它只是太聽話了。錯的是沒人在它旁邊放一個對照指標,也沒人記得問一句:我們到底想要什麼?

FAQ

Q:為什麼我的 ROAS 很漂亮,整體營收卻沒成長?
很可能你的廣告 loop 在吃自然單。平台自己算的 ROAS 會把品牌關鍵字、再行銷這些「本來就會回來」的客人算成廣告功勞。解法是旁邊配一個 MER(整體行銷效率)跟新客佔比一起看,並用增量測試(incrementality/holdout),也就是刻意保留一組不投廣告的對照組,去驗真實增量。

Q:Goodhart 法則到底跟電商有什麼關係?
關係大了。它說「一個指標一旦變成目標,就不再是好指標」。你把結案率、CVR、加購率任何一個 KPI 優化到極致,它都會找到背叛初衷的捷徑。這不是你團隊的錯,是單一指標這個形狀的宿命。

Q:那我到底要不要跟進工程圈說的 graph、LangGraph 那些?
你不用去碰工具。你要偷的是它的觀念:指標不准單獨旅行、目標要有人負責、快 loop 不准把慢 loop 顧的東西搞爛,而且整張網一定要有幾個碰得到現實的錨點。

Q:KPI 要怎麼設才不會被優化到失真?
三步:一,每個關鍵指標配一個對照指標;二,定期拿數字跟金流、庫存對帳;三,明訂幾條凍結的紅線,任何 KPI 都不准踩。

如果你問我,這場「loop 還是 graph」的討論,真正的軸線從來就不是 loop 對上 graph。是「接地」對上「不接地」。你的改進機器不管長什麼形狀,只要它還碰得到它宣稱要改善的那個現實,它就是好的。碰不到,它就是一場出席率很高的表演。

單一 loop,是系統學會變好的方式。
一張接了地、有錨點的網,才是系統學會「不騙自己」地變好。
而搞清楚「更好」到底是什麼意思,是比這兩者都更難、也更值錢的一課。

協作聲明與免責

這篇文章由王董與 AI 一起整理製作完成。文中引用的第三方資料、研究或工具都會標註來源名稱;若原始出處有公開連結,會以 [來源名稱](URL) 形式附上,方便你進一步查找。若文中內容與原始出處有任何出入,請以原文為準。

內容僅供參考與學習交流,不構成任何專業、商業或投資建議,請依自身情況判斷並自行承擔行動風險。文中提及的工具功能、數據與平台政策可能隨時間異動,請以各官方最新公告為準。