[數據分析]菜鳥驛站：如何證明電商最後一哩路的價值

前言

A/B test 一直以來都是在網路產業進行數據分析不可或缺的一環，有許多的提案不管前期規劃的多麽完整、推估的多麽精細，最終都得上線測試才能知道最後的結果，因此在網路上不難發現許多關於 A/B test 的討論。但在實務上也會發現，許多的狀況是 A/B test 無法解決，而需要用其他工具來推估因果關係，其中包含但不僅限於：

1. 在無法隨機化分群的環境難以設計 A/B test 的實驗（ex: 線下消費）
2. 在已經發生的數據上進行因果推論（ex: 政策評估、突發事件影響評估）
3. 資源有限的情況下，不知道 treatment 在哪些人身上進行是好的（ex: 折扣券)

因此這篇文章是希望透過 KDD 2023 Workshop 中的一個主題：Causal Inference and Machine Learning in Practice: Use cases for Product, Brand, Policy and Beyond，來和大家討論企業實務上如何應用 Causal Inference 這個強大的工具。

為什麼菜鳥要佈局電商最後一哩路

菜鳥網路是阿里巴巴旗下的物流公司，以台灣的視角來說有點像是 momo 與富昇物流，PC home 與網家速配的關係。而菜鳥驛站是菜鳥網路其中一個物流服務平台，是菜鳥物流在 2015 年開始佈局高效自取服務的策略落地方案，目的就是希望除了集貨與宅配的功能之外，能夠提供給消費者更多的物流選擇，因此他與菜鳥網路的關係反而像是蝦皮與蝦皮店到店。

那為什麼電商如淘寶與天貓會開始佈局和菜鳥驛站合作，又或者蝦皮為什麼要開設店到店，主要原因不外乎透過 Online-to-Offline 創造縱效、透過線下 up-selling 用戶、扮演社區的衛星倉庫等等，更細節的討論可以參考蝦皮店到店，不只是店到店這篇文章的分析。

然而，他們也發現這種做法並不能滿足所有消費者，菜鳥在網路上蒐集了用戶的體驗反饋，整理之後找到了許多有趣的想法。如圖10所示，從正面評價看出部分消費者對於自取服務已經感到非常習慣與滿意。另一方面，如圖11所示，缺乏送貨到家的服務也被視為一個重大缺點，反應出許多消費者非常重視取件方式的多樣性，但這也不難理解，畢竟對許多人來說，送貨上門是不可或缺的便利。

從上述資訊我們可以先總結兩個結論。首先，缺少送貨到家對某些顧客來說是一個重大缺點。而文章也指出這正是菜鳥推出送貨到家計劃的主要動機。其次，對菜鳥自取服務的不同反應凸顯了顧客偏好的異質性。雖然有些人覺得站點自取很方便，但其他人明顯想在家門口收包裹就好。這種差異也說明菜鳥確實有機會進一步量身定制，為這些消費者提供送貨到家的服務。

關於菜鳥驛站

過去十年已經建立超過十萬個菜鳥驛站，這套物流系統對於菜鳥能夠縮減非常多的成本，他們每天能夠處理超過 50 millons 的包裹。但因為消費者在菜鳥過去只有自取的選項，因此也時常有些不滿意的聲音出現。

菜鳥提到他們在過去 10 年已經建立超過 100,000 個菜鳥驛站的據點，每天寄送超過 50 millons 的包裹。但也因為只有自取服務，菜鳥發現越來越多不滿意的消費者轉換到京東以取得更好的物流服務，這也是為什麼菜鳥開始佈局最後一哩路的物流。

菜鳥驛站一般是建立在社區的中心點，如圖 1(a) 所示，服務的最遠範圍大概是 0.5 mile，而大部分的驛站是作為當地的倉儲站點，負責處理包裹以及服務消費者。

圖 1(b) 是菜鳥驛站的前台圖例，當顧客在淘寶或阿里巴巴電商平台消費時，包裹可以寄送到消費者附近的菜鳥驛站讓他們自取。

實驗規劃

要驗證哪些事情

在進行實驗前，我們得先確定菜鳥到底想透過這個實驗來驗證哪些事情，這個命題的好與壞很大程度的決定了實驗的成敗，其中菜鳥提到三個假設是想知道的：

假設一：送貨到家的服務是否能夠提升消費者花在線上零售平台的花費

假設二：送貨到家的服務是不是對於低頻次購買的消費者效用更高（相較於高頻次購買的消費者）

假設三：送貨到家的服務是不是在高競爭力的城市中會更有用（ex: 中國一線城市 vs 二線城市）

其中我們可以關注到對於問題的命題有兩點非常重要，一個就是關注的個體是什麼層級，另一個就是要關注什麼指標，如菜鳥做的這個實驗基本上都是從 customer level 的維度切入，而關注的指標就是消費者在線上零售平台的花費。

哪些驛站要加入實驗？

菜鳥是在 2021 上半年開始送貨到家的 program, 主要由阿里巴巴提供補助讓菜鳥驛站可以有支援把貨送到消費者門口，而且為了快速開始這個 program, 這個補助相較於市場的價格來說是非常有競爭力的。

除了財務補助之外，菜鳥的 Local Operation Team 也提供各種指導，讓驛站老闆能夠積極參與這個 program。

但菜鳥驛站主要是採連鎖的方式，因此驛站可以依照當地的經濟狀況以及驛站老闆個人的思考來決定是否要參加 program 以及何時要參加 program，這導致在菜鳥驛站是否要加入 program 的維度上並不是「隨機」的，而是取決於以下兩點：

一、驛站主人個人外送的能力

二、驛站老闆僱傭外部人力的能力

根據菜鳥研究，因為部分老闆有外送的能力，所以他們在 program 早期就能夠自己提供送貨到家的服務，而且也不需要有多餘的投資；但也有一些老闆可能有比較繁雜的管理工作，這會需要他們從外部聘僱額外的勞力，而這又會更加重他們的管理工作，因此即便在有資源投入的情況下，對於這些老闆，僱傭外送用仍然是一個風險極高的投資。

哪些消費者要加入實驗？

1. 當驛站決定加入 program 後，他們在短期內也沒辦法讓所有消費者享受到這項服務，主要因為人力上的限制（人數、品質），因此是由菜鳥來隨機選擇消費者來接受送貨到家的服務。
2. 但是人力上的限制（人數、品質）會隨著時間改善，透過投入更多的訓練與資金，菜鳥就能讓更多消費者來接受服務。
3. 也因為如此，每個消費者接受到送貨到家服務的時間可能不一樣，勢必會有先體驗到服務的消費者與後體驗到服務的消費者，也造成分析上的困難，因為無法把體驗服務的時間控制在一起。
4. 另外對於消費者而言，他們完全不需要額外支付任何費用，唯一的不同只有當他們接受到貨物的時候，貨物已經直接放到他們家了。
5. 菜鳥隨機選擇 100,000名滿足條件的用戶加入實驗，他們需要滿足以下兩個條件

A. 在 2020 ~ 2021 年間至少各有一次在同一家菜鳥驛站使用服務過

B. 消費者的郵件地址在抽樣期間都在相同的城市（確保這個帳戶被同個消費者使用）

實驗組與對照組

總結以上，我們歸納實驗組與對照組如下：

實驗組（33.1%)：在抽樣期間被指派接受菜鳥物流的送貨到家服務的消費者

對照組（66.9%)：在抽樣期間沒有被指派接受菜鳥物流的送貨到家服務的消費者

探索性分析

如上述提到，接受服務的消費者隨著時間變多，直到 2021 年底，已經有數以百萬計的包裹每天直接送到消費者家門口。

Figure 2 顯示 program 從 2021 年初開始後，送貨到家的訂單數持續上升; Figure 3 則顯示第一次接受到服務的人數佔比，如 8月首次使用服務的人數約佔總使用服務人數的 8%，而這代表兩件事情，1) 接受送貨到家服務的人數越來越多、2) 每一位消費者接受到服務的時間點不同，這都會影響到後續實驗的使用方法。

Table 1 則是菜鳥比較消費者實驗前 12 個月以及後 12 個月的四大指標來檢視消費者的輪廓，舉例而言在實驗前 12 週控制組的平均訂單數是 10.05; 而實驗組則是 15.6，這段數據照理來說應該是不能有差異的，因為在隨機分組的情況下實驗前兩邊要一樣理論上才是比較好的分組，但觀察 Figure 4 在實驗階段前的 Sales & Spending 趨勢與數值基本上是一致的，所以這段數據我也不是很理解為什麼這樣呈現，歡迎大神們理解後給予指教。

Table 1

Figure 4 Sales & Spending parallel trend

實驗方法

在這次的假設驗證中，整體的研究架構符合 staggered DiD，而菜鳥用的第一個數學模型叫做 two-way fixed-effects (TWFE) linear regression model，其初步的公式如下：

X_it：二元實驗的 indicator (ex: 是否使用折價券)

Y_it：觀察到的結果（ex: 銷售金額、訂單數 etc……）

alpha_i：不隨時間變化的個人固定效應（Henry & Andy 兩個人本身消費習慣差異造成的影響）

gamma_t：時間造成的固定效應（Q3 比起 Q2 銷售量會比較高，用來控制時間共同造成的影響）

而後續驗證結果的部分，基本上就是建立在這麼模型的基本框架之下做更多延伸。

驗證結果

假設一：送貨到家的服務是否能夠提升消費者花在線上零售平台的花費

i : 某個消費者

t : 某月

y_it: 某個消費者某月的指標（ex: spending, orders etc…)

alpha_i: 消費者固定效應

theta_t: 時間固定效應

First_it: 某消費者在某月是否是第一次接受 treatment

tau： 長期的 average treatment effect on treated (ATT)

根據 Table 2 可以發現 spending 成長 30.9%, number of orders 成長 13.8%, average order value 成長 2.5%，故假設一成立，除此之外，首月的影響非常大（數字後面的三顆星星代表效果非常顯著)。

t = 0 爲 Program 開始，可以發現 t ≥ 0 時差異值的信賴區間不包含0，因此是顯著有差異的，其中 t = 0 的時期差異最為顯著

假設二：送貨到家的服務是不是對於低頻次購買的消費者效用更高（相較於高頻次購買的消費者）

i : 某個消費者
t : 某月
y_it : 某個消費者某月的指標（ex: spending, orders etc…)
alpha_i : 消費者固定效應
theta_jt: 某群消費者的時間固定效應
Xit : 某群消費者在某月是否是第一次接受 treatment
tau：長期的 average treatment effect on treated (ATT)

根據 Table 3 可以發現 Low spending 成長 近 50%, 而 High Spending 僅成長近 20%，故假設二亦成立（數字後面的三顆星星代表效果非常顯著)。

假設三：送貨到家的服務是不是在高競爭力的城市中會更有用（ex: 中國一線城市 vs 二線城市）

i : 某個消費者
t : 某月
y_it: 某個消費者某月的指標（ex: spending, orders etc…)
alpha_i : 消費者固定效應
theta_t: 某消費者的時間固定效應
X_it: 某群消費者在某月是否是第一次接受 treatment
tau：長期的 average treatment effect on treated (ATT)

根據 Table 4 可以發現 Tier 1 city spending 與 Orders 皆有成長, 而 Tier3 city 甚至是負值，故假設三亦成立（數字後面的三顆星星代表效果非常顯著)。

結論

根據模型推導出來的結論基本上能驗證菜鳥做出的三大假設，也代表著菜鳥完成最後一哩路是能夠達成他們的戰略目標，甚至在特定區域是更有用的。

因此，下一階段的重點就是，既然有用，在資源有限的情況下，菜鳥的下一批資源到底放在哪些區域、哪些人可以最快速與有效的提升指標，這個就會是下一階段文章所提到的 Uplift Model & Double Machine Learning，若大家有興趣的話，會再另一篇文章記錄討論這些模型以及菜鳥如何應用他們在實務當中。