聚类分析 · 从数学到商业落地的 5 层实战

聚类是无监督学习的核心,但大多数教程只讲 K-Means 跑通就完事。这篇教程 从数学直觉 → K-Means 选 K → DBSCAN/HDBSCAN 噪声检测 → UMAP 高维降维 → 营销 ROI 落地,每一层都是真实数据 + 真实输出 + 真实代码。所有图都是我本机 matplotlib 渲染的 (Hiragino Sans GB 中文字体)。

0数据集 & 实验环境

本文所有结果均来自本机真实运行 · Python 3.11 · sklearn 1.9.0 · hdbscan 0.8.x · umap-learn 0.5.12

0.1 数据集选择: Telco Customer Churn

0.2 实验环境

numpy 2.4.6 / pandas 3.0.5 / scikit-learn 1.9.0
hdbscan 0.8.x / umap-learn 0.5.12 / matplotlib 3.11.1
中文字体: Hiragino Sans GB (macOS 系统字体)

0.3 加载数据

import pandas as pd
df = pd.read_csv("data/telco_churn.csv")
print(f"原始数据: {df.shape}")
# (7043, 21)

numeric_cols = ["tenure", "MonthlyCharges", "TotalCharges"]
df[numeric_cols] = df[numeric_cols].apply(pd.to_numeric, errors="coerce")
df = df.dropna(subset=numeric_cols)
# (7032, 21) - 去掉 11 条 TotalCharges 缺失

L1L1 · 数学直觉: 距离度量对比

核心问题 · 聚类到底在算什么? 选什么距离度量?

1.1 聚类的数学本质

聚类的目标函数:最小化簇内距离 + 最大化簇间距离。但 "距离" 怎么定义决定了 80% 的结果。

三大距离度量在 Telco 数据上的对比实验 (标准化后):

1.2 真实聚类对比 (K=4)

在 Telco tenure vs MonthlyCharges 上跑 K-Means K=4:

两种距离在本数据集上结果几乎一致 (Silhouette 都是 0.4721)。这告诉我们: 对于低维、分布均匀的数据,选 L2 或 L1 差别不大;真正有差异的场景是高维稀疏数据 (文本/embedding) 或异常值密集时。

L2L2 · K-Means 选 K 三件套 + 业务画像

核心问题 · 怎么选 K? 选完后怎么翻译成业务?

2.1 为什么 K 这么难选

K-Means 必须预设 K,但业务上往往不知道应该分几群。三种指标各有侧重:

• Elbow (惯性下降率): 找"陡降到平台"的拐点,基于业务直觉
• Silhouette (轮廓系数): 越大越好,范围 [-1, 1],找簇内紧簇间分
• Davies-Bouldin (DBI): 越小越好,基于簇中心距离/簇内散度

2.2 Telco Churn 上的真实数据

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score, davies_bouldin_score
from sklearn.preprocessing import StandardScaler

X = StandardScaler().fit_transform(df[["tenure", "MonthlyCharges", "TotalCharges"]])

for k in range(2, 11):
    km = KMeans(n_clusters=k, random_state=42, n_init=10)
    labels = km.fit_predict(X)
    sil = silhouette_score(X, labels)

2.3 三指标的取舍

2.4 K=2 的真实聚类结果 + 业务画像

L3L3 · DBSCAN / HDBSCAN: 噪声识别

核心问题 · 不是所有客户都应该被分到一群 — 噪声怎么办?

3.1 为什么需要密度聚类

K-Means 的硬伤:每个客户都被强制分到 1 簇。但真实业务里:

• 有些客户是"异常行为",不该归任何簇 (羊毛党、内部测试账号)
• 有些客户的归属本身是模糊的 (用"软聚类概率"比硬标签更诚实)
• 簇形状不规则时 (环形、月牙形),K-Means 完全失败

3.2 DBSCAN 参数实验 (Telco Churn)

DBSCAN 有两个关键参数: eps (邻域半径) 和 min_samples (核心点最少邻居)。我在 Telco 3 维特征上做 9 组实验:

3.3 HDBSCAN: 自动选 eps

HDBSCAN (★3.1k) 是 DBSCAN 的进化版 — 无需预设 eps,自动适应变密度:

import hdbscan
hdb = hdbscan.HDBSCAN(min_cluster_size=100, min_samples=10)
labels = hdb.fit_predict(X)

3.4 K-Means vs HDBSCAN 真实对比

L5L5 · UMAP 降维: 高维聚类的钥匙

核心问题 · 21 维数据怎么聚? 怎么可视化?

5.1 高维诅咒 (Curse of Dimensionality)

Telco Churn 原始有 21 列特征 (one-hot 后 30 维)。直接在高维空间聚类有两个问题:

1. 距离集中: 高维空间中,任意两点距离趋近相等 (1 - 1/√d),K-Means/DBSCAN 失效
2. 无法可视化: 人眼只能看 2D / 3D,聚类结果无法直观判断

降维是关键步骤。但PCA (线性) vs UMAP (非线性) 效果天差地别。

5.2 全特征工程 (one-hot + 标准化)

from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.decomposition import PCA
import umap

cat_cols = df.select_dtypes(include=["object", "string"]).columns.tolist()
cat_cols = [c for c in cat_cols if c != "Churn"]
num_cols = df.select_dtypes(include=["int64", "float64"]).columns.tolist()

X_cat = OneHotEncoder(sparse_output=False, drop="first").fit_transform(df[cat_cols])
X_num = StandardScaler().fit_transform(df[num_cols])
X_full = np.hstack([X_num, X_cat])  # (7032, 30)

5.3 PCA vs UMAP 真实对比

PCA 2D 解释方差: 53.4% (PC1=35.9% + PC2=17.5%) — 接近一半信息丢失

UMAP 2D: 非线性降维,保留局部结构(同簇点拉近,异簇点推远)

5.4 UMAP + HDBSCAN: 降维后聚类的威力

真实发现:UMAP 降维后聚类质量远胜直接在 30 维聚类:

• 簇数:3 → 8 (更精细)
• 噪声比:0% → 1% (HDBSCAN 在降维后更"自信"了)
• 每个簇的客户特征差异更明显

L7L7 · 商业落地: ROI 计算

核心问题 · 聚完怎么用? 怎么算出真金白银的 ROI?

7.1 4 个分群的业务命名

在 tenure/MonthlyCharges/TotalCharges 上跑 K-Means K=4 (按 L2 Elbow 选择),给每个簇业务命名:

7.2 营销动作 + ROI 计算 (真实数字)

基于业务经验给每个分群匹配营销动作,计算 ROI:

7.3 业务洞察

A附录 · 5 个脚本 + Checklist

A.1 5 个独立可运行脚本

A.2 一键复现命令

cd ~/Documents/Code/articles-site/_tmp_ml

# 数据准备 (一次性)
curl -sL -o data/telco_churn.csv \
  "https://raw.githubusercontent.com/IBM/telco-customer-churn-on-icp4d/master/data/Telco-Customer-Churn.csv"

# 装包 (一次性)
python3 -m venv .venv
.venv/bin/pip3 install numpy pandas scikit-learn matplotlib seaborn hdbscan "umap-learn>=0.5.7" "numba>=0.60"

# 跑全部 (95 秒)
.venv/bin/python3 L1_math.py
.venv/bin/python3 L2_kmeans.py
.venv/bin/python3 L3_hdbscan.py
.venv/bin/python3 L5_umap.py
.venv/bin/python3 L7_business.py

A.3 上线 Checklist

A.4 关键 GitHub 项目清单

A.5 推荐学习路线

• 1 天: 跑通本文 5 个脚本 + 看 Top 3 GitHub 项目 README
• 1 周: 在自己的数据集上用 K-Means + UMAP + HDBSCAN 三件套,对比分群质量
• 1 个月: 读 1 篇 UMAP 论文 + 把分群接到下游 LR/XGBoost 看 Churn 提升
• 3 个月: 做完整聚类项目 (RFM + CLV + 营销 ROI + 上线监控)

B附录 B · 聚类指标怎么读 (3 层评估)

把"分得好不好"拆成 3 层判断 · 数学层 → 业务层 → 上线层

B.1 核心观点: 聚类好坏要 3 关都过

聚类评估不像 LR/XGBoost 那样只看 AUC。聚类是"无监督",没有标签可以对。所以必须从 3 个层次分别评估:

数学层: 分得齐不齐? (算法内部视角)
业务层: 分得有意义吗? (业务可解读)
上线层: 分得稳定吗? (线上可监控)

B.2 第 1 层: 数学层指标 (算法视角)

B.2.1 Silhouette Score · 最常用

公式:

s(i) = (b(i) - a(i)) / max(a(i), b(i))

a(i) = 客户 i 到自己簇内其他点的平均距离  (越小越紧)
b(i) = 客户 i 到最近的其他簇点的平均距离  (越大越分得开)

解读阈值:

我们的真实数字 (Telco K-Means K=2): 0.4795 — 弱结构,但在 Churn 场景够用。

B.2.2 Davies-Bouldin Index (DBI ·越小越好)

公式: 每个簇的"散度 / 簇间距离"的平均值。

解读: DBI < 0.5 优秀, 0.5-1.0 好, > 1.5 差。和 Silhouette 互补,通常一起用。

B.2.3 Inertia / SSE (Elbow 选 K 用)

没有绝对阈值,只看"拐点"。从陡降到平台的位置就是最佳 K。

B.3 第 2 层: 业务层指标 (业务视角)

B.3.1 簇大小比例 · 别有"孤儿簇"

好的聚类: 每簇 ≥ 5% 客户 (每个分群都有营销意义)

差聚类: 一个簇 90% 客户,其他加起来 10% (没分出来)

我们的真实数据 (Telco K=4):

B.3.2 簇特征差异度 · 簇间特征值 ≥ 2x

好的聚类: 不同簇在某关键特征上差异 ≥ 2x

我们的真实数据:

Tenure 差异:        簇 0 = 59.5 月, 簇 1 = 10.3 月  → 5.8x ✅
MonthlyCharges 差异: 簇 0 = $93.31, 簇 1 = $31.78     → 2.9x ✅
Churn 率差异:       簇 2 = 48%, 簇 3 = 5%             → 9.6x ✅ 强信号

B.3.3 Churn 率差异 · Churn 场景特化

好的聚类: 不同簇的 Churn 率差异 ≥ 1.5x,说明聚类抓到了"流失倾向"信号。

差聚类: 所有簇 Churn 率都差不多 (聚类只反映"自然分群",但不反映业务目标)

B.4 第 3 层: 上线层指标 (生产视角)

B.4.1 轮廓稳定性 (Bootstrapping)

for i in range(10):
    km = KMeans(n_clusters=4, random_state=i)
    labels_i = km.fit_predict(X_scaled)

# 算每个客户 10 次分到同一簇的比例
stable_ratio = (counts == 10).mean()
# > 90% 稳定, 簇结构可信
# < 70% 不稳定, 不能上线

B.4.2 PSI 漂移 (月度监控)

B.5 3 层评估速查表

B.6 5 步评估流程

B.7 我们刚才的聚类评估

最后一句: 聚类是商业分析的"开胃菜",不是"主菜"。聚类告诉你"客户长什么样",LR/XGBoost 告诉你"客户会不会流失",两者结合才是完整的商业分析 pipeline。先聚类看群体,再预测看个体,最后 ROI 看效果。

完 · 2026-08-24 · Chase's Personal Page · 100% 本机真实运行