电商用户行为和产品分析（多维度）
基于淘宝用户行为日志（1 亿行）的流量 · 用户 · 货品全链路分析 — 纯 Python + SQL 实现
一、项目背景与目标
以淘宝 App 用户行为日志为研究对象，覆盖 2017-11-25 ~ 2017-12-03（其中 12.01-12.03 为"双12"活动预热期），围绕流量表现、用户行为转化、用户价值、用户留存、产品与品类结构五个维度展开分析，并量化"双12预热期 vs 平时"的活动效果差异。
方法上全部使用 Python + SQL：亿级原始日志由 DuckDB(SQL) 完成清洗与聚合，Python 完成 RFM 分层、帕累托、统计检验与可视化。方法论参照和鲸社区项目《电商用户行为和产品分析（多维度）》，本实现处理全量 1 亿行数据（原项目仅抽样 100 万行），并新增数据质量审计、工作日/周末检验、用户分层画像、帕累托长尾、小时级转化等分析。
二、数据说明与清洗
字段说明
| 字段 | 含义 |
|---|---|
| user_id | 用户编号 |
| product_id | 产品编号 |
| category_id | 品类编号 |
| type | 行为类型：pv 浏览 / cart 加购 / fav 收藏 / buy 购买 |
| timestamp | 行为发生时间（秒级时间戳，北京时间） |
清洗流程与数据质量
- 时间窗口：剔除观察窗口（2017-11-25 00:00:00 ~ 2017-12-03 23:59:59）之外的脏时间戳 55,576 行（0.055%）——含负值、乱码值、越界值；时间戳统一按北京时间换算并派生 date / hour / 活动标记 is_12。
- 去重：完全重复记录 49 行。
- 缺失值：原始 CSV 无缺失（未发现空值）。
三、数据统计概况
| 行为类型 | 次数 | 占比 |
|---|---|---|
| pv 浏览 | 89,660,671 | 89.58% |
| cart 加购 | 5,530,446 | 5.53% |
| fav 收藏 | 2,888,258 | 2.89% |
| buy 购买 | 2,015,807 | 2.01% |
四、流量分析
4.1 每日 / 每小时流量趋势
4.2 关键结论
① 每日流量呈明显周期性波动：周末高于工作日（周六、周日家庭休闲浏览增多）；周一（11.27）流量回落，随后逐步爬升。
② 12.02 起 PV/UV 明显抬升：双12预热启动叠加周末，小时级平均 PV 从 384,547 → 476,193 次，方向提升 23.8%（小时级双样本检验 p=0.13，未达 0.05 显著——提升主要来自 12.02-12.03 周末与预热叠加，且小时间方差大）。
③ 小时维度：18 点起 PV/UV 直线上升（下班/放学时段），22 点后回落；10 点出现小高峰。周末小时 PV 显著高于工作日（p=2.90e-02，均值高 17.7%）。
④ 预热期访问深度（PV/UV）下降：活动吸引大批存量用户回流（预热期"新增用户"仅 274 人，流量增长几乎全部来自存量用户复访），浏览增量不及访客增量。
五、用户行为分析
5.1 行为趋势
预热期 PV 与加购显著上升，收藏与购买提升幅度相对较低——用户处于观望期（等待正式活动价/凑单/预售），加购行为前置、购买行为后置。
5.2 行为组合
| 行为组合 | 用户数 | 占比 |
|---|---|---|
| pv+cart+buy | 324,802 | 33.0% |
| pv+fav+cart+buy | 203,606 | 20.69% |
| pv+cart | 143,149 | 14.55% |
| pv+fav+buy | 71,870 | 7.3% |
| pv+buy | 69,032 | 7.01% |
| pv+fav+cart | 64,117 | 6.52% |
| 仅浏览 pv | 59,575 | 6.05% |
| pv+fav | 47,954 | 4.87% |
① 核心转化路径 pv+cart+buy 占 33.00%；深度链路 pv+fav+cart+buy 占 20.69%（决策谨慎人群）。
② 加购是连接浏览与购买的关键行为：含加购的组合合计占 74.76%；仅浏览不转化的用户仅 5.8%。
③ 收藏链路偏弱（pv+fav 类组合合计 < 12%），收藏→购买转化有待激活。
④ 预热期 "加购类组合"占比上升、直接购买类组合占比下降，印证购买行为后置。
5.3 转化漏斗
| 环节 | 行为次数 | 相对上一环节 |
|---|---|---|
| 浏览 PV | 89,660,671 | 100% |
| 加购 cart | 5,530,446 | 6.17% |
| 购买 buy | 2,015,807 | 36.45% |
另：收藏 fav 2,888,258 次；浏览→收藏 3.22%。事件级转化率（与原项目口径一致）。
| 期间 | 浏览→加购 | 浏览→收藏 | 浏览→购买 | 加购→购买 |
|---|
① 漏斗衰减明显：93.8% 的浏览没有转化为加购（事件级 6.17% 加购率）。
② 加购→购买转化 36.45%：加购用户中仅约 1/3 最终购买（该口径略偏高，因部分购买来自直接下单）。
③ 预热期加购率略升、加购→购买率下降：与"行为前置、购买后置"一致，需在正式活动期兑现。
六、用户价值分析
6.1 购买频次与周期
① 全量用户中购买用户占比约 68.1%；购买用户中 复购用户占比 66.0%，复购基础良好。
② 购买频次呈幂律分布：购买 1-3 次的用户占 72.4%，10 次以上仅 2.3%（长尾）。
③ 平均购买周期 2.39 天；周期 1-2 天的用户占 64.3%，复购意愿强。
6.2 留存率
平时次日留存率稳定在 78.9% 左右；双12预热期陡增至 98.1%（峰值 98.2%），活动预热对次日留存的拉动显著，需做好正式期与活动后长尾承接。
6.3 用户价值分层（RFM）
| 分层 | 用户数 | 占比 |
|---|---|---|
| 重要活跃用户 | 96,339 | 14.4% |
| 一般活跃用户 | 110,522 | 16.5% |
| 重要留存用户 | 48,108 | 7.2% |
| 一般留存用户 | 128,815 | 19.2% |
| 核心召回用户 | 40,368 | 6.0% |
| 一般召回用户 | 37,656 | 5.6% |
| 重要唤醒用户 | 68,683 | 10.3% |
| 一般唤醒用户 | 138,819 | 20.7% |
① 一般留存用户 + 一般唤醒用户合计占比近半：基数大、忠诚度低，宜用低价爆款/轻决策商品与普惠活动提升活跃。
② 重要类用户（重要活跃/重要留存/重要唤醒）合计 31.9%，为高价值潜力群体，需专属权益与个性化推荐强化留存。
③ 召回类用户占比 11.6%，近期不活跃，需上新推送与回归福利激活。
七、产品及品类分析
7.1 产品分析（销量集中度 / 长尾）
① 销量分布极度集中：58.23% 的商品销量仅为 1；Top1 产品销量仅 0.07%（相对总销量），头部效应弱、长尾极厚。
② 帕累托量化：Top 20% 商品贡献约 66.2% 的销量（Top 10% 贡献 53.41%），远未达到"二八定律"的集中度。
③ 运营含义：激活销量为 1 的商品（关联推荐/低价试销）、淘汰无潜力长尾、对头部商品加大流量倾斜尝试打造小爆款。
7.2 类目分析
| 类目分层 | 类目数 | 占比 |
|---|---|---|
| 核心价值类目 | 4,179 | 44.3% |
| 潜力转化类目 | 329 | 3.5% |
| 高价值引流类目 | 68 | 0.7% |
| 基础流量类目 | 144 | 1.5% |
| 高潜力小众类目 | 159 | 1.7% |
| 兴趣培养类目 | 83 | 0.9% |
| 长尾营收类目 | 339 | 3.6% |
| 待激活类目 | 4,136 | 43.8% |
① 品类销量两级分化：销量分布右偏（均值约 213.6、75 分位仅个位数），头部类目（Top1 类目销量 34,589）大幅拉高整体，多数类目处于低销量区间。
② 高销量 ≠ 高购买率：销量 Top 品类的浏览→购买转化率普遍偏低，而部分低销量品类转化率高达 12-18%，存在低销量+高转化的价值洼地。
③ 预热期多数品类日均销量高于平时（Top 类目 2885642 预热期日均 4213 单 vs 平时 3201 单），但品类间响应差异大，需差异化运营。
④ 类目行为分层呈两极分化：核心价值类目（三维均高于中位）44.3% + 待激活类目（三维均低于中位）43.8%，中间层（潜力转化/高潜力小众等）占比小——资源应向核心价值类目倾斜，对待激活类目做轻量测试后收缩投入。
7.3 购买决策时长
① 类目总平均决策时长 0.73 天；约 78.8% 的类目决策时长 ≤ 1 天（当天浏览即下单），适合"即时转化"策略（限时折扣、一键下单、库存紧张提示）。
② 少数类目决策周期长（3 天以上），需多触点触达（收藏优惠、加购降价提醒、种草内容）降低决策成本。
③ 小时级转化：加购→购买转化率在特定时段更高（如 10 时附近），可用于投放排期参考。
7.4 关联购买
同一用户同一秒内购买多件商品的组合中，3493501 × 4994254 关联度最高（94 次共同购买），可设置组合套餐、详情页"常一起购买"推荐与广告位关联投放。
八、核心结论与运营建议
- 流量端：双12预热期小时级平均 PV 较平时方向提升 23.8%（提升主要来自 12.02-12.03 周末叠加，小时级检验 p=0.13；周末小时 PV 显著高于工作日，p=0.029）；18-22 点为流量黄金时段，投放与运营动作应聚焦该窗口。
- 转化端：浏览→加购仅 6.17%，加购→购买 36.45%。抓手：主图/价格竞争力提升加购率；购物车满减、限时特价、降价提醒、库存紧张提示提升加购→购买。
- 用户端：复购用户占比 66.0% 但购买 1-3 次人群占 72.4%；次日留存平时 78.9% → 预热期 98.1%。策略：首单后触达（复购券）、阶梯激励（多买多返）、高频用户 VIP 权益、预热期留存玩法沉淀复用。
- 货品端：58.23% 商品销量为 1、长尾极厚，需分层运营（淘汰无潜力长尾 / 激活低销量 / 倾斜头部打造爆款）；挖掘"低销量+高转化"类目洼地；关联组合（如 3493501×4994254）做套餐与交叉推荐。
- 活动方法论：预热期"浏览与加购前置、购买后置"——运营上应把预热期目标设定为蓄水（加购/收藏/入会）而非直接成交，并做好正式期承接（预售转付款提醒、预热加购人群定向召回）。
8.1 结论边界（哪些结论不能证明）
- 无金额字段：数据集不含价格/订单金额，无法回答"上涨来自订单更多还是客单价更高"，也无法做 GMV/客单价归因——本报告全部结论限定在行为频次与转化率层面。
- 无对照组：预热期提升与周末（12.02-12.03）、存量用户回流（预热期新增用户仅 274 人）天然混杂，小时级检验 p=0.13 不显著——"提升 23.8%"不能被解读为活动本身带来的因果增量。
- 同期其他因素：价格、渠道、商品结构变化未进入本数据，无法排除其对流量的贡献；事件口径下跨设备/跨端同一用户可能被重复计数（已在用户级口径中作交叉校验，偏差方向可解释）。
8.2 再验证设计（如果再做一次）
- 以"预热期活动"为处理组，选取同期无活动/活动强度不同的类目或商品做对照，将周末与活动效应在品类粒度上分离（DID 或分层对比）。
- 按新老用户、渠道、价格带分层做差异检验，验证"蓄水效应"是否在特定人群更强；对加购人群做随机分组 A/B（降价提醒 vs 限时特价 vs 无干预），用加购→购买率比较承接策略。
- 补全价格与订单金额字段后重跑客单价归因，把"行为提升"升级为"GMV 与利润影响"。
九、技术实现与口径说明
- 技术栈：Python 3.12 + DuckDB(SQL) + pandas / scipy / matplotlib。亿级日志先经 DuckDB 装载清洗为宽表（100,095,182 行），29 组 SQL 聚合完成全部口径计算，Python 负责 RFM 分层、类目分层、帕累托、曼-惠特尼 U 检验与制图。
- 性能：全流程（ETL + 29 组 SQL + Python 分析 + 23 张图 + 报告）可在数分钟内复现；原始 3.67 GB CSV 无需常驻内存。
- 口径说明：双12预热期 = 2017-12-01 ~ 12-03（3 天），平时 = 2017-11-25 ~ 11-30（6 天）；转化率同时给出事件级（与原项目一致）与用户级双口径；RFM 中 M 维因无金额字段，以 pv+fav+cart 行为频次代替（与原项目一致）。
- 与原项目差异：原项目仅读取前 100 万行抽样；本实现处理全量 1 亿行，并新增数据质量审计、统计显著性检验、帕累托长尾、RFM 分层画像、小时级转化与关联购买可视化等。