竞品数据清洗 SOP — 从 619 条原始数据到客户能用的一句话

解决什么问题

客户要的不是”原始数据本身”，而是”能向上汇报的结论”。但第三方平台导出的 xls 字段多、命名乱、口径不一致，直接交付等于把工作转嫁给客户。

使用前提

• 数据源已经确定（飞瓜 / 千瓜 / 灵犀 / 云图）
• 客户认可第三方数据的精度局限（提前对齐口径）
• 本地能跑 LM Studio + Qwen3.5-9B（或换成 OpenAI API）

两阶段 AI 管线

Stage 1：单竞品数据 → Python 聚合统计 → AI 提炼摘要（每个品牌独立跑）
Stage 2：所有摘要 → AI 横向竞品对比 + 策略建议

关键技术参数（踩过的坑）

• LM Studio 可通过本地兼容接口调用；公开文档只保留调用方式，不记录任何真实凭证
• Qwen3.5-9B 必须设 max_tokens >= 3500 —— 默认开启思考模式，思考过程先吃 token 配额
• Qwen3 返回内容在 response.choices[0].message.content，reasoning_content 是思考过程，不要混用
• 上下文窗口约 4K，大量数据必须极度精简（TOP5/TOP10），不能整表喂
• 飞瓜导出格式 .xls，pandas 必须 engine='xlrd'，Excel 列名含中文需提前 rename

一句话总结模板

[竞品名] 上周在 [平台] 投了 [篇数] 条，均点赞 [数字]，爆款率 [百分比]。 对比头部对手 [品牌名]，[篇数倍数] × 篇数但 [互动比例] 互动，策略评价：[低效量堆 / 精品爆款 / 测试期 / 收割期]。 建议我方动作：[跟 / 不跟 / 替代路径]。

数据点穿透：以 26SS 防晒衣为例

品牌	投放篇数	均点赞	爆款率
头部对手 A	25	18,043	56%
中部对手 B	111	16,330	0%
客户主竞品	235	118	0%

主竞品篇数是头部对手的 9.4 倍，均点赞只有 0.65%。“量堆”策略严重低效。

常见错误

• 把 AI 总结当事实：第三方数据本身有噪声，AI 摘要会放大噪声
• 不分新老客 / 不分自然流量与广告流量
• 忽略水下笔记：大量水下笔记必须单独标注，不能污染对比

风险边界

• 第三方平台数据精度有限，所有结论需注明数据源 + 时间窗口
• AI 摘要必须保留可追溯链路（哪条摘要来自哪些原始数据）
• 横向对比时确保品牌口径一致（SKU 范围、时间窗口、平台范围）