数据处理与分析
从原始数据到业务洞察的完整分析链路

数据清洗与预处理

GEO原始数据通常包含噪声、缺失和格式不一致等问题，数据清洗是分析工作的第一步，也是决定后续分析质量的关键环节。常见的数据质量问题包括：搜索引擎返回结果格式变化导致的解析异常、网络波动引起的采集中断、反爬机制触发的数据缺失。

缺失值处理是清洗中最常见的任务。对于时序指标数据，推荐采用前向填充（使用上一个有效值）或线性插值，避免引入零值导致指标计算偏差。对于内容数据中的缺失字段，需要区分「确实不存在」和「采集失败」两种情况，前者保留空值，后者标记后重新采集。

重复数据处理需要关注两类场景：完全重复（同一条数据被采集两次）和业务重复（同一关键词在不同时间点的搜索结果部分重叠）。完全重复直接去重即可，业务重复需要按业务规则合并——例如取最新时间点的数据，或将多条记录的关键信息合并为一条。

数据标准化是预处理的最后一步，包括：统一字符编码（全角转半角、繁体转简体）、标准化日期时间格式、统一量纲（将不同来源的评分映射到同一尺度）。标准化后的数据才能进行跨源比较和聚合计算。

• 缺失值策略：时序指标用前向填充，内容字段标记后补采
• 去重策略：按source+keyword+timestamp+hash组合键去重
• 异常值策略：3σ范围外标记为疑似异常，人工复核后决定剔除或修正
• 格式统一：日期统一为ISO 8601，数值保留合理精度，文本去除首尾空白
• 编码统一：全角转半角，繁体转简体，统一UTF-8编码

数据聚合与维度分析

GEO数据聚合是将细粒度数据汇总为粗粒度指标的过程，是运营决策的基础。常见的聚合维度包括：时间维度（小时→天→周→月）、地域维度（城市→省份→区域）、关键词维度（长尾词→词组→主题）、平台维度（百度→Google→Bing）。

在时间聚合中，不同指标适用不同的聚合函数：可见度评分适合取均值（反映整体水平），AI引用频次适合取求和（反映累计曝光），排名位置适合取中位数（避免极端值影响）。错误地选择聚合函数会导致指标失真，例如对排名取均值可能掩盖波动。

维度下钻是发现业务洞察的重要手段。当品牌整体可见度评分下降时，需要逐层下钻：是所有平台都下降还是特定平台？是所有关键词都下降还是核心词？是持续下降还是某天突变？每一次下钻都可能定位到不同的根因。

交叉维度分析能够发现更深层的规律。例如，将关键词维度与时间维度交叉，可能发现某些关键词在工作日和周末的可见度差异显著；将平台维度与地域维度交叉，可能发现品牌在不同地区、不同搜索引擎上的表现差异。

统计分析与假设检验

GEO运营中的许多决策需要统计方法支撑：某次优化后可见度提升是真实效果还是随机波动？品牌A和品牌B的AI引用率差异是否显著？关键词排名的波动是否超出了正常范围？

A/B测试是验证GEO优化效果的金标准。将关键词随机分为实验组和对照组，实验组应用优化策略，对照组保持不变，通过统计检验判断效果差异的显著性。需要注意的是，搜索结果具有自相关性（同一天的数据相互影响），简单的t检验可能高估显著性，建议使用差分法或时间序列方法。

相关性分析帮助发现指标间的关联。例如，AI引用频次与网站内容更新频率的相关性、品牌可见度与搜索量的相关性。注意：相关性不等于因果性，发现相关后需要结合业务逻辑判断是否存在因果关系。

分布分析用于理解数据的整体特征。GEO指标通常不服从正态分布（排名数据天然右偏，引用频次存在大量零值），在选择统计方法时需要考虑数据的实际分布特征，避免误用基于正态假设的方法。

1. 明确分析目标：要回答什么业务问题？需要验证什么假设？
2. 选择统计方法：根据数据类型和分布特征选择合适的检验方法
3. 计算统计量和p值：执行假设检验，判断差异是否显著
4. 评估效应量：即使统计显著，也需判断差异的实际业务影响
5. 输出结论：用业务语言解读统计结果，附置信区间

趋势检测与预测

趋势检测是从GEO时序数据中识别方向性变化的核心能力。常见趋势类型包括：持续上升/下降趋势（品牌可见度稳步提升）、周期性波动（工作日与周末的规律性变化）、突变点（某次算法更新导致的指标跳变）。

移动平均是最基础的趋势提取方法。简单移动平均（SMA）适合平滑短期波动，指数移动平均（EMA）对近期数据赋予更高权重，更能反映趋势变化。在GEO场景中，7日EMA通常比7日SMA更早发现趋势转折。

突变点检测对GEO运营尤为重要——搜索引擎算法更新往往导致品牌可见度突然变化。常用的突变检测方法包括：CUSUM（累积和控制图，适合检测均值偏移）、PELT（精确线性时间变化点检测，适合多突变点场景）、贝叶斯在线变化点检测（适合实时场景）。

时间序列预测可以辅助运营决策。基于历史数据的ARIMA/SARIMA模型能够预测指标的未来走势，帮助团队提前预判风险。但需要注意，GEO指标受外部因素（算法更新、竞品动作）影响较大，预测结果应仅作为参考，不宜过度依赖。

# GEO可见度趋势检测示例逻辑
# 输入: 每日可见度评分序列 scores[]
# 步骤1: 计算EMA(7日)
# 步骤2: 检测EMA方向变化
# 步骤3: 计算变化幅度
# 阈值: EMA连续3天同向变化且幅度>2%则判定趋势

def detect_trend(ema_values, window=3, threshold=0.02):
    changes = [ema_values[i] - ema_values[i-1] for i in range(1, len(ema_values))]
    for i in range(len(changes) - window + 1):
        segment = changes[i:i+window]
        if all(c > 0 for c in segment):
            avg_change = sum(segment) / window
            if avg_change / ema_values[i] > threshold:
                return 'rising', i + window
        elif all(c < 0 for c in segment):
            avg_change = sum(segment) / window
            if abs(avg_change / ema_values[i]) > threshold:
                return 'falling', i + window
    return 'stable', None