GEO A/B测试方法
科学验证优化效果指南

# GEO A/B测试假设设计模板

test_hypotheses = [
    {
        'id': 'ABT-001',
        'hypothesis': '添加FAQPage结构化数据后，AI引用率提升15-25%',
        'independent_variable': 'FAQPage Schema标记 (有/无)',
        'dependent_variable': 'AI引用率 (%)',
        'control_variables': ['关键词集(30个)', 'AI平台(5个)', '查询次数(每词3次)', '查询时间(每周一9:00)'],
        'expected_effect': '+15-25%',
        'test_duration': '4周(2周优化前基线 + 2周优化后测试)',
        'sample_size': '30关键词 × 5平台 × 3次 × 2周 = 900次查询/条件',
        'success_criteria': '引用率提升>15%且统计显著(p<0.05)'
    },
    {
        'id': 'ABT-002',
        'hypothesis': '内容长度2500字比1500字AI引用率高10-20%',
        'independent_variable': '内容长度 (1500字/2500字)',
        'dependent_variable': 'AI引用率 (%)',
        'control_variables': ['相同关键词', '相同平台', '相同结构化数据', '相同发布时间'],
        'expected_effect': '+10-20%',
        'test_duration': '6周(2周基线 + 4周测试)',
        'sample_size': '10关键词 × 3平台 × 3次 × 4周 = 360次查询/条件',
        'success_criteria': '引用率差异>10%且统计显著(p<0.05)'
    }
]

for t in test_hypotheses:
    print(f'=== {t['id']} ===')
    print(f'假设: {t['hypothesis']}')
    print(f'自变量: {t['independent_variable']}')
    print(f'因变量: {t['dependent_variable']}')
    print(f'预期效果: {t['expected_effect']}')
    print(f'测试周期: {t['test_duration']}')
    print(f'样本量: {t['sample_size']}')
    print(f'成功标准: {t['success_criteria']}')
    print()

# GEO A/B测试样本量计算
import math
from scipy import stats

def calculate_sample_size(p1, p2, alpha=0.05, power=0.8):
    '''计算两比例差异的样本量
    p1: 对照组引用率
    p2: 期望实验组引用率
    alpha: 显著性水平
    power: 统计功效
    '''
    z_alpha = stats.norm.ppf(1 - alpha/2)  # Z_{alpha/2}
    z_beta = stats.norm.ppf(power)          # Z_{beta}
    
    p = (p1 + p2) / 2  # 合并比例
    
    n = ((z_alpha + z_beta) ** 2) * p * (1 - p) * 2 / ((p1 - p2) ** 2)
    n = math.ceil(n)  # 向上取整
    
    # AI随机性补偿：增加30-50%
    n_adjusted = math.ceil(n * 1.4)
    
    return n, n_adjusted

# 示例：计算不同效果提升所需的样本量
test_scenarios = [
    {'p1': 0.25, 'p2': 0.35, 'effect': '+10%'},
    {'p1': 0.25, 'p2': 0.40, 'effect': '+15%'},
    {'p1': 0.25, 'p2': 0.50, 'effect': '+25%'},
    {'p1': 0.10, 'p2': 0.20, 'effect': '+10%(低基线)'},
]

print('场景            | 理论样本量 | 实际样本量(含补偿) | 所需关键词数(3次/词)')
print('-' * 80)
for s in test_scenarios:
    n_theory, n_actual = calculate_sample_size(s['p1'], s['p2'])
    keywords_needed = math.ceil(n_actual / 3)
    print(f'{s['effect']:16s} | {n_theory:10d} | {n_actual:18d} | {keywords_needed:20d}')

# 统计显著性检验
def chi_square_test(control_mentions, control_total, test_mentions, test_total):
    '''卡方检验判断两组差异是否显著'''
    from scipy.stats import chi2_contingency
    
    contingency = [
        [control_mentions, control_total - control_mentions],
        [test_mentions, test_total - test_mentions]
    ]
    chi2, p_value, dof, expected = chi2_contingency(contingency)
    
    significant = p_value < 0.05
    return {
        'chi2': round(chi2, 4),
        'p_value': round(p_value, 4),
        'significant': significant,
        'conclusion': '差异显著，优化有效' if significant else '差异不显著，需增加样本量'
    }

# 示例检验
result = chi_square_test(45, 180, 72, 180)
print(f'\n卡方检验结果: chi2={result['chi2']}, p={result['p_value']}')
print(f'结论: {result['conclusion']}')