GEO失败诊断与排查
从问题发现到解决方案

# GEO失败诊断检查清单生成器

diagnostic_checklist = {
    '技术维度': {
        'priority': 'P0',
        'items': [
            {'id': 'T01', 'check': 'robots.txt是否允许所有AI爬虫', 'method': '检查robots.txt中的User-agent和Disallow', 'pass_criteria': 'GPTBot/PerplexityBot/Google-Extended/Bytespider均Allow', 'common_issue': 'User-agent: * Disallow: / 屏蔽了所有爬虫'},
            {'id': 'T02', 'check': '页面TTFB是否<800ms', 'method': '使用PageSpeed Insights或curl测量', 'pass_criteria': 'TTFB<800ms', 'common_issue': '服务器响应慢或未启用CDN'},
            {'id': 'T03', 'check': '禁用JS后页面内容是否可见', 'method': '浏览器禁用JS后刷新页面', 'pass_criteria': '核心文字内容可见', 'common_issue': 'React/Vue CSR导致内容不可见'},
            {'id': 'T04', 'check': '结构化数据是否通过验证', 'method': 'Google Rich Results Test验证', 'pass_criteria': '0 Error, 0 Warning', 'common_issue': 'JSON-LD语法错误或字段缺失'},
            {'id': 'T05', 'check': 'HTTPS证书是否有效', 'method': '浏览器访问检查证书', 'pass_criteria': '证书有效且未过期', 'common_issue': '证书过期或混合内容'},
            {'id': 'T06', 'check': '服务器日志是否有AI爬虫访问', 'method': 'grep日志中的AI爬虫UA', 'pass_criteria': '有GPTBot/Bytespider等访问记录', 'common_issue': 'AI爬虫从未访问过网站'},
        ]
    },
    '内容维度': {
        'priority': 'P1',
        'items': [
            {'id': 'C01', 'check': '内容长度是否>1500字', 'method': '统计页面正文字数', 'pass_criteria': '1800-3000字为佳', 'common_issue': '内容过短信息量不足'},
            {'id': 'C02', 'check': '是否有清晰的标题层级(H1-H3)', 'method': '检查HTML中的h1/h2/h3标签', 'pass_criteria': '有H1+多个H2+部分H3', 'common_issue': '缺乏标题层级或全用div'},
            {'id': 'C03', 'check': '内容是否包含可验证数据', 'method': '检查内容中的数据是否有来源', 'pass_criteria': '每300字至少1个数据+来源', 'common_issue': '内容空洞缺乏事实支撑'},
            {'id': 'C04', 'check': '内容是否原创', 'method': '使用原创性检测工具', 'pass_criteria': '原创度>80%', 'common_issue': '大量复制其他网站内容'},
            {'id': 'C05', 'check': '内容更新频率', 'method': '检查页面最后更新日期', 'pass_criteria': '核心页面每月更新', 'common_issue': '内容发布后从未更新'},
        ]
    },
    '平台维度': {
        'priority': 'P1',
        'items': [
            {'id': 'P01', 'check': 'ChatGPT:是否有英文内容', 'method': '检查官网是否有英文版', 'pass_criteria': '至少核心页面有英文版', 'common_issue': '只有中文内容ChatGPT引用率低'},
            {'id': 'P02', 'check': '文心一言:是否有百度百科条目', 'method': '搜索百度百科品牌名', 'pass_criteria': '有准确完整的百科条目', 'common_issue': '没有百科条目或内容过时'},
            {'id': 'P03', 'check': 'Kimi:是否有长文内容', 'method': '检查是否有2000字+的深度内容', 'pass_criteria': '有技术文档或深度分析', 'common_issue': '内容都是短篇缺乏深度'},
            {'id': 'P04', 'check': 'Perplexity:是否有结构化数据', 'method': '检查Schema标记覆盖率', 'pass_criteria': '核心页面100%覆盖Schema', 'common_issue': '没有结构化数据标记'},
        ]
    },
    '外部环境': {
        'priority': 'P2',
        'items': [
            {'id': 'E01', 'check': 'AI平台是否近期算法更新', 'method': '关注AI平台官方博客和新闻', 'pass_criteria': '无影响你的算法变更', 'common_issue': '算法更新导致排名变化'},
            {'id': 'E02', 'check': '竞品是否加大GEO投入', 'method': '监测竞品内容产出频率', 'pass_criteria': '竞品投入没有显著增加', 'common_issue': '竞品内容产出翻倍'},
            {'id': 'E03', 'check': '是否有新竞品进入', 'method': '在AI搜索中查看推荐品牌', 'pass_criteria': '无新竞品进入推荐列表', 'common_issue': '新品牌被AI频繁推荐'},
        ]
    }
}

# 输出诊断检查清单
for category, info in diagnostic_checklist.items():
    print(f'\n{'='*60}')
    print(f'{category} (优先级: {info['priority']})')
    print(f'{'='*60}')
    for item in info['items']:
        print(f'\n  [{item['id']}] {item['check']}')
        print(f'  检查方法: {item['method']}')
        print(f'  通过标准: {item['pass_criteria']}')
        print(f'  常见问题: {item['common_issue']}')

# 引用率停滞诊断脚本
import subprocess
import re

def diagnose_stagnation(domain, keyword):
    '''诊断引用率停滞的原因'''
    results = []
    
    # 1. 检查robots.txt
    print('[1/5] 检查robots.txt...')
    try:
        import urllib.request
        robots_url = f'{domain}/robots.txt'
        response = urllib.request.urlopen(robots_url, timeout=10)
        robots_content = response.read().decode('utf-8')
        
        ai_bots = ['GPTBot', 'PerplexityBot', 'Google-Extended', 'Bytespider', 'AppleBot']
        for bot in ai_bots:
            if bot in robots_content:
                # 检查是否有Disallow
                pattern = rf'User-agent:\s*{bot}.*?Disallow:\s*/'
                if re.search(pattern, robots_content, re.DOTALL):
                    results.append({'check': 'robots.txt', 'status': 'FAIL', 
                                   'detail': f'{bot}被Disallow: /屏蔽'})
                else:
                    results.append({'check': 'robots.txt', 'status': 'PASS', 
                                   'detail': f'{bot}被允许访问'})
            else:
                results.append({'check': 'robots.txt', 'status': 'WARN', 
                               'detail': f'{bot}未在robots.txt中提及（默认允许）'})
    except Exception as e:
        results.append({'check': 'robots.txt', 'status': 'FAIL', 
                       'detail': f'无法获取robots.txt: {str(e)}'})
    
    # 2. 检查页面TTFB
    print('[2/5] 检查页面TTFB...')
    try:
        cmd = f'curl -o /dev/null -s -w '{{%{time_starttransfer}}}' {domain}'
        result = subprocess.run(cmd, capture_output=True, text=True, shell=True, timeout=15)
        ttfb = float(result.stdout.strip('{}'))
        if ttfb < 0.8:
            results.append({'check': 'TTFB', 'status': 'PASS', 'detail': f'TTFB={ttfb:.3f}s (<800ms)'})
        elif ttfb < 2.0:
            results.append({'check': 'TTFB', 'status': 'WARN', 'detail': f'TTFB={ttfb:.3f}s (800ms-2s)'})
        else:
            results.append({'check': 'TTFB', 'status': 'FAIL', 'detail': f'TTFB={ttfb:.3f}s (>2s, AI爬虫可能放弃)'})
    except Exception as e:
        results.append({'check': 'TTFB', 'status': 'ERROR', 'detail': f'检查失败: {str(e)}'})
    
    # 3. 模拟AI爬虫抓取页面内容
    print('[3/5] 模拟AI爬虫抓取...')
    try:
        cmd = f'curl -s -A 'GPTBot' {domain}'
        result = subprocess.run(cmd, capture_output=True, text=True, shell=True, timeout=15)
        html = result.stdout
        
        # 检查HTML中是否包含核心内容
        content_length = len(html)
        has_h1 = '<h1' in html.lower()
        has_h2 = '<h2' in html.lower()
        has_article = '<article' in html.lower() or '<main' in html.lower()
        has_json_ld = 'application/ld+json' in html.lower()
        
        issues = []
        if content_length < 5000:
            issues.append(f'HTML内容过短({content_length}字节)')
        if not has_h1:
            issues.append('缺少H1标题')
        if not has_h2:
            issues.append('缺少H2标题')
        if not has_article:
            issues.append('缺少article/main标签')
        if not has_json_ld:
            issues.append('缺少JSON-LD结构化数据')
        
        if issues:
            results.append({'check': '页面内容', 'status': 'FAIL', 'detail': '; '.join(issues)})
        else:
            results.append({'check': '页面内容', 'status': 'PASS', 'detail': 'HTML内容完整(有H1/H2/JSON-LD)'})
    except Exception as e:
        results.append({'check': '页面内容', 'status': 'ERROR', 'detail': f'抓取失败: {str(e)}'})
    
    # 4-5. 总结
    print('[4/5] 生成诊断报告...')
    print('[5/5] 完成\n')
    
    return results

# 运行诊断
results = diagnose_stagnation('https://your-domain.com', '企业CRM推荐')
print('=== 引用率停滞诊断报告 ===\n')
for r in results:
    status_icon = {'PASS': '[OK]', 'FAIL': '[FAIL]', 'WARN': '[WARN]', 'ERROR': '[ERR]'}
    print(f'{status_icon.get(r['status'], '[?]')} {r['check']}: {r['detail']}')

# 统计
pass_count = sum(1 for r in results if r['status'] == 'PASS')
fail_count = sum(1 for r in results if r['status'] == 'FAIL')
print(f'\n通过: {pass_count} | 失败: {fail_count} | 警告: {len(results)-pass_count-fail_count}')
if fail_count > 0:
    print('\n建议优先修复FAIL项，这是导致引用率停滞的可能原因。')