Commit 6140acd
docs: cria relatório técnico de Sumarização Automática de Notícias (Issue #4)
Relatório técnico completo sobre avaliação comparativa de sumarização
automática para notícias governamentais brasileiras.
Principais resultados:
- 10 técnicas avaliadas: 1 baseline extractivo + 9 LLMs abstractivos
- Amazon Nova Pro V2: ROUGE-L 0.518 (vencedor)
- Ganho: +36% vs Enhanced TextRank (baseline 0.381)
- Supera CNN/DailyMail SOTA: +17% (0.44 → 0.518)
- Validação humana: 100% aceitabilidade (15/15 amostras)
- Convergência validada: ROUGE-L ↔ percepção humana (100%)
Análise econômica:
- Custo: $80/10k resumos ($1.800/ano para 10k/mês)
- ROI: $58.200/ano (economia vs trabalho manual)
- TCO: 87% mais barato que Claude Opus, 7.5× que modelos locais
Metodologia (5 fases):
- Fase 1: Baseline extractivo (TextRank: 0.381)
- Fase 2: LLMs zero-shot (melhor: Nova Lite 0.481)
- Fase 3: Few-shot 3x - ACEITA (Nova Pro: 0.518)
- Fase 4: Otimizações - todas falharam (máximo local confirmado)
- Fase 5: Validação humana (100% convergência)
Descobertas técnicas:
- "Less is more": Prompt V2 (3-shot simples) > V3 (5-shot)
- ROUGE-L é proxy confiável (100% concordância humana)
- Verbosidade (47%) é único problema (tratável via pós-processamento)
- DeepSeek-R1 (reasoning) inadequado para sumarização (0.383)
Inclui:
- Dataset: 300 notícias gov.br estratificadas
- Comparação com benchmarks acadêmicos (CNN/DailyMail, Multi-News)
- Matriz comparativa completa de modelos
- 2 diagramas Mermaid (Fases Experimentais, Pipeline Produção)
- Análise LGPD e conformidade (DPA AWS Bedrock)
- Roadmap implementação (4 fases)
- Apêndices: Prompt V2, código Python, métricas ROUGE
Relacionado: Issue #4 - Sumarização Automática de Notícias
Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>1 parent 2170016 commit 6140acd
1 file changed
Lines changed: 1210 additions & 0 deletions
0 commit comments