Skip to content

Commit 6140acd

Browse files
zeromagalclaude
andcommitted
docs: cria relatório técnico de Sumarização Automática de Notícias (Issue #4)
Relatório técnico completo sobre avaliação comparativa de sumarização automática para notícias governamentais brasileiras. Principais resultados: - 10 técnicas avaliadas: 1 baseline extractivo + 9 LLMs abstractivos - Amazon Nova Pro V2: ROUGE-L 0.518 (vencedor) - Ganho: +36% vs Enhanced TextRank (baseline 0.381) - Supera CNN/DailyMail SOTA: +17% (0.44 → 0.518) - Validação humana: 100% aceitabilidade (15/15 amostras) - Convergência validada: ROUGE-L ↔ percepção humana (100%) Análise econômica: - Custo: $80/10k resumos ($1.800/ano para 10k/mês) - ROI: $58.200/ano (economia vs trabalho manual) - TCO: 87% mais barato que Claude Opus, 7.5× que modelos locais Metodologia (5 fases): - Fase 1: Baseline extractivo (TextRank: 0.381) - Fase 2: LLMs zero-shot (melhor: Nova Lite 0.481) - Fase 3: Few-shot 3x - ACEITA (Nova Pro: 0.518) - Fase 4: Otimizações - todas falharam (máximo local confirmado) - Fase 5: Validação humana (100% convergência) Descobertas técnicas: - "Less is more": Prompt V2 (3-shot simples) > V3 (5-shot) - ROUGE-L é proxy confiável (100% concordância humana) - Verbosidade (47%) é único problema (tratável via pós-processamento) - DeepSeek-R1 (reasoning) inadequado para sumarização (0.383) Inclui: - Dataset: 300 notícias gov.br estratificadas - Comparação com benchmarks acadêmicos (CNN/DailyMail, Multi-News) - Matriz comparativa completa de modelos - 2 diagramas Mermaid (Fases Experimentais, Pipeline Produção) - Análise LGPD e conformidade (DPA AWS Bedrock) - Roadmap implementação (4 fases) - Apêndices: Prompt V2, código Python, métricas ROUGE Relacionado: Issue #4 - Sumarização Automática de Notícias Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
1 parent 2170016 commit 6140acd

1 file changed

Lines changed: 1210 additions & 0 deletions

File tree

0 commit comments

Comments
 (0)