Pipeline de Sumarização Abstrativa para Produção

[ODenteAzul]

Pipeline de Sumarização Abstrativa para Produção

Base: Issue destaquesgovbr/data-science#4 - Experimento de Sumarização (concluída)
Tipo: Implementação / Engenharia de Produção
Prioridade: Alta
Complexidade: 8-10 semanas

Contexto

Issue destaquesgovbr/data-science#4 validou:

• Modelo: Amazon Nova Pro V2 (ROUGE-L 0.518, +17% vs benchmarks)
• Alternativa: Llama 3.3 70B V2 (ROUGE-L 0.308, 100% aceitável)
• Prompt: V2 com 3-shot learning
• Fallback: Enhanced TextRank (ROUGE-L 0.381)

Objetivo

Sistema de sumarização em produção:

• ✅ API REST para processamento em tempo real
• ✅ ROUGE-L > 0.48 (margem de segurança)
• ✅ Disponibilidade 99%+ com fallback
• ✅ Monitoramento completo (métricas, logs, alertas)

Arquitetura

Cliente → API (FastAPI) → SummarizationService
                           ├─ Nova Pro V2 (Bedrock)
                           └─ Enhanced TextRank (fallback)
                                    ↓
                           Pós-processamento → Observabilidade

Stack Tecnológica

• API: FastAPI + Docker
• LLM: AWS Bedrock (amazon.nova-pro-v1:0)
• Fallback: NetworkX, NLTK, spaCy
• Cache: Redis (opcional)
• Métricas: Prometheus + Grafana
• Deploy: GitHub Actions + AWS ECS/EC2

Tratamento de Verbosidade

Problema: 47% dos resumos têm 4-6 sentenças (target: 2-3)
Solução: Truncamento pós-processamento configurável

Sub-Issues

Implementação dividida em sub-issues:

• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.1 - Setup e Credenciais AWS
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.2 - SummarizationService
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.3 - Sistema de Fallback
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.4 - Pós-processamento (truncamento)
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.5 - API REST
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.6 - Métricas Prometheus
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.7 - Logging Estruturado
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.8 - Sistema de Alertas
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.9 - Validação ROUGE Mensal
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.10 - Testes de Regressão
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.11 - Cache Redis
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.12 - CI/CD Pipeline
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.13 - Documentação
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.14 - Staging Environment
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.15 - Deploy Produção
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.16 - Dashboard Grafana
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.17 - Batch Processing
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.18 - Avaliação Migração Llama 70B
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.19 - A/B Test Nova Pro vs Nova 2 Lite
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.20 - Feedback Loop Usuários
• Scraper EBC retornando 502 Bad Gateway para memoria.ebc.com.br #50.21 - Fine-tuning Nova 2 Lite (condicional)

Métricas de Sucesso

Qualidade:

• ROUGE-L médio > 0.48
• 0 alucinações críticas
• Verbosidade < 10%

Performance:

• Latência P95 < 3s
• Disponibilidade > 99%
• Taxa de fallback < 1%

Custo:

• Custo/resumo monitorado
• Decisão Bedrock vs self-hosted baseada em volume

Cronograma

Total: 10 semanas (core) + otimizações

• Sprint 1-2: Setup e Core (4 semanas)
• Sprint 3: Observabilidade (2 semanas)
• Sprint 4: Qualidade (2 semanas)
• Sprint 5: Deploy (2 semanas)

Riscos

Risco	Mitigação
Throttling Bedrock	Retry + circuit breaker + fallback
Degradação qualidade	Monitoramento ROUGE + alertas
Custo inesperado	Alertas + break-even analysis

Referências

• Documento: source/summarization/docs/EXPERIMENTO_SUMARIZACAO.md
• Código: source/summarization/summarizers_abstractive_v2.py
• Dataset: source/summarization/data/human_evaluation_sample.csv

[ODenteAzul]

✅ Plano completo em docs/ISSUE_176_PLANO_COMPLETO_FINAL.md

Sub-issue criada: #187 (Guardrails - BLOQUEANTE)

Decisão: Nova 2 Lite V2 + Guardrails Regex

• Economia: $120/ano
• Qualidade: +3.5% ROUGE-L
• Timeline: 3-4 semanas