Benchmark de IA jurídica: por que escritórios precisam testar modelos antes de confiar neles

Introdução

Em abril de 2026, foi publicado o preprint "LegalBench-BR", apresentado como um benchmark para avaliar modelos de linguagem em tarefas de classificação de decisões jurídicas brasileiras. O trabalho usa dados de processos de segundo grau do Tribunal de Justiça de Santa Catarina, coletados via API pública do DataJud/CNJ, e compara o desempenho de modelos comerciais generalistas com um modelo ajustado ao domínio jurídico em português.

O detalhe mais importante para escritórios e departamentos jurídicos não é apenas qual modelo venceu em uma tarefa específica. A lição central é mais prática: IA jurídica precisa ser avaliada no contexto em que será usada.

Um modelo pode parecer ótimo em uma conversa genérica e falhar ao classificar uma decisão administrativa. Pode resumir bem um texto simples e se perder em uma peça longa com anexos. Pode acertar uma pergunta de Direito Civil e errar quando precisa diferenciar rótulos processuais parecidos. Pode soar seguro e ainda assim estar errado.

Isso não é argumento contra IA jurídica. É argumento contra uso improvisado.

A adoção responsável começa quando a equipe para de perguntar "qual IA é melhor?" e passa a perguntar "melhor para qual tarefa, com qual base, em qual jurisdição, com qual métrica e sob qual revisão?".

O que o LegalBench-BR coloca na mesa

O LegalBench-BR é relevante porque desloca a discussão de impressão subjetiva para avaliação mensurável. Em vez de perguntar se a resposta "parece boa", o benchmark avalia uma tarefa delimitada: classificação de decisões jurídicas brasileiras em áreas do Direito.

Segundo o resumo do trabalho, o dataset reúne 3.105 processos de segundo grau do TJSC, coletados via API pública do DataJud/CNJ. A pesquisa compara modelos em classes jurídicas e relata que um modelo ajustado ao domínio jurídico brasileiro teve desempenho superior aos modelos comerciais generalistas testados naquela tarefa.

Há duas cautelas importantes.

A primeira: o estudo é um preprint. Antes de usar qualquer conclusão como referência definitiva, é preciso considerar limitações, método, recorte, revisão acadêmica e reprodutibilidade.

A segunda: benchmark não é oráculo. Ele mede uma tarefa específica, em uma base específica, com métricas específicas. Ele não prova que determinado modelo é melhor para todo trabalho jurídico. Mas mostra algo muito valioso: avaliar IA jurídica exige desenho experimental, dados e métrica.

Para o mercado, isso já basta para mudar a postura.

Por que testes genéricos enganam

Muitos escritórios ainda testam IA de forma informal:

• alguém pede um resumo de contrato;
• alguém pergunta sobre um tema jurídico;
• alguém cola uma decisão e avalia se a resposta "faz sentido";
• alguém compara duas ferramentas olhando a fluidez do texto.

Esse tipo de teste pode ser útil para explorar possibilidades, mas é fraco para decidir adoção profissional.

O problema é que fluidez não mede confiabilidade. Um texto bem escrito pode esconder erro de classificação, omissão de fato relevante, confusão de competência, citação imprecisa, perda de exceção ou interpretação fora do contexto.

Em Direito, a qualidade da resposta não depende apenas de estilo. Depende de:

• fonte;
• contexto processual;
• ramo jurídico;
• tipo de documento;
• jurisdição;
• versão da norma;
• entendimento jurisprudencial;
• finalidade do trabalho;
• nível de risco da tarefa;
• revisão humana.

Por isso, o teste precisa se aproximar da rotina real.

A pergunta certa: qual tarefa será avaliada?

Antes de medir qualquer modelo, o escritório deve definir a tarefa.

Não basta dizer "vamos avaliar IA jurídica". Isso é amplo demais. A pergunta precisa ser concreta:

• classificar movimentações processuais;
• resumir decisões;
• extrair cláusulas de contratos;
• identificar prazos;
• comparar versões de documentos;
• sugerir tópicos de contestação;
• localizar precedentes;
• montar cronologia de fatos;
• preparar relatório para cliente;
• apontar inconsistências em documentos.

Cada tarefa exige uma métrica diferente.

Para classificação, faz sentido medir acurácia, precisão, recall e F1 por classe. Para extração de dados, importa medir campos corretos, campos omitidos e falsos positivos. Para resumo, é preciso avaliar fidelidade, cobertura, omissões relevantes e invenções. Para pesquisa jurídica, a métrica deve incluir fonte conferível, pertinência, atualização e uso correto do precedente.

Sem tarefa definida, a avaliação vira opinião.

Métrica média pode esconder falha grave

Um ponto técnico merece atenção especial: média geral pode enganar.

Imagine uma ferramenta que classifica 90% dos documentos corretamente, mas erra sistematicamente os casos de Direito Administrativo ou os processos com segredo de justiça. Em média, ela parece ótima. No risco jurídico real, ela pode ser inadequada.

É por isso que benchmarks jurídicos precisam olhar desempenho por classe, por tipo de documento e por nível de risco.

Um escritório pode descobrir, por exemplo, que a IA funciona bem para:

• resumir decisões curtas;
• identificar partes e datas;
• organizar documentos repetitivos;
• classificar peças simples.

Mas funciona mal para:

• diferenciar teses próximas;
• lidar com anexos extensos;
• interpretar decisões contraditórias;
• identificar exceções processuais;
• trabalhar com áreas pouco representadas na base.

A decisão madura não é "aprovar" ou "reprovar" a IA de forma genérica. É aprovar determinados usos, limitar outros e exigir revisão reforçada onde o risco é maior.

O que a Resolução CNJ nº 615/2025 ensina para o mercado privado

A Resolução CNJ nº 615/2025 trata do desenvolvimento, uso e governança de soluções de IA no Poder Judiciário. Ela não transforma automaticamente escritórios privados em tribunais, nem deve ser lida como obrigação direta para toda banca. Mas oferece um vocabulário útil para qualquer jurídico que queira adotar IA de forma responsável.

O texto fala em:

• avaliação preliminar;
• classificação de risco;
• avaliação de impacto algorítmico;
• curadoria de dados;
• fontes seguras, rastreáveis e auditáveis;
• supervisão humana;
• explicabilidade;
• contestabilidade;
• auditabilidade;
• monitoramento;
• relatórios públicos no contexto do Judiciário.

Para escritórios e departamentos jurídicos, a tradução prática é simples: antes de colocar uma IA no fluxo de trabalho, avalie o risco da tarefa, documente o teste, registre limites de uso, defina revisão humana e monitore o comportamento após a adoção.

Essa lógica aproxima tecnologia jurídica de gestão de qualidade.

Como montar um benchmark interno de IA jurídica

Um benchmark interno não precisa começar sofisticado. Ele precisa ser honesto, reproduzível e útil para decisão.

1. Escolha uma tarefa com impacto real

Evite começar pela tarefa mais abstrata. Comece por algo que já consome tempo da equipe:

• triagem de intimações;
• resumo de decisões;
• extração de dados contratuais;
• conferência de cláusulas;
• organização de documentos;
• preparação de relatórios de status.

O objetivo é avaliar uma melhoria concreta.

2. Monte uma amostra representativa

Separe documentos reais ou anonimizados que representem a rotina:

• casos simples;
• casos difíceis;
• documentos longos;
• documentos curtos;
• áreas diferentes;
• exceções;
• exemplos de baixa qualidade;
• exemplos com dados sensíveis, se o ambiente for seguro e permitido.

Se a amostra só tiver casos fáceis, o teste aprovará uma ferramenta frágil.

3. Defina o gabarito

Alguém precisa saber qual é a resposta esperada. O gabarito pode ser feito por advogados experientes, revisores internos ou dupla revisão em casos sensíveis.

Para tarefas de resumo, o gabarito pode listar fatos que não podem faltar. Para classificação, pode indicar a classe correta. Para extração, pode indicar os campos esperados. Para pesquisa, pode indicar fontes aceitáveis.

Sem gabarito, o teste mede impressão.

4. Teste por tarefa e por classe

Não aceite apenas a média geral. Avalie:

• desempenho por área;
• desempenho por tipo de documento;
• desempenho por complexidade;
• desempenho por classe minoritária;
• erros recorrentes;
• casos em que a IA respondeu com segurança indevida.

Essa análise revela onde a ferramenta pode ser usada com confiança e onde precisa de controle maior.

5. Meça tempo com revisão incluída

Um erro comum é medir apenas o tempo que a IA leva para gerar resposta. No jurídico, o tempo real inclui revisão.

A pergunta correta é:

• quanto tempo a IA economizou depois da revisão?
• quantas respostas precisaram ser refeitas?
• quais saídas não puderam ser usadas?
• em quais tarefas a revisão ficou mais trabalhosa que o trabalho manual?

Produtividade sem revisão pode ser ilusão.

6. Registre limites de uso

Ao final do teste, o escritório deve documentar:

• tarefas aprovadas;
• tarefas proibidas;
• tarefas permitidas apenas com revisão reforçada;
• tipos de documento aceitos;
• tipos de dado que não devem ser inseridos;
• fontes obrigatórias;
• critérios de reavaliação.

Isso transforma teste em política operacional.

7. Reavalie periodicamente

Modelos mudam. Bases mudam. Fluxos mudam. Equipes mudam. Uma avaliação feita hoje não deve valer para sempre.

O escritório precisa reavaliar quando:

• trocar de ferramenta;
• mudar de modelo;
• ampliar o uso para nova área;
• alterar a base documental;
• detectar erro relevante;
• mudar o perfil dos casos;
• integrar a IA a sistemas internos.

IA jurídica responsável é monitorada ao longo do tempo.

Benchmark não elimina revisão humana

Mesmo um bom benchmark não dispensa advogado.

Ele ajuda a saber onde a IA funciona melhor, onde falha, quais controles são necessários e quais tarefas não devem ser automatizadas. Mas não substitui juízo profissional, estratégia, responsabilidade técnica e validação jurídica.

Isso é especialmente importante em tarefas de alto impacto:

• elaboração de peças;
• pareceres;
• análise de risco;
• decisões sobre acordo;
• teses processuais;
• documentos com dados sensíveis;
• uso externo perante cliente, tribunal ou contraparte.

Nesses casos, a IA pode acelerar preparação e organização. A responsabilidade pela conclusão continua humana.

O papel da base documental

O debate sobre benchmarks jurídicos também mostra uma verdade incômoda: muitas falhas atribuídas ao "modelo" começam na base.

Se os documentos estão desorganizados, duplicados, sem versão, sem metadados, sem fonte e sem contexto, a IA trabalha em terreno ruim. Ela pode produzir texto coerente, mas baseado em material incompleto.

Por isso, avaliação de IA jurídica deve incluir perguntas sobre dados:

• os documentos estão completos?
• há versão correta?
• existe histórico de alterações?
• os metadados estão confiáveis?
• as fontes são oficiais ou verificáveis?
• documentos sigilosos estão protegidos?
• a equipe sabe de onde veio cada informação?

Uma ferramenta jurídica madura não depende apenas de modelo. Depende de fluxo documental.

Como a JuristIA se conecta a essa tese

A JuristIA se encaixa nessa discussão porque a adoção profissional de IA não é uma troca de chatbots. É uma mudança de infraestrutura de trabalho.

O escritório precisa sair do uso solto e caminhar para um ambiente em que:

• documentos estejam organizados;
• contexto jurídico seja preservado;
• fontes possam ser conferidas;
• saídas sejam revisadas;
• histórico seja rastreável;
• tarefas tenham responsáveis;
• riscos sejam tratados por fluxo, não por improviso.

É nesse ponto que IA jurídica responsável deixa de ser promessa e vira operação.

O valor da JuristIA não deve ser apresentado como "automação mágica". O valor está em ajudar equipes jurídicas a trabalhar com mais organização, produtividade, rastreabilidade e supervisão profissional.

Cautelas: o que não concluir a partir de um benchmark

Benchmarks são úteis, mas precisam ser lidos com cuidado.

Não se deve concluir que um modelo é melhor para todo uso jurídico apenas porque foi melhor em uma tarefa específica.

Não se deve comparar resultados de jurisdições diferentes como se fossem equivalentes. Direito depende de idioma, tradição jurídica, estrutura processual, vocabulário e base normativa.

Não se deve confundir desempenho em classificação com capacidade de elaborar tese jurídica.

Não se deve transformar métrica em dispensa de revisão humana.

Não se deve usar dados sensíveis ou sigilosos em testes sem ambiente seguro, base legal, governança e controles adequados.

E não se deve vender benchmark como garantia de conformidade. Ele é ferramenta de avaliação, não blindagem jurídica.

Conclusão

O LegalBench-BR aponta para uma etapa mais madura da IA jurídica brasileira: sair da avaliação por impressão e entrar na avaliação por tarefa, dado, métrica e contexto.

Para escritórios e departamentos jurídicos, a mensagem é objetiva. Antes de confiar em uma IA na rotina, teste:

• com documentos reais ou representativos;
• em tarefas definidas;
• com gabarito;
• por classe;
• com revisão humana;
• com registro de erros;
• com critérios claros de aprovação.

Usar IA sem teste contextual é arriscado. Usar IA com benchmark, fonte, fluxo e supervisão transforma tecnologia em capacidade operacional.

Se o seu escritório quer adotar IA com método, a JuristIA pode ser o caminho para organizar documentos, preservar contexto, apoiar revisão e transformar produtividade em um processo rastreável.

Perguntas frequentes

O que é um benchmark de IA jurídica?

É um conjunto de tarefas, dados e métricas usado para avaliar se uma ferramenta de IA funciona bem em determinado contexto jurídico.

LegalBench-BR prova que modelos genéricos não servem para Direito?

Não de forma universal. O preprint mostra resultados em uma tarefa específica de classificação jurídica brasileira. A lição prática é que modelos devem ser avaliados no contexto de uso.

Escritórios pequenos também precisam fazer benchmark?

Sim, em escala proporcional. Mesmo uma amostra pequena e bem escolhida já ajuda a separar uso seguro, uso com revisão reforçada e uso inadequado.

Métrica substitui revisão humana?

Não. Métrica ajuda a conhecer limites da ferramenta. Revisão humana continua essencial para responsabilidade profissional, estratégia e validação jurídica.

Como começar a avaliar IA jurídica?

Escolha uma tarefa concreta, monte uma amostra representativa, defina gabarito, meça erros, registre limites de uso e reavalie periodicamente.

Fontes consultadas

• Pedro Barbosa de Carvalho Neto. "LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification". arXiv, publicado em 20/04/2026. https://arxiv.org/abs/2604.18878
• Volodymyr Ovcharov et al. "Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions". arXiv, publicado em 28/05/2026. https://arxiv.org/abs/2605.29738
• Abdur-Rahman Butler e Umar Butler. "Legal RAG Bench: an end-to-end benchmark for legal RAG". arXiv, publicado em 02/03/2026. https://arxiv.org/abs/2603.01710
• CNJ. "Datajud-Wiki". Acesso em 14/06/2026. https://datajud-wiki.cnj.jus.br/
• CNJ. Resolução nº 615, de 11/03/2025. https://atos.cnj.jus.br/atos/detalhar/6001
• CNJ. Resolução nº 332, de 21/08/2020. https://atos.cnj.jus.br/atos/detalhar/3429
• NIST. "AI Risk Management Framework". Acesso em 14/06/2026. https://www.nist.gov/itl/ai-risk-management-framework