Saltar al contenido
JBHAsesoría LegalDefensa PenalUrgencias 24 h+34 872 290 320

Cómo medimos nuestra IA, y qué todavía no podemos afirmar

Publicamos la metodología completa con la que evaluamos la calidad jurídica de la plataforma. Publicamos también lo que aún no tenemos: ningún resultado propio todavía , porque el corpus de pruebas lo están escribiendo letrados y sin corpus las cifras serían inventadas. Esta página se actualizará con los números en cuanto existan.

Los mejores modelos del mundo completan menos del 10 % de las tareas jurídicas complejas de principio a fin.

No es una cifra nuestra: la publica Harvey sobre su propio banco de pruebas de agentes jurídicos, con criterio estricto —una tarea solo cuenta si se cumple entera—. El mejor resultado publicado ronda el 13 %.

Lo decimos porque explica nuestra forma de trabajar. Nadie ha resuelto esto todavía, así que lo honesto no es prometer una IA que redacta sola: es construir un sistema donde lo que no admite aproximación no lo hace un modelo —un vencimiento procesal se calcula con código— y donde el letrado pueda comprobar cada afirmación.

Apartado 02

Cuatro cifras, y dos de ellas tienen que ser cero

Metodología abierta

01

Citas legales inventadas

Un artículo cuyo número no existe en su código es la firma de una invención. No es una imprecisión que se compense con el resto del escrito: es la que no se puede permitir. Por eso se cuenta aparte y su objetivo no es «pocas».

02

Cobertura del expediente

Qué parte de los documentos del caso llegó de verdad al modelo. Un informe impecable que se dejó tres folios sin leer no es un informe impecable, y lo que queda fuera se nombra en pantalla.

03

Corrección del letrado

Cuánto hay que reescribir antes de dar un escrito por bueno. Se deduce del histórico de versiones: al profesional no se le pregunta nada, porque un formulario más al final de un trabajo largo se rellena a boleo a las dos semanas.

04

Plazos críticos erróneos

El vencimiento no lo calcula un modelo: lo calcula un motor determinista, y el resultado llega con la fórmula paso a paso, las normas aplicadas y el calendario usado, para que el letrado pueda comprobarlo en diez segundos.

Apartado 03

PenalBench-ES

Tareas reales de defensa penal española, anonimizadas, con rúbricas escritas por letrados y corrección «todo o nada»: una tarea solo cuenta si se cumplen todos sus criterios.

Estado actual: el formato de tarea y el corrector están construidos y probados. El corpus lo están escribiendo letrados penalistas. Aún no hay resultados, y por eso no verás ninguna tabla de puntuaciones en esta página.

Comparación de capacidades publicadas

01

Un criterio que nadie evalúa cuenta como fallo.

Sin esta regla, los criterios difíciles se quedan sin corrector y la nota sube sola. Es como una métrica propia empieza a inflarse.

02

Las citas inventadas se cuentan aparte.

Un sistema que supera más tareas inventando citas no es mejor: es inutilizable ante un juzgado. Meterlo todo en un número lo escondería.

03

Anonimización obligatoria.

El corpus sale de casos reales —datos de infracciones penales, art. 10 del Reglamento europeo—. El formato rechaza cualquier tarea que no declare estar anonimizada.

Apartado 04

Qué hace cada plataforma

Se comparan capacidades documentadas públicamente, no calidad: si existe como producto o no. Harvey es una plataforma horizontal para grandes despachos y departamentos jurídicos internacionales; JBH está construida alrededor del procedimiento penal español. Son propósitos distintos, y la tabla lo enseña en las dos direcciones.

CapacidadJBH LegalHorizontales
Modo Guardia 24 h (asistencia al detenido) Reloj de 72 horas, art. 520 LECrim y habeas corpus sin expediente abiertoNo consta
Cómputo de plazos procesales españoles Motor determinista con calendario oficial, agosto inhábil y día de graciaNo consta
Vigilante del art. 324 LECrim Plazo máximo de instrucción, prórrogas y agotamiento con avisos escaladosNo consta
Simulador de conformidad Reducción del art. 801 LECrim y suspensión del art. 80 CP, con la aritmética fuera de la IANo consta
Análisis de la vista grabada Transcripción por tramos, roles y contradicciones entre instrucción y juicioNo consta
Expediente con hechos frente a pruebas Hechos numerados, inventario probatorio y contradicciones vinculadasNo consta
Revisión ligada al texto revisado La firma del letrado caduca sola si el contenido se regeneraNo consta
Investigación con contenido licenciado a gran escala Acuerdos editoriales y bases de jurisprudencia de pagoNo
Integraciones de gran despacho iManage, NetDocuments, SharePoint y similaresNo
Certificaciones de seguridad auditadas SOC 2, ISO 27001, ISO 42001No

«No consta» significa que no aparece como producto documentado en su material público, no que sea imposible con esa plataforma. Última revisión: agosto de 2026.

Honestidad

Apartado 05

Lo que no afirmamos

Preguntas frecuentes

01

Que nuestra IA sea mejor que otra en general

Lo que decimos es que está construida alrededor del procedimiento penal español, y eso es una decisión de producto, no una medida de calidad.

02

Que tengamos resultados de banco de pruebas

Todavía no: la metodología está publicada y el corpus se está escribiendo. Las cifras aparecerán en esta misma página cuando existan.

03

Que la IA sustituya al criterio del letrado

Ningún escrito sale sin revisión humana, y la plataforma lo marca como borrador hasta que un profesional colegiado lo valida.

04

Que un cómputo de plazos exima de verificarlo

El motor es determinista y enseña su razonamiento precisamente para que se pueda comprobar; la responsabilidad de verificar el vencimiento sigue siendo profesional.

Apartado 06

Sobre cómo medimos

¿Qué es PenalBench-ES?
Un banco de pruebas de tareas reales de defensa penal española, anonimizadas, con rúbricas escritas por letrados. Cada tarea se corrige con criterio «todo o nada»: solo cuenta si se cumplen el cien por cien de sus criterios. La razón es que un escrito de defensa al que le falta una atenuante no está al noventa por ciento: está mal.
¿Por qué la corrección es «todo o nada» y no una nota media?
Porque una media premia el trabajo casi bueno, que es justo el que un profesional no puede usar y sí puede presentar sin darse cuenta. Un informe que detecta ocho de diez contradicciones no es útil al ochenta por ciento: es incompleto, y quien lo lea no sabrá cuáles faltan.
¿Qué impide que un banco de pruebas propio se infle solo?
Tres decisiones. Un criterio que nadie evalúa cuenta como fallo, para que los difíciles no se queden sin corrector y suban la nota. Las citas inventadas se cuentan aparte de la tasa, para que ninguna media las esconda. Y el esquema rechaza cualquier tarea que no declare estar anonimizada, porque el corpus sale de casos reales.
¿Ya tenéis resultados publicados?
No. La metodología, el formato de tarea y el corrector están construidos y probados; el corpus de tareas lo están escribiendo letrados penalistas. Publicar cifras antes de tener corpus sería inventarlas, y esta página trata precisamente de lo contrario.
¿Cómo se comparan con Harvey?
En lo que cada uno publica, que es lo único comparable de forma objetiva. Harvey es una plataforma jurídica horizontal para grandes despachos y departamentos internacionales, con contenido licenciado, integraciones empresariales y certificaciones que JBH no tiene. JBH está construida alrededor del procedimiento penal español: guardia, plazos con art. 324, conformidad, expediente probatorio y análisis de vista. Son productos con propósitos distintos.
¿Qué dicen los datos públicos sobre el estado de la IA jurídica?
Que nadie ha resuelto el problema. En el banco de pruebas de agentes jurídicos que publica Harvey, los modelos frontera completan menos del diez por ciento de las tareas complejas de principio a fin con criterio estricto, y el mejor resultado publicado ronda el trece por ciento. Es un dato de ellos, no nuestro, y explica por qué medimos como medimos.

Apartado 07

Júzgalo con un caso real

La forma honesta de comprobar una herramienta jurídica no es leer una tabla: es ver qué hace con un expediente propio. El primer caso no tiene coste.