Modelos de decisión de IA: cómo se diferencian de los LLM

Recientemente, los modelos de decisión han ganado atención como un enfoque distinto en la inteligencia artificial. Uno de los más comentados es Jev, de TypeSafe AI. Jev genera opciones estructuradas, puntajes y estimaciones de confianza en lugar de texto.

Mientras que los modelos tradicionales de IA llevan años realizando predicciones y clasificaciones, Jev se enfoca en tomar decisiones estructuradas que el software puede utilizar directamente. Este enfoque ofrece una alternativa para construir aplicaciones de IA, especialmente cuando un sistema necesita evaluar información y determinar el siguiente paso.

¿Cómo funciona Jev?

Con un LLM tradicional, envías un prompt y recibes texto generado. Incluso si solicitas JSON, la aplicación debe procesar la respuesta y validar su contenido antes de utilizarlo.

Jev funciona de manera diferente. Proporcionas contexto, defines las preguntas que deseas responder y especificas el tipo de respuesta esperado. Jev devuelve resultados estructurados que tu aplicación puede procesar directamente.

Jev soporta tres tipos principales de preguntas:

• Elección (Choice): Selecciona una opción de una lista que tú definas, como facturación, soporte técnico o ventas.
• Puntaje (Score): Evalúa algo contra una escala ordenada, como prioridad baja, media o alta.
• Sí o no: Estima la probabilidad de que una afirmación sea verdadera, por ejemplo, si un ticket de soporte requiere atención humana.

Puedes hacer varias preguntas sobre la misma entrada en una sola solicitud. Por ejemplo, una aplicación de soporte podría clasificar un ticket, evaluar su urgencia y estimar si un humano debería revisarlo. Jev devuelve los resultados en un formato estructurado para que la aplicación decida qué hacer a continuación.

Modelos de decisión frente a LLM

Los LLM y los modelos de decisión cumplen propósitos diferentes. Un LLM puede explicar una decisión, generar contenido, escribir código o razonar a través de una tarea compleja. Jev está diseñado para decisiones enfocadas con salidas definidas.

La diferencia no es que los LLM no puedan tomar decisiones. También pueden clasificar información y devolver datos estructurados. Jev está construido específicamente para esa tarea, sin generar una respuesta libre que la aplicación deba interpretar.

Esto puede hacerlo útil para decisiones repetitivas y bien definidas. Para tareas que requieren explicaciones detalladas, salida creativa o razonamiento complejo de varios pasos, un LLM sigue siendo la herramienta más adecuada.

¿Qué son las puntuaciones de confianza?

Una de las características principales de Jev es que sus salidas incluyen probabilidades e información de confianza. Estos valores ayudan a los desarrolladores a evaluar con qué fuerza el modelo favorece una respuesta.

Por ejemplo, una aplicación de soporte al cliente podría preguntar si un ticket debe ser escalado. Si el modelo indica una alta probabilidad de que se necesite escalamiento, la aplicación podría enviar el ticket a un equipo de soporte senior. Si el resultado es incierto, podría enviar el ticket para revisión humana.

Sin embargo, la confianza no garantiza la corrección. Un modelo puede estar muy seguro y aun así tomar la decisión incorrecta. Los desarrolladores deben probar sus resultados con ejemplos reales y elegir umbrales que se ajusten a las consecuencias de cada decisión.

También es importante distinguir la probabilidad de una respuesta de una puntuación de confianza separada. El significado exacto depende del tipo de salida. Las aplicaciones deben seguir la documentación del modelo en lugar de tratar cada número devuelto como la misma medida.

¿Dónde pueden ser útiles los modelos de decisión?

Clasificación y enrutamiento

Muchas aplicaciones necesitan ordenar la información entrante antes de procesarla. Una plataforma de soporte podría clasificar solicitudes por tema y enviarlas al equipo adecuado. Una aplicación empresarial podría categorizar documentos, correos electrónicos o comentarios de clientes.

Jev puede devolver una categoría de una lista predefinida, permitiendo que la aplicación enrute el elemento sin analizar un párrafo generado.

Puntuación y evaluación

Los modelos de decisión también pueden evaluar información contra una escala definida. Por ejemplo, una aplicación podría calificar un ticket de soporte por urgencia, puntuar un documento por relevancia o evaluar si una respuesta cumple criterios específicos.

Los resultados se pueden usar para ordenar elementos, priorizar trabajo o identificar casos que requieren más revisión. La calidad de estas decisiones aún depende del modelo y de lo bien que los criterios describan la tarea.

Agentes de IA y selección de herramientas

Los agentes de IA utilizan modelos para decidir qué acciones tomar. Un agente podría elegir una herramienta, clasificar una solicitud o determinar si una tarea necesita información adicional.

Un LLM de propósito general puede tomar estas decisiones como parte de su razonamiento. Un modelo de decisión puede manejar una elección más específica antes de que el agente actúe.

Por ejemplo, un flujo de trabajo personalizado que utilice Hermes Agent podría emplear Jev para clasificar una tarea entrante antes de pasarla al agente. También podría ayudar a determinar qué flujo de trabajo debe manejar una solicitud. Esto requeriría una integración personalizada en lugar de depender de un soporte nativo asumido.

Los modelos de decisión no deben considerarse controles de seguridad por sí solos. Si un agente puede ejecutar comandos o modificar archivos, los permisos y las reglas deterministas deben hacer cumplir qué acciones están permitidas. La clasificación de un modelo puede informar ese proceso, pero no debe reemplazarlo.

Alternativas a Jev

Jev es parte de un tipo más amplio de modelos diseñados para producir decisiones estructuradas. OpenJev y Laya son otros dos proyectos que vale la pena explorar al comparar enfoques.

OpenJev

OpenJev es un proyecto abierto relacionado con el enfoque de Jev. Vale la pena examinarlo si deseas explorar una implementación fuera de un servicio hospedado. Antes de usarlo, verifica su disponibilidad actual, requisitos de hardware, funciones compatibles y licencia.

Laya

Laya es un modelo de decisión de código abierto de Convai Innovations. Se enfoca en tareas como elegir entre opciones predefinidas, calificar información y responder preguntas de sí o no. Puede ser relevante si deseas evaluar un modelo que se pueda ejecutar en tu propio entorno.

Estos proyectos deberían compararse según su rendimiento real, no solo por sus capacidades declaradas. Usa los mismos datos de prueba y mide la precisión, la latencia, los requisitos de recursos y qué tan bien coinciden sus estimaciones de confianza con los resultados reales.

¿Puedes ejecutar modelos de decisión localmente?

Ejecutar un modelo localmente te da más control sobre el entorno de software y el lugar donde se procesan los datos. Sin embargo, las opciones de despliegue disponibles varían según el proyecto. Jev se ofrece a través de una API, mientras que las alternativas de código abierto pueden ofrecer opciones para ejecutar inferencias en tu propio hardware.

Los requisitos de hardware dependen del tamaño del modelo, el uso de memoria y el rendimiento (throughput). Algunos modelos pueden ejecutarse en una CPU, mientras que otros se benefician de una GPU, especialmente al procesar muchas solicitudes.

Si deseas experimentar con modelos de IA locales, DaDesktop ofrece escritorios en la nube con opciones de GPU dedicadas. Puedes usarlos para desarrollo y pruebas sin comprar una GPU de gama alta para tu computadora local.

Conoce más sobre ejecutar LLM locales o explora entornos de agentes de IA.

¿Cuándo deberías usar un modelo de decisión?

Los modelos de decisión son útiles cuando una aplicación necesita una respuesta definida que pueda desencadenar un siguiente paso específico. Pueden complementar a los LLM al manejar la clasificación, la puntuación y el enrutamiento, mientras un modelo generativo se encarga del lenguaje y del razonamiento más complejo.

La mejor elección depende de tu aplicación. Prueba el modelo con tus propios datos, compáralo con clasificadores convencionales y LLM, y mide la precisión, la latencia y el costo. Para decisiones importantes, incluye revisión humana y salvaguardas donde sea necesario.

¿Quieres hablar sobre tu caso de uso? Contáctanos y te orientaremos en la dirección correcta.