¿Qué son los LLM sin censura?

Los LLM sin censura son modelos de lenguaje de pesos abiertos que han sido modificados para reducir algunos de los comportamientos de rechazo presentes en los asistentes de IA estándar. Otorgan al usuario un mayor control sobre el comportamiento del modelo, lo que los hace particularmente relevantes para quienes ejecutan y experimentan con LLM de forma local.

¿Qué son los LLM sin censura?

La mayoría de los asistentes de IA modernos están entrenados para seguir reglas de seguridad y rechazar ciertas solicitudes. Este comportamiento puede provenir del ajuste de instrucciones, el entrenamiento de preferencias, los prompts del sistema y otras partes del modelo o de la aplicación.

Un LLM sin censura es, en general, un modelo que ha sido modificado o entrenado para reducir algunos de estos comportamientos de rechazo. No existe una única definición técnica de "sin censura". Diferentes creadores de modelos pueden usar métodos distintos, y los modelos resultantes pueden tener comportamientos muy diferentes.

Algunos modelos sin censura se crean mediante un ajuste fino adicional. Otros utilizan técnicas que modifican comportamientos específicos en un modelo existente. El término también puede referirse a modelos descritos como abliterados, aunque la abliteración es una técnica específica y no un sinónimo para todos los modelos sin censura.

Sin censura no significa sin restricciones

Eliminar o reducir el comportamiento de rechazo no hace que un modelo sea más capaz. Un modelo sin censura aún puede producir información incorrecta, malinterpretar instrucciones o rechazar ciertas solicitudes.

• La capacidad sigue siendo importante: Un modelo más pequeño no se convertirá en un mejor razonador solo porque se haya cambiado su comportamiento de rechazo.
• La calidad varía: Los modelos sin censura pueden diferir significativamente dependiendo de su modelo subyacente y de cómo fueron modificados.
• El comportamiento no está garantizado: Un modelo sin censura aún puede rechazar algunas solicitudes o seguir instrucciones de manera inconsistente.
• El comportamiento de seguridad puede cambiar: Reducir los rechazos también puede eliminar algunas salvaguardas que formaban parte del entrenamiento del modelo original.

Por lo tanto, es más útil considerar "sin censura" como una descripción del comportamiento del modelo, en lugar de una garantía sobre lo que el modelo puede hacer.

Sin censura vs. Pesos abiertos vs. Modelos base

Estos términos a menudo se utilizan juntos, pero describen diferentes aspectos de un LLM.

Estas categorías pueden solaparse. Un modelo sin censura puede tener pesos abiertos y estar basado en un modelo existente. También puede ser un ajuste fino u otra modificación de ese modelo. La etiqueta por sí sola no explica exactamente cómo se creó el modelo.

¿Por qué ejecutar un LLM sin censura localmente?

Ejecutar un LLM sin censura localmente otorga al usuario un mayor control sobre el modelo y su entorno. En lugar de depender de un servicio de IA alojado, el modelo se ejecuta en hardware controlado por el usuario.

• Control: Usted elige el modelo, el software de inferencia y la configuración.
• Privacidad: Los prompts y las respuestas generadas pueden permanecer dentro de su propio entorno de computación.
• Personalización: Los modelos de pesos abiertos pueden modificarse, ajustarse y configurarse para diferentes cargas de trabajo.
• Uso sin conexión: Un modelo alojado localmente no necesita enviar prompts a un servicio de IA externo.
• Experimentación: Los desarrolladores e investigadores pueden comparar diferentes versiones y modificaciones de modelos.

La inferencia local también le otorga control sobre el hardware que ejecuta el modelo. Esto se vuelve importante a medida que aumentan los tamaños de los modelos.

¿Qué hardware necesitan los LLM sin censura?

Los modelos sin censura generalmente tienen los mismos requisitos de hardware que el modelo subyacente en el que se basan. Los factores principales son el tamaño del modelo, la cuantización, la longitud del contexto y la configuración de inferencia.

Un modelo más grande requiere más memoria que uno más pequeño. La cuantización puede reducir la memoria necesaria para cargar un modelo, haciendo que los modelos más grandes sean prácticos en GPU con menos VRAM.

La VRAM también es utilizada por el proceso de inferencia en sí mismo. La caché KV y otros datos de tiempo de ejecución requieren memoria adicional, y las ventanas de contexto más largas pueden aumentar la cantidad de memoria necesaria.

Esto significa que elegir un modelo es solo parte de la planificación de una configuración local de LLM. La GPU debe tener suficiente VRAM disponible para el modelo y la carga de trabajo que se pretende ejecutar.

Pruebe en DaDesktop

Si desea ejecutar un LLM sin censura sin comprar e instalar su propio hardware de GPU, DaDesktop ofrece escritorios en la nube con recursos dedicados de GPU. Puede ejecutar cargas de trabajo de LLM locales en DaDesktop o comparar las opciones de GPU disponibles según el modelo que desee ejecutar.