7 Mejores prácticas
Here’s the Spanish translation of week 6 content:
Hay múltiples opiniones sobre el papel de los LLMs en la educación. Independientemente del grado en que estés usando Modelos de Lenguaje Extensos para tu propia enseñanza y aprendizaje, hay ciertas cosas a tener en mente para *mejorar* -y no reemplazar- tu pensamiento.
## Contexto
Uno de los desafíos más críticos de las salidas de LLM es que pueden ser demasiado genéricas -y posiblemente no muy útiles. Proporcionar suficiente contexto sobre la tarea es importante para hacer prompts y conversaciones efectivas.
> - Considera describir el trasfondo de la tarea: ¿para qué es? ¿para qué curso es? ¿cuál es el nivel esperado (primer año, último año, etc.)? ¿cuál es tu objetivo con ello?
> - Dota al LLM con un carácter o un rol para la tarea:
> `eres un tutor para este curso`
> `eres un asistente de curso`
> `eres un editor proporcionando retroalimentación`
> `eres un estudiante en este curso`
> - Ajusta el LLM para experiencia en lenguaje o conocimiento: piensa en limitar el conocimiento o referencias al curso actual o cualquier otro curso *previo*. Incluir un programa de estudios o programa de curso puede ayudar a dar más contexto.
*Ajuste fino* a menudo significa dar un contexto específico para cada prompt individual. Considera guardar este contexto básico como un archivo de referencia en el LLM o incluso como una nota de texto que puedas copiar y pegar cada vez que hagas un prompt de algo relacionado con una clase particular.
## Evaluación
Cargar trabajo por adelantado en los prompts no es la única forma en que podemos hacer nuestras interacciones con LLMs más efectivas. Es importante analizar sus salidas y evaluar si están logrando nuestras expectativas.
Como los LLMs tienen algún nivel de agencia -toman pequeñas decisiones como en qué texto producir- es útil evaluarlos como un supervisor haría con un asistente.
Para esto, es importante tener elementos clave de rúbrica en los que podamos enfocarnos mientras evaluamos las salidas del LLM:
| Elemento | Descripción |
|------|-------------|
|Cumplimiento| ¿Generó el LLM lo que estabas esperando?|
|Alucinaciones| ¿Son reales los hechos utilizados? |
|Datos| ¿Usó el LLM los datos o referencias apropiados?|
|Voz| ¿Está la salida dada en la voz, lenguaje y terminología correctos?|
[## Atribución]:#
## Puntuación TRUST
Uno de los aspectos más importantes de las implementaciones de LLM es la **confianza**. Esto involucra diferentes niveles. Desde la arquitectura del modelo, los datos usados para entrenamiento, hasta la forma en que produce salidas, y la utilidad/veracidad de las respuestas, es importante tener un sentido holístico de confianza para la implementación.
Hay tres etapas que son relevantes para esto:
- Entrenamiento
- Procesamiento
- Evaluación
Una forma simple de evaluar tu conciencia y conocimiento de tu implementación es calculando lo que llamo la **puntuación TRUST**: Transparencia, Riesgo, Utilidad, Seguridad y Confianza (por sus siglas en inglés). Cada etapa tiene dos componentes y cada componente tiene un máximo de puntos totales que pueden asignarse. Estos son puntos *auto-asignados* que pueden ayudarte a evaluar tu propio conocimiento y conciencia de todo el sistema LLM e implementación que estás usando.
| Etapa | Dimensión | Descripción|
|------|--------|-------|
|Entrenamiento| Datos (1 pto) | Evalúa las fuentes de datos, calidad de datos, derechos de autor y privacidad de los datos usados para entrenamiento. |
|Entrenamiento |Huella (1 pto)| Considera el impacto ambiental y laboral del LLM. |
|Procesamiento| Explicabilidad (3 ptos)| Qué tan bien entiende el usuario la salida.|
|Procesamiento| Privacidad (3 ptos)| Evalúa la propiedad, almacenamiento y prácticas de uso de datos.|
|Evaluación| Valoración (9 ptos)| Mide la efectividad y precisión de las salidas.|
|Evaluación| Responsabilidad (9 ptos)| Asegura responsabilidad humana clara en cada etapa del proceso. |
La puntuación TRUST total posible es de hasta 26 puntos.
Esta puntuación puede ayudar a guiar hasta qué punto necesitas considerar un LLM diferente, considerar diferentes tareas para ser subcontratadas, o hasta qué punto puedes aprender más sobre el sistema LLM en sí.
Aquí hay algunas acciones recomendadas basadas en la puntuación TRUST que obtienes después de tu autoevaluación:
|Nivel |Puntuación| Acción|
|---|----|---|
|TRUST Alto| > 18 ptos | Implementa el sistema mientras reevalúas periódicamente si alguna dimensión ha cambiado.|
|TRUST Moderado| Entre 13-18 ptos | Identifica y aborda debilidades específicas en las etapas con menor puntuación. Reevalúa antes de implementar el sistema. |
|TRUST Bajo | Entre 5-12 ptos | Revisa todas las etapas del sistema (entrenamiento, procesamiento, implementación) para cumplimiento con políticas y regulaciones actuales. |
|TRUST Mínimo| < 5 ptos| Considera un rediseño del sistema y/o explora un sistema diferente. Consulta con supervisores y busca alternativas. |
[### Ejemplos]:#
[## Referencias]:#
[/Users/pedromorales/Dropbox/Projects/LLMs in Teaching and Learning/references/2306.05685v4.pdf]:#
[/Users/pedromorales/Dropbox/Projects/LLMs in Teaching and Learning/references/s11023-018-9482-5.pdf]:#