Universidad del País Vasco Universidad del País Vasco

Ruta de navegación

AA eta bereziki zaindu beharreko erabilerak

IA y usos de especial sensibilidad

En el ámbito educativo, el EU AI Act considera potencialmente sensibles aquellos sistemas de IA que se utilizan para apoyar o automatizar decisiones con consecuencias relevantes para el estudiantado. Entre otros, se incluyen los siguientes supuestos:

  • Sistemas que determinan o condicionan el acceso o la admisión a estudios universitarios.

  • Sistemas que evalúan el aprendizaje, el rendimiento académico o el progreso del estudiantado cuando el resultado tiene efectos formativos o administrativos.

  • Sistemas que asignan niveles, itinerarios, apoyos o clasificaciones educativas.

  • Sistemas destinados a la supervisión o detección de conductas en contextos evaluativos, como exámenes o pruebas oficiales (por ejemplo, proctoring automatizado).

En estos casos, el riesgo no deriva del uso de la IA en sí, sino de su capacidad para influir en decisiones que afectan a derechos, oportunidades educativas, equidad o trato justo. Por este motivo, el EU AI Act establece que estos usos deben estar sujetos a garantías reforzadas, con independencia de que la tecnología sea desarrollada internamente o proporcionada por terceros.

Si la IA puede influir en una decisión que afecte a la evaluación, los derechos o las oportunidades académicas de una persona, no debe utilizarse de forma automática ni aislada.

Cuando un sistema de IA se utiliza en contextos de especial sensibilidad, su aplicación requiere condiciones adicionales que refuercen la protección de las personas y la responsabilidad institucional. Entre ellas destacan:

  • Supervisión humana efectiva, de modo que la IA no sustituya la decisión académica o administrativa.
  • Transparencia, informando claramente a las personas afectadas de que se utiliza IA y con qué finalidad.
  • Calidad, fiabilidad y control de errores, especialmente en contextos evaluativos.
  • Prevención de sesgos y discriminación, con especial atención a la equidad.
  • Trazabilidad y documentación, que permitan revisar cómo se ha utilizado el sistema.
  • Responsabilidad clara, que recae siempre en la institución y en las personas responsables del proceso, no en la herramienta.

¿Este uso de IA requiere especial cautela?

El siguiente checklist permite identificar usos de inteligencia artificial que no deben ponerse en marcha de forma autónoma, y que requieren una reflexión previa sobre su encaje legal, ético y organizativo, de acuerdo con el enfoque basado en el riesgo del EU AI Act.

Si respondes “sí” a alguna de estas preguntas, el uso no debe aplicarse de forma aislada.

Checklist de autoevaluación

1. ¿La IA interviene en decisiones que afectan directamente al recorrido académico del estudiantado?

Ejemplos: admisión, calificaciones, evaluación del aprendizaje, asignación de nivel o itinerario, concesión de apoyos académicos o medidas disciplinarias.
Por qué es relevante: la IA puede influir en decisiones que afectan a derechos, oportunidades y resultados académicos.

2. ¿La IA corrige, puntúa o evalúa al estudiantado, total o parcialmente?

Ejemplos: corrección automática de ejercicios, generación de notas, rankings, informes de rendimiento o indicadores de evaluación.
Por qué es relevante: el criterio evaluador puede desplazarse de la persona a la herramienta.

3. ¿El resultado generado por la IA tiene consecuencias reales para una persona?
Ejemplos: aprobar o suspender, progresar o no en la titulación, acceder o no a determinadas oportunidades formativas.

Por qué es relevante: los efectos del sistema no son teóricos, sino reales y verificables.

4. ¿La IA se utiliza para supervisar o vigilar durante exámenes o pruebas evaluables?

Ejemplos: proctoring automatizado, detección de fraude o análisis de comportamiento durante pruebas.
Por qué es relevante: puede afectar a derechos fundamentales como la privacidad y la presunción de honestidad.

5. ¿No puedes explicar de forma clara y comprensible cómo la IA produce el resultado?
Ejemplos: modelos opacos, criterios desconocidos, imposibilidad de justificar una decisión concreta.

Por qué es relevante: sin explicabilidad no hay transparencia ni posibilidad de revisión.

6. ¿Existe riesgo de sesgos, discriminación o trato desigual?

Ejemplos: resultados diferentes por género, idioma, origen, diversidad funcional o contexto socioeconómico.
Por qué es relevante: la IA puede reproducir o amplificar desigualdades existentes.

7. ¿Se introducen datos personales, académicos o sensibles en herramientas de IA externas a la universidad?

Ejemplos: plataformas comerciales, servicios en la nube o modelos no controlados directamente por la UPV/EHU.
Por qué es relevante: implica riesgos legales y de protección de datos.

8. ¿La decisión final queda, en la práctica, determinada por la IA?

Ejemplos: aceptación automática del resultado, imposibilidad real de modificarlo, revisión solo formal.
Por qué es relevante: se produce una automatización de facto de la decisión.