Gobernanza IA.

Qué es y por qué importa

Gobernar la IA es decidir quién puede hacer qué, con qué límites y ante quién responde. Abarca políticas públicas, decisiones de la organización y controles sobre cada sistema. La unidad de análisis es el servicio completo: personas, datos, modelo, interfaz, incentivos y contexto. Un modelo preciso puede integrarse en un procedimiento injusto.

Lo hacemos para obtener beneficios verificables y proteger derechos, seguridad y capacidad de decisión. También para reducir errores, gestionar dependencia de proveedores y permitir reclamaciones. El cumplimiento es una parte; una política escrita sin autoridad, presupuesto ni evidencia no gobierna el funcionamiento real.

Tres escalas de gobierno

En la escala pública se fijan derechos, responsabilidades, supervisión y mecanismos de cooperación. Importan la contratación pública, la competencia, la concentración de poder y la representación de personas afectadas. En organizaciones se decide qué usos aceptar, financiar, limitar o rechazar. En cada sistema se implementan y prueban esos compromisos.

Una gobernanza legítima necesita explicar las decisiones, escuchar a quienes soportan sus efectos y ofrecer reparación. La participación debe poder cambiar el diseño; una consulta sin posibilidad de modificar nada es insuficiente. Ninguna empresa puede resolver por sí sola problemas como el acceso desigual o los impactos transfronterizos.

De los principios a los controles

Privacidad significa limitar la recogida, definir finalidad y retención y controlar accesos. Equidad exige identificar daños y grupos afectados, no elegir una métrica por comodidad. Transparencia implica avisos comprensibles y explicaciones útiles. Responsabilidad requiere una persona con autoridad para corregir, detener y responder.

Cada compromiso se convierte en un control con propietario, evidencia y fecha de revisión. Por ejemplo: antes de publicar un asistente, probar filtraciones, explicar sus límites y establecer un canal de incidencias. Documentar también riesgos residuales, desacuerdos y la alternativa de no automatizar.

Inventario y usos previstos

Empieza identificando modelos internos, APIs externas, herramientas incorporadas en productos y usos informales por empleados. Registra propósito, usuarios, personas afectadas, responsable, proveedor, versión, datos, permisos, ubicación, criticidad, estado y fecha de revisión. Una hoja controlada puede ser suficiente al inicio.

Clasifica el uso por sus efectos y contexto. El mismo modelo que resume documentos públicos puede necesitar otros controles si decide acceso a un empleo. Distingue información, recomendación y ejecución. Especifica usos excluidos y condiciones que obligan a una nueva evaluación, incluidos cambios del proveedor.

1. DefinirPropósito, alternativa sin IA y usos excluidos.
2. IdentificarDatos, personas afectadas, proveedor y responsable.
3. EvaluarEscenarios de daño y obligaciones aplicables.
4. ProbarControles, casos límite y evidencia reproducible.
5. DecidirAceptar, limitar, modificar o rechazar con razones.
6. ObservarResultados, reclamaciones, cambios e incidentes.
7. RevisarCorregir, volver a evaluar o retirar.

Evaluación de impacto y riesgo

Formula escenarios: qué puede salir mal, a quién perjudica, por qué vía y con qué consecuencias. Examina gravedad, alcance, reversibilidad e incertidumbre, además de probabilidad. Escucha a usuarios y colectivos afectados. Compara con el procedimiento actual y con opciones sin IA: automatizar no es el único resultado posible.

Una matriz ayuda a priorizar, pero no convierte juicios inciertos en hechos. Un daño grave no debe ocultarse en una media. Conserva evidencia, controles, riesgo residual y firma del responsable. Las evaluaciones de privacidad y de derechos fundamentales tienen supuestos de aplicación propios y no son documentos intercambiables.

Gobernar datos y documentación

Documenta procedencia, permisos, representatividad, etiquetado, transformaciones, exclusiones y limitaciones de los datos. Separa entrenamiento y evaluación para evitar fugas. Las fichas de datos y de modelos permiten comunicar usos previstos, evaluaciones y restricciones; no sustituyen las pruebas.

Conserva trazabilidad entre datos, código, configuración, versión del modelo y resultados. Define eliminación, acceso y actualización. En servicios externos comprueba condiciones contractuales sobre entrenamiento, retención, subencargados y transferencias. No introduzcas datos personales o secretos en una herramienta solo porque resulte accesible.

Medir calidad, equidad y límites

Evalúa con casos representativos, situaciones límite y grupos relevantes. Una exactitud global elevada puede ocultar errores concentrados. Declara tamaños muestrales e incertidumbre. Selecciona métricas según el daño: falso rechazo, falsa aceptación, error de predicción o falta de fundamento. Los criterios de equidad pueden entrar en tensión.

En modelos generativos separa calidad de recuperación, fidelidad a fuentes, utilidad y seguridad. Usa evaluaciones humanas con instrucciones y desacuerdos documentados. Un modelo que juzga a otro puede acelerar el trabajo, pero su criterio debe validarse. Explicaciones plausibles y puntuaciones de confianza no garantizan verdad ni causalidad.

Seguridad de IA generativa y agentes

Un documento recuperado o una página externa puede contener instrucciones maliciosas. Trata ese contenido como no confiable. Separa instrucciones y datos, valida salidas y limita herramientas, secretos y acceso de red. Los filtros de texto son una capa, no una frontera de seguridad suficiente.

Para agentes, usa permisos mínimos, acciones autorizadas explícitamente, entornos aislados y confirmación para operaciones sensibles. Añade límites de coste, tiempo y pasos, registros protegidos y una parada operativa probada. Comprueba qué ocurre si falla una herramienta o cambia un proveedor. Diseña recuperación y reversión antes de permitir acciones reales.

Supervisión humana que funciona

Poner una persona al final no garantiza control. Necesita tiempo, formación, información independiente y autoridad para discrepar. Diseña la interfaz para mostrar incertidumbres y permitir revisión, no para inducir una aceptación automática. Mide carga de trabajo, desacuerdos y errores del proceso humano y automático combinado.

Las personas afectadas necesitan un canal comprensible para preguntar y reclamar, y una revisión con capacidad real de reparación. Define quién recibe la reclamación, cómo se conserva la evidencia y qué plazo interno de respuesta se propone. Investiga si el control humano detecta fallos nuevos, no solo si existe una casilla de aprobación.

Proveedores y cadena de suministro

Antes de contratar, solicita documentación de capacidades, límites, seguridad, uso de datos y gestión de incidentes. Comprueba si puedes registrar versiones, evaluar cambios, exportar información y dejar de utilizar el servicio. La reputación comercial no sustituye la evidencia.

Asigna contractualmente responsabilidades, avisos de cambios, acceso a información y cooperación ante daños. Identifica componentes abiertos y sus licencias, dependencias y mantenimiento. Mantén un plan de continuidad para caída, retirada o cambio de condiciones. Externalizar el modelo no elimina la responsabilidad sobre el uso que haces de él.

Operación, incidentes y retirada

Publicar inicia otra etapa de control. Observa cambios en entradas, resultados, uso real y reclamaciones. La deriva estadística es una señal para investigar, no una prueba automática de daño. Define alertas, responsables, umbrales contextualizados y revisión periódica; comprueba resultados reales cuando estén disponibles.

Ante un incidente: contener, preservar evidencia con acceso limitado, evaluar personas afectadas, corregir y decidir si reanudar. Revisa obligaciones de notificación aplicables. Una retirada exige eliminar accesos, actualizar dependencias, tratar datos y avisar a usuarios. Conserva lo necesario según una política de retención, evitando registros indefinidos de conversaciones.

Normativa, marcos y estándares

El Reglamento de IA de la UE establece obligaciones según prácticas, sistemas y funciones de los operadores; el calendario oficial debe consultarse junto al texto vigente. La versión publicada de 2024 ha recibido modificaciones. Esta guía no presume que todos los sistemas tengan las mismas obligaciones ni que todas las reglas empiecen el mismo día.

El RGPD sigue siendo relevante cuando hay datos personales. El ORGANIZATION-007 AI RMF ofrece un marco voluntario de gestión de riesgos. ISO/IEC 42001 establece requisitos para un sistema de gestión de IA; su alcance no equivale a certificar que cualquier salida de cualquier modelo sea segura. Distingue ley, orientación, estándar y evidencia técnica.

En ORGANIZATION-007 AI RMF 1.0, GOVERN establece políticas y responsabilidad; MAP sitúa el uso y sus impactos; MEASURE reúne evidencia; MANAGE prioriza y trata riesgos. Las funciones se revisan durante el ciclo de vida. El perfil de IA generativa complementa el marco; no lo convierte en una prueba de cumplimiento legal.

Qué sabemos y con qué límites

Sabemos construir inventarios, controlar versiones y evaluar sistemas en condiciones definidas. Podemos medir ciertos errores, detectar algunas desigualdades y reducir exposición con permisos y revisión. La evidencia siempre está condicionada por datos, población y entorno de prueba: aprobar un banco de pruebas no demuestra seguridad universal.

La documentación facilita auditoría, pero no revela por sí sola comportamientos no ensayados. Los incidentes y errores de especificación muestran que optimizar una medida puede desviar el objetivo real. Una política útil debe aceptar incertidumbre, definir límites y permitir suspender un uso aun cuando mejore una métrica comercial.

Qué investiga el campo y qué queremos saber

Las líneas abiertas incluyen evaluaciones que anticipen daños reales, supervisión de sistemas más capaces, interpretabilidad, equidad contextual y control de agentes. También se estudian incentivos, participación pública, eficacia de auditorías y coordinación internacional. La tabla siguiente propone preguntas e investigaciones reproducibles; no presenta trabajos del autor como realizados.

Para avanzar, formula una hipótesis refutable, fija medidas antes de observar resultados y compara con una alternativa. Registra condiciones, versiones, muestras, exclusiones y resultados negativos. Publica límites y permite reproducción cuando privacidad y seguridad lo hagan posible. Medir más no resuelve por sí solo qué distribución de beneficios y daños consideramos aceptable.

Cómo empezar: una propuesta de 90 días

Días 1–30: asignar patrocinio y responsabilidades, inventariar usos, atender daños urgentes y elegir un caso piloto. Definir límites y una política provisional de datos y herramientas. Entregables: inventario, responsables, criterios de priorización y lista de usos suspendidos o restringidos.

Días 31–60: evaluar el piloto, documentar datos, probar controles, consultar a afectados y ensayar incidentes. Días 61–90: revisión independiente, decisión registrada, despliegue limitado si procede y seguimiento. Es una propuesta adaptable, no un plazo legal ni una promesa de conformidad en tres meses.

Gobernar para aprender

La gobernanza no termina con una aprobación. Revisa si el uso sigue aportando valor, si aparecen afectados nuevos y si el control sigue funcionando. Trata cada cambio relevante como una nueva decisión: más autonomía, otra población, otra fuente de datos o una versión nueva pueden alterar el riesgo.

La pregunta final no es solo «¿podemos hacerlo?». También: «¿debemos hacerlo así, quién puede objetar y qué nos haría detenerlo?». Una organización aprende cuando una objeción o un incidente cambia su diseño, sus recursos o sus reglas, y cuando puede mostrar la evidencia de esa mejora.