Principios rectores del diseño de soluciones de inteligencia artificial: Análisis de “Recomendaciones del Concejo sobre Inteligencia Artificial”

(Imagen Tomada de Pixabay)

El documento “Recomendaciones del consejo sobre Inteligencia Artificial” tiene como autor a la Organización para la Cooperación Económica y el Desarrollo (OECD, por sus siglas en inglés), y fue publicado en Francia en mayo de 2019. Persigue como objetivo alinear los esfuerzos por definir un conjunto de principios para el uso y desarrollo de soluciones de Inteligencia Artificial desde la innovación y la confiabilidad; cuya adherencia sería ratificada por los países miembros de la organización, y algunos no miembros como: Argentina, Brasil, Colombia, Costa Rica, Malta, Perú, Rumanía, y Ucrania. Las recomendaciones que el documento exhibe tienen como basamento el aseguramiento del respeto por los Derechos humanos y los valores democráticos.

Al ser de autoría conjunta, por miembros de un organismo que agrupa el esfuerzo de los gobiernos de varios países de América, Europa, Medio Oriente, y Australia: le he clasificado el tipo de autor como “Organismo Intergubernamental”. Asimismo, atendiendo al objetivo que persigue con las recomendaciones y al tipo de principios que se proponen he clasificado el documento como “Políticas sobre principios”. Ambas clasificaciones me permitirán realizar contrastes futuros entre documentos y autores de un mismo tipo; enriqueciendo el análisis que tengo como objetivo a presentar en esta serie de posts.

Los principios que se proponen para el diseño responsable de soluciones de Inteligencia Artificial confiable son los siguientes:

  1. Crecimiento inclusivo, desarrollo sostenible y bienestar: participar proactivamente en una administración responsable de la inteligencia artificial confiable en la búsqueda de beneficios para las personas y el planeta, aumentar las capacidades humanas y mejorar la creatividad, avanzar en la inclusión de poblaciones subrepresentadas reduciendo los aspectos económicos, sociales, de género y otras desigualdades, y en la protección de los entornos naturales,
  2. Valores centrados en el ser humano y Equidad: respetar el estado de derecho, los derechos humanos y los valores democráticos durante todo el ciclo de vida de la solución de inteligencia artificial – libertad, dignidad y autonomía, privacidad y protección de datos, no discriminación e igualdad, diversidad, equidad, justicia social y trabajo -; implementando mecanismos y salvaguardas, como la capacidad humana para la autodeterminación, que sean apropiadas al contexto y consistentes con el estado del arte,
  3. Transparencia y Explicabilidad: proporcionar información relevante, adecuada al contexto y coherente con el estado del arte: (a) para fomentar una comprensión general del funcionamiento de los sistemas de IA, (b) para que las partes interesadas sean conscientes de sus interacciones con los sistemas de IA, (c) para permitir que los afectados por un sistema de inteligencia artificial entiendan el resultado, y (d). para permitir que aquellos afectados adversamente por un sistema de IA desafíen su resultado basado en información fácil de entender sobre los factores y la lógica que sirvió de base para la predicción, o recomendación,
  4. Robustez, Seguridad, y Protección: desarrollar sistemas de IA robustos y seguros, y protegerlos durante todo su ciclo de vida para que – en condiciones de uso normal, uso previsible o mal uso, u otras condiciones adversas – funcionen adecuadamente y no constituyan riesgos de seguridad; garantizando la trazabilidad hacia los conjuntos de datos, procesos y decisiones tomadas, y aplicando un enfoque sistémico para la gestión de riesgos en cada fase del ciclo de vida del sistema de IA que incluya factores como: la privacidad, la seguridad digital, la seguridad y el sesgo, y
  5. Responsabilidad: responsabilizar a los actores de IA por el adecuado funcionamiento de los sistemas de IA y su correspondencia con los principios propuestos, acorde a sus roles, el contexto y consistentes del estado del arte.

Además, se hacen un conjunto de recomendaciones, que se listan a continuación, para la definición de políticas nacionales y la cooperación internacional entre los países adherentes en favor de la Inteligencia Artificial confiable:

  1. Invertir en investigación y desarrollo de inteligencia artificial,
  2. Fomentar un ecosistema digital para la inteligencia artificial,
  3. Delinear un entorno político propicio para la inteligencia artificial,
  4. Desarrollar el capital humano y prepararse para la transformación del mercado laboral, y
  5. Cooperar en favor de una inteligencia artificial confiable.

En esta ocasión me limitaré a comentar solamente sobre los principios. Dado que las recomendaciones están dirigidas a diseñadores de políticas públicas; y es un contexto con el que no tengo suficiente experiencia.

Desde mi formación como ingeniero en ciencias informáticas, con experiencia práctica en la gestión de proyectos de software encuentro dificultades para adoptar estos principios como referente metodológico sin que los mismos sean sujetos a capas adicionales de interpretación e integración en herramientas como estándares o listas de chequeo, por mencionar algunas. Como he especificado en otros posts; por un lado, los estándares apoyarían el aseguramiento del resultado esperado en etapas tempranas del desarrollo de soluciones de inteligencia artificial acorde con el marco delimitado por los principios propuestos; y, por otro lado, las listas de chequeo constituyen una herramienta efectiva en las etapas de verificación para asegurar la correspondencia de la solución con los principios propuestos – por utilizar los mismos ejemplos-.

En esta misma línea de pensamiento, desde mi experiencia en la definición de listas de chequeo y como miembro de grupos de trabajo en la conformación de estándares internacionales para el desarrollo de software se me hace posible destacar los elementos siguientes:

  • La delimitación del vecindario de variables relacionadas a conceptos como: discriminación, sesgo, justicia, y equidad, en el contexto de inteligencia artificial; que puedan servir como marco de referencia al desarrollador de software en cada etapa – incluida la de mantenimiento – del proceso de desarrollo,
  • La operacionalización del concepto de bienestar como variable dependiente del carácter discriminatorio o no de las decisiones basadas en: decisiones, predicciones, y/o recomendaciones propuestas por sistemas de IA,
  • La operacionalización del concepto de amigabilidad con el entorno natural como variable dependiente del carácter agresivo o no de las decisiones basadas en: decisiones, predicciones, y/o recomendaciones propuestas por sistemas de IA,
  • La formalización de métricas orientadas a evaluar: cuan discriminatoria o agresiva con el entorno natural es una decisión, predicción, y/o recomendación propuesta por sistemas de IA,
  • La definición de listas de chequeo que sirvan como guía al desarrollador de sistemas de IA durante las tareas de verificación y medición de estas variables en cada etapa del proceso de desarrollo,
  • La determinación de qué valores resultantes de las mediciones y de qué factores dentro de las listas de chequeo constituyen un factor detonante de una revisión de la línea base de arquitectura de la versión actual del sistema de IA que se está desarrollando,
  • La determinación de qué valores resultantes de las mediciones y de qué factores dentro de las listas de chequeo constituyen un factor detonante de una petición formal de cambio en el caso de proyectos de mediano y gran tamaño; de media y alta complejidad,
  • La creación de una autoridad competente que continuamente evalúe la adecuación de la formalización de las mediciones al correspondiente contexto social, comprendiendo que los elementos causales de discriminación y otros términos afines son variables en el tiempo,
  • La operacionalización de las variables sobre las que se sustentan los Derechos humanos y los valores democráticos con las que se espera que cumplan las soluciones de inteligencia artificial,
  • La operacionalización de “transparencia” y “entendimiento” como variables dependientes a la comprensión de los métodos utilizados para el procesamiento de los datos, que puedan utilizarse en la definición de una métrica que evalúe los niveles en los que se pueda expresar la comprensión sobre los métodos, y resultados del sistema de IA por parte de potenciales interesados y auditores, y
  • La definición de flujos de gestión de la información asociada al uso de los sistemas de IA que incluyan, los elementos necesarios (permisos de acceso a qué pieza de información, tiempos de disponibilidad de la información, por ejemplo) y guíen la comunicación entre el interesado y el decisor(con independencia de este) para su incorporación – por oficio – en módulos de reportes; ayudando a aquellos afectados adversamente por un sistema de IA a obtener información pertinente a los detalles de la decisión.

Como capas intermedias necesarias para la adopción de los principios como referente metodológico en el diseño de soluciones de inteligencia artificial.

Tras un análisis del lenguaje utilizado en el documento, en el cual utilicé la librería NLTK y el entorno de desarrollo para Python, extrayendo los 50 n-gramas más frecuentes en el texto de la carta resulta que:

  • Los uni-gramas con frecuencias relativas mayores al .50 unidades describen directamente el objetivo que se pretende con la propuesta de los principios y recomendaciones, o las variables en que se expresan los mismos: policy (1.10), international (1.02), legal/ trustworthy/ development (.98), council/ principles/ work (.78), digital (.69), human (.65), operations/ stakeholders/ systems (.61), y responsible/ implementation/ systems (.57); en contraste con: stewardship/ rights/ inclusive/ sustainable/ recommedations (.33) que siendo igualmente elementos que se encuentran entre los objetivos que se persiguen con el documento presentan menor representados en el cuerpo del mismo.
  • Los bi-gramas, por su parte, si comienzan a delimitar el campo de acción del documento en el contexto descrito por los uni-gramas, exhibiendo con frecuencias relativas más altas los términos: trustworthy ai (.90), ai actors (.53), legal instruments/ international co-operation (.45), y responsible stewardship/ stewardship trustworthy (.33). Aunque, otras variables como risk management/ growth sustainable/ security safety/ digital ecosystem/ privacy data/ y ai government exhiben valores mínimos de frecuencia relativa con 0.16 unidades cada uno.
  • Los tri-gramas, igualmente, exhiben una mayor representación de los términos ligados al macro-objetivo del documento con términos como: international co-operation instruments (.45), responsible stewardship trustworthy/ ai systems lifecycle (.33); mientras que los objetivos que se persiguen están menos representados: human centred values/ centred values fairness/ robustness security safety/ investing ai research/ fostering digital ecosystem/ building human capacity, preparing labor market/ practical guidance recommendations (.12) y ,artificial intelligence first/ first intergubernamental standard (.08).

Me gustaría concluir diciendo que tanto las recomendaciones del consejo sobre IA que abordo en este post, como otros documentos que incluyo en esta serie; constituyen un esfuerzo por resolver algunos de los problemas éticos enraizados en el diseño y uso de soluciones de inteligencia artificial. En este caso específicamente en el área de políticas públicas; el resto de los documentos incluirán otros tantos escenarios. Además, con este ejercicio de lectura busco llamar la atención sobre la oportunidad que se presenta para que juntos, diseñadores de políticas públicas y diseñadores de soluciones de inteligencia artificial colaboremos en la consecución de un fin común: que es el diseño responsable de inteligencia artificial.

Si te interesa este tema y tienes alguna idea que complemente esta revisión de las recomendaciones del consejo sobre Inteligencia Artificial déjamelo saber con un comentario.

 

Principios rectores del diseño de soluciones de inteligencia artificial: Análisis de “Carta ética europea sobre el uso de la Inteligencia Artificial en los sistemas judiciales y su entorno”

La carta ética europea sobre el uso de la Inteligencia Artificial en los sistemas judiciales y su entorno cuenta con la Comisión Europea para la Eficiencia de la Justicia CEPEJ del Consejo de Europa como autor, y fue publicada en Francia en diciembre de 2018. Persigue como objetivo alinear los esfuerzos por definir un conjunto de principios que regulen el diseño de soluciones de inteligencia artificial, y su utilización en el contexto del sistema judicial; tomando como basamento la ley internacional de Derechos humanos.

Al ser de autoría conjunta, por miembros de un organismo que agrupa el esfuerzo de los gobiernos de varios países de la región europea le he clasificado el tipo de autor como “Organismo Intergubernamental”. Asimismo, atendiendo al objetivo que persigue la carta y al tipo de principios que propone he clasificado el documento como “Políticas de Uso”. Ambas clasificaciones me permitirán realizar contrastes futuros entre documentos y autores de un mismo tipo; enriqueciendo el análisis que tengo como objetivo a presentar en esta serie de posts.

Los principios que propone la carta son los siguientes:

      1. Principio de respeto por los Derechos fundamentales: asegurar que el diseño e implementación de herramientas y servicios de inteligencia artificial son compatibles con los Derechos fundamentales,
      2. Principio de no discriminación: prevenir el desarrollo e intensificación de cualquier tipo de discriminación entre individuos o entre grupos de individuos,
      3. Principio de calidad y seguridad: utilizar fuentes certificadas y datos intangibles con modelos elaborados de manera multidisciplinar en un entorno tecnológico seguro para el procesamiento de datos y decisiones judiciales,
      4. Principio de transparencia, imparcialidad, y justicia: hacer accesibles y entendibles los métodos de procesamientos de datos, y autorizar auditorías externas, y
      5. Principio de “bajo control del usuario”: excluir un enfoque prescriptivo, y asegurar que los usuarios sean actores informados que se encuentran en control de las decisiones que toman.

Desde mi formación como ingeniero en ciencias informáticas encuentro dificultades para adoptar estos principios como referente metodológico sin que los mismos sean sujetos a capas adicionales de interpretación e integración en herramientas como estándares o listas de chequeo, por mencionar algunas. Por un lado, los estándares apoyarían el aseguramiento del resultado esperado en etapas tempranas del desarrollo de soluciones de inteligencia artificial acorde con el marco delimitado por los principios propuestos; y, por otro lado, las listas de chequeo constituyen una herramienta efectiva en las etapas de verificación para asegurar la correspondencia de la solución con los principios propuestos – por utilizar los mismos ejemplos-.

En esta misma línea de pensamiento, desde mi experiencia en la definición de listas de chequeo y como miembro de grupos de trabajo en la conformación de estándares internacionales para el desarrollo de software se me hace posible destacar los elementos siguientes:

      • La operacionalización de las variables sobre las que se sustentan los Derechos fundamentales con las que se espera que las soluciones de inteligencia artificial cumplan en el entorno descrito por la carta que se revisa,
      • La definición del entorno que enmarca las posibles discriminaciones a las que un individuo o grupos de individuos pueden estar expuestos dado los atributos que se consideran para el arribo de cada decisión; finitas en su tipología de acuerdo con el entorno que cubre la carta,
      • La definición de los entornos vecinos a las actuales variables causales de discriminación a las que un individuo o grupos de individuos pueden estar sujetos según los atributos que se consideran para el arribo de cada decisión; dado que la discriminación es un fenómeno variable, con dimensiones: temporal, geográfica, cultural, etc.,
      • La definición de variables que puedan utilizarse en el diseño de métricas para evaluar los distintos niveles de intensidad en decisiones potencialmente discriminatorias a las que puedan estar expuestos individuos o grupos de individuos,
      • La determinación de una autoridad certificadora que avale la idoneidad de las fuentes de los datos utilizados por los impartidores de justicia como apoyo a su proceso de toma de decisiones,
      • La determinación de una autoridad certificadora que avale la idoneidad de sus miembros, y la completitud de los equipos multidisciplinarios empleados en diseñar los modelos para el procesamiento de los datos que serán usados por los impartidores de justicia como apoyo a su proceso de toma de decisiones,
      • La operacionalización de “accesibilidad” y “entendimiento” como variables dependientes a la comprensión de los métodos utilizados para el procesamiento de los datos, que puedan utilizarse en la definición de una métrica que evalúe los niveles en los que se pueda expresar la comprensión sobre los métodos, por parte de potenciales interesados y auditores,
      • La determinación de una autoridad competente auditora que certifique la adherencia del equipo de diseño – de soluciones de inteligencia artificial para el uso de los impartidores de justicia en el entorno delimitado en la carta – con los principios que en esta se proponen,
      • La determinación de los parámetros que puedan utilizarse en la conformación de restricciones que sean integradas al modelo de razonamiento de la solución de inteligencia artificial, en etapas de diseño, para evitar recomendar decisiones que representen un enfoque prescriptivo en el entorno delimitado por la carta, y
      • La determinación de los parámetros que puedan utilizarse en la conformación de métricas que evalúen el carácter prescriptivo del enfoque descrito por las decisiones recomendadas por las soluciones de inteligencia artificial en el entorno delimitado por la carta.

Como capas intermedias necesarias para la adopción de los principios como referente metodológico en el diseño de soluciones de inteligencia artificial en el entorno de impartición de justicia.

Tras un análisis del lenguaje utilizado en el documento, en el cual utilicé la librería NLTK y el entorno de desarrollo para Python, extrayendo los 50 n-gramas más frecuentes en el texto de la carta resulta que:

      • Los uni-gramas con frecuencias relativas mayores al .50 unidades describen el entorno que se delimita en la carta y no el objetivo que se pretende con la propuesta de los principios, o las variables en que se expresan los mismos: Judicial (.87), Decisions (.82), Law (.72), Processing (.63), Legal (.62), Case (.56), Public/ Tools/ Judges/ Use (.53), y Justice (.52),
      • Los bi-gramas, sin embargo, si comienzan a delimitar el campo de acción de la carta en el contexto descrito por los uni-gramas, exhibiendo con frecuencias relativas más altas los términos: Machine Learning (.31), Judicial Decisions (.28), Artificial Intelligence/ Open Data (.27), Judicial Systems (.20) y Personal Data (.19). Aunque, otras variables como Data Protection y Fair Trial exhiben valores menores, .6 y .5 unidades de frecuencia relativa respectivamente.
      • Los tri-gramas, por su parte, ayudan a conectar ambos, el entorno y campo de acción mediante las siguientes composiciones de texto: Protection Personal Data (.09), Artificial Intelligence Tools/ Processing Judicial Decisions/ Judicial Decisions Data (.06), y
      • Es interesante como, a través de los tri-gramas identificados: Use Artificial Intelligence/ Intelligence Tool Services/ Predictive Justice Tools y CheckList Evaluating Processing/ Evaluating Processing Methods, todos con .05 de frecuencia relativa; la propia carta señala la necesidad de herramientas como las que mencionaba antes en este post.

Me gustaría concluir diciendo que tanto la carta que abordo en este post, como otros documentos sobre los que iré escribiendo en esta serie; constituyen un esfuerzo por resolver algunos de los problemas éticos enraizados en el diseño y uso de soluciones de inteligencia artificial. En este caso específicamente en el contexto de la administración de justicia; el resto de los documentos incluirán otros tantos escenarios. Además, con este ejercicio de lectura busco llamar la atención sobre la oportunidad que se presenta para que juntos, diseñadores de políticas públicas y diseñadores de soluciones de inteligencia artificial colaboremos en la consecución de un fin común: que es el diseño responsable de inteligencia artificial.

Si te interesa este tema y tienes alguna idea que complemente esta revisión de la carta ética europea sobre el uso de la Inteligencia Artificial en los sistemas judiciales y su entorno déjamelo saber con un comentario.

Imagen tomada de pixabay