La inteligencia artificial (IA) ha causado furor recientemente por su posibilidad de revolucionar la forma en que las personas abordan y resuelven distintas tareas y problemas complejos. Desde la sanidad a las finanzas, la IA y sus modelos de aprendizaje automático asociados han demostrado su potencial para agilizar procesos intrincados, mejorar los patrones de toma de decisiones y descubrir valiosas perspectivas.

Sin embargo, a pesar del inmenso potencial de la tecnología, un persistente problema de “caja negra” ha seguido planteando un importante reto para su adopción, al plantear dudas sobre la transparencia e interpretabilidad de estos sofisticados sistemas.

En resumen, el problema de caja negra se deriva de la dificultad para comprender cómo los sistemas de IA y los modelos de aprendizaje automático procesan los datos y generan predicciones o decisiones. Estos modelos a menudo se basan en algoritmos intrincados que no son fácilmente comprensibles para los seres humanos, lo que conduce a una falta de responsabilidad y confianza.

Por lo tanto, a medida que la IA se integra cada vez más en diversos aspectos de nuestras vidas, abordar este problema es crucial para garantizar el uso responsable y ético de esta poderosa tecnología.

La caja negra: repaso general

La metáfora de la “caja negra” surge de la idea de que los sistemas de IA y los modelos de aprendizaje automático funcionan de forma oculta al entendimiento humano, como el contenido de una caja opaca y sellada. Estos sistemas se basan en complejos modelos matemáticos y conjuntos de datos de alta dimensión, que crean intrincadas relaciones y patrones que guían sus procesos de toma de decisiones. Sin embargo, su funcionamiento interno no es fácilmente accesible ni comprensible para el ser humano.

En términos prácticos, el problema de la caja negra de la IA es la dificultad de descifrar el razonamiento que subyace a las predicciones o decisiones de un sistema de IA. Este problema es especialmente frecuente en modelos de aprendizaje profundo como las redes neuronales, en las que múltiples capas de nodos interconectados procesan y transforman datos de forma jerárquica. La complejidad de estos modelos y las transformaciones no lineales que realizan dificultan enormemente el rastreo de la lógica que subyace a sus resultados.

Nikita Brudnov, CEO de BR Group -un panel de análisis de marketing basado en IA- dijo a Cointelegraph que la falta de transparencia en la forma en que los modelos de IA llegan a ciertas decisiones y predicciones podría ser problemática en muchos contextos, como el diagnóstico médico, la toma de decisiones financieras y los procedimientos legales, lo que afectaría significativamente a la adopción continuada de la IA.

“En los últimos años, se ha prestado mucha atención al desarrollo de técnicas para interpretar y explicar las decisiones tomadas por los modelos de IA, como la generación de puntuaciones de importancia de las características, la visualización de los límites de las decisiones y la identificación de explicaciones hipotéticas contrafácticas”, dijo, añadiendo:

“Sin embargo, estas técnicas aún están en pañales y no hay garantías de que sean eficaces en todos los casos”.

Brudnov cree además que con una mayor descentralización, los reguladores pueden exigir que las decisiones tomadas por los sistemas de IA sean más transparentes y responsables para garantizar su validez ética y su equidad general. También sugirió que los consumidores pueden dudar en utilizar productos y servicios impulsados por IA si no entienden cómo funcionan y su proceso de toma de decisiones.

La caja negra. Fuente: Investopedia

James Wo, fundador de DFG -una empresa de inversión que invierte activamente en tecnologías relacionadas con la IA- cree que el problema de la caja negra no afectará a la adopción en un futuro próximo. Según Wo, a la mayoría de los usuarios no les importa necesariamente cómo funcionan los modelos de IA existentes y se conforman con obtener utilidad de ellos, al menos por ahora.

“A medio plazo, cuando desaparezca la novedad de estas plataformas, habrá más escepticismo sobre la metodología de caja negra. Las dudas también aumentarán a medida que el uso de la IA entre en la criptografía y la Web3, donde hay intereses financieros en juego y consecuencias que considerar”, reconoció.

Impacto en la confianza y la transparencia

Un ámbito en el que la falta de transparencia puede afectar sustancialmente a la confianza es el de los diagnósticos médicos basados en IA. Por ejemplo, los modelos de IA pueden analizar datos médicos complejos en la atención sanitaria para generar diagnósticos o recomendaciones de tratamiento. Sin embargo, cuando los médicos y los pacientes no pueden comprender la lógica que subyace a estas sugerencias, pueden cuestionar la fiabilidad y validez de estos conocimientos. Este escepticismo puede provocar dudas a la hora de adoptar soluciones de IA, lo que podría obstaculizar los avances en la atención al paciente y la medicina personalizada.

En el ámbito financiero, los sistemas de IA pueden emplearse para la calificación crediticia, la detección del fraude y la evaluación del riesgo. Sin embargo, el problema de la caja negra puede crear incertidumbre sobre la imparcialidad y exactitud de estas puntuaciones crediticias o el razonamiento que subyace a las alertas de fraude, lo que limita la capacidad de la tecnología para digitalizar el sector.

La industria cripto también se enfrenta a las repercusiones del problema de la caja negra. Por ejemplo, los activos digitales y la tecnología blockchain se basan en la descentralización, la apertura y la verificabilidad. Los sistemas de IA que carecen de transparencia e interpretabilidad pueden crear una desconexión entre las expectativas de los usuarios y la realidad de las soluciones basadas en IA en este espacio.

Preocupaciones regulatorias

Desde el punto de vista normativo, el problema de caja negra de la IA presenta retos únicos. Para empezar, la opacidad de los procesos de IA puede hacer cada vez más difícil para los reguladores evaluar la conformidad de estos sistemas con las normas y directrices existentes. Además, la falta de transparencia puede complicar la capacidad de los reguladores para desarrollar nuevos marcos que puedan abordar los riesgos y retos que plantean las aplicaciones de IA.

Los legisladores pueden tener dificultades para evaluar la imparcialidad, la parcialidad y las prácticas de privacidad de datos de los sistemas de IA, así como su posible impacto en los derechos de los consumidores y la estabilidad del mercado. Además, sin una comprensión clara de los procesos de toma de decisiones de los sistemas basados en IA, los reguladores pueden tener dificultades para identificar posibles vulnerabilidades y garantizar que se aplican las salvaguardias adecuadas para mitigar los riesgos.

Un avance normativo notable en relación con esta tecnología ha sido la Ley de Inteligencia Artificial de la Unión Europea, que está cada vez más cerca de convertirse en parte de la legislación del bloque tras alcanzar un acuerdo político provisional el 27 de abril.

En esencia, la Ley de IA pretende crear un entorno fiable y responsable para el desarrollo de la IA en la UE. Los legisladores han adoptado un sistema de clasificación que clasifica los distintos tipos de IA según su riesgo: inaceptable, alto, limitado y mínimo. Este marco está diseñado para abordar diversas preocupaciones relacionadas con el problema de la caja negra de la IA, incluidas las cuestiones en torno a la transparencia y responsabilidad.

La incapacidad de supervisar y regular eficazmente los sistemas de IA ya ha tensado las relaciones entre las distintas industrias y los organismos reguladores.

A principios del mes pasado, el popular chatbot de IA ChatGPT fue prohibido en Italia durante 29 días, principalmente debido a las preocupaciones de privacidad planteadas por la agencia de protección de datos del país por sospechas de violación del Reglamento General de Protección de Datos (RGPD) de la UE. Sin embargo, se permitió a la plataforma reanudar sus servicios el 29 de abril luego de que el CEO Sam Altman anunciara que él y su equipo habían tomado medidas específicas para cumplir con las demandas del regulador, incluida la revelación de sus prácticas de procesamiento de datos y la implementación de su aplicación de medidas de bloqueo por edad.

Una regulación inadecuada de los sistemas de IA podría erosionar la confianza pública en las aplicaciones de IA, ya que los usuarios están cada vez más preocupados por los sesgos inherentes, las imprecisiones y las implicaciones éticas.

El problema de la caja negra

Para abordar eficazmente el problema de la caja negra de la IA, es esencial emplear una combinación de enfoques que promuevan la transparencia, la interpretabilidad y la responsabilidad. Dos de estas estrategias complementarias son la IA explicable (XAI) y los modelos de código abierto.

La XAI es un campo de investigación dedicado a salvar la distancia entre la complejidad de los sistemas de IA y la necesidad de interpretabilidad humana. La XAI se centra en el desarrollo de técnicas y algoritmos capaces de ofrecer explicaciones comprensibles para el ser humano sobre las decisiones tomadas por la IA, lo que permite comprender el razonamiento que subyace a esas decisiones.

Entre los métodos que suelen emplearse en la XAI figuran los modelos sustitutos, el análisis de la importancia de las características, el análisis de sensibilidad y las explicaciones locales interpretables agnósticas del modelo. La implantación de la XAI en todos los sectores puede ayudar a las partes interesadas a comprender mejor los procesos basados en la IA, aumentando la confianza en la tecnología y facilitando el cumplimiento de los requisitos normativos.

Junto con la XAI, promover la adopción de modelos de IA de código abierto puede ser una estrategia eficaz para abordar el problema de la caja negra. Los modelos de código abierto conceden pleno acceso a los algoritmos y datos que impulsan los sistemas de IA, lo que permite a usuarios y desarrolladores examinar y comprender los procesos subyacentes.

Esta mayor transparencia puede ayudar a generar confianza y fomentar la colaboración entre desarrolladores, investigadores y usuarios. Además, el enfoque de código abierto puede crear sistemas de IA más sólidos, responsables y eficaces.

El problema de caja negra en el espacio cripto

El problema de la caja negra tiene ramificaciones significativas para varios aspectos del espacio cripto, incluidas las estrategias de negociación, las predicciones de mercado, las medidas de seguridad, la tokenización y los contratos inteligentes.

En el ámbito de las estrategias de negociación y las predicciones de mercado, los modelos basados en IA están ganando popularidad a medida que los inversores tratan de sacar provecho de la negociación algorítmica. Sin embargo, el problema de la caja negra impide que los usuarios comprendan cómo funcionan estos modelos, lo que dificulta la evaluación de su eficacia y sus riesgos potenciales. En consecuencia, esta opacidad también puede generar una confianza injustificada en las decisiones de inversión basadas en IA o hacer que los inversores confíen excesivamente en los sistemas automatizados.

La IA puede desempeñar un papel crucial en la mejora de las medidas de seguridad dentro del ecosistema blockchain mediante la detección de transacciones fraudulentas y actividades sospechosas. Sin embargo, el problema de la caja negra complica el proceso de verificación de estas soluciones de seguridad basadas en IA. La falta de transparencia en la toma de decisiones puede erosionar la confianza en los sistemas de seguridad y suscitar dudas sobre su capacidad para salvaguardar los activos y la información de los usuarios.

La tokenización y los contratos inteligentes -dos componentes vitales del ecosistema blockchain- también están siendo testigos de una mayor integración de la IA. Sin embargo, el problema de la caja negra puede ocultar la lógica que subyace a los tokens generados por IA o a la ejecución de contratos inteligentes.

A medida que la IA revoluciona diversos sectores, se hace más acuciante abordar el problema de la caja negra. Fomentando la colaboración entre investigadores, desarrolladores, responsables políticos y partes interesadas de la industria, pueden desarrollarse soluciones para promover la transparencia, la responsabilidad y la confianza en los sistemas de IA. Así pues, será interesante ver cómo sigue evolucionando este nuevo paradigma tecnológico.

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión.