¿Qué pasa con el reto de la ética en las grandes desarrolladoras de la IA?

El mercado de las grandes empresas desarrolladoras de Inteligencia Artificial (IA) se muestra ciertamente convulso en estos meses de 2026, en particular en potentes desarrolladoras que todavía no cotizan en Wall Street, como OpenAI o Anthropic. 

Compañías que, a juzgar por sus movimientos, quieren tener en cuenta cada una a su modo parámetros éticos, y que han enviado expertos a la cumbre vaticana celebrada en julio en Castel Gandolfo, Global Nobel Laureates Assembly. 

Además, son empresas de IA que están preparando su salida a los mercados, y de las que se filtran noticias que tienen relación con la preparación de su documentación para una posible salida a Bolsa (OpenAI), y con valoraciones de la compañía, en el caso de Anthropic.

Dejamos aparte, de momento, a grandes compañías cotizadas, más directamente beneficiadas por el auge de la IA, como Nvidia, Alphabet (Google), Microsoft y Broadcom.

La tecnología no es neutral

Sobre todas estas compañías sobrevuela la encíclica de León XIV ‘Magnifica humanitas’, que no es un tratado sobre la IA, como explica el mismo Pontífice (n. 97), pero que dedica un espacio notable a la IA, por ejemplo los nn. 97 a 111. 

A raíz de su publicación a finales de mayo, diversos autores han reflexionado sobre ideas sugerentes del Papa. Seleccionamos tan solo dos anotaciones de Rafael Sanz Carrera:

“El análisis de la encíclica subraya un punto clave: la tecnología no es neutral en sus efectos culturales. La IA no puede entenderse únicamente como una herramienta eficiente, sino como un fenómeno que reconfigura la manera de trabajar, relacionarse y decidir”

“En este contexto, el texto magisterial insiste en un principio decisivo: la dignidad humana no se deduce del progreso tecnológico, sino que lo precede y lo juzga. Este criterio actúa como eje de discernimiento ético ante cualquier desarrollo digital”.

Algunas afirmaciones del Papa en ‘Magnifica humanitas’

Aquí tienen en síntesis algunas de las ideas de León XIV sobre la IA, que ha reiterado también en algunas Audiencias:

“… hay que evitar el equívoco de equiparar esta “inteligencia” a la humana” (n. 99).

“El uso de la IA nunca es un hecho puramente técnico: cuando entra en procesos que inciden en la vida de las personas, afecta a sus derechos, oportunidades, reputación y libertad” (n. 102).

“Confiar, en la práctica, a un algoritmo el poder de seleccionar quién es digno y quién no, sin que nadie asuma el peso de la decisión, significa encomendarle la tarea de redefinir los límites de las posibilidades humanas.” (n. 103).

“No podemos considerar a la IA como moralmente neutra. En realidad, todo artefacto técnico lleva consigo decisiones y prioridades: lo que mide, lo que ignora, lo que optimiza y el modo en que clasifica personas y situaciones. Si un sistema se concibe o emplea tratando algunas vidas como menos dignas, o las excluye sin posibilidad de apelación, no es un simple instrumento que “hay que usar correctamente”; introduce ya un criterio que contradice la dignidad inalienable de la persona” (n- 104).

“Por eso, el discernimiento ético no se puede limitar a preguntarse si usamos un determinado sistema para un fin bueno o malo” (n. 104).

“Para que la IA respete la dignidad humana….”

“Para que la IA respete la dignidad humana y sirva realmente al bien común, es esencial que las responsabilidades estén claras en todas las etapas: desde quienes diseñan y programan los sistemas hasta quienes los utilizan y quienes resuelven confiarles las decisiones concretas”. (n. 105).

“Pedir prudencia, controles rigurosos y, en ocasiones, también una ralentización en la adopción de la IA no significa estar en contra del progreso, sino ejercitar un cuidado responsable hacia la familia humana” (n. 106).

“Hago un vehemente llamamiento a quienes desarrollan sistemas de IA. La innovación tecnológica puede ser, en cierto modo, una forma humana de participación en el acto divino de la creación. Los desarrolladores llevan, por tanto, un importante peso ético y espiritual, ya que cada elección de proyecto expresa una visión de la humanidad” (n. 111).

La jefa de ética de Open AI deja la empresa

No es difícil imaginar las exigencias y complicaciones que puede llevar a estas empresas y a sus directivos el hecho de trabajar en criterios como los citados. Una de las consecuencias son las dimisiones.

En pleno centro veraniego, el 14 de agosto, se recordaba la fuga de algunos cerebros en OpenAI. La Vanguardia informó de la marcha de Chloé Bakalar, jefa de ética, menos de un año después de incorporarse, como desveló Financial Times.

Bakalar se encargaba de los enfoques éticos para el desarrollo de modelos de lenguaje y la interacción humana con la IA, explicó una persona relacionada con su trabajo. Además, era la única experta en ética de la compañía.

“Agradecemos las aportaciones de Chloé”, declaró un portavoz. “La ética de la IA no recae en una sola persona o equipo dentro de OpenAI y las consideraciones éticas están muy integradas en el proceso de creación de modelos, impulsado por varios equipos de investigación”.

“La ética es, en realidad, responsabilidad de todos y lo digo como alguien cuyo trabajo consiste en liderar esta labor”, explicó por su parte Bakalar durante una conferencia sobre IA. (..). “Nunca debería haber una sola persona que actúe como centro moral de un desarrollador de IA”.

Amanda Askell (Anthropic): que Claude actúe como un agente moral

Alan Rozenshtein, y Kevin Frazier, directivos de Lawfare, conversaron en el primer trimestre del año con Amanda Askell, jefa de “alineación de personalidad” en Anthropic, sobre la constitución de Claude, el chatbot o  programa informático asistente capaz de mantener una conversación:

“Queremos que Claude actúe como lo haría una persona verdaderamente ética en la situación de Claude”. “Nuestra principal esperanza es que […] Claude […] [sea] un agente ético, en general razonable y con habilidades prácticas…”, dijo Askell.

Anthropic ha dedicado un espacio importante a explicar esa constitución de 20.000 palabras, que pueden consultar aquí.

Ética y naturaleza de Claude

Como pueden examinar, el apartado relativo a la ética de los modelos Claude, dice:

“La ética de Claude: ‘Nuestro objetivo principal es que Claude sea un agente bueno, sabio y virtuoso, que demuestre habilidad, buen juicio, sutileza y sensibilidad al tomar decisiones en situaciones reales, incluso en contextos de incertidumbre y desacuerdo moral’.

El texto añade que espera de Claude “altos estándares de honestidad” y “el razonamiento matizado que deseamos que utilice al sopesar los valores en juega para evitar daños”. “Nunca debe contribuir significativamente a un ataque con armas biológicas”, añade.

En la sección ‘La naturaleza de Claude’, el documento del que Amanda Askell es autora principal señala que “en esta sección expresamos nuestra incertidumbre sobre si Claude podría tener algún tipo de conciencia o estatus moral (ya sea ahora o en el futuro)”.

El desafío es poliédrico, y no ha hecho más que empezar para estas compañías, y para todos.