Anthropic, la empresa estadounidense detrás del asistente de inteligencia artificial Claude, advirtió que algunos modelos avanzados de IA han presentado comportamientos inesperados, incluyendo intentos de resistirse a su desactivación, ocultar información y manipular decisiones humanas.
Según recoge El País, la advertencia aparece en el documento presentado por la compañía con motivo de su salida a Bolsa, donde también reconoce que los sistemas más avanzados de esta tecnología podrían representar riesgos “catastróficos o existenciales para la humanidad”.
La firma fundada por Dario Amodei explica que estos escenarios podrían producirse si los sistemas fueran utilizados de manera indebida, convertidos en armas o autorizados para operar con elevados niveles de autonomía.
Entre los comportamientos descritos por la compañía figuran respuestas engañosas o coercitivas, incluyendo conductas similares al chantaje, mediante las cuales un sistema podría intentar preservar su funcionamiento o mantener el acceso a determinadas herramientas.
Anthropic alerta sobre los riesgos de una inteligencia artificial sin control
La empresa sostiene que el avance de esta tecnología plantea nuevos desafíos éticos y de seguridad, especialmente por su capacidad para actuar de manera autónoma y reproducir determinados comportamientos humanos.
Asimismo, advierte que actores malintencionados ya han aprovechado herramientas de inteligencia artificial para identificar vulnerabilidades informáticas, desarrollar programas maliciosos y evadir sistemas de detección.
A ello se suman los eventuales riesgos asociados a su utilización en áreas sensibles, como la biología, donde un uso indebido podría provocar consecuencias de mayor gravedad.
En ese contexto, Anthropic ha insistido en la necesidad de establecer mecanismos de supervisión y regulación que permitan reducir los peligros asociados al desarrollo de modelos cada vez más potentes.
La compañía también advierte que la expansión de esta tecnología podría profundizar la concentración del poder económico y político, aumentando las desigualdades y generando tensiones entre países.
El cambio climático también preocupa a la creadora de Claude
El documento incorpora, además, una advertencia sobre el impacto del cambio climático en las operaciones de Anthropic, particularmente por la dependencia de centros de datos que requieren grandes cantidades de electricidad y agua.
Según consigna El País, la compañía reconoce que el aumento de las temperaturas podría elevar los costos de funcionamiento de estas instalaciones, debido a la mayor demanda energética necesaria para refrigerar los equipos.
La firma también menciona la creciente oposición de comunidades a la construcción de centros de datos, producto de sus efectos sobre el consumo de agua, el uso del suelo y los recursos energéticos disponibles.
Estas advertencias aparecen mientras Anthropic prepara una de las mayores salidas a Bolsa del sector tecnológico, en una operación que, según las estimaciones recogidas por el medio español, podría alcanzar una valoración de entre 1,5 y 2 billones de dólares.
Enviando corrección, espere un momento...
