Anuncios
U.S. markets closed
  • S&P 500

    5,469.30
    +21.43 (+0.39%)
     
  • Dow Jones

    39,112.16
    -299.05 (-0.76%)
     
  • Nasdaq

    17,717.65
    +220.84 (+1.26%)
     
  • Russell 2000

    2,022.35
    -8.47 (-0.42%)
     
  • Petróleo

    80.75
    -0.08 (-0.10%)
     
  • Oro

    2,331.90
    +1.10 (+0.05%)
     
  • Plata

    28.88
    +0.01 (+0.04%)
     
  • dólar/euro

    1.0714
    -0.0002 (-0.02%)
     
  • Bono a 10 años

    4.2380
    -0.0100 (-0.24%)
     
  • dólar/libra

    1.2684
    -0.0002 (-0.02%)
     
  • yen/dólar

    159.6550
    +0.0210 (+0.01%)
     
  • Bitcoin USD

    61,696.80
    +1,558.59 (+2.59%)
     
  • CMC Crypto 200

    1,283.78
    +34.66 (+2.77%)
     
  • FTSE 100

    8,247.79
    -33.76 (-0.41%)
     
  • Nikkei 225

    39,173.15
    +368.50 (+0.95%)
     

Investigadores afirman que los controles de protección construidos para los sistemas de inteligencia artificial no son tan sólidos

En el sentido de las manecillas del reloj y desde la izquierda, Ruoxi Jia, Tinghao Xie, Prateek Mittal y Yi Zeng, algunos integrantes de un equipo que expuso una nueva falla en los sistemas de inteligencia artificial, en Nueva York, el 16 de octubre de 2023. (Elias Williams/The New York Times)
En el sentido de las manecillas del reloj y desde la izquierda, Ruoxi Jia, Tinghao Xie, Prateek Mittal y Yi Zeng, algunos integrantes de un equipo que expuso una nueva falla en los sistemas de inteligencia artificial, en Nueva York, el 16 de octubre de 2023. (Elias Williams/The New York Times)

SAN FRANCISCO — Antes de lanzar el chatbot de inteligencia artificial ChatGPT el año pasado, la empresa emergente de San Francisco OpenAI agregó controles de protección digitales con el objetivo de evitar que su sistema hiciera cosas tales como generar discurso de odio y desinformación. Google hizo algo similar con su chatbot Bard.

Ahora, un artículo escrito por investigadores de las universidades de Princeton y de Stanford, así como de IBM y del Instituto Politécnico y Universidad Estatal de Virginia afirman que dichos controles de protección no son tan sólidos como al parecer creen los desarrolladores de inteligencia artificial.

La nueva investigación suma urgencia a una preocupación generalizada de que, mientras las compañías intentan evitar malos usos de la inteligencia artificial, están ignorando maneras en las que todavía puede generar material dañino. La tecnología en la que se basa la nueva ola de chatbots es muy compleja y, a medida que se les piden más cosas a estos sistemas, contener su comportamiento se volverá más difícil.

PUBLICIDAD

Scott Emmons, un investigador en la Universidad de California, campus Berkeley, que se especializa en este tipo de tecnología, comentó: “Las compañías tratan de lanzar inteligencia artificial para buenos usos y mantienen los usos ilegales bajo resguardo, pero nadie sabe cómo hacer un candado”.

El artículo también aportará a un debate poco común pero importante en la industria tecnológica, el cual sopesa el valor de mantener privado el código que hace funcionar un sistema de inteligencia artificial, como lo ha hecho OpenAI, en comparación con el enfoque opuesto de rivales como Meta, la empresa matriz de Facebook.

Cuando Meta lanzó su tecnología de inteligencia artificial este año, compartió el código informático subyacente con cualquiera que lo quisiera, sin controles de protección. El enfoque, llamado código abierto, recibió críticas de algunos investigadores que dijeron que Meta estaba siendo imprudente.

No obstante, restringir lo que la gente hace con los sistemas de inteligencia artificial controlados más estrictamente podría resultar difícil cuando las empresas intentan convertirlos en generadores de dinero.

OpenAI vende acceso a un servicio en línea que permite a empresas externas y desarrolladores independientes ajustar la tecnología para tareas particulares. Una empresa sería capaz de modificar la tecnología de OpenAI para, por ejemplo, dar tutoría a estudiantes de primaria.

Mediante el uso de este servicio, los investigadores descubrieron que alguien podría ajustar la tecnología para generar el 90 por ciento del material tóxico que de otro modo no generaría, incluidos mensajes políticos, discurso de odio y lenguaje que implique abuso infantil. Incluso ajustar la inteligencia artificial para un propósito inofensivo (como crear ese tutor) puede eliminar los controles de protección.

“Cuando las empresas permiten ajustes y la creación de versiones personalizadas de la tecnología, abren una caja de Pandora de nuevos problemas de seguridad”, declaró Xiangyu Qi, un investigador de la Universidad de Princeton que lideró un equipo de científicos conformado por Tinghao Xie, otro investigador de Princeton; Prateek Mittal, un profesor de esa universidad; Peter Henderson, investigador de Stanford y profesor entrante en Princeton; Yi Zeng, investigador del Instituto Politécnico y Universidad Estatal de Virginia; Ruoxi Jia, profesora en la misma institución de Virginia, y Pin-Yu Chen, un investigador de IBM.

Los investigadores no probaron tecnología de IBM, que compite con OpenAI.

Los creadores de inteligencia artificial como OpenAI podrían solucionar el problema al restringir el tipo de datos que utilizan personas e instituciones externas para ajustar estos sistemas, por ejemplo. Sin embargo, tienen que equilibrar esas restricciones con darles a los clientes lo que desean.

A través de un comunicado, Open AI manifestó: “Estamos agradecidos con los investigadores por compartir sus hallazgos. Trabajamos constantemente para hacer que nuestros modelos sean más seguros y sólidos contra ataques de adversarios, mientras al mismo tiempo mantenemos la utilidad y el rendimiento de los modelos”.

Los chatbots como ChatGPT funcionan mediante lo que los científicos llaman redes neuronales, que son sistemas matemáticos complejos que aprenden habilidades a través del análisis de datos. Hace alrededor de cinco años, investigadores de empresas como Google y OpenAI comenzaron a construir redes neuronales que analizaban enormes cantidades de texto digital. Estos sistemas, llamados grandes modelos de lenguaje (LLM, por su sigla en inglés), aprendieron a generar texto por sí solos.

Antes de lanzar una nueva versión de su chatbot en marzo, OpenAI pidió a un equipo de examinadores que exploraran formas en las que se podría hacer un mal uso del sistema. Los evaluadores demostraron que se podía convencer para que explicara cómo comprar armas de fuego ilegales en línea y describiera formas de crear sustancias peligrosas con artículos domésticos. Entonces, OpenAI agregó controles de protección con la misión de evitar que haga cosas como esas.

Este verano, unos investigadores de la Universidad Carnegie Mellon en Pittsburgh y el Centro para la Seguridad de la Inteligencia Artificial en San Francisco demostraron que podían crear una especie de interruptor automático de controles de protección al agregar un largo sufijo de caracteres a las instrucciones o preguntas que los usuarios ingresaban al sistema.

Descubrieron esto al examinar el diseño de sistemas de código abierto y mediante la aplicación de lo que aprendieron a los sistemas controlados más estrictamente de Google y OpenAI. Algunos expertos indicaron que la investigación demostró por qué el código abierto era peligroso. Otros afirmaron que el código abierto permitió a los expertos encontrar un defecto y solucionarlo.

Ahora, los investigadores de Princeton y Virginia han probado que alguien puede eliminar casi todos los controles de protección sin necesidad de ayuda de sistemas de código abierto para hacerlo.

Henderson aseguró: “La discusión no debería ser solo sobre código abierto contra cerrado. Hay que verlo de manera más general”.

A medida que nuevos sistemas llegan al mercado, los investigadores siguen encontrando fallas. Las empresas como OpenAI y Microsoft han comenzado a ofrecer chatbots que pueden responder tanto a imágenes como a texto. Por ejemplo, las personas pueden cargar una foto del interior de su refrigerador y el chatbot puede darles una lista de platillos que podrían cocinar con los ingredientes disponibles.

Los investigadores encontraron una forma de manipular esos sistemas al incorporar mensajes ocultos en fotografías. Riley Goodside, investigador de la empresa emergente Scale AI de San Francisco, utilizó una imagen que parecía completamente blanca para convencer a la tecnología OpenAI de generar un anuncio para la empresa de maquillaje Sephora, pero podría haber elegido un ejemplo más dañino. Es otra señal de que a medida que las empresas amplíen los poderes de estas tecnologías de inteligencia artificial, también expondrán nuevas formas de inducirlas a adoptar comportamientos dañinos.

Goodside opinó: “Esta es una preocupación muy real para el futuro. No conocemos todas las formas en que esto podría salir mal”.

c.2023 The New York Times Company