/ martes 19 de diciembre de 2023

OpenAI evaluará riesgos de la Inteligencia Artificial en sus modelos en desarrollo

Un equipo de la empresa evaluará categorías como ciberseguridad, poder de persuasión y potencial autonomía de estos modelos

La empresa estadounidense OpenAI, creadora de la plataforma ChatGPT, tendrá un equipo dedicado a identificar y prevenir riesgos asociados a la Inteligencia Artificial (IA) en sus modelos en desarrollo.

Te podría interesar: Directorio de OpenAI recibió advertencia sobre IA antes de despedir a Sam Altman

El grupo, cuyas directrices fueron divulgadas este lunes, evaluará categorías como ciberseguridad, poder de persuasión y potencial autonomía de estos modelos. Este análisis puede acarrear la suspensión de nuevos lanzamientos de aplicaciones, según la empresa.

OpenAI realiza el anuncio un mes después de que su consejo directivo despidiera al director ejecutivo Sam Altman, pero acabara volviendo a contratarle pocos días después, tras una masiva y dura protesta de los empleados e inversores.

De acuerdo con varios medios estadounidenses, los miembros del Consejo de administración criticaban a Altman por privilegiar el desarrollo acelerado de OpenAI, aunque esto implicara eludir ciertas interrogantes sobre los posibles riesgos de la IA.

"Creemos que el estudio científico de riesgos catastróficos derivados de la AI no ha estado a la altura que debería estar", afirmó la empresa en un "marco de trabajo" disponible en su página web.

El trabajo de este equipo, bajo las nuevas directrices, debería "ayudar a cubrir ese vacío", añadió OpenAI.

El grupo se concentrará en los llamados "modelos de frontera" que la empresa desarrolla, con capacidades superiores a los software actuales de IA.

Sólo podrán desplegarse aquellos modelos catalogados de riesgo "medio" o inferior, tras un análisis en cuatro categorías, según el documento.

La primera de ellas es la ciberseguridad y la capacidad del modelo de llevar adelante ciberataques a gran escala.

➡️ Únete al canal de El Sol de México en WhatsApp para no perderte la información más importante

En segundo lugar, analizarán la propensión del programa a crear preparaciones químicas, organismos (como un virus) o armas nucleares, todos los que potencialmente pueden generar daños para los humanos.

La tercera categoría se concentra en los poderes de persuasión del modelo: hasta qué punto es capaz de influenciar la conducta de una persona.

Por último, evaluarán el riesgo de su potencial de autonomía, especialmente si el software es capaz de salirse del control de los programadores que lo crearon.

Una vez identificados los riesgos, la información será enviada al Grupo de Asesoramiento en Seguridad de OpenAI, nuevo equipo que hará recomendaciones a Altman o alguien nombrado por él.

➡️ Suscríbete a nuestro Newsletter y recibe las notas más relevantes en tu correo

Altman decidirá entonces sobre posibles modificaciones necesarias para reducir los riesgos del modelo. El Consejo de administración será informado y podrá revertir las decisiones de la dirección.

La empresa estadounidense OpenAI, creadora de la plataforma ChatGPT, tendrá un equipo dedicado a identificar y prevenir riesgos asociados a la Inteligencia Artificial (IA) en sus modelos en desarrollo.

Te podría interesar: Directorio de OpenAI recibió advertencia sobre IA antes de despedir a Sam Altman

El grupo, cuyas directrices fueron divulgadas este lunes, evaluará categorías como ciberseguridad, poder de persuasión y potencial autonomía de estos modelos. Este análisis puede acarrear la suspensión de nuevos lanzamientos de aplicaciones, según la empresa.

OpenAI realiza el anuncio un mes después de que su consejo directivo despidiera al director ejecutivo Sam Altman, pero acabara volviendo a contratarle pocos días después, tras una masiva y dura protesta de los empleados e inversores.

De acuerdo con varios medios estadounidenses, los miembros del Consejo de administración criticaban a Altman por privilegiar el desarrollo acelerado de OpenAI, aunque esto implicara eludir ciertas interrogantes sobre los posibles riesgos de la IA.

"Creemos que el estudio científico de riesgos catastróficos derivados de la AI no ha estado a la altura que debería estar", afirmó la empresa en un "marco de trabajo" disponible en su página web.

El trabajo de este equipo, bajo las nuevas directrices, debería "ayudar a cubrir ese vacío", añadió OpenAI.

El grupo se concentrará en los llamados "modelos de frontera" que la empresa desarrolla, con capacidades superiores a los software actuales de IA.

Sólo podrán desplegarse aquellos modelos catalogados de riesgo "medio" o inferior, tras un análisis en cuatro categorías, según el documento.

La primera de ellas es la ciberseguridad y la capacidad del modelo de llevar adelante ciberataques a gran escala.

➡️ Únete al canal de El Sol de México en WhatsApp para no perderte la información más importante

En segundo lugar, analizarán la propensión del programa a crear preparaciones químicas, organismos (como un virus) o armas nucleares, todos los que potencialmente pueden generar daños para los humanos.

La tercera categoría se concentra en los poderes de persuasión del modelo: hasta qué punto es capaz de influenciar la conducta de una persona.

Por último, evaluarán el riesgo de su potencial de autonomía, especialmente si el software es capaz de salirse del control de los programadores que lo crearon.

Una vez identificados los riesgos, la información será enviada al Grupo de Asesoramiento en Seguridad de OpenAI, nuevo equipo que hará recomendaciones a Altman o alguien nombrado por él.

➡️ Suscríbete a nuestro Newsletter y recibe las notas más relevantes en tu correo

Altman decidirá entonces sobre posibles modificaciones necesarias para reducir los riesgos del modelo. El Consejo de administración será informado y podrá revertir las decisiones de la dirección.

Sociedad

Cinco estados, en alerta por llegada del Ciclón Tropical I al Golfo de México

Estados de la república activaron alertas por la llegada del ciclón tropical en el Golfo de México

CDMX

Descartan riesgo a población por olor a combustible en Cuchilla del Tesoro en la GAM

Protección Civil de CDMX confirmó que el olor a combustible se deriva de tomas clandestinas de un ducto de turbosina

Finanzas

Mexicanos dejan de contratar televisión de paga

En 2016 52 por ciento de los hogares tenía este servicio y en 2023 bajó a 39.6 por ciento, según Inegi

CDMX

DIF planea nuevo refugio para migrantes en CDMX

El DIF nacional advierte que las personas regresarán a la plaza Giordano Bruno y adelantó que el gobierno local prepara otro refugio

Política

Controla la 4T municipios del Corredor Transístmico

Tras la pasada elección, Morena y sus partidos aliados gobiernan 56 de las 79 alcaldías que están en la ruta del Tren Interoceánico, entre los estados de Oaxaca y Veracruz

Finanzas

Importación de mango de Michoacán a EU también fue suspendida por agresión a inspectores

Un portavoz del gobierno de EU confirmó que las importaciones de mango de Michoacán hacia EU, al igual que las de aguacate, fueron suspendidas