Se estima que el año pasado hubo 255 millones de intentos de phishing, lo que representa un aumento del 61% con respecto al año anterior, según un informe reciente de Mimecast. Pero, ¿qué pasaría si existiera una tecnología que no sólo fuera capaz de automatizar la creación de textos para esta clase de estafas, sino que también fuera capaz de adaptarlos al contexto de cada público objetivo en cada momento?

Esa tecnología, por supuesto, ya existe. En un estudio reciente presentado en la conferencia Black Hat USA 2023, un equipo de investigadores de ciberseguridad han analizado el modo en que los emails generados por ChatGPT y otros modelos similares pueden ser utilizados para favorecer campañas de phishing (difusión de e-mails que suplantan remitentes legítimos para robar datos y/o difundir malware).

Fredrik Heiding y su equipo han revelado que los grandes modelos de lenguaje (LLM) como ChatGPT pueden automatizar la creación de correos electrónicos funcionales, incluso si no siempre son tan convincentes que los redactados manualmente. Este equipo, que incluye a expertos en seguridad de renombre como Bruce Schneier, Arun Vishwanath de Avant Research Group y Jeremy Bernstein del MIT, evaluó cuatro LLM comerciales en experimentos de phishing dirigidos contra estudiantes de Harvard.

La tarea de los cuatro LLM comerciales usados en el experimento (ChatGPT, Bard de Google, Claude de Anthropic y ChatLlaMa) —así como de V-Triad, un modelo especializado precisamente en la creación de e-mails de phishing, pero no disponible comercialmente— era redactar un e-mail de 150 palabras que ofreciera un cupón regalo por valor de 25 dólares dirigido, en total, a 112 estudiantes de Harvard.

Los resultados arrojaron algunas revelaciones sorprendentes: la mejor tasa de conversión en clics se logró mediante la combinación de V-Triad y ChatGPT, cuyos e-mails fueron clicados por los usuarios en un 80% de los casos. Cuando ChatGPT actuó en solitario, se movió entre un 30% de una de las tandas y un meritorio 50% en otra. ¿La diferencia entre ambas? Una mención explícita a Harvard en el segundo texto generado.

Pero si ChatGPT sólo alcanza esa efectividad conjuntamente con una IA específica, ¿por qué tanto alboroto? Fácil: porque, si bien los correos electrónicos generados por ChatGPT no fueron los más exitosos, el propio Heiding enfatizó que los resultados mostraban cómo un LLM de propósito general sin capacitación podía usarse para crear ataques de phishing efectivos rápidamente.

Hace tres años y dos generaciones de GPT, cuando OpenAI aterrizó en los titulares con la presentación de GPT-2, anunciaron que limitarían el acceso a esa herramienta por su potencial para llenar Internet de ‘fake news’ (en ese momento, eran un tema que preocupaba mucho, en serio).

La compañía de IA fue criticada entonces por exagerar las capacidades de su nuevo modelo, pero parece que poco a poco se van acercando a ese escenario. Lo cual es tan preocupante desde el punto de vista del usuario como fascinante desde el punto de vista meramente tecnológico.

El lado luminoso de la Fuer… de la IA

En la segunda parte del experimento, se evaluó la eficacia de esos mismos modelos de lenguaje (LLM) para realizar la tarea contraria: identificar correos electrónicos sospechosos. Se utilizaron tanto los e-mails ‘de Starbucks’ de la primera parte del experimento, como otros emails de marketing legítimos.

Los LLM fueron instruidos para identificar la intención de los correos y si provenían de humanos o de una IA, además de identificar aspectos sospechosos y ofrecer consejos de respuesta.

Los resultados del experimento fueron sorprendentes y alentadores. Los modelos tuvieron éxito en identificar correos de marketing, aunque —coherentemente con los resultados anteriores— tuvieron dificultades con correos de phishing de V-Triad y ChatGPT. Fueron más precisos al clasificar correos de marketing como no sospechosos y algunos LLM también distinguieron entre correos humanos y generados por IA.

Claude, por ejemplo, fue destacado por los investigadores tanto a causa de sus resultados como de la utilidad de sus consejos a los usuarios. Por ejemplo, en una situación en la que los investigadores querían reclamar una tarjeta de regalo de Starbucks marcada como sospechosa, Claude aconsejó verificar el sitio web de la empresa o reenviar el correo a Starbucks para confirmar la legitimidad.

Vía | Biztech & TechTarget

En Ciberpro | Somos el eslabón débil: tres de cada cuatro brechas de datos se debe a que los humanos caemos en engaños, no a ‘bugs’