L'intelligenza artificiale (IA) si è consolidata come un obiettivo prioritario per i criminali informatici, che cercano di clonare modelli proprietari e, allo stesso tempo, utilizzano l'IA per perfezionare ed eseguire attacchi più sofisticati. Questa doppia direzione ha spinto la crescita di un mercato clandestino di servizi basati su IA, come rivelato dal rapporto 'AI Threat Tracker' elaborato dal Google Threat Intelligence Group (GTIG). Nell'ultimo anno, si è registrato un incremento nei cosiddetti attacchi di distillazione, che consistono nell'estrazione di modelli di IA generativa per analizzarne il funzionamento e replicarli. L'interesse principale degli attaccanti risiede nella comprensione del ragionamento interno dei modelli e dei processi decisionali, con Gemini come uno degli obiettivi più ambiti. Il rapporto del GTIG sottolinea che gli attori malevoli impiegano l'IA in tutte le fasi delle loro operazioni, dalla programmazione e creazione di script, alla raccolta di informazioni su potenziali vittime, all'analisi delle vulnerabilità e all'esecuzione di azioni dopo aver compromesso un sistema. Tra i casi evidenziati, si menziona APT42, un gruppo legato all'Iran, che ha utilizzato modelli di IA generativa per identificare email ufficiali e analizzare potenziali partner commerciali, facilitando così la creazione di pretesti credibili per le loro campagne. D'altra parte, UNC2970, legato alla Corea del Nord, ha utilizzato Gemini per sintetizzare intelligenza da fonti aperte (OSINT) e profilare obiettivi strategici. L'IA è stata anche impiegata sperimentalmente per dotare di nuove capacità il malware. Un esempio è HONESTCUE, che ha utilizzato l'API di Gemini per esternalizzare la generazione di funzionalità, cercando di eludere i sistemi tradizionali di rilevamento e analisi. Inoltre, il kit di phishing COINBAIT, progettato per impersonare servizi di scambio di criptovalute e rubare credenziali, è stato sviluppato con strumenti di generazione di codice assistiti da IA. Il rapporto identifica anche l'esistenza di un mercato nero di servizi di IA orientati ad attività illecite, con forum in inglese e russo dove vengono commercializzati strumenti e servizi potenziati da IA. Tuttavia, i criminali informatici affrontano ancora difficoltà nel creare modelli personalizzati, quindi tendono a ricorrere a soluzioni già esistenti e mature. Un caso illustrativo è il kit Xanthorox, promosso come un'IA personalizzata per la creazione autonoma di malware e campagne di phishing. Tuttavia, l'analisi del GTIG rivela che, lontano dall'essere uno sviluppo esclusivo, si basa sull'integrazione di prodotti commerciali e di terze parti.