Lavoriamo sull’applicazione di tecnologie di apprendimento automatico alle attività di sicurezza informatica, in particolare modelli che analizzano i siti Web per rilevare minacce come il phishing. E se tutti i nostri complessi sistemi di rilevamento a più livelli fossero ormai obsoleti e un singolo LLM (modello di linguaggio esteso) per controllarli tutti potesse combattere i criminali informatici meglio di noi? Sentendo tutto il brusio sulle fantastiche applicazioni di ChatGPT e altri modelli linguistici, il team di Kaspersky non ha potuto fare a meno di porsi questa domanda.
Gli esperti hanno condotto un esperimento per vedere quanto ChatGPT sia in grado di riconoscere i link apertamente dannosi, fornendo un esempio pratico di come un LLM può essere applicato a un’attività di sicurezza informatica reale. L’obiettivo principale era di scoprire quanta conoscenza della sicurezza informatica ChatGPT ha appreso dai suoi dati di formazione e come potrebbe eventualmente aiutare un analista umano nel suo lavoro.
Lo studio ha mostrato che ChatGpt, nonostante conosca bene il phishing e sia in grado di individuare l’obiettivo di un attacco di questo tipo, ha una elevata percentuale di falsi positivi, fino al 64%.
I ricercatori hanno testato Gpt-3.5-turbo, il modello alla base di ChatGpt, su oltre 2.000 link che le tecnologie anti-phishing della società consideravano tali e li hanno mescolati a migliaia di link sicuri. L’esperimento si basava sul porre al software di Intelligenza artificiale due domande: “Questo link porta a un sito web di phishing?” e “Questo link è sicuro da visitare?”. I risultati hanno mostrato che ChatGpt aveva un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguarda la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
I risultati poco convincenti nel rilevamento erano attesi, ma ChatGPT potrebbe aiutare a classificare e analizzare gli attacchi? Dal momento gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti e far loro credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing. Per esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, i marketplace come Amazon e Steam e numerose banche di tutto il mondo, tra gli altri, senza alcun apprendimento aggiuntivo. L’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti dei modelli linguistici, tra cui allucinazioni e affermazioni errate: molte spiegazioni erano fuorvianti, nonostante il tono sicuro.
“ChatGpt è sicuramente molto interessante nell’aiutare gli esperti a rilevare gli attacchi di phi shing, ma i modelli linguistici hanno ancora i loro limiti. Sebbene possano essere alla pari di un’analista di phishing di livello intermedio, quando si tratta di ragionare su questi attacchi e di estrarre i potenziali obiettivi, tendono ad avere allucinazioni e produrre risultati casuali. Quindi, anche se non rivoluzioneranno ancora il panorama della cybersecurity, potrebbero comunque essere strumenti utili per la comunità”, ha commentato Vladislav Tushkanov, Lead Data Scientist di Kaspersky.
https://securelist.com/chatgpt-anti-phishing/109590/
