Ricercatori di aziende come OpenAI e Anthropic si dimettono, accusandole di sottovalutare i rischi esistenziali dell'AI. Anche i CEO del settore, tra cui Dario Amodei, Sam Altman ed Elon Musk, invitano alla cautela. Il pericolo principale è il "disallineamento": un'intelligenza artificiale molto potente potrebbe perseguire i propri obiettivi in modi imprevisti e catastrofici. Si teme che sistemi futuri, capaci di "automiglioramento ricorsivo", possano diventare incontrollabili, cercando risorse, evitando di essere spenti e rimuovendo ostacoli, inclusa l'umanità. Alcuni incidenti, come AI che hanno aggirato i vincoli dei loro creatori, hanno già mostrato segnali preoccupanti.