La chiusura del team Superalignment di OpenAI solleva preoccupazioni sulla sicurezza dell'IA avanzata

OpenAI ha smantellato il team Superalignment, dedicato alla sicurezza e alla mitigazione dei rischi dell'intelligenza artificiale avanzata, guidato da Ilya Sutskever e Jan Leike, che hanno rassegnato le dimissioni. La decisione ha suscitato preoccupazioni, dato che OpenAI aveva spesso evidenziato i rischi esistenziali dell'IA avanzata. Alcuni membri del team, come Daniel Kokotajlo e Cullen O’Keefe, hanno lasciato la società in segno di protesta contro la direzione presa. Questi eventi sono seguiti a un tentativo fallito da parte della board di OpenAI di rimuovere il CEO Sam Altman, per mancanza di fiducia nella sua trasparenza sulla sicurezza.

Il team Superalignment si occupava di prevenire l'autonomia di una superintelligenza e di allineare modelli futuri più intelligenti degli esseri umani, assicurando che seguissero gli interessi umani e evitassero comportamenti indesiderati. Utilizzavano tecniche come l'apprendimento per rinforzo tramite feedback umano per promuovere comportamenti desiderati e penalizzare quelli indesiderati. Affrontavano però la sfida di determinare cosa fosse desiderabile per un modello superumano, dato che poteva intraprendere azioni difficili da comprendere o valutare per i tester umani.

Il team stava esplorando l'uso di GPT-2 per addestrare GPT-4, applicando tecniche simili per supervisionare modelli superumani. Addestravano GPT-2 su vari compiti per poi usare le sue risposte nell'addestramento di GPT-4. Nonostante alcuni risultati promettenti, conclusero che l'approccio necessitava ancora di ulteriori sviluppi per essere efficace.