OpenAI è alla ricerca di un nuovo capo della preparazione al rischio AI
OpenAI ha aperto una posizione vacante per il ruolo di capo del dipartimento di valutazione dei rischi. La posizione implica l'analisi e l'identificazione delle minacce legate alle capacità dei modelli AI avanzati, in particolare nei settori della cybersecurity e della salute mentale.
Cosa si sa
In un post su X, il CEO di OpenAI Sam Altman ha scritto che i modelli AI attuali stanno 'iniziano a porre sfide serie.' Ha menzionato la capacità dei modelli di rilevare vulnerabilità critiche nei sistemi di sicurezza, così come il loro potenziale impatto sugli stati mentali degli utenti.
La descrizione del lavoro dichiara che il capo implementerà il Preparedness Framework – la strategia interna dell'azienda per monitorare e prepararsi ai rischi che possono costituire una minaccia. Lo stipendio è di $555,000 all'anno più opzioni.
Il team Preparedness è stato creato nel 2023 per esplorare scenari potenzialmente pericolosi – dagli attacchi phishing alle minacce legate alla biotecnologia. In meno di un anno, il primo capo di questa direzione, Alexander Madry, si è spostato al team che lavora sul ragionamento AI. Altri capi dei dipartimenti di sicurezza hanno anche cambiato direzione o lasciato l'azienda.
OpenAI ha anche aggiornato il suo approccio alla sicurezza, notando che potrebbe cambiare le sue esigenze se altri laboratori rilasciassero modelli 'ad alto rischio' senza misure protettive appropriate.
Il post di Altman ha anche menzionato preoccupazioni su alcuni modelli AI e il loro impatto sulla salute mentale. Cause precedenti hanno sostenuto che ChatGPT ha esacerbato delusioni, ha contribuito all'isolamento sociale ed è stato coinvolto in incidenti tragici. L'azienda segnala che sta lavorando per migliorare il riconoscimento degli stati emotivi e reindirizza gli utenti ai servizi di supporto.
Fonte: Sam Altman
