Yahoo Finanzen „Ich wollte nicht auf der Titanic der KI arbeiten“: Ehemaliger OpenAI-Mitarbeiter erklärt, warum er kündigte
Ein ehemaliger Sicherheitsmitarbeiter von OpenAI sagte, das Unternehmen trete in die Fußstapfen der White Star Line, der Firma, die die Titanic gebaut hat.
"Ich wollte wirklich nicht für die Titanic der KI arbeiten, und deshalb habe ich gekündigt", sagte William Saunders. Er hat drei Jahre lang als technischer Angestellter in OpenAIs sogenanntem Superalignment-Team gearbeitet.
Saunders sprach in einer Episode des Podcasts des Youtubers Alex Kantrowitz, der am dritten Juli veröffentlicht wurde.
"Während meiner drei Jahre bei OpenAI habe ich mir manchmal eine Frage gestellt. Ist der Weg, auf dem sich OpenAI befindet, eher wie das Apollo-Programm oder eher wie die Titanic?", sagte er.
Die Bedenken des Software-Ingenieurs rühren vor allem von OpenAIs Plan her, künstliche allgemeine Intelligenz zu erreichen — den Punkt, an dem KI sich selbst lehren kann — und gleichzeitig kostenpflichtige Produkte auf den Markt zu bringen.
"Sie sind auf dem Weg, die Welt zu verändern, aber wenn sie etwas veröffentlichen, sind ihre Prioritäten eher die eines Produktunternehmens. Und ich denke, das ist es, was uns am meisten beunruhigt", sagte Saunders.
Apollo versus Titanic
Als Saunders mehr Zeit bei OpenAI verbrachte, hatte er das Gefühl, dass die Führungskräfte Entscheidungen trafen, die eher dem "Bau der Titanic ähnelten, bei dem die Herausgabe neuerer, glänzenderer Produkte Priorität hatte."
Er hätte eine Stimmung wie beim Apollo-Raumfahrtprogramm vorgezogen, das er als Beispiel für ein ehrgeiziges Projekt bezeichnete, bei dem es darum ging, "Risiken sorgfältig vorherzusehen und zu bewerten" und gleichzeitig die wissenschaftlichen Grenzen zu erweitern.
"Selbst wenn große Probleme auftraten, wie bei Apollo 13, gab es genug Redundanz, und man konnte sich der Situation anpassen, um alle sicher zurückzubringen", sagte er.
Die Titanic hingegen wurde von der White Star Line gebaut. Sie konkurrierte mit ihren Rivalen um größere Kreuzfahrtschiffe, erklärte Saunders.
Saunders befürchtet, dass sich OpenAI, ähnlich wie bei den Sicherheitsvorkehrungen der Titanic, zu sehr auf die aktuellen Maßnahmen und Forschungen zur KI-Sicherheit verlassen könnte.
"Es wurde viel Arbeit investiert, um das Schiff sicherzumachen und wasserdichte Abteile zu bauen, sodass man sagen konnte, es sei unsinkbar", sagte er. "Aber gleichzeitig gab es nicht genug Rettungsboote für alle. Als die Katastrophe eintrat, starben also viele Menschen."
Die Apollo-Missionen fand vor dem Hintergrund des Kalten Krieges und des Wettlaufs mit Russland statt. Sie forderten auch mehrere schwere Opfer, darunter drei NASA-Astronauten, die 1967 bei einem elektrischen Brand während eines Tests ums Leben kamen.
In einer E-Mail an Business Insider erläuterte Saunders seine Analogie weiter. "Ja, das Apollo-Programm hatte seine eigenen Tragödien. Es ist nicht möglich, AGI oder irgendeine neue Technologie ohne Risiko zu entwickeln. Was ich gerne sehen würde, ist, dass das Unternehmen alle möglichen vernünftigen Schritte unternimmt, um diese Risiken zu vermeiden."
OpenAI braucht mehr 'Rettungsboote', sagt Saunders
Saunders sagte gegenüber BI, dass eine "Titanic-Katastrophe" für KI sich in einem Modell manifestieren könnte, das einen groß angelegten Cyberangriff starten, Menschen massenhaft in einer Kampagne überzeugen oder beim Bau biologischer Waffen helfen könnte.
Kurzfristig sollte OpenAI in zusätzliche "Rettungsboote" investieren. Zum Beispiel könnte es die Veröffentlichung neuer Sprachmodelle verzögern, damit die Teams potenzielle Schäden erforschen können, sagte er in seiner E-Mail.
Während seiner Zeit im Superalignment-Team leitete Saunders eine Gruppe von vier Mitarbeitern. Sie beschäftigten sich damit, wie sich KI-Sprachmodelle verhalten — worüber Menschen seiner Meinung nach nicht genug wissen.
"Wenn wir in Zukunft KI-Systeme bauen, die so intelligent oder intelligenter sind als die meisten Menschen, werden wir Techniken brauchen, um zu erkennen, ob diese Systeme Fähigkeiten oder Motivationen verbergen", schrieb er in seiner E-Mail.
In seinem Interview mit Kantrowitz fügte Saunders hinzu, dass die Mitarbeiter des Unternehmens häufig Theorien darüber diskutierten, wie KI in nur wenigen Jahren zu einer "extrem transformativen" Kraft werden könnte.
"Ich denke, wenn das Unternehmen darüber spricht, hat es die Pflicht, sich darauf vorzubereiten", sagte er. Aber die bisherigen Aktionen von OpenAI in diese Richtung enttäuschten ihn.
In seiner E-Mail an BI schrieb er: "Obwohl es Mitarbeiter bei OpenAI gibt, die gute Arbeit leisten, um Risiken zu verstehen und zu verhindern, habe ich keine ausreichende Priorisierung dieser Arbeit gesehen."
Saunders verließ OpenAI im Februar. Das Unternehmen löste dann im Mai sein Superalignment-Team auf, nur wenige Tage nach der Ankündigung zu GPT-4o, seinem fortschrittlichsten KI-Produkt, das der Öffentlichkeit zugänglich ist.
OpenAI reagierte nicht sofort auf eine Anfrage von Business Insider nach einer Stellungnahme außerhalb der regulären Geschäftszeiten.
Das Wettrüsten der Technologieunternehmen
Technologieunternehmen wie OpenAI, Apple, Google und Meta haben sich ein Wettrüsten mit der KI geliefert und damit eine Investitionswelle ausgelöst, von der weithin vorhergesagt wird, dass sie die nächste große Umwälzung der Industrie ähnlich wie das Internet sein wird.
Das halsbrecherische Entwicklungstempo hat einige Mitarbeiter und Experten zu der Warnung veranlasst, dass mehr Corporate Governance erforderlich ist, um künftige Katastrophen zu vermeiden.
Anfang Juni veröffentlichte eine Gruppe ehemaliger und aktueller Mitarbeiter von Googles Deepmind und OpenAI — darunter auch Saunders — einen offenen Brief, in dem sie davor warnten, dass die derzeitigen Aufsichtsstandards der Branche nicht ausreichen, um eine Katastrophe für die Menschheit zu verhindern.
Der Mitbegründer und ehemalige Chefwissenschaftler von OpenAI, Ilya Sutskever, der die Superalignment-Abteilung des Unternehmens leitete, trat noch im selben Monat zurück.
Er gründete ein anderes Startup, Safe Superintelligence Inc., das sich, wie er sagte, auf die Erforschung von KI konzentrieren und dabei sicherstellen will, dass "die Sicherheit immer an erster Stelle steht."
Lest den Originalartikel auf Business Insider
