OpenAI erweitert Codex: automer Entwickler, der im Hintergrund arbeiten kann

OpenAI hat ein umfangreiches Update für Codex veröffentlicht. Die Erweiterungen zielen darauf ab, Codex tiefer in den gesamten Software-Entwicklungsprozess zu integrieren und Aufgaben zu übernehmen, die weit über das bloße Schreiben von Code hinausgehen.

Neue Fähigkeiten auf dem Computer und im Browser

Codex kann jetzt den Computer im Hintergrund aktiv bedienen, indem es den Bildschirm sieht, klickt und mit einem eigenen Cursor tippt. Auf dem Mac können dabei mehrere Agenten parallel arbeiten, ohne den Nutzer in anderen Anwendungen zu stören. Das ist besonders beim Testen von Apps hilfreich.

Zudem wurde ein In-App-Browser in die Codex-App integriert, der es ermöglicht, direkt auf Webseiten zu kommentieren und dem Agenten präzise Anweisungen für die Frontend- oder Spieleentwicklung zu geben.

Für die visuelle Gestaltung von Produkten, Mockups oder Spielen greift Codex nun auf das Modell GPT-Image-1.5 zurück, um Bilder zu generieren und anzupassen.

Abbildung 1: UI-Entwicklung per Codex

Hinzu kommen über 90 neue Plugins, darunter Atlassian Rovo, CircleCI, GitLab Issues und Microsoft Suite, mit denen Codex noch mehr Kontext sammeln und plattformübergreifend agieren kann.

Abbildung 2: Plugins für Codex

Unterstützung des gesamten Software-Lebenszyklus

Um den Entwicklungszyklus ganzheitlich zu begleiten, bietet die Codex-App neue Werkzeuge für den Arbeitsalltag. Dazu gehören die direkte Bearbeitung von GitHub-Review-Kommentaren, die Nutzung mehrerer Terminal-Tabs sowie eine Alpha-Version zur Verbindung mit Remote-Devboxes über SSH.

Entwickler können Dateien nun direkt in der Seitenleiste öffnen und erhalten dabei Vorschauen für PDFs, Tabellenkalkulationen, Präsentationen und Dokumente.

Ein neuer Bereich für Zusammenfassungen hilft zusätzlich dabei, die Pläne, genutzten Quellen und erstellten Artefakte des Agenten nachzuverfolgen.

Automatisierung, Gedächtnis und proaktive Vorschläge

Ein Schwerpunkt des Updates liegt auf der langfristigen und wiederkehrenden Arbeitsorganisation. Durch erweiterte Automatisierungen kann Codex bestehende Konversationsverläufe wiederverwenden, ohne den bisherigen Kontext zu verlieren. Die KI kann sogar zukünftige Aufgaben für sich selbst planen und automatisch zu einem späteren Zeitpunkt weiterarbeiten, um Aufgaben über Tage oder Wochen hinweg zu erledigen.

Eine weitere Neuheit ist die Gedächtnisfunktion in einer Vorabversion: Codex merkt sich persönliche Präferenzen, Korrekturen und aufwändig gesammelte Informationen aus früheren Interaktionen. Damit kann Codex jetzt proaktiv vorschlagen, wie der Arbeitstag begonnen oder an welchen Projekten weitergearbeitet werden sollte. Die KI erkennt beispielsweise offene Kommentare in Google Docs, verknüpft diese mit Kontext aus Slack, Notion oder der Codebasis und erstellt daraus eine priorisierte Aufgabenliste für den Nutzer.

Verfügbarkeit der neuen Funktionen

Die Updates werden ab sofort für alle Nutzer der Codex-Desktop-App ausgerollt, die mit einem ChatGPT-Konto angemeldet sind. Für die Veröffentlichung gelten jedoch einige Ausnahmen und zeitliche Verzögerungen: Die personalisierten Funktionen, zu denen das Gedächtnis und die kontextbezogenen Vorschläge gehören, werden für Enterprise- und Edu-Kunden sowie für Nutzer in der EU und in Großbritannien erst in Kürze bereitgestellt. Die Funktion zur aktiven Computerbedienung im Hintergrund ist anfangs ausschließlich unter macOS nutzbar und wird für Nutzer aus der EU und Großbritannien ebenfalls erst zu einem späteren Zeitpunkt freigeschaltet.