Computer Use Agents: Wie KI lernt, Ihren Desktop zu bedienen

Was ein Computer Use Agent tatsächlich ist#

Was mich an Computer Use Agents am meisten überrascht hat, ist die Einfachheit des Grundprinzips: einen Screenshot machen, erkennen, was auf dem Bildschirm zu sehen ist, irgendwo klicken. Das ist alles. Keine API, kein DOM-Zugriff, keine anwendungsspezifischen Konnektoren. Nur ein Modell, das Pixel betrachtet und Mausereignisse sendet.

Ein Computer Use Agent nimmt den Bildschirm über Screenshots wahr, identifiziert UI-Elemente mithilfe von Vision-Modellen und führt Aktionen aus (Klicks, Tastatureingaben, Scrollen, Tastenkombinationen) — in jeder Anwendung auf jedem Betriebssystem. Er interagiert mit Software so, wie es ein menschlicher Bediener tun würde: die Anwendung öffnen, die Schaltfläche finden, darauf klicken, das Formularfeld ausfüllen, zum nächsten Feld wechseln, absenden.

Herkömmliche Automatisierungstools benötigen Vorwissen über die interne Struktur einer Anwendung: XPath-Selektoren, DOM-Zugriff, API-Integrationen, spezielle Konnektoren. Computer Use Agents überspringen all das. Sie arbeiten mit dem, was sie sehen — genau so, wie ein Auftragnehmer, dem man eine Tastatur und eine Maus in die Hand drückt.

85 % der Unternehmen haben bis 2025 KI-Agenten in mindestens einen Workflow integriert, doch Computer Use im Speziellen befindet sich noch in der frühen Produktivphase (G2 Enterprise AI Agents Report, August 2025). Die Technologie funktioniert — mit realen Einschränkungen, die in der Praxis relevant sind. Beides ist wissenswert, bevor Sie darauf aufbauen.

So funktionieren Computer Use Agents: der Wahrnehmungs-Aktions-Kreislauf#

Schritt 1: Erfassen (der Agent ist zwischen Screenshots blind)#

Der Agent erstellt einen Screenshot des aktuellen Bildschirmzustands. Dieser Screenshot ist seine einzige Sicht auf die Welt; er hat keinen direkten Zugriff auf den zugrunde liegenden Code, das DOM oder das Datenmodell der Anwendung.

Screenshots werden typischerweise an Entscheidungspunkten aufgenommen: vor einer Aktion und danach, um das Ergebnis zu verifizieren. Einige Implementierungen behandeln die Anzeige als kontinuierlichen Videostream für eine reaktivere Steuerung, aber das Modell mit einem Screenshot pro Aktion dominiert bei den meisten aktuellen Agents. Eine praktische Konsequenz: Der Agent kann keinen Tooltip erkennen, der zwischen zwei Aufnahmen erschienen und wieder verschwunden ist. Was er nicht sieht, darauf kann er nicht reagieren.

Schritt 2: Grounding (Pixel in Absicht umwandeln)#

„Grounding" bezeichnet den Prozess, mit dem der Agent einen Screenshot einer Schnittstellenbeschreibung zuordnet: Welche Anwendung ist das? Welche UI-Elemente sind sichtbar? Wo befindet sich das Element, mit dem ich interagieren muss?

Koordinatenbasiertes Grounding ist der gängige Ansatz: Das Modell identifiziert die Pixelkoordinaten einer Schaltfläche, eines Eingabefelds oder eines Links, und der Agent nutzt diese Koordinaten, um die Eingabe zu steuern. Das funktioniert gut — bis ein Element um einige Pixel verschoben wird und der Klick daneben geht.

Fortgeschrittenere Grounding-Ansätze (die in einigen Frameworks verwendet werden) identifizieren zusätzlich die semantische Rolle von Elementen. Nicht nur „da ist eine Schaltfläche bei (450, 320)", sondern „diese Schaltfläche sendet dieses Formular ab". Semantisches Grounding ist widerstandsfähiger gegenüber kleineren Layout-Änderungen. Es ist allerdings auch schwieriger, es korrekt umzusetzen.

Schritt 3: Planen (wo die Modellqualität wirklich sichtbar wird)#

Nachdem der aktuelle Zustand erfasst wurde, überlegt der Agent, was als Nächstes zu tun ist — ausgehend vom Bildschirmzustand und dem Aufgabenziel: Welche Aktion ist die richtige?

Bei einfachen Aufgaben („auf die Schaltfläche Absenden klicken") ist der Plan trivial. Bei Workflows mit Verzweigungslogik oder Fehlerzuständen („dieses Unternehmen recherchieren, das Kontaktformular ausfüllen und dann das Ergebnis in diese Tabelle exportieren") muss die Planungsschicht den Aufgabenstatus verfolgen, unerwartete Bildschirmzustände behandeln und entscheiden, wann etwas schiefgegangen ist — und wann es einfach nur anders gelaufen ist als erwartet. Dies ist der Schritt, in dem Claude Sonnet GPT-4o bei komplexen Aufgaben übertrifft und in dem die Benchmark-Unterschiede zwischen den Modellen sichtbar werden.

Schritt 4: Ausführen (Eingabeereignisse an das Betriebssystem)#

Der Agent führt die geplante Aktion aus, indem er Eingabeereignisse an das Betriebssystem sendet:

• Mausaktionen: Zu Koordinaten bewegen, Linksklick, Rechtsklick, Doppelklick, Klicken und Ziehen
• Tastaturaktionen: Text eingeben, Tastenkombinationen drücken (Strg+C, Alt+Tab, Enter), Modifikatortasten halten
• Scrollen: An bestimmten Koordinaten nach oben/unten scrollen

Diese Aktionen laufen über die Eingabeschicht des Betriebssystems, was bedeutet, dass sie in jeder Anwendung funktionieren: Browser, Desktop-App, Legacy-Unternehmenssoftware — alles, was Tastatur- und Mauseingaben akzeptiert. Keine anwendungsspezifische Integration erforderlich.

Schritt 5: Verifizieren (der Schritt, den die meisten in Demos überspringen)#

Nach der Ausführung einer Aktion erstellt der Agent einen weiteren Screenshot und prüft, ob die erwartete Änderung eingetreten ist. Hat der Klick auf die Schaltfläche zur nächsten Seite navigiert? Hat die Formularübermittlung eine Bestätigung angezeigt? Sind die Daten in der richtigen Zelle erschienen?

Ohne diesen Schritt hat der Agent keine Möglichkeit festzustellen, ob irgendetwas tatsächlich funktioniert hat. Ein Klick, der das Ziel verfehlt, sieht genauso aus wie ein Klick, der getroffen hat — bis man es überprüft. Deshalb neigen naive Implementierungen, die auf Verifizierung verzichten, dazu, in der Produktion still zu scheitern: Sie durchlaufen den Aktionskreislauf, bestätigen aber nie, dass der Kreislauf das getan hat, was er tun sollte.

Computer Use Agents vs. herkömmliche Automatisierungstools#

Was Selenium und UiPath voraussetzen, Computer Use Agents aber nicht#

Herkömmliche Automatisierungstools (Selenium, UiPath, Playwright, RPA-Systeme) interagieren mit Anwendungen über deren zugrunde liegende Struktur:

• Web-Automatisierung (Selenium, Playwright): Erfordert DOM-Zugriff. Das Automatisierungsskript identifiziert Elemente über CSS-Selektoren, XPath oder Element-Attribute. Wenn sich die HTML-Struktur der Anwendung ändert, bricht die Automatisierung zusammen.
• RPA-Tools (UiPath, Automation Anywhere): Können entweder bildbasierte Erkennung oder Element-Selektoren verwenden. Der Element-Selektor-Ansatz erfordert Kenntnis des Accessibility Trees oder der internen Struktur der Anwendung.
• API-Integrationen: Setzen voraus, dass die Anwendung eine API besitzt und dass der Integrationscode geschrieben und gepflegt wird.

Computer Use Agents benötigen nichts davon. Sie sehen den Bildschirm und interagieren damit. Das macht sie einsetzbar für Anwendungen ohne API, für Legacy-Unternehmenssoftware, die vor dem API-Zeitalter entwickelt wurde, für Weboberflächen, die zu komplex oder zu häufig veränderlich für zuverlässige selektorbasierte Automatisierung sind, und für anwendungsübergreifende Workflows, die mehrere Tools ohne eine gemeinsame Integrationsschicht umfassen.

Das ist eine wirklich nützliche Eigenschaft. Es gibt in Unternehmensumgebungen eine Menge Software, die keine API hat und keinen realistischen Weg, eine zu bekommen.

Wann Sie trotzdem eine API oder eine speziell entwickelte Integration wollen#

Computer Use bringt reale Kosten mit sich. Eine API-Integration ist schneller, zuverlässiger, besser auditierbar und deutlich günstiger im Betrieb: keine Screenshot-Erfassung und keine Vision-Modell-Inferenz bei jedem Schritt. Wenn eine gut gepflegte API für Ihren Automatisierungszweck existiert, nutzen Sie sie. Auf Computer Use zurückzugreifen, wenn eine direkte Integration verfügbar ist, wäre so, als würde man eine Maschine bedienen, indem jemand durchs Fenster schaut und Knöpfe drückt — anstatt die Steuerung zu verwenden.

Selektorbasierte Web-Automatisierung (Playwright, Puppeteer) ist ebenfalls schneller und zuverlässiger als screenshotbasierte Computer Use für webspezifische Workflows, bei denen Sie die DOM-Struktur kontrollieren oder kennen.

Setzen Sie Computer Use ein, wenn die Alternativen nicht existieren oder nicht praktikabel sind.

Der Kompromiss: Flexibilität vs. Zuverlässigkeit#

Computer Use Agents können mit jeder Anwendung arbeiten, die eine grafische Oberfläche hat — ohne individuelle Integrationsarbeit. Diese Flexibilität geht auf Kosten der Zuverlässigkeit, und der Preis ist nicht gering.

Eine Schaltfläche, die sich zwischen Seitenladungen um einige Pixel verschiebt, bringt einen pixelkoordinatenbasierten Klick zum Scheitern. Ein Ladeindikator, der länger als erwartet verweilt, veranlasst den Agent, auf einem veralteten Bildschirmzustand zu agieren. Ein Dialog, der unerwartet mitten im Workflow erscheint, erfordert, dass der Agent ihn erkennt, behandelt und schließt, bevor er weitermacht. Das sind keine Randfälle; sie treten regelmäßig in realen Anwendungen auf.

In der Praxis bewähren sich Computer Use Agents gut für klar definierte Workflows in stabilen Oberflächen — mit expliziter Verifizierung nach jedem Schritt. Für volatile Oberflächen oder Workflows, die sehr hohe Zuverlässigkeit erfordern, sollten Sie mit erheblichem Entwicklungsaufwand für Verifizierungs- und Recovery-Logik rechnen.

Die wichtigsten Computer Use Agents 2026#

Claude Computer Use und Cowork#

Anthropic führte Computer-Use-Fähigkeiten für Claude Ende 2024 ein. Claude Sonnet 4.5 erzielte 2025 auf dem OSWorld-Benchmark 61,4 %, gegenüber 42,2 % zuvor (OSWorld / Anthropic, 2025). Unter menschlichem Niveau, aber eine echte Generationsverbesserung.

Cowork ist Anthropics Desktop-Agent, der am 12. Januar 2026 als Research Preview veröffentlicht wurde. Er baut eine Produktschicht auf der zugrunde liegenden Computer-Use-Fähigkeit auf: ein Plugin-System, MCP-Konnektoren, ein Berechtigungsmodell und einen Skills-Marketplace. Das macht ihn in regulierter Form für Wissensarbeiter einsetzbar, ohne dass Sie diese Governance selbst aufbauen müssen. Einen tieferen Einblick in Cowork als Unternehmenstool finden Sie unter Anthropic Cowork: Was es ist und wie Unternehmen es nutzen.

OpenAI Operator und ChatGPT Agent#

OpenAI brachte Computer Use über Operator (einen dedizierten Web-Browsing-Agent) und als native Fähigkeit in der ChatGPT-Agent-Schnittstelle heraus. GPT-5.4, veröffentlicht am 5. März 2026, ist das erste OpenAI-Frontier-Modell mit integrierten Computer-Use-Fähigkeiten, die auf die Steuerung virtueller Maschinen über Browser, Desktop-Anwendungen und Dateiverwaltung trainiert wurden (OpenAI, März 2026). OpenAI behandelt Computer Use als zentrale Modellfähigkeit, nicht als Zusatzfunktion.

Google Gemini Computer Use#

Gemini 2.5 Computer Use erzielte Anfang 2026 88,9 % auf WebVoyager und 69,7 % auf AndroidWorld (Google / OSWorld, 2026). Das sind starke Werte für browserbasierte Aufgaben. Die Steuerung auf Betriebssystemebene ist weniger ausgereift. Googles Implementierung ist eng mit Chrome integriert, was ihr speziell bei Web-Workflows einen Vorteil verschafft.

Wie die Benchmark-Zahlen im Vergleich aussehen#

Einige Punkte, die beim Lesen dieser Zahlen zu beachten sind:

Die Benchmarks messen nicht dasselbe. WebVoyager testet die Navigation im Webbrowser, AndroidWorld testet die Steuerung mobiler Apps, OSWorld testet die allgemeine Aufgabenerfüllung auf Betriebssystemebene. Starke Leistung bei WebVoyager sagt nichts über die OSWorld-Leistung voraus — und umgekehrt.

Es handelt sich außerdem um kontrollierte Benchmark-Bedingungen, nicht um Produktiv-Workflows. Reale Aufgaben weisen mehr Variabilität, mehr unerwartete Zustände und Fehlermodi auf, die Benchmarks nicht erfassen. Behandeln Sie die Zahlen als Richtungsindikator.

Die OSWorld-Lücke ist die relevanteste für Desktop-Automatisierung: Jedes aktuelle System liegt unter dem menschlichen Niveau. Claude Sonnet 4.5 bei 61,4 % bedeutet, dass ungefähr 4 von 10 Aufgaben scheitern oder manuelles Eingreifen erfordern. Das ist kein Fehler, den man umgehen muss; es ist eine Einschränkung, für die man designen muss.

Wo Cowork hingehört: Desktop-Agent vs. reines Computer Use#

Was Cowork über Computer Use hinaus bietet#

Reines Computer Use über die API liefert Ihnen den Wahrnehmungs-Aktions-Kreislauf: Screenshot rein, Aktion raus. Es ist ein Baustein. Nützlich, aber den Rest des Systems müssen Sie selbst konstruieren.

Cowork fügt die Produktschicht hinzu:

• Plugins: Fertige Skills und Workflows für bestimmte Berufsfelder (Finanzen, Recht, Personalwesen, Vertrieb, Entwicklung)
• MCP-Konnektoren: Strukturierte Integrationen mit Cloud-Diensten (Salesforce, Google Drive, DocuSign, FactSet), die dem Agent Zugang zu realen Daten geben, anstatt sich nur auf das zu verlassen, was er vom Bildschirm ablesen kann
• Berechtigungsmodell: Ordnerbasiertes Sandboxing, Zugriffskontrolle für Konnektoren, vom Administrator verwalteter Plugin-Marketplace
• Skills und Slash-Befehle: Benannte Workflow-Vorlagen, die konsistent ausgelöst werden — keine Ad-hoc-Anweisungen an eine allgemeine Computer-Use-Fähigkeit

Wenn Sie eine regulierte Unternehmensbereitstellung aufbauen, liefert Cowork Ihnen diese Governance standardmäßig. Mit reinem API-Zugriff schreiben Sie sie von Grund auf selbst.

Plugins, Skills und MCP-Konnektoren#

Coworks Plugin-System bedeutet, dass Sie bei gängigen Berufsfeldern nicht bei Null anfangen. Das Finanz-Plugin enthält vorgefertigte Skills für gängige Finanzaufgaben. Das Rechts-Plugin enthält Vertragsprüfungs- und Compliance-Workflows. Sie passen auf einem vorhandenen Ausgangspunkt an, anstatt von Grund auf neu zu bauen.

MCP-Konnektoren sind wichtig, weil das Lesen von Daten per Bildschirmabgriff langsamer, fragiler und fehleranfälliger ist als das Lesen über eine strukturierte API. Ein Salesforce-MCP-Konnektor liefert dem Agent präzise, strukturierte CRM-Daten. Dieselben Daten durch Scraping der Salesforce-Oberfläche zu lesen, führt zu Latenz, Koordinatenempfindlichkeit und Layout-Änderungsrisiko. Wo MCP-Konnektoren verfügbar sind, sollten Sie sie nutzen.

Warum die VM-Sandbox für den Unternehmenseinsatz wichtig ist#

Cowork kann Browser-Automatisierung optional innerhalb einer sandboxed virtuellen Maschine ausführen, die die Browser-Aktionen des Agents von Ihrer lokalen Sitzung isoliert. Cookies, gespeicherte Passwörter und Sitzungsdaten aus Ihrem persönlichen Browser sind für den Agent, der in der Sandbox arbeitet, nicht zugänglich.

IT-Teams stellen zuverlässig eine Variante der Frage: „Wenn der Agent den Browser steuert, kann er dann auf meine persönlichen Konten zugreifen?" Mit Sandbox-Isolierung ist die Antwort klar umrissen. Ohne sie wird die Antwort kompliziert.

Was Computer Use Agents heute können und was nicht#

Aufgaben, bei denen sie gut abschneiden#

Computer Use Agents arbeiten zuverlässig, wenn Aufgaben diese Merkmale aufweisen:

• Stabile Oberflächen. Anwendungen, die ihre Benutzeroberfläche nicht häufig ändern und eine konsistente Elementpositionierung aufweisen.
• Klar definierte Abschlusskriterien. Aufgaben, bei denen „erledigt" visuell eindeutig ist: Eine Bestätigungsseite erscheint, ein Datensatz wird angelegt, ein Feld wird befüllt.
• Fehlertolerante Zustände. Workflows, bei denen eine falsche Aktion rückgängig gemacht oder erkannt werden kann, bevor sie irreversible Nebenwirkungen verursacht.
• Moderate Komplexität. Mehrstufig, aber nicht tief verzweigt: 5-15 einzelne Schritte mit begrenzter Verzweigung.

Aufgaben, die in der Produktion zuverlässig funktionieren: standardisierte Formulare ausfüllen (Spesenberichte, Aufnahmeformulare, Datenerfassung), strukturierte Daten aus Webseiten in eine Tabelle extrahieren, eine konsistente Weboberfläche navigieren, um einen Bericht zu exportieren, Daten zwischen Tools übertragen, die keine gemeinsame API haben.

Aufgaben, bei denen sie noch scheitern#

• Hochvariable Oberflächen. Single-Page-Anwendungen mit starkem zustandsabhängigem Rendering, A/B-getestete Benutzeroberflächen oder Anwendungen, die je nach Kontotyp unterschiedlich rendern.
• Irreversible Aktionen mit hohem Risiko. Massen-E-Mails versenden, Finanztransaktionen ausführen, Datensätze löschen. Diese erfordern eine menschliche Bestätigung, bevor der Agent fortfährt — ausnahmslos.
• CAPTCHA und Bot-Erkennung. Die meisten aktuellen Implementierungen können CAPTCHAs nicht zuverlässig lösen. Websites mit aggressiver Bot-Erkennung können Agent-gesteuerte Sitzungen vollständig blockieren.
• Dynamische Inhalte. Seiten, die Inhalte asynchron nach dem initialen Rendering nachladen, erfordern, dass der Agent wartet und erneut erfasst, bevor er handelt. Schlecht getimte Aufnahmen führen zu Aktionen auf veraltetem Zustand.
• Lange autonome Ketten ohne Verifizierung. Aufgaben mit über 30 Schritten und ohne Zwischenprüfpunkte akkumulieren Fehler. Jeder Schritt hat eine geringe Fehlerwahrscheinlichkeit; über 30 Schritte kumuliert, wird die Gesamtfehlerrate erheblich.

Die Zuverlässigkeitslücke und wie man damit umgeht#

61 % Erfolgsrate auf OSWorld ist für die meisten Unternehmens-Workflows nicht als vollautonomes System einsetzbar. Das bedeutet nicht, dass Computer Use nutzlos ist — es bedeutet, dass Sie um die Fehlerrate herum designen müssen, anstatt so zu tun, als gäbe es sie nicht.

Grenzen Sie den Umfang ein. „Navigiere zu dieser bestimmten Berichtsseite und exportiere sie als CSV" ist weitaus zuverlässiger als „recherchiere dieses Unternehmen und fasse aktuelle Neuigkeiten zusammen." Spezifität übersetzt sich direkt in Zuverlässigkeit.

Fügen Sie nach jedem kritischen Schritt eine Verifizierung hinzu. Der Agent sollte den erwarteten Zustand bestätigen, bevor er fortfährt. Bei Fehlschlag: erneut versuchen oder eskalieren, nicht weitermachen.

Verlangen Sie eine menschliche Bestätigung vor irreversiblen Aktionen. Finanztransaktionen, ausgehende Kommunikation, gelöschte Datensätze. Keine Ausnahmen.

Bauen Sie Fallback-Pfade explizit ein. Nach einer definierten Anzahl fehlgeschlagener Versuche sollte der Agent an einen Menschen eskalieren. In einer Fehlerschleife hängen oder still scheitern sind beides inakzeptable Ergebnisse.

Häufig gestellte Fragen#

Was ist der Unterschied zwischen einem Computer Use Agent und einem Browser-Automatisierungstool?

Browser-Automatisierungstools (Selenium, Playwright) interagieren mit Webanwendungen über deren HTML-Struktur; sie benötigen DOM-Zugriff, CSS-Selektoren oder XPath, um Elemente zu identifizieren. Computer Use Agents interagieren über Screenshots und Pixelkoordinaten-Aktionen — so, wie ein Mensch es tun würde, der auf den Bildschirm schaut. Computer Use ist langsamer und weniger zuverlässig bei Webaufgaben, für die gute Selektoren existieren, funktioniert aber in jeder Anwendung (Desktop-Apps, Legacy-Software, komplexe Webanwendungen) ohne Integrationscode.

Wie sieht und interagiert Claude Computer Use mit dem Bildschirm?

Claude erstellt Screenshots des aktuellen Bildschirmzustands, nutzt Vision-Modelle, um UI-Elemente und deren Koordinaten zu identifizieren, überlegt, welche Aktion als Nächstes auszuführen ist, und sendet Maus- und Tastaturereignisse, um diese Aktion auszuführen. Nach jeder Aktion erstellt es einen weiteren Screenshot, um das Ergebnis zu verifizieren. Der Kreislauf wird fortgesetzt, bis die Aufgabe abgeschlossen ist oder etwas Unerwartetes eintritt.

Welche Aufgaben kann ein Computer Use Agent erledigen, die ein API-basierter Agent nicht kann?

Alles, was Software betrifft, die keine API hat — oder deren API die benötigte Funktionalität nicht bereitstellt. Legacy-Unternehmensanwendungen, Desktop-Software, hochgradig angepasste SaaS-Konfigurationen und anwendungsübergreifende Workflows, die mehrere nicht verbundene Tools umfassen, sind die Haupteinsatzgebiete. Computer Use eignet sich auch für Workflows in Anwendungen, die ihre Benutzeroberfläche häufig genug ändern, um selektorbasierte Automatisierung unzuverlässig zu machen.

Ist Claude Cowork ein Computer Use Agent?

Cowork nutzt Computer Use als eine seiner zugrunde liegenden Fähigkeiten, ist aber eine Produktschicht — keine reine Computer-Use-API. Cowork fügt Plugins, MCP-Konnektoren für strukturierten Datenzugriff, ein Berechtigungsmodell, ein Skills-System und sandboxed Browser-Isolierung auf der Basis der Computer-Use-Fähigkeit hinzu. Der Unterschied ist in der Praxis relevant: Cowork ist in einem Unternehmenskontext mit eingebauter Governance und Auditierbarkeit einsetzbar. Reiner API-Zugriff erfordert, dass Sie das selbst aufbauen.

Wie steht es aktuell um die Zuverlässigkeit von Computer Use in der Produktion?

Claude Sonnet 4.5 erzielte 2025 61,4 % auf OSWorld (die menschliche Baseline liegt bei etwa 72 %). Google Gemini 2.5 erzielte 88,9 % auf dem WebVoyager-Browser-Benchmark. Die Zuverlässigkeit in der Praxis variiert stark nach Aufgabentyp: Klar definierte, eingegrenzte Aufgaben in stabilen Oberflächen schneiden deutlich besser ab als komplexe, offene Aufgaben in dynamischen Benutzeroberflächen. Bauen Sie Verifizierungsschleifen und menschliche Eskalationspfade in jede Produktivbereitstellung ein. Sie sind nicht optional.