Spart Copilot wirklich 26 Minuten am Tag? Ihr Wingman auf dem Prüfstand

Shownotes

Verkauft wird ein Flügelmann: ein Copilot, der mitfliegt, den Rücken freihält und angeblich 26 Minuten am Tag spart. Diese Folge ist die Premiere unserer neuen Rubrik Nachgemessen: Wir zitieren die Werbeminuten wörtlich und schauen auf die Messung dahinter, von der Umfrage über die Telemetrie bis zur einzigen Auswertung, bei der jemand daneben saß und zugeschaut hat. Die ehrliche Antwort auf die Titelfrage lautet: unbelegt. Dazu ein anonymisierter Fall aus Franks Mandaten, drei Schritte für diese Woche und zum ersten Mal eine terminierte Prognose, die wir öffentlich nachhalten.

Die Themen:
- Die Zahlenkette der Werbung, alle aus Befragungen: Microsoft nennt im Schnitt 14 Minuten pro Tag (eigene Umfrage, 1.300 Befragte; die oft zitierten 11 Minuten sind dort die Schwelle, ab der Nutzer einen Wert wahrnehmen), der britische GDS-Test mit 20.000 Beamten 26 Minuten (im Kleingedruckten: self-reported), das britische Arbeitsministerium DWP 19 Minuten (Selbstauskunft, rund 3.550 Lizenzen)
- Die Treppe der Messqualität in 30 Sekunden: Fragebogen, Telemetrie, Beobachtung mit Stoppuhr und Kontrollgruppe, und warum die Werbeminuten alle auf der untersten Stufe stehen
- Die Kontrollgruppen-Studie, die es sehr wohl gibt, von Microsoft mitverfasst: 66 Firmen, über 7.000 Beschäftigte, echte Telemetrie. Befund: rund zwei Stunden weniger E-Mail-Zeit pro Woche, kein belegter Gesamtgewinn
- Der amtliche Satz des britischen Handelsministeriums DBT nach beobachteten Arbeitssitzungen, übersetzt: Die Auswertung fand keinen Beleg, dass die gesparte Zeit zu mehr Produktivität geführt hat. Manche Aufgaben dauerten sogar länger
- Das offene Ende beider britischer Tests: eingesammelte Lizenzen, echter Kummer, am stärksten bei Beschäftigten mit Behinderungen, und keine belegte Kaufentscheidung danach
- Aus dem Nachbarfeld: Entwickler mit KI-Werkzeugen fühlten sich 20 Prozent schneller und waren mit der Stoppuhr gemessen 19 Prozent langsamer (METR)
- Das Lagerfeuer: ein Onlinehändler mit rund 350 Beschäftigten, Copilot für alle, aber ohne Gesamtstrategie und Rahmenbedingungen. Jeder bekam den Flügelmann, keiner den Flugplan
- Drei Schritte für diese Woche, ohne Budget: Stoppuhr statt Fragebogen (fünf Leute, drei echte Aufgaben, zwei Wochen), das Anbieterversprechen wörtlich ins Protokoll samt Messart, und den eigenen Break-even rechnen, bevor verlängert wird
- Die Prognose der Folge, Stichtag 1. März 2027, geführt in unserem Mess-Sheet: Bis dahin wird es keine von Microsoft unabhängige Studie mit Stoppuhr und Kontrollgruppe geben, die die beworbenen 26 Minuten belegt

Quellen:
- Microsoft WorkLab, AI Data Drop zur eigenen Copilot-Umfrage (1.300 Befragte, Selbstauskunft: 14 Minuten Durchschnitt, 11 Minuten als Wahrnehmungsschwelle): https://www.microsoft.com/en-us/worklab/ai-data-drop-the-11-by-11-tipping-point
- UK Government Digital Service, ressortübergreifendes Copilot-Experiment mit 20.000 Beamten, 26 Minuten pro Tag, self-reported: https://www.gov.uk/government/publications/microsoft-365-copilot-experiment-cross-government-findings-report
- UK Department for Work and Pensions, Copilot-Evaluation vom 29. Januar 2026, 19 Minuten pro Tag, Selbstauskunft: https://www.gov.uk/government/publications/an-evaluation-of-dwps-microsoft-copilot-365-trial
- UK Department for Business and Trade, Copilot-Evaluation vom 28. August 2025 mit beobachteten Arbeitssitzungen und dem zitierten Satz zur Produktivität: https://www.gov.uk/government/publications/microsoft-365-copilot-pilot-dbt-evaluation-report
- Microsoft-koautorierte Kontrollgruppen-Studie mit Telemetrie (66 Firmen, 7.137 Beschäftigte), NBER Working Paper 33795: https://arxiv.org/abs/2504.11443 und https://arxiv.org/abs/2504.11436
- METR, Stoppuhr-Studie zu erfahrenen Entwicklern mit KI-Werkzeugen (gefühlt schneller, gemessen langsamer): https://arxiv.org/abs/2507.09089

Unser Mess-Sheet mit allen geprüften Versprechen und den offenen Prognosen: https://darc-transform.de/podcast/mess-sheet/

Schicken Sie uns das Versprechen Ihres KI-Anbieters, gern per E-Mail oder auf LinkedIn. Wir suchen uns jede Woche eines zum Nachmessen aus; ein Anspruch auf Prüfung besteht nicht, und für Verdachtsfälle gelten die Regeln sorgfältiger Berichterstattung.

Nächste Folge am 9. September zum Thema KI in der Medizin, wie immer mittwochs um 11:07 Uhr.

Mehr zum Podcast und zum Buch: https://darc-transform.de/podcast/

KI-Transparenz: Beide Stimmen in dieser Folge sind KI-generiert, auch Frank hören Sie als KI-Stimme. Die Gedanken und die Worte sind seine. Mehr: https://darc-transform.de/podcast/