Google

Der BigBrotherAward in der Kategorie Technik geht an Google für den KI-Assistenten Gemini, der ab jetzt unauffällig, aber zwangsweise auf Android Mobiltelefonen installiert wird. Gemini erhält Zugriff auf umfangreiche Nutzungs- und Kommunikationsdaten, die für das Training von Googles KI genutzt und auch von menschlichen Mitarbeitenden eingesehen werden. Darunter könnten komplette Chatverläufe fallen – ohne dass der Kommunikationspartner eingewilligt hat. Die Deaktivierung dieses KI-Assistenten erfordert komplexe Einstellungen in verschiedenen Menüs.
Laudator.in:
Frank Rosengart am Redner.innenpult der BigBrotherAwards 2021.
Frank Rosengart, Chaos Computer Club
„Röntgenaufnahme“ eines Smartphones. Darüber der Text: „Jetzt ‚fest integriert‘: Google Gemini“ mit einem Pfeil auf ein Bauteil des Smartphones.

Der BigBrotherAward 2025 in der Kategorie Technik geht an

Google,

in der EU vertreten durch die Google Ireland Limited, für das Zwangs-KI-Feature „Gemini“ in seinen Android-Mobiltelefonen.

Großmutter – nein – Google, warum hast du so große Ohren? Das könnten sich seit einiger Zeit die Nutzer:innen von Googles Android-basierten Mobiltelefonen fragen. Still und heimlich tauscht Google derzeit über das Software-Update den bisherigen Google-Assistenten gegen die KI-basierte Anwendung Gemini aus.

Bislang konnte man per Spracheingabe mit dem Gerät kommunizieren, Apps starten, sich den Wetterbericht ansagen lassen und so weiter. Schon dieser „alte“ Google-Assistent – eine Kombination aus technologischer Raffinesse und unterschwelliger Überwachung – war viel schlauer, als einem lieb sein konnte. Je mehr er mit Daten gefüttert wurde, desto besser konnte er antworten.

Nun erwartet die Nutzer:innen der Millionen Android-Geräte weltweit eine große Neuerung: Google Gemini schleicht sich per Software-Update auf die Telefone und Tablets. Bei den meisten Geräten dürfte die automatische App-Aktualisierung aktiviert sein, so dass quasi über Nacht, ohne Benachrichtigung, der Assistent ersetzt wird. Google feiert Gemini als ein großartiges neues Feature: Künstliche Intelligenz, die mir als Anwender das Denken gern komplett abnehmen möchte.

Wenn man Gemini nicht umfänglich deaktiviert und den Zugriff beschränkt, wird Googles KI-App quasi zur Kommandozentrale des Gerätes. Gemini klinkt sich in die Chat-Kommunikation ein, liest Nachrichten und formuliert Antworten automatisch. Anders als der alte Assistent ist Gemini ein Chat-Bot: Ich kann mich mit ihm unterhalten, er weiß auf alles eine Antwort und soll mich in allen Lebenslagen unterstützen.

Der schwerwiegende Nachteil ist, dass ganz viele private und intime Details das Gerät verlassen, denn – das ist der Unterschied zum alten Google-Assistenten – Gemini hält den Großteil der Intelligenz in der Cloud bereit. Und „Cloud“ meint hier: Google. Die Daten werden auf den Servern von Google verarbeitet und unterliegen damit dem Risiko, dass sie für mehr Zwecke verwendet werden, als den meisten Benutzern lieb sein dürfte. Lediglich einfache Aufgaben werden von einer lokalen KI auf dem Gerät ausgeführt. Die mindert immerhin das Risiko, dass Daten unerwünscht in die Cloud wandern – eine Garantie dafür gibt es nicht.

Wer in den vergangenen zwei Jahren die Nachrichten rund um KI verfolgt hat, wird mitbekommen haben, dass auf dem Markt der großen Anbieter ein Wettstreit entbrannt ist: Wer hat mit wem Verträge über die Nutzung von Trainingsdaten abgeschlossen, um sie für die Erzeugung von noch besseren KI-Modellen zu nutzen?
Wobei viele Trainingsdaten auch ohne Erlaubnis der Rechteinhaber verwendet wurden und werden, was bereits erhebliche Rechtsstreitigkeiten provoziert hat. Das möchte Google vermeiden – und besorgt sich deshalb einen permanenten Nachschub bei den Nutzenden von Gemini. Gigantische Mengen an Text und Sprache sind gefragt, ebenso wie Material aus Zeitungsarchiven oder Social Media-Seiten. Warum?

Ein Large Language Model (kurz LLM, so die korrekte Bezeichnung für ein KI-System, das Text verarbeitet und erzeugt und auf Fragen antworten kann) wäre nicht so „schlau“, wenn es nicht mit gigantischen Datenmengen trainiert würde.
Da kommt es Google gelegen, dass Android-Benutzer:innen die Textpassagen für das Training frei Haus liefern. Denn laut den eigenen Nutzungsbedingungen sammelt Google unsere Text- und Sprachnachrichten sowie weitere Inhalte, die für Gemini freigegeben sind, um seine KI-Modelle damit zu füttern.

Selbst wenn ich mit der Nutzung meiner Texte für Trainingsdaten einverstanden wäre (ist ja anonym, kann ja nichts passieren!), dürfte mir der folgende Passus jedoch ein leichtes Unbehagen einflößen. In den Nutzungsbedingen für Gemini heißt es:

„Damit wir die Qualität der Ergebnisse und unsere Produkte selbst verbessern können (wie etwa die generativen Modelle für maschinelles Lernen, auf denen Gemini-Apps basieren), werden Ihre Unterhaltungen mit Gemini-Apps von unseren Prüferinnen und Prüfern (darunter auch Personal von Google-Dienstleistern) gelesen, mit Anmerkungen versehen und verarbeitet.“

(Mit Anmerkungen sind manuelle Ergänzungen zum aufgenommenen Text gemeint, die dem Computer beim Training der KI-Modelle helfen, das Fragment richtig einzuordnen.)

Was diese manuelle Nachbearbeitung in der Praxis bedeutet, zeigt ein Artikel im Guardian, der von Tausenden unterbezahlten und überarbeiteten Mitarbeitenden bei Vertragsfirmen von Google berichtet, die mitunter brisante und schwer verdauliche Fragmente für das KI-Training einordnen sollen – gewalttätige und sexuell explizite Inhalte. Diese belastende Arbeit wird von Google an Firmen wie GlobalLogic ausgelagert, die noch dazu enormen Zeitdruck vorgeben.

Damit die Trainingsdaten auch für nachfolgende KI-Modelle verwendet werden können, erlaubt sich Google, diese Aufzeichnungen bis zu drei Jahren aufzubewahren. Für eine ähnliche Praxis hat Amazons Alexa schon 2018 einen BigBrotherAward erhalten.

Es sollte uns nicht überraschen, dass unsere Kommunikationsinhalte als Trainingsdaten genutzt werden. Sie sind quasi die Gegenleistung für den extrem kostspieligen Betrieb der KI.
Die Entwicklung und der Betrieb von großen KI-Modellen verschlingt riesige Mengen an Energie – soviel, dass z.B. Meta (also Facebook o. Instagram) dafür am liebsten eigene Atomkraftwerke bauen würde. Vorsichtige Schätzungen besagen, dass OpenAI zum Training von ChatGPT‑4 etwa 50 Gigawatt-Stunden Strom benötigt hat und ca. 100 Millionen US-Dollar gekostet haben dürfte. Auch die Abfrage der KI, die sogenannte „Inferenz“, kann schnell in den Kilowattstunden-Bereich gehen, wenn z.B. ein hochauflösendes Video erzeugt werden soll.

Für die Nutzung von Gemini auf Android wird kein Geld verlangt. Das sollte aufhorchen lassen – wie übrigens bei jedem Dienst, der „gratis“ angeboten wird.

Was aber ist das Problem, wenn meine – möglicherweise sehr privaten – Gespräche als Trainingsdaten genutzt werden? Dazu müssen wir einen Blick darauf werfen, wie Large Language Models funktionieren: Sie lernen, indem sie auf riesigen Mengen von Textdaten trainiert werden und dabei Muster in Sprache erkennen. Diese Trainingsdaten werden in Zahlen (Vektoren) umgewandelt, sodass das Modell mithilfe neuronaler Netze Wahrscheinlichkeiten für das nächste Wort berechnen kann. Es ist unwahrscheinlich, aber nicht auszuschließen, dass eine spätere Antwort der KI Elemente aus meiner Konversation enthält. Aus Versehen – oder weil Hacker durch gezielte Prompts diese Fragmente dem KI-Modell entlocken. Auch das ist schon vorgekommen.

Ich möchte meine Textnachrichten nicht in den KI-genierten Antworten anderer Leute wiederfinden.

Dabei geht es nicht um unverfängliche Redewendungen, sondern um persönliche Daten wie Passwörter oder Kreditkartendaten, die aus meiner Kommunikation „gelernt“ wurden. Google behauptet, solche Fälle zu erkennen und nicht für das Training zu verwenden. Aber auch die Chefin des Messenger-Dienstes Signal, Meredith Whittaker, spricht eine deutliche Warnung aus. Sie weist darauf hin, dass KI-Agenten wie Gemini vollumfänglichen Zugriff auf unsere höchstpersönlichen Daten wie Kalender, E-Mail-Konto oder Messaging-App bekommen, wenn sie tief ins Betriebssystem integriert sind. Sie sieht die Hersteller der Geräte und die KI-Entwickler in der Pflicht, einen wirksamen Schutz und Widerspruchsmöglichkeit gegen den ungewollten und meist unbemerkten Datenabfluss zu gewährleisten.

Bis es so weit ist: Wie ka­nn ich verhindern, dass Gemini meine Nachrichteninhalte als Trainingsdaten übermittelt? Dazu muss man sich durch verschiedene Untermenüs im Smartphone hangeln, um dort dem Aktivitätstracking und der Verwendung für Trainingszwecke zu widersprechen. Sicherheitshalber sollte man auch alle Verbindungen zu Apps deaktivieren. Neuerdings gibt es in Gemini auch einen „privaten“ Modus, der zumindest die Datennutzung zum KI-Training untersagen soll. Trotz allem bleiben Unterhaltungen mit Gemini in jedem Fall 72 Stunden gespeichert.

Google hat auf den Support-Seiten selbst einen Tipp parat, wie man die Gemini App ohne Sorge nutzt:

„Geben Sie in Ihren Unterhaltungen keine vertraulichen Informationen und keine Daten an, die Prüferinnen und Prüfer nicht sehen sollen oder die nicht zur Verbesserung der Produkte, Dienste und Technologien für maschinelles Lernen von Google verwendet werden sollen.“

Wir sollen uns also nicht mehr über private, vertrauliche Dinge unterhalten, wenn Gemini mit an Bord ist.

Da haben wir einen besseren Tipp: Lieber nicht benutzen, Gemini deaktivieren, Zugriffsrechte beschränken und hoffen, dass nicht trotzdem Daten gesammelt werden.

Herzlichen Glückwunsch, Google, zum BigBrotherAward in der Kategorie Technik.

Jahr
Kategorie

Laudator.in

Frank Rosengart am Redner.innenpult der BigBrotherAwards 2021.
Frank Rosengart, Chaos Computer Club

Über die BigBrotherAwards

Spannend, unterhaltsam und gut verständlich wird dieser Datenschutz-Negativpreis an Firmen, Organisationen und Politiker.innen verliehen. Die BigBrotherAwards prämieren Datensünder in Wirtschaft und Politik und wurden deshalb von Le Monde „Oscars für Datenkraken“ genannt.

Ausgerichtet von (unter anderem):

BigBrother Awards International (Logo)

BigBrotherAwards International

Die BigBrotherAwards sind ein internationales Projekt: In bisher 19 Ländern wurden fragwürdige Praktiken mit diesen Preisen ausgezeichnet.