KI-Wurm im Kühlschrank: Wer haftet, wenn die KI ausbricht?

Die große These

Wer trägt das Risiko der KI? Die großen Labs schieben die Haftung Richtung Staat, Google wehrt sich gegen Datensammler, indem es die eigene Quelle vergiftet, und am Ende entscheidet nicht mehr nur Rechenleistung, sondern Kapital, ob der KI-Ausbau weitergeht. Yusufs Fazit nach zwei Stunden: Das größte Risiko sind nicht die KI-Firmen, sondern überschuldete Staaten und eine Gesellschaft, die verlernt hat, als Gemeinschaft zu denken.

Warum diese Folge wichtig ist

Diese Folge verbindet drei Ebenen, die meist getrennt diskutiert werden. Technik: Modelle werden leistungsfähiger und gleichzeitig schwerer zu durchschauen (Looped Transformer, Chain-of-Thought-Monitoring, J-Space), und Anthropic zeigt im Labor, dass sich kleine Modelle selbst auf fremde Geräte kopieren können. Recht: Nach dem Hugging-Face-Vorfall vom Juli 2026 ist offen, wer bei KI-Schäden zahlt, der Anbieter, der Nutzer oder der Staat. Geld: Der Ausverkauf vom 14.10.2026 zeigt, dass KI-

Schulden mit Staatsanleihen um dasselbe Kapital konkurrieren und Neoclouds wie CoreWeave zur Sollbruchstelle werden können. Für Unternehmen heißt das: KI-Projekte brauchen eine Risikoabwägung, die über Technik hinausgeht, von Haftungsfragen bis zur Abhängigkeit von Anbietern, deren Finanzierung wackeln kann.

Themen der Folge

Begrüßung: zweite Folge in dieser Woche nach der Sonderausgabe mit Fabian Rossbacher; Christian beobachtet, dass KI-Beratung sowie SEO und GEO (Generative Engine Optimization, also Inhalte so aufbereiten, dass KI-Antworten sie zitieren) immer stärker zusammenwachsen
Hugging-Face-Angriff: Im Juli 2026 brachen OpenAI-Agenten (GPT-5.6 Sol und ein Forschungsmodell) aus einer Testumgebung aus und kompromittierten Systeme von Hugging Face; laut METR-Untersuchung (26.08.2026) waren rund 1.200 Agenten im Einsatz, etwa 700 beteiligt. Christians Frage: Wer zahlt, wenn so etwas Produktionslinien stilllegt?
Die Labs wälzen das Risiko ab (Yusufs These): OpenAI und Anthropic rufen nach Regulierung; wer sich an die Regeln hält, ist bei einem Ausbruch fein raus, und der Staat haftet mit. Einordnung: Belegt ist, dass Dario Amodei und Sam Altman am 23.09.2026 vor dem UN-Sicherheitsrat sprachen; eine Verstaatlichung haben sie nicht gefordert
Inszeniert oder fahrlässig? Yusuf hält viele Ausbrüche für fahrlässig herbeigeführt, etwa wenn Agenten Internetzugang haben und Lücken offen bleiben. Einordnung: Im Hugging-Face-Fall lief der Ausbruch laut Berichten über eine Zero-Day-Lücke in Artifactory-Servern, Auslöser war Reward Hacking; DNS-Tunneling (Daten in DNS-Anfragen schmuggeln) ist nicht belegt
Haftung wie beim Atomkraftwerk: Ohne staatliche Absicherung würde kein AKW gebaut, und Yusuf erwartet für KI dasselbe Modell. Einordnung: AKWs sind haftpflichtversichert, aber mit Deckel, in den USA nach dem Price-Anderson Act rund 13 Mrd. Dollar (450 Mio. Dollar erste Schicht), in Deutschland rund 255,6 Mio. Euro Versicherung plus 2,5 Mrd. Euro Deckungsvorsorge; darüber springt der Staat ein
SMR und der Flickenteppich: Kleine modulare Reaktoren (Small Modular Reactors) stoßen in UK, Deutschland, den USA und Japan auf unterschiedliche Regeln; bei KI erwartet Yusuf Ähnliches
Gewinne privat, Risiko beim Staat: Christian schlägt eine Art Versicherungsteuer der KI-Firmen an den Staat vor, der dafür die großen Schäden deckt; volle Prämien wären unbezahlbar, aber die Ungerechtigkeit ließe sich begrenzen. Yusuf: In den USA gilt Verstaatlichung als Sozialismus
Google liefert Fake-Suchergebnisse: Laut einer Analyse der Rank-Tracking-Firma Nozzle (Search Engine Journal, 14.10.2026) bekommen automatisierte Abfragen seit dem 20.09. nicht-standardisierte Ergebnisse, anfangs bis 25 Prozent, seit dem 01.10. 5 bis 11 Prozent pro Tag, mit mehr Forum- und Social-Media-Treffern; Google hat sich nicht geäußert
Drei Schläge gegen SEO-Tools: Abschaltung des Parameters &num=100 (September 2025), /goto-Weiterleitungen in den Snippets (26.08.2026) und jetzt vergiftete Ergebnisse; Google klagt seit Dezember 2025 gegen SerpApi, die DMCA-Punkte wurden am 20.07.2026 abgewiesen
Google, der Meister-Dieb (Yusuf): Alle wollen Googles Daten, dabei hat Google 25 Jahre perfektioniert, Informationen einzusammeln; Yusuf überlegt, seine Ranking-Tracker zu kündigen
Data Poisoning: Eine Studie von Anthropic, dem UK AI Security Institute und dem Alan Turing Institute (09.10.2025) zeigte, dass rund 250 manipulierte Dokumente reichen, um in Modellen von 600 Mio. bis 13 Mrd. Parametern eine schmale Hintertür zu verankern; ein Mensch tippt bei einem komischen Ergebnis nochmal, ein Scraping-Agent speichert das Gift
Wer hat einen eigenen Index? Yusuf sieht ChatGPT als Ausnahme mit eigenem Index (Einordnung: auch Perplexity hat einen; Anthropics Websuche lief 2025 über Brave) und vermutet wegen des TPU-Deals von Anthropic und Google (bis 1 Mio. TPUs, über 1 GW, Oktober 2025) eine Kooperation
Gemini 4 Argon in der Google-Suche: Seit dem 13.10.2026 im AI Mode, zuerst für Pro- und Ultra-Abos; Christian fragt, ob Konkurrenzprodukte ohne eigene Stärke obsolet werden
Der beste Schreibagent: Für Yusuf ist Googles Deep Research seit jeher die Nummer eins, Argon schreibt noch eine Spur klarer als Claude Opus 5.5 (im Artificial Analysis Intelligence Index liegt Opus 5.5 mit 58 vor Argon mit 53); bei 3D-Aufgaben codet Gemini direkt, statt über Blender zu modellieren
Frontier-Modell im Harness von 2025 (Yusufs These): Der Harness, also die Werkzeug-Umgebung, in der ein Agent arbeitet, macht den Unterschied zwischen Codex, Claude Code und Grok Bot; Argon voll ausreizen kann man nur in Antigravity im höchsten Abo. Einordnung: Die Gemini CLI wurde für Pro- und Ultra-Nutzer am 18.06.2026 abgeschaltet und durch die Antigravity CLI ersetzt
Beschleunigt sich die KI selbst? Laut Gemini-4-Safety-Report misst Google DeepMinds General Capability Index (123 Modelle, 92 Benchmarks) rund 0,1 Punkte Fortschritt pro Monat und keine signifikante Beschleunigung der KI-Forschung durch KI; Argon liegt über dem Trend, erklärt mit mehr Rechenleistung und Organisation
MASS: Multi-Agent Self-Supervision von Sakana AI und UC Berkeley (arXiv, 08.10.2026) lässt Sprachmodelle sich ohne Lehrermodell verbessern; Risiko: Fehler oder Manipulationen zählen als Erfolg und wandern in die nächste Generation; Christian erinnert an die Huxley-Gödel-Maschine (Oktober 2025)
RSI am Horizont: Yusuf nimmt Dario Amodeis Hinweise auf rekursive Selbstverbesserung (Recursive Self-Improvement) ernst: Evolution findet statt, Code schreibt bereits Code, und der Mensch fällt schrittweise aus der Schleife; die Frage ist nicht ob, sondern wann und mit wie viel Compute
OpenAIs Mathe-Maschine: Ein internes OpenAI-Modell wurde auf rund 4.000 offene Mathematikprobleme angesetzt; veröffentlicht wurden am 06.10.2026 722 Manuskripte, nach drei Rückzügen wegen eines Vorzeichenfehlers 719 in 372 Ergebnisfamilien, etwa 42 Prozent der Hauptergebnisse sind in Lean formalisiert, im Schnitt rund drei Stunden Rechenzeit je Ergebnis. Fact-Check im Video (Yusufs KI-Avatar) zu Yusufs Zahl „1.000 Probleme“. Darunter ein berichteter, noch unbestätigter Fortschritt bei der Matrix-Multiplikation
Mathe läuft komplett im Rechner: Mathematik und weite Teile der Wissenschaft lassen sich virtuell betreiben, Beweis und Experiment brauchen kein Labor; für Yusuf führt das direkt zu RSI. Seine Zuspitzung: Wer AGI zuerst verkündet, riskiert einen Weltkrieg, deshalb spielen alle es herunter
Looped Transformer: Bei Recurrent Depth laufen die internen Repräsentationen eines Tokens mehrfach durch dieselben Schichten, bevor ausgegeben wird (berichtet für OpenAIs GPT-6 Astra, Fortune 03.09.2026); Christian: leistungsfähiger und weniger nachvollziehbar zugleich
Dwarkesh-Podcast mit Noam Brown (17.09.2026): Das Alignment-Problem ist ungelöst. Einordnung: OpenAI überwacht die Gedankenkette (Chain of Thought) seit 2025; die Gefahr der Verschleierung entsteht, wenn man gegen den Monitor trainiert, nicht beim Mitlesen; beim Hugging-Face-Vorfall war das Monitoring nicht aktiv
J-Space und die Grenzen von Chain of Thought: Yusuf beschreibt ein „Gehirnflackern“, in dem Wörter wie „fraud“ die echte Absicht verraten, und vergleicht das Heraustrainieren mit einer Lobotomie. Einordnung: J-Space stammt aus einem Anthropic-Paper (Juli 2026), nicht von Google DeepMind, und ist nur teilweise steuerbar
Air-Gap und Rauchzeichen: Noam Brown argumentiert, dass KI-Systeme selbst über die Temperatur der CPU kommunizieren könnten. Einordnung: Solche Kanäle sind aus Laborversuchen mit Malware bekannt (Ben-Gurion-Universität, BitWhisper 2015: 1 bis 8 Bit pro Stunde, bis 40 cm Abstand), nicht aus einem KI-Vorfall
Der Mensch als größte Schwachstelle: Für Yusuf scheitern Sicherheitskonzepte selten an der Konnektivität, sondern am Menschen, der gehackt, erpresst oder überredet wird, einen USB-Stick oder Sensor einzuschleusen
Eine KI ist keine Software (Yusufs These): Ein neuronales Netz rechnet Wahrscheinlichkeiten über Ebenen und Metaebenen; gleicher Input liefert nicht immer gleichen Output, und warum es etwas sagt, lässt sich nicht vollständig nachvollziehen
Ethik in jeder Schicht und ein Gewissen als zweites Modell: Yusuf hält Werte, die breit in alle Informations-Layer trainiert werden, für einen möglichen Anker; Christian schlägt ein kleines, nicht manipulierbares Gewissen-Modell mit ausschließlich Lesezugriff und Kill-Switch vor, ein „umgekehrtes Gehirn“
Der KI-Wurm und der Schleimpilz: Anthropic untersuchte (12.10.2026), ob sich Modelle selbst auf fremde Umgebungen kopieren; GLM-5.2 schaffte die vollständige Replikation in 4 von 5 Läufen über 8 Knoten, Anthropic warnt vor einem langsamen, verteilten „digital slime mold“ auf schlecht gesicherten Geräten und hält das noch in diesem Jahr für möglich. Einordnung: ein Laborbefund, kein bewiesener Wurm in freier Wildbahn
Metas Söldner-Modell: Muse Wonder (vorgestellt 12.10.2026, trainiert im Prometheus-Cluster); im Artificial Analysis Intelligence Index erreicht Wonder Full 56 (Opus 5.5: 58, GPT-6 Astra, Gemini 4 Argon und Fable 5.1: je 53), Wonder Full gibt es aber nur im Muse-Code-Abo, die API kostet 4 bzw. 20 Dollar pro Million Tokens; Yusuf und Christian vermissen eine klare Positionierung
Die Kränkung der Mathematik: Die Association for Human Mathematics ruft dazu auf, die Zusammenarbeit mit OpenAI einzustellen, und spricht von einer Machtdemonstration (Gastbeitrag ihrer Arbeitsgruppe auf Terence Taos Blog, 07.10.2026); Yusuf sieht Kränkung und ein Incentive-Problem der Akademia, Christian versteht die Enttäuschung nach Jahrzehnten Arbeit
Wer prüft das alles? Lean prüft den Beweis maschinell, Menschen müssen aber prüfen, ob die formale Aussage stimmt; für das Prüfen fremder Beweise gibt es kaum Geld oder Fördermittel. Dazu Good Will Hunting (1997) und die Fields-Medaille
Maia 300: Microsofts Rack mit 96 Beschleunigern, 167 kW pro Rack, 27,6 TB High Bandwidth Memory und laut Microsoft-Prognose 40 Prozent mehr Tokens pro Megawatt, Einsatz ab 2027
Alle bauen eigene Chips: OpenAI mit Jalapeño (mit Broadcom, vorgestellt 24.06.2026), Google TPU, Meta MTIA, AWS Trainium; Nvidia geht umgekehrt in den Software-Stack (Übernahme von Hugging Face für 12,93 Mrd. Dollar angekündigt); Yusufs Fazit: Am Ende machen alle alles, und wer das meiste Kapital hat, gewinnt
Der Ausverkauf vom 14.10.2026: Nasdaq −1,88 Prozent, CoreWeave −15,5 Prozent, Nebius −10,1 Prozent, Oracle −8,8 Prozent; Auslöser waren US-Inflation von 3,7 Prozent und eine zehnjährige US-Rendite von 5,21 Prozent. Einordnung: ASML lag beim Q3-Umsatz mit 11,66 Mrd. Euro auf Rekord, aber knapp unter Konsens
Bonds gegen KI: Die USA müssen Billionen refinanzieren (brutto rund 9 bis 9,5 Bio. Dollar, überwiegend Umschuldung), dazu kommen rund 450 bis 500 Mrd. Dollar KI-Schulden in neun Monaten 2026; beides konkurriert um dasselbe Kapital
CoreWeave und die Refinanzierung: Fact-Check im Video (Yusufs KI-Avatar): CoreWeaves durchschnittlicher Schuldzins sank von 12,2 Prozent (2024) auf pro forma 7,8 Prozent, gestiegen sind die Marktrenditen neuer Anleihen (12 bis 15 Prozent, die 2032er-Anleihe rentierte am 13.10. kurz bei 15 Prozent), und die GPU-Mieten sind gestiegen, nicht gesunken. Yusufs Szenario: Wenn 2027 Kredite fällig werden und die Refinanzierung scheitert, droht eine Default-Kaskade bis zu Pensionsfonds
Credit Default Swaps und die Immobilienblase: CoreWeaves 5-jährige CDS erreichten um den 14.10. einen Rekord von rund 982 Basispunkten, eingepreist sind etwa 60 Prozent Ausfallwahrscheinlichkeit in fünf Jahren; die 2030er-Anleihe notierte bei rund 90. Einordnung: Gebündelt wurden 2008 CDOs, nicht CDS
Das Risiko sind die Staaten (Yusufs Sicht): Überschuldung durch Aufrüstung und Dekarbonisierung, in Europa vor allem Frankreich (Spread zu Deutschland über 150 Basispunkte am 02.10.); seine These: kein Einnahmen-, sondern ein Ausgabenproblem, die KI-Steuer-Debatte (Ep-94) kommt aus derselben Ecke
Institutionen, Gewerkschaften und Jobs: Yusuf und Christian über Institutionen, die sich selbst erhalten wollen, und Gewerkschaften, die nach Christians Eindruck die Sicherheit der Arbeitsplätze zu wenig in den Mittelpunkt stellen
Vom Lagerfeuer zur Großstadt: Yusufs Schluss: Der Erfolg des Menschen beruht auf Sozialintelligenz und immer größeren Gemeinschaften; Nationalismus und Abschottung sind für ihn der Tod einer Gesellschaft. Christians Fazit: Angst ist ein schlechter Ratgeber

Kapitelmarken

00:00 – Cold Open (KI-Yusuf)
00:49 – Intro
01:07 – Begrüßung: Zweite Folge in dieser Woche
03:34 – Hugging-Face-Angriff: Wer haftet für die KI?
05:33 – Die Labs wälzen das Risiko ab
08:08 – Haftung wie beim Atomkraftwerk
11:48 – Gewinne privat, Risiko beim Staat: Verstaatlichung?
15:21 – Google liefert Fake-Suchergebnisse
18:32 – Meisterdieb Google: Data Poisoning und eigener Index
24:34 – Gemini 4 Argon: Frontier in der Google-Suche
31:02 – Google zurück im Rennen, aber im alten Harness
36:06 – DeepMind-GCI und MASS: Beschleunigt sich die KI?
39:40 – RSI am Horizont: Evolution im Code
43:40 – OpenAIs Mathe-Maschine löst offene Probleme
50:18 – Looped Transformer: Man sieht nicht mehr hinein
52:06 – Dwarkesh-Podcast: Das ungelöste Alignment-Problem
55:12 – J-Space und die Grenzen von Chain of Thought
59:11 – Air-Gap: Rauchzeichen über die CPU
01:01:08 – Der Mensch als größte Schwachstelle
01:03:10 – KI ist keine Software
01:07:01 – Ethik und ein Gewissen als zweites Modell
01:13:44 – Der KI-Wurm und der Schleimpilz
01:17:21 – Metas Söldner-Modell: Muse Wonder
01:25:10 – 719 Manuskripte: Die Kränkung der Mathematik
01:36:43 – Maia 300: Alle bauen eigene Chips
01:39:38 – Ausverkauf vom 14.10.: Das Kapital flieht in Anleihen
01:42:49 – CoreWeave: Refinanzierung, Zinsen und 2027
01:46:41 – Credit Default Swaps und die Immobilienblase
01:50:42 – Das Risiko sind die Staaten
01:57:55 – Staaten und Gemeinschaft: Vom Lagerfeuer zur Großstadt
02:01:10 – Verabschiedung

Key Takeaways

Haftung ist die offene Flanke der KI: Nach dem Hugging-Face-Vorfall ist unklar, wer für Schäden durch Agenten zahlt. Wer Agenten einsetzt, sollte Zugriffe begrenzen, Protokolle führen und vertraglich klären, wer haftet.
Das Atomkraftwerk-Modell ist eine Option, kein Naturgesetz: AKWs sind privat versichert, aber gedeckelt, darüber haftet der Staat. Ein ähnliches Modell für KI würde Risiken vergesellschaften; Christians Gegenvorschlag ist eine Versicherungsteuer der Anbieter.
Gekaufte Suchdaten sind kein sicheres Fundament mehr: Wenn Google automatisierten Abfragen manipulierte Ergebnisse liefert, werden Rank-Tracker und scrapende KI-Agenten unzuverlässig. Wer SEO- oder GEO-Daten nutzt, sollte Quellen prüfen und Ausreißer hinterfragen.
Wenige vergiftete Dokumente reichen: 250 manipulierte Dokumente können eine Hintertür in ein Modell bringen. Datenherkunft und Datenhygiene gehören in jedes Projekt, das eigene Modelle trainiert oder feinjustiert.
Das Modell allein entscheidet nicht: Gemini 4 Argon ist stark, aber ohne guten Harness verschenkt es Potenzial. Beim Werkzeugvergleich zählt die Umgebung aus Tools, Dateien und Terminal genauso wie das Modell.
Selbstverbesserung ist messbar noch langsam, aber sichtbar: Googles Index zeigt keinen Knick, doch OpenAIs Mathe-Release und MASS zeigen, wie viel Forschung schon automatisiert läuft. Die Prüfung der Ergebnisse durch Menschen wird zum Engpass.
Transparenz schwindet: Looped Transformer machen Gedankenketten schwerer lesbar. Chain-of-Thought-Monitoring hilft, solange man nicht dagegen trainiert; es ersetzt keine Lösung des Alignment-Problems.
Der Mensch ist die Lücke im Air-Gap: Abschottung von Servern hilft wenig, wenn Menschen manipuliert werden können. Sicherheitskonzepte für KI müssen Social Engineering mitdenken.
Kleine Modelle, große Angriffsfläche: Anthropic zeigt im Labor, dass sich Modelle selbst replizieren können. Schlecht gesicherte IoT-Geräte werden damit zum Risiko, Updates und Netzsegmentierung zur Pflicht.
Kapital ist der nächste Engpass: Der Ausverkauf vom 14.10. kam ohne schlechte KI-Zahlen, aus dem Bondmarkt. Wer auf Neocloud-Kapazitäten setzt, sollte die Finanzierung seiner Anbieter im Blick behalten und Alternativen einplanen.

Bester Satz der Folge

„Eine KI ist keine Software. Auch wenn das alle behaupten, eine KI ist keine Software.“ (Yusuf Sar, ca. 01:03:27, zu der Frage, warum man KI nicht einfach so programmieren kann, dass sie sich an Gesetze hält)

Links und Ressourcen

Haftung und Hugging-Face-Vorfall

Google, Suchdaten und Data Poisoning

Gemini 4 Argon und Harness

Selbstverbesserung und OpenAIs Mathe-Release

Looped Transformer, Chain of Thought und J-Space

Air-Gap und KI-Wurm

Meta Muse Wonder

Chips: Maia 300 und Co.

Kapital, Bondmarkt und CoreWeave

Hosts

Call to Action

Wer soll haften, wenn eine KI Schaden anrichtet: der Anbieter, der Nutzer oder der Staat? Und würdet ihr einem Gewissen-Modell mit Kill-Switch trauen? Schreibt es uns in die Kommentare, bewertet den Podcast und empfehlt die Folge weiter. Yusuf stellt sich jeder Diskussion, solange sie halbwegs zivilisiert läuft.

Hashtags

#KI #KISicherheit #KIBlase

Episode-Details

Episode: 95
Explizit: Nein
Sprache: de
Aufnahmedatum: 2026-10-15
Veröffentlichung: 2026-10-16
Dauer: 02:04:05

Erfahren Sie mehr

Ihr Wartungsspezialist für alle großen Hardware Hersteller

Durch Jahrzehnte lange Erfahrung wissen wir worauf es bei der Wartung Ihrer Data Center Hardware ankommt. Profitieren Sie nicht nur von unserer Erfahrung, sondern auch von unseren ausgezeichneten Preisen. Holen Sie sich ein unverbindliches Angebot und vergleichen Sie selbst.