KI-Risiken für Unternehmen: Warum nicht Skynet die Gefahr ist
Jens Margraf ·
KI-Risiken für Unternehmen liegen nicht in einer Superintelligenz, sondern in fehlender Verantwortung. 5 Regeln, wie Schweizer KMU KI sicher einsetzen.
Die Schlagzeile der Woche klingt nach Hollywood: Ein führender Sicherheitsforscher des KI-Unternehmens Anthropic hält es für mehr als 10 % wahrscheinlich, dass KI innerhalb des nächsten Jahrzehnts «alle Menschen töten» könnte. Die BBC berichtete, ein ehemaliger Kollege legte nach, und in Kommentarspalten wie Kaffeepausen ist die Frage wieder da: Ist KI gefährlich, und sollten wir als Unternehmen besser die Finger davon lassen?
Die Antwort ist unbequemer als jedes Science-Fiction-Szenario. Die wirklichen KI-Risiken für Unternehmen haben wenig mit einer bösartigen Superintelligenz zu tun, aber viel mit uns selbst: mit ungeprüften Ergebnissen, unklaren Zuständigkeiten und dem bequemen Satz «Das hat die KI so vorgeschlagen». Genau diese Risiken sind für Schweizer KMU heute relevant und steuerbar.
Was ist passiert? Die Debatte in 60 Sekunden
Anfang September 2026 schrieb Evan Hubinger, Sicherheitsforscher bei Anthropic, auf X, er halte die Wahrscheinlichkeit, dass KI alle Menschen töten könnte, innerhalb der nächsten zehn Jahre für «grösser als 10 %». Die heutigen Modelle stufte er selbst als wenig riskant ein. Seine Sorge gilt künftigen Systemen, die sich selbst verbessern (Fachbegriff: Recursive Self-Improvement, also KI, die ihre eigene Weiterentwicklung übernimmt).
Kurz darauf doppelte Jacob Coxon nach, ein Forscher, der zuvor bei OpenAI und Anthropic gearbeitet hat: Keines der Unternehmen handle verantwortungsvoll, bald kämen «übermenschliche Systeme».
Wichtig für die Einordnung: Die 10 % sind eine persönliche Einschätzung, keine berechnete Wahrscheinlichkeit. Koncrete Belege oder ein Szenario, wie das geschehen soll, wurden nicht vorgelegt. Kritische Stimmen, etwa der Tech-Autor Will Lockett, sprechen deshalb von «KI-Hysterie» und werfen den Medien vor, die Aussagen weitgehend unkritisch übernommen zu haben.
Warum Superintelligenz nicht Ihr dringendstes Problem ist
Ob und wann eine KI entsteht, die den Menschen in allem übertrifft, ist eine offene Forschungsfrage. Diese Debatte ist berechtigt und soll geführt werden. Für die Geschäftsleitung eines Zuger Treuhandbüros oder eines Ostschweizer Maschinenbauers ist sie aber keine Entscheidungsgrundlage für Montagmorgen.
Denn die Modelle, die Sie heute einsetzen, sind beeindruckend und zugleich fehlbar. OpenAI hat 2025 in einer eigenen Studie (Why Language Models Hallucinate) aufgezeigt, warum Sprachmodelle halluzinieren, also überzeugend klingende, aber falsche Antworten liefern: Training und Bewertung belohnen das Raten stärker als das ehrliche «Ich weiss es nicht».
Eine Metapher hilft: Ein Sprachmodell ist wie ein brillanter, extrem schneller Praktikant mit riesigem Allgemeinwissen, der aber lieber eine plausible Antwort erfindet, als zuzugeben, dass er sie nicht kennt. Niemand würde einen solchen Praktikanten eine Offerte unterschreiben lassen. Genau das passiert aber, wenn KI-Ergebnisse ungeprüft das Haus verlassen.
Das eigentliche KI-Risiko für Unternehmen: Verantwortung, die verdunstet
Das grösste Risiko ist nicht, dass die KI zu mächtig wird. Das grösste Risiko ist, dass Menschen ihr mehr zutrauen, als sie leisten kann, und dabei die Verantwortung stillschweigend abgeben.
Die Zahlen aus der Softwareentwicklung zeigen das deutlich:
Sicherheit: Der GenAI Code Security Report von Veracode testete über 100 Sprachmodelle. In rund 45 % der Fälle enthielt der generierte Code eine bekannte Sicherheitslücke.
Qualität: Laut dem State of AI vs Human Code Generation Report von CodeRabbit verursacht KI-generierter Code rund 1,7-mal mehr Probleme im Code-Review als von Menschen geschriebener Code.
Wahrnehmung: In einer randomisierten Studie von METR (2025) brauchten erfahrene Entwickler mit KI-Tools 19 % länger für ihre Aufgaben. Sie selbst glaubten hingegen, 20 % schneller gewesen zu sein.
Die Lehre daraus ist nicht «KI bringt nichts». Die Lehre lautet: KI ohne Kontrolle ist ein Risiko, KI mit klarer Verantwortung ist ein Hebel. Der letzte Punkt ist besonders aufschlussreich: Das Gefühl, produktiver zu sein, ist kein verlässlicher Messwert.
Übertragen auf den KMU-Alltag heisst das:
| Situation | Risiko ohne Kontrolle | Mit klarer Verantwortung |
|---|---|---|
| KI schreibt eine Offerte | Falscher Preis, erfundene Leistung | Mitarbeiterin prüft und gibt frei |
| KI beantwortet Kundenanfragen | Falsche Zusage, Imageschaden | Klare Grenzen, Eskalation an Mensch |
| KI filtert Bewerbungen | Unfaire Vorauswahl, DSG-Problem | Mensch entscheidet, KI unterstützt |
| KI generiert Code | Sicherheitslücke im Kundenportal | Code-Review vor jedem Deployment |
Was bedeutet das für Schweizer Unternehmen?
Das Schweizer Recht ist hier erstaunlich klar. Das revidierte Datenschutzgesetz (DSG) verlangt in Art. 21, dass Betroffene informiert werden, wenn eine Entscheidung ausschliesslich automatisiert getroffen wird und für sie eine Rechtsfolge hat oder sie erheblich beeinträchtigt. Auf Wunsch muss ein Mensch die Entscheidung überprüfen. Mit anderen Worten: Der Gesetzgeber hat «Human in the Loop» bereits eingebaut.
Hinzu kommen zwei Risiken, die in der Weltuntergangs-Debatte kaum vorkommen, im Alltag aber real sind:
Datenabfluss: Wer Kundendaten in private Accounts von Gratis-Tools kopiert, verliert die Kontrolle darüber, wo diese Daten verarbeitet werden.
Abhängigkeit: Wer alles auf einen einzigen Anbieter setzt, ist dessen Preisen, Ausfällen und Richtungswechseln ausgeliefert. Mehr dazu in unserem Artikel zum Single-Vendor-Risiko.
Und seit August 2026 gilt für alle mit EU-Bezug zusätzlich die KI-Kennzeichnungspflicht.
5 Regeln für den verantwortungsvollen KI-Einsatz im KMU
1. Jede KI-Anwendung hat einen Namen
Nicht «die IT» oder «das Tool» ist verantwortlich, sondern eine konkrete Person. Wer einen KI-Prozess einführt, ist für seine Ergebnisse zuständig.
2. Der Mensch gibt frei, nicht die Maschine
Alles, was nach aussen geht oder Rechtsfolgen hat, wird von einem Menschen geprüft: Offerten, Verträge, Personalentscheide, Code. KI liefert den Entwurf, der Mensch unterschreibt.
3. Daten bleiben unter Kontrolle
Nutzen Sie KI-Tools mit Unternehmenskonto, klaren Datenschutzbedingungen und idealerweise Datenverarbeitung in der Schweiz, statt private Gratis-Accounts zu tolerieren. Das beendet auch die Schatten-IT.
4. Mehrere Modelle statt Blindvertrauen
Unterschiedliche Modelle haben unterschiedliche Stärken und Schwächen. Wer wichtige Ergebnisse mit einem zweiten Modell gegenprüft, erkennt Halluzinationen schneller.
5. Kompetenz vor Tool
Die beste Absicherung ist ein Team, das weiss, was KI kann und was nicht. Wer die Grenzen kennt, fällt weder auf Hype noch auf Hysterie herein. Oder wie wir es formulieren: 20 % Technologie, 80 % Menschen.
Fazit
Die Warnungen vor einer KI-Apokalypse sorgen für Schlagzeilen, helfen Schweizer Unternehmen aber nicht weiter. Die realen KI-Risiken für Unternehmen sind weniger spektakulär und dafür lösbar: fehlende Kontrolle, verdunstende Verantwortung, unklare Datenflüsse.
Die richtige Reaktion auf die Hysterie ist deshalb weder Panik noch blinde Euphorie, sondern Führung. Legen Sie fest, wer wofür verantwortlich ist, welche Tools erlaubt sind und wo der Mensch das letzte Wort hat. Wer das heute regelt, nutzt KI morgen mit gutem Gewissen und mit messbarem Nutzen.
Meine Frage an Sie: Wer ist in Ihrem Unternehmen verantwortlich, wenn eine KI-generierte Antwort falsch ist?
Klare KI-Spielregeln für Ihr Team
Ob KI-Richtlinie, Use-Case-Workshop oder Schulung: Mit AI Consulting und der AI now Academy machen wir Ihr Team fit für einen sicheren, produktiven KI-Einsatz.
Jens Margraf, CEO und Gründer von AI now AG
FAQ
Kann KI die Menschheit auslöschen?
Einzelne KI-Forschende halten das langfristig für möglich. So schätzte Anthropic-Sicherheitsforscher Evan Hubinger im September 2026 die Wahrscheinlichkeit auf über 10 % innerhalb eines Jahrzehnts. Dabei handelt es sich um eine persönliche Einschätzung, nicht um eine berechnete Wahrscheinlichkeit. Für Unternehmen sind heute andere Risiken relevant: Fehler, Datenabfluss und fehlende Verantwortlichkeit.
Was sind die grössten KI-Risiken für Unternehmen?
Die wichtigsten Risiken im Alltag sind ungeprüfte KI-Ergebnisse (Halluzinationen), unklare Zuständigkeiten, Datenschutzverstösse durch Tools mit Servern ausserhalb der Schweiz, Schatten-IT sowie die Abhängigkeit von einem einzigen Anbieter.
Was sagt das Schweizer Datenschutzgesetz zu KI-Entscheidungen?
Das revidierte Datenschutzgesetz (DSG) verlangt, dass betroffene Personen über automatisierte Einzelentscheidungen informiert werden, wenn diese für sie eine Rechtsfolge haben oder sie erheblich beeinträchtigen. Auf Verlangen muss ein Mensch die Entscheidung überprüfen (Art. 21 DSG).
Was bedeutet Human in the Loop?
Human in the Loop heisst, dass ein Mensch KI-Ergebnisse prüft und freigibt, bevor sie Wirkung entfalten, etwa bevor eine Offerte verschickt, ein Vertrag unterschrieben oder Code live geschaltet wird. Die Verantwortung bleibt damit klar beim Menschen.