Warum wir KI-Risiken nicht mit KI bekämpfen sollten

Ein aktuelles Beispiel für dieses doppelte Potenzial finden wir in der Anwendung von Künstlicher Intelligenz (KI) in der Chemie. Die Suche nach neuen Medikamenten oder Heilmitteln ist ein mühsamer Prozess, der oft Jahre dauert. Chemiker:innen müssen sich traditionell durch bestehende Stoffe und Verbindungen arbeiten, bekannte Reaktionswege prüfen und anschließend testen, ob sich daraus überhaupt etwas synthetisieren lässt.

Nun soll KI diesen Prozess beschleunigen. MOSAIC, ein in Zusammenarbeit von Forschenden der Yale University und der Boehringer-Ingelheim entwickeltes KI-System, verspricht, chemische Synthesen einfacher und schneller zu machen. Laut einem aktuellen Bericht in Nature konnten mit MOSAIC bereits 35 Verbindungen erzeugt werden, die das Potenzial für pharmazeutische Produkte, Agrarchemikalien oder Kosmetika haben, ohne dass weitere Suche oder Anpassungen nötig gewesen wären. Klingt vielversprechend. Wo liegt also das Problem?

Solche Systeme ermöglichen zwar schnellere wissenschaftliche Durchbrüche, erleichtern aber gleichzeitig die Entdeckung, das Design und die Optimierung giftiger, oftmals tödlicher, chemischer Stoffe. Oft geschieht die Entdeckung solcher Substanzen zufällig, wie beim Nervengiftgas Sarin im Jahr 1938. Doch zahlreiche historische Beispiele zeigen, dass Staaten und militärische Einheiten solche Stoffe gezielt in chemische Waffen verwandelt haben: Industrielle Chemikalien wie Chlor und später Senfgas waren Chemikern lange bekannt, bevor sie im Ersten Weltkrieg in großem Maßstab eingesetzt wurden.

Die Chemiewaffenkonvention (Chemical Weapons Convention) verbot 1993 schließlich Herstellung, Lagerung und Einsatz solcher Waffen. Dennoch tauchen sie laut aktuellen Berichten wieder auf Schlachtfeldern auf (European Council, 2025). Entsprechend wächst weltweit erneut die Aufmerksamkeit für das doppelte Risiko, das KI in Chemie und Biologie mit sich bringt.

Das kalifornische Unternehmen Lunai Bioworks entwickelte als Reaktion auf dieses Risiko Sentinel^TM – eine KI, die die Gefahren anderer Systeme wie MOSAIC eindämmen soll. Konkret wurde Sentinel^TM dafür gebaut, große Sprach- und wissenschaftliche Modelle daran zu hindern, überhaupt erst problematische chemische Stoffe zu generieren oder zu entdecken. Dabei handelt es sich um eine auf Transformer-Architekturen basierende Sicherheitsinstanz, die direkt in solche KI-Modelle wie MOSAIC integriert werden kann. Gestützt auf umfangreiche molekulare Daten und eigene toxikologische Datensätze fungiert Sentinel^TM als Echtzeit-Sicherheitsschicht, di molekulare Entwürfe prüft, bevor sie ausgegeben werden, und potenziell gefährliche Verbindungen bereits an der Quelle stoppt.

Das ist zweifellos ein wichtiger Sicherheitsbaustein. Aber ist es wirklich der richtige Weg, die Risiken einer KI mit einer weiteren KI zu bekämpfen? Sich darauf zu verlassen, dass eine eingebaute Schutz-KI schädliche Entdeckungen verhindert, wirkt schwer vereinbar mit den Zielen aktueller KI-Governance-Ansätze. Diese betonen angesichts wachsender Fähigkeiten von KI unter anderem verantwortungsvollen Einsatz, Transparenz und menschliche Aufsicht. Wenn jedoch eine KI die Aktivitäten einer anderen überwacht, wo bleibt dann die menschliche Kontrolle? Technische Leitplanken können Risiken verringern, ersetzen aber keine externe Prüfung, keine klaren Verantwortlichkeiten und keine durchsetzbaren Zugangsbeschränkungen. Ohne ergänzende Governance wie unabhängige Audits, kontrollierte Einsatzumgebungen und verbindliche Nutzungsnormen wird die Verantwortung zur Prävention faktisch an genau jene Werkzeuge delegiert, deren Fähigkeiten gerade beschleunigt werden und deren Funktionsweise für Menschen oft schwer nachvollziehbar bleibt.

In diesem Sinne spiegelt die Herausforderung, die KI für die Chemie darstellt, eine grundsätzliche Frage wider, die der britische Informatiker Stuart Russell seit Langem stellt: Wie lässt sich sicherstellen, dass immer leistungsfähigere Technologien mit menschlichen Werten im Einklang bleiben?

Vielleicht sollten wir, wie Russell vorschlägt, zunächst darüber nachdenken, wie wir über KI nachdenken. In vielen Debatten scheint es, als ginge es darum, „unsere“ Ziele mit den „Zielen der KI“ in Einklang zu bringen. Genau das ist, so Russell, der falsche Ausgangspunkt. KI ist ein von Menschen geschaffenes Werkzeug. Sie kann keine eigenen Ziele haben, sondern nur die, die wir ihr geben. Statt also zu überlegen, wie wir uns mit den Zielen der KI abstimmen, sollten wir klären, welche Ziele wir mit und für KI verfolgen und letztlich auch für die Zukunft der Menschheit. Schließlich sollten wir fragen: Spiegeln sich diese Ziele in den Technologien, die wir entwickeln, wieder?

Russells Argument verstärkt die Sorge, die sich hier aufdrängt: Wenn wir feststellen, dass Werkzeuge wie MOSAIC nicht mit unseren Zielen übereinstimmen, sollten wir zunächst dieses Werkzeug anpassen oder neu ausrichten, statt ein weiteres darüberzulegen, dessen eingebaute Zielsetzungen womöglich ebenfalls an unseren eigentlichen Absichten vorbeigehen. Die schwierigere, aber notwendigere Aufgabe besteht also darin, überhaupt festzulegen, welche Ziele wir verfolgen und Technologien von Anfang an so zu gestalten, dass sie diesen entsprechen. Andernfalls laufen wir Gefahr, eine immer höhere Schicht von Maschinen zu errichten, die einander korrigieren sollen, während menschliche Verantwortung leise aus dem Kreislauf verschwindet.

Referenzen

Haote, L., Sarkar, S., Lu, W., et al (2026). Collective intelligence for AI-assisted chemical synthesis. Nature. https://doi.org/10.1038/s41586-026-10131-4

PR Newswire (January 2026). Lunai Bioworks (NASDAQ: LNAI) Launches Sentinel, an AI Safeguard to Block Large Language Models from Generating Novel Chemical Weapons. Available at https://www.prnewswire.com/news-releases/lunai-bioworks-nasdaq-lnai-launches-sentinel-an-ai-safeguard-to-block-large-language-models-from-generating-novel-chemical-weapons-302671394.html

European Council (2025). Chemical Weapons: EU sanctions three entities in the Russian Armed Forces over sue of chemical weapons in Ukraine. Available at https://www.consilium.europa.eu/en/press/press-releases/2025/05/20/chemical-weapons-eu-sanctions-three-entities-in-the-russian-armed-forces-over-use-of-chemical-weapons-in-ukraine

Russell, S. (2020). Human Compatible. AI and the Problem of Control. Penguin