Enquete-Kommission KI: BWI und Bundeswehr erfüllen zentrale Anforderungen

© koto_feja/iStock

E-Government

Die Bundesregierung ist sich der bedeutenden Rolle der Zukunftstechnologie KI bewusst. Das war spätestens klar, als sie im Juni 2018 eine eigene Enquete-Kommission zum Thema ins Leben rief. Nun haben die 38 Mitglieder, darunter Bundestagsabgeordnete und externe Sachverständige, ihre Arbeit beendet. Entstanden ist ein umfassender Bericht (hier die Kurzfassung) zu den Folgen von KI für die Bereiche Wirtschaft, Staat, Gesundheitswesen, Arbeit, Mobilität und Medien.

In wesentlichen Punkten bestätigt die Kommission die bestehende KI-Strategie der Bundesregierung, konkretisiert sie aber. „Wenn die Empfehlungen der Kommission umgesetzt werden, dann stehen klare Leitplanken dafür fest, wie staatliche Organisationen im KI-Umfeld agieren können und wovon sie Abstand nehmen sollten“, sagt Enrico Bonatesta, Enterprise Lead Architect KI bei der BWI. „Es bleibt aber noch genügend Spielraum für Innovationen.“

Für den Menschen gemacht

Ein zentraler Gedanke des Berichts: Bei der Entwicklung von KI-Systemen – egal, ob es um Forschungszwecke geht, um wirtschaftliche Fortschritte oder um einen militärischen Einsatz – müsse immer das Gemeinwohl und damit der Mensch im Mittelpunkt stehen. In der Praxis hat das vielfältige Implikationen. Einen Schwerpunkt legt der Abschlussbericht auf Transparenz und Nachvollziehbarkeit: Wo auch immer Daten von einer künstlichen Intelligenz verarbeitet werden, müsse der Entscheidungsfindungsprozess jederzeit klar sein. Nur wenn Ergebnisse nachvollziehbar seien, könne Vertrauen in ein System entstehen.

Und dieses Vertrauen der Bürger sei den Autoren zufolge ein wichtiger Erfolgsfaktor für KI. Neben technischen Schutzmechanismen und Selbstverpflichtungen seitens der Entwickler müsse es Aufgabe des Staates sein, Bedenken der Bevölkerung aktiv anzusprechen und Aufklärung zu betreiben. Beispielsweise, wenn eine KI künftig im Bürgeramt automatisiert Anfragen bearbeitet oder wenn im Gesundheitswesen per Mustererkennung über Behandlungsprioritäten entschieden werde. Darüber hinaus hält die Kommission den Aufbau einer staatlichen Weiterbildungsplattform für ratsam, die Bürger bei der mündigen Meinungsbildung unterstützt.

„Wenn die Empfehlungen der Kommission umgesetzt werden, dann stehen klare Leitplanken dafür fest, wie staatliche Organisationen im KI-Umfeld agieren können und wovon sie Abstand nehmen sollten.“

Enrico Bonatesta, Enterprise Lead Architect KI, BWI

Kontrolle und Austausch gleichermaßen nötig

Transparenz heißt für die KI-Kommission aber auch: Entwickler und Betreiber von KI-Systemen müssten sich genauer auf die Finger schauen lassen. Zum einen fordern die Autoren recht vage einen „verantwortungsvollen“ Umgang mit KI-Systemen; inwiefern damit Maßnahmen verbunden sind, die über die Datenschutzgrundverordnung der Europäischen Union hinausgehen, bleibt abzuwarten. Zum anderen empfiehlt die Kommission den Aufbau eines „Ziel- und Monitoringsystems“. Die Nutzung aller KI-Systeme in bundesstaatlichen Organisationen soll demnach zentral überwacht und gesteuert werden können. „Wir begrüßen den Vorschlag und sehen ein solches Zentrum auch als neuen Kanal für den Wissens- und Erfahrungsaustausch“, sagt Enrico Bonatesta. „Gerade auf dem Gebiet der KI ist das wichtig – wir müssen das Rad schließlich nicht immer wieder neu erfinden.“

Sicherheits- und Qualitätskriterien gefragt

Von den Entwicklern fordert die Enquete-Kommission in puncto Vertrauen und Nachvollziehbarkeit: KI-Systeme müssten so gestaltet sein, dass Manipulationen erkennbar sind. Für Bonatesta ist das eine der größten Herausforderungen. „Es ist ja gar nicht notwendig, den Algorithmus selbst zu manipulieren“, sagt er. „Es reicht schon, das lernende System mit gezielt oder unbewusst ausgewählten ‚problematischen‘ Daten zu speisen.“ In der Tat scheitern heute viele Entwickler daran, Algorithmen selbstlernender Systeme und die zugrundeliegenden Daten so zu gestalten, dass niemand benachteiligt wird. Gemeinhin geht man davon aus, dass Computersysteme völlig objektive Entscheidungen treffen. Doch zahlreiche Beispiele für den sogenannten Algorithm Bias – eine Voreingenommenheit des Algorithmus – haben in der Vergangenheit das Bild von der unfehlbaren Maschine getrübt. Schon 2016 hatten daher zahlreiche Wissenschaftler eine Art TÜV für KI-Algorithmen gefordert.
 

Eine solche Prüf- und Genehmigungsbehörde sieht die KI-Kommission nicht vor. Regulierungsansätze dürften eine Technologie nicht unter Generalverdacht stellen, heißt es im Bericht. Wohl aber brauche es Qualitätskriterien für Systeme, die in den staatlichen Einsatz gestellt werden sollen. Wie diese im Einzelnen aussehen sollen, lässt der Bericht offen. Und das ist gut so, meint Christoph Brockmann, Senior IT Architect bei der BWI und dort für die strategische Portfolioplanung zuständig.

„Wir würden uns verrennen, wenn wir jetzt allgemeingültige Kriterien definieren, die alle KI-Systeme erfüllen müssen.“

Christoph Brockmann, Senior IT Architect Strategische Portfolioplanung, BWI

„Allgemeine Kriterien wären entweder so vage, dass sie nichts aussagen. Oder so einschränkend, dass sie im Einzelfall die Verwendung eines sinnvollen Systems verhindern oder ineffizient machen“, meint Brockmann. Im Extremfall könne man daher Qualitätskriterien erst bei der Entwicklung einer neuen Anwendung festlegen. Wichtig sei vor allem, immer zu wissen, ob die Software noch das tut, was sie tun soll. Das ist erneut eine Frage der Qualität der Datenbasis. Informationsmengen, wie sie für KI-Anwendungen erforderlich sind, lassen sich nicht mehr händisch auf Korrektheit prüfen – sie per KI zu prüfen, würde wiederum den Zweck der Prüfung ad absurdum führen.
 

Dennoch müssen Daten valide und aktuell sein sowie schlicht überhaupt in ausreichender Menge zur Verfügung stehen. Großen Handlungsbedarf sieht die Kommission daher in der Förderung von Open Data, also dem freiwilligen Teilen von bereits erhobenen Daten, die damit öffentlich einsehbar und überprüfbar werden. Ein Berechtigungskonzept und Datenschutzkonformität vorausgesetzt, sei eine offene Datenplattform ein wesentlicher Erfolgsfaktor für KI-Fortschritte – gerade in Forschung und Entwicklung. Das europäische Programm GAIA-X, mit dem Deutschland und Frankreich gemeinsam mit anderen europäischen Partnern eine vernetzte Dateninfrastruktur auf Basis von Open-Source-Anwendungen und offenen Standards entwickelt, könnte dafür die technische Grundlage bilden. „Für derartige Austauschkonzepte gibt es sicherlich verschiedene Anwendungsfälle“, so Brockmann. „Doch der Staat im Allgemeinen und die Bundeswehr im Speziellen brauchen auch eine gewisse Autonomie, gerade bei sicherheitskritischen Anwendungen.“

„Staatliches Handeln wird immer auf staatlichen Plattformen stattfinden.“

Christoph Brockmann, Senior IT Architect Strategische Portfolioplanung, BWI

KI bei der Bundeswehr: Zwischen Autonomie und Eigenverantwortung

Für Staat und Bundeswehr gleichermaßen wichtig ist noch eine weitere Forderung der Kommission. Sie empfiehlt eine intensive, interdisziplinäre Forschung zur Entscheidungsautonomie: KI-Systeme sollen menschliche Entscheidungen zwar unterstützen, aber nicht abnehmen. Die Frage ist allerdings, ob der Mensch dafür bereit ist. Noch sei völlig unklar, wie wahrscheinlich es ist, dass beispielsweise ein Beschäftigter in der Verwaltung der Empfehlung einer KI widerspricht. Auch für die Bundeswehr ist das ein hochrelevantes Gebiet. „Der Extremfall sind militärische Einsätze mit tödlichen autonomen Waffensystemen“, sagt Jan Riedel, Executive Architect Innovation bei der BWI. „Die Aussage der Bundeswehr ist klar: Die letztendliche Entscheidung muss und wird immer bei einem Menschen liegen – auch wenn die Steuerung des Waffensystems selbst von einer KI übernommen werden würde.“ Die Enquete-Kommission streift das Thema in ihrem Abschlussbericht nur, vor allem, da eine allgemein anerkannte Definition autonomer Waffensysteme bislang fehle. Generell setzt sie sich für eine internationale Ächtung entsprechender Waffen ein.
 

Das überwiegende Potenzial von KI bei der Bundeswehr liege laut Jan Riedel aber in anderen Bereichen. Die BWI evaluiert bereits seit drei Jahren entsprechende Möglichkeiten und setzt seit 2018 die ersten Projekte in Prototypen um. So können die Analysten im Gemeinsamen Lagezentrum Cyber- und Informationsraum heute beispielsweise Lagebilder unter anderem dank KI-Unterstützung auf Basis deutlich größerer Datenmengen erstellen, als es zuvor möglich war.
 

Tatsächlich fordert auch die KI-Kommission dazu auf, generell experimentierfreudig zu sein. „Experimentierräume sind ein mehrfach genanntes Mittel, um KI-Innovationen voranzubringen“, heißt es in dem Papier. Und weiter: „Der Gesetzgeber muss flankierend den rechtlichen Rahmen definieren und die Ausweisung von Experimentierräumen unterstützen.“ Jan Riedel sieht in den Aussagen eine Bestätigung der bisherigen Arbeit der BWI. „Wir arbeiten permanent an solchen praxisnahen Experimenten.“ Mit der internen Innovationseinheit BWI innoX untersucht das Unternehmen derzeit verschiedene Disziplinen des maschinellen Lernens. Derzeit erproben die Mitarbeiter etwa Systeme, die Bundeswehr-spezifische Objekte auf Bildern erkennen, Drohnenvideos analysieren sowie Radarsignale KI-gestützt auswerten. Ehemalige Experimente, bei denen beispielsweise Anomalien in Rechenzentren automatisiert identifiziert und so Auslastung und Betrieb von Servern verbessert wurden, werden mittlerweile im Rahmen eines Pilotbetriebs aufgebaut.

„Das Potenzial von KI für die Bundeswehr geht weit über den militärischen Einsatz hinaus.“

Jan Riedel, Executive Architect Innovation, BWI

Zusammenarbeit mit Start-ups

Bei der Entwicklung von KI-Systemen sei der Enquete-Kommission zufolge eine „Kooperation verschiedener Akteure in Forschung, Entwicklung und Anwendung“ erforderlich. Das gelte sowohl im europäischen Verbund, als auch national bei der Zusammenarbeit insbesondere mit Start-ups. Diese sieht die Kommission als wesentlichen Treiber der Technologie – zusätzliche Förderungen und eine Vernetzung in Ökosystemen seien entscheidend. Der Cyber Innovation Hub der Bundeswehr als Teil der BWI erfüllt diese Aufgabe bereits, indem er Bundeswehr und die relevante Start-up-Szene in Kontakt bringt und die agile Entwicklung nutzbringender (KI-)Innovationen vorantreibt.

Jetzt sind Gesetze gefragt

Insgesamt bestätigt der Abschlussbericht der Enquete-Kommission KI den Kurs, den die BWI eingeschlagen hat. Viele Aspekte sind bereits umgesetzt oder vorgedacht – von der schnellen Realisierung agiler Piloten bis zur verantwortungsvollen Gestaltung von KI-Algorithmen. Entscheidend wird nun sein, dass die Regierung aus den zahlreichen Hintergründen und Empfehlungen nicht nur grobe Richtlinien ableitet, sondern konkrete Gesetze entwickelt. Auch damit wird KI natürlich nicht zum Problemlöser im Automatikmodus, wie die Autoren der Kommission klar formulieren: „Parlament und Regierung müssen weiterhin politische Lösungen für gesellschaftliche Herausforderungen finden. KI kann dann für die Umsetzung eingesetzt werden.“
 

Das könnte Sie auch interessieren: