Was die KI-Verordnung für den deutschen Mittelstand bedeutet

„Wir nutzen nur normale KI-Systeme“

Vereinfacht gesagt unterscheidet die KI-Verordnung „horizontal“ zwischen denjenigen, die LLMs und darauf basierende Systeme anbieten, und denjenigen, die sie nur betreiben, und „vertikal“ zwischen Normal- und Hochrisiko-Systemen. Mittelständische Unternehmen, die nicht selbst KI-Systeme erschaffen, werden in der Regel (nur) Anwender und damit „Betreiber“ sein und in dieser Eigenschaft – zumindest auf den ersten Blick, dazu noch unten – Systeme mit normalem Risikoprofil einsetzen. Üblich ist dann die Nutzung einer cloud-basierten SaaS-Plattform (s. o.), die ein KI-System beinhaltet bzw. hinzuzieht. Rechtlich ist zwar noch unklar, ob der Anbieter einer Plattform, der seinerseits ein bestehendes LLM eines Anbieters im Backend hinzuzieht, selbst nur „Betreiber“ dieses eingebundenen KI-Systems ist. In jedem Fall aber ist das nutzende Unternehmen selbst (ggf. neben dem Plattformanbieter) „Betreiber“ des eingebundenen KI-Systems, weil es dieses System „in eigener Verantwortung“ nutzt: Zumindest bei den derzeit im Unternehmenskontext genutzten KI-Systemen bestimmt der Abnehmer des Dienstes, welche Aufgabe genau zu erledigen ist, während der Anbieter lediglich die Einsatzgrenzen des Systems gestaltet.

Für einen solchen Betreiber gilt zunächst einmal eine – übrigens bereits seit Februar 2025 geltende – Verpflichtung, das beim Betrieb des Systems eingesetzte interne und externe Personal mit „KI-Kompetenz“ auszustatten. Maß und Ausrichtung entsprechender Schulungs- und Lehrmaßnahmen richten sich nach dem KI-System, das betrieben werden soll. Dazu zählt neben dem sachkundigen Einsatz (Anwender-Know-how) auch eine Aufklärung über Risiken und Schadensszenarien. Entsprechende (Schulungs-) Angebote von Drittanbietern werden schon seit längerem umfangreich angeboten. Eine Verletzung dieser Pflicht durch den Betreiber ist allerdings in der KI-VO nicht sanktioniert, also nicht bußgeldbewehrt. Das schließt nicht aus, dass durch die Verwendung des KI-Systems bei einem Dritten, insbesondere auch einem Arbeitnehmer, Kunden oder Lieferanten, ein Schaden entsteht, der durch die vorgegebene Vermittlung von Kompetenzen hätte verhindert werden können – dann könnte ein Schadensersatzanspruch zumindest auch mit der Argumentation begründet werden, der Betreiber habe gegen eine gesetzliche Pflicht verstoßen und bei deren Einhaltung wäre der Schaden nicht ein-getreten. Ob das in der Praxis eine große Rolle spielen wird, ist aber offen.

Außerhalb dieser gesetzlichen Vorgabe zum Kompetenzerwerb und außerhalb der im Folgenden zu besprechenden Hochrisiko-Systeme erlegt die KI-VO den Betreibern nur in zwei Fällen spezifische Pflichten auf. Diese beiden Fälle betreffen KI-Systeme, die sog. „Deepfakes“ produzieren, und KI-Systeme, die Texte generieren, mit denen die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse informiert wird. Beides dürfte in der Praxis mittelständischer Unternehmen keine große praktische Rolle spielen. Sonstige Verpflichtungen ändern sich durch die KI-VO allerdings nicht; so müssen Betreiber von KI-Systemen, die personenbezogene Daten verarbeiten sollen, als „Verantwortliche“ (natürlich) auch weiterhin z. B. die DSGVO einhalten.

Praxishinweis: Ein Unternehmen, das nur KI-Systeme, die keine Hochrisikosysteme sind, im Rahmen von deren herstellerseitigen Vorgaben anwendet, unterliegt grundsätzlich nur einer nicht sanktionierten Pflicht zur Schulung des eingesetzten Personals.

Vorsicht, hohes Risiko!

Bis hierhin waren die Vorgaben überschaubar. Aufwendiger wird die Einhaltung der Vorgaben der KI-VO demgegenüber im Bereich in der sogenannten Hochrisikosysteme, wobei es im Einzelfall gar nicht so einfach feststellbar ist, ob man als Betreiber ein solches Hochrisikosystem nutzt. Doch dazu später. Erst einmal soll es um die zusätzlichen Betreiberpflichten gehen, die bei Verwendung eines Hochrisikosystems zu befolgen sind. Im Unterschied zu Systemen mit normalem Risiko kann die Verletzung dieser Pflichten auch mit einer Geldbuße in Höhe von bis zu 15 Mio. EUR bzw., wenn dies – im Falle von KMU – geringer ist, bis zu 3% des Unternehmensgruppenumsatzes geahndet werden.

Über die oben beschriebene KI-Kompetenzvermittlung hinaus haben die Betreiber von Hochrisikosystemen die Pflicht, diese Systeme im Rahmen von deren Spezifikationen („Betriebsanleitungen“) zu betreiben und zu überwachen, indem sie (unternehmens- bzw. anwendungsfallspezifische) eigene technische und organisatorische Maßnahmen definieren und anwenden. Dazu zählt auch, genügend geschultes (und über die Verwendung eines Hochrisikosystems aufgeklärtes) Personal vorzuhalten, um diese Pflichten erfüllen zu können, und automatisch erzeugte Protokolle des Systems für einen Zeitraum von mindestens sechs Monaten aufzubewahren. Soweit mit dem System Entscheidungen getroffen oder unterstützt werden, die sich auf natürliche Personen auswirken, ist solchen betroffenen Personen der Einsatz des Systems mitzuteilen. Dies überschneidet sich mit der Vorgabe der DSGVO, bei „automatisierten Entscheidungsfindungen“ den betroffenen Personen „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person“ mitzuteilen.

Allerdings erschöpft sich die Pflicht des Betreibers nicht in einer „sklavischen“ Befolgung von Betriebsanleitungen – letztlich also Funktionsbeschreibungen und Online-Hilfen – des Herstellers, heruntergebrochen auf die konkrete Unternehmensumgebung des Betreibers. Denn der Hersteller kann natürlich nicht alle konkreten Anwendungs- und damit Gefährdungsszenarien vorhersehen. Vielmehr muss der Betreiber auch selbstständig prüfen, ob das KI-System selbst bei Einhaltung der herstellerseitigen Vorgaben ein sog. risikobehaftetes Produkt im Sinne der Marktüberwachungsverordnung der EU darstellt. Kurz gesagt liegt ein solches Produkt dann vor, wenn von ihm ein höheres Gefahrenpotenzial ausgeht als „vernünftig und vertretbar“ ist. Unter der KI-VO ist eine Risikobehaftetheit immerhin „nur“ – im Unterschied zur darüber hinausgehenden Marktüberwachungs-VO – dann relevant, wenn ein Risiko für Grundrechte von Personen besteht (einschließlich von deren Gesundheit oder Sicherheit). Ist dies der Fall oder kommt es gar zu einem „schwerwiegenden Vorfall“, muss der Betreiber eine Meldekette in Gang setzen, die den Anbieter oder Händler/Einführer sowie die zuständigen Marktüberwachungsbehörden umfasst. Komplementär dazu trifft den Hersteller eine Marktbeobachtungspflicht.

Man sieht insbesondere an dieser Vorgabe, dass die KI-VO letztlich einen Teil des Produktsi-cherheitsrechts darstellt. Eine bestimmte Produktklasse – KI-Systeme – soll so ausgestaltet und angewendet werden, dass eine Verletzung von Rechten Dritter vermieden wird. Es gibt andere EU-Regelwerke – beispielsweise die Produktsicherheitsverordnung, die Maschinenverordnung oder die Ökodesignverordnung –, die ebenfalls sowohl die Ausgestaltung des Produkts durch den Hersteller als auch die Instruktionen an die Betreiber regeln. Mit den Vorgaben für die Ausgestaltung eines („transparenten“) Produkts und den „Gebrauchsanleitungen“ an dessen Nutzer soll der „Gefährlichkeit“ im Sinne eines innewohnenden Potenzials zur Verletzung von (Grund-) Rechten entgegengewirkt werden.

Dies unterscheidet die KI-VO beispielsweise von der DSGVO, die inhaltlich regelt, unter welchen Bedingungen personenbezogene Daten verarbeitet werden dürfen – dafür ist erst einmal nicht relevant, welche „Werkzeuge“ genau eingesetzt werden. Ein KI-System ist etwa dann „gefährlich“, wenn es bei dessen Einsatz zu Datenschutzverletzungen kommen kann, und deshalb fordern innerhalb dieser Schnittmenge letztlich beide Regelwerke, dass sowohl der Gestalter eines Werkzeugs als auch dessen Anwender Anforderungen definieren – der Gestalter im Sinne „datenschutzfreundlicher Technikgestaltung“, der Anwender im Sinne „unternehmensspezifischer Einsatzleitplanken“ –, wie mit dem Werkzeug konkret umzugehen ist, damit das Datenschutz-Grundrecht der betroffenen Personen gewahrt wird. Die Einhaltung solcher „Pflichten zur Risikoeinhegung“ muss dann auch nachgewiesen werden können, damit bei Rechtsverletzungen nachvollzogen werden kann, ob die vom Hersteller definierten und vom Betreiber umgesetzten Leitplanken für den Einsatz des Produkts unzureichend formuliert oder überwacht wurden oder sich ein Mitarbeiter individuell über die Vorgaben hinweggesetzt hat.

Letztlich müssen damit der Hersteller und der Betreiber ähnlich wie beim „Vier-Augen-Prinzip“ zusammenwirken, um zu evaluieren, ob das KI-System „übermäßig gefährlich“ ist bzw. sein kann („überschießendes“ Risiko). Wann dies genau der Fall ist, wurde im Gesetz nur „wachsweich“ definiert, sodass es sein kann, dass die ganze Regelung keine praktische Relevanz erlangt. Es ist aber – ähnlich wie im Datenschutzrecht – keine schöne Aussicht, formal bußgeldbewehrte gesetzliche Vorgaben einhalten zu müssen, ohne genau zu wissen, was diese wirklich bedeuten. Umgekehrt muss man sich das Dilemma des Gesetzgebers im Bereich des Produkthaftungsrechts vor Augen halten: Der Gesetzgeber kann nicht einzelne Produkte oder Produktgattungen auf ihr Gefahrenpotenzial hin untersuchen und dann darauf basierend Gesetze über die richtige Anwendungsweise erlassen. Stattdessen muss er dem Hersteller die Pflicht auferlegen, den bestimmungsgemäßen Gebrauch zu definieren und gegenüber einem nicht bestimmungsgemäßen, gefährlichen Gebrauch abzugrenzen, und dem Anwender bzw. Betreiber auferlegen, diese Vorgaben des Herstellers auf die individuellen Unternehmensprozesse herunterzubrechen und zu eskalieren, wenn sich dabei Hinweise auf eine vom Hersteller nicht erkannte Gefahr ergeben.

Kommt der Betreiber dieser Verpflichtung nach, können Gefahren und damit Rechtsverletzungen verhindert werden, weshalb der Gesetzgeber die Betreiber durch entsprechende Sanktionen „motiviert“, dieser Pflicht zur kritischen Befassung mit dem Produkt nachzukommen. Allerdings fehlt es für eine solche Breitenwirkung an einer entsprechenden Kontrolldichte – wenn bei einem Betreiber B eine Rechtsverletzung durch das KI-System verursacht wird, die dadurch hätte vermieden werden können, dass der Betreiber A das System besser evaluiert hätte, wird diese Verknüpfung wohl kaum jemals zu einer Aufdeckung einer mangelhaften Evaluierung beim Betreiber A führen (außer auch dort tritt ein relevanter Schaden ein). Dieser Umstand könnte – neben dem zu betreibenden Aufwand – durchaus in der Praxis ein Hemmschuh sein, bei der angestrebten Produktverbesserung durch alle Nutzer des Produkts „mitzumachen“.

Praxishinweis: Ein Unternehmen, das ein Hochrisikosystem anwendet, treffen Informationspflichten gegenüber den betroffenen Mitarbeitern und Personen sowie Organisationspflichten zur Einhaltung der Herstellervorgaben. Daneben muss (ständig) geprüft werden, ob von dem KI-System ein übermäßiges Risiko ausgeht, das der Hersteller ggf. nicht bedacht hat.

Hohes Risiko?

Die vorstehend dargestellten Betreiberpflichten kommen nur zur Anwendung, wenn ein Hochrisikosystem verwendet wird. Dass er ein solches verwendet, weiß der Betreiber aus einer EU-Datenbank, in der jeder Hersteller eines Hochrisikosystems sein System registrieren muss. Daneben muss der Hersteller eine Konformitätserklärung abgeben, die entweder auf eigenen Kontrollen oder auf der Kontrolle durch eine „notifizierte Stelle“ beruht. Für den Hersteller stellt sich hingegen die Frage, ob das von ihm erschaffene System unter die gesetzlichen Regelbeispiele für Hochrisikosysteme fällt und wenn ja, ob nicht ausnahmsweise trotz Erfüllung der gesetzlichen Regelbeispiele – diese Möglichkeit sieht die KI-VO unter bestimmten Bedingungen vor – doch kein Hochrisikosystem vorliegt (auch solchermaßen „heruntergestufte“ Systeme unterliegen allerdings der oben genannten Pflicht zur Registrierung in der EU-Datenbank). In den Regelbeispielen geht es immer um die „Bestimmung“ des Systems, d. h. nicht um eine faktische Verwendung durch den späteren Betreiber zu einem Zweck, zu dem das System ursprünglich nicht ausgelegt war. Es liegt auf der Hand, dass es hier Abgrenzungsprobleme bzw. Graubereiche geben kann, zumal die einzelnen Regelbeispiele sehr abstrakt formuliert sind.

Daneben regelt die KI-VO den Fall, dass ein Betreiber die Zweckbestimmung eines KI-Systems mit „eigentlich“ normalem Risikoprofil selbst dahingehend ändert, dass dieses System ein Hochrisikosystem wird. Der Hersteller wird dies in aller Regel faktisch nicht verhindern können, da sich diese „Umwidmung“ nach dem tatsächlichen Einsatz bestimmt, welchen der Hersteller nicht durch die reine Gestaltung des KI-Systems vollständig eingrenzen kann. Durch diese Zweckentfremdung wird der Betreiber selbst zum Hersteller des von ihm zweckentfremdeten Systems, und so kommt es zu einer vielgefürchteten Regelung der KI-VO, wonach der ursprüngliche Hersteller dem zweckentfremdenden Betreiber alle „erforderlichen Informationen“ – möglicherweise bis hin zum Quellcode des Systems – zur Verfügung zu stellen hat. Der Hersteller darf (und wird) diese Situation verhindern, indem er „eindeutig festlegt, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden darf und daher nicht der Pflicht zur Übergabe der Dokumentation unterliegt“. Damit entzieht er dem zweckentfremdenden Betreiber die Möglichkeit, den Herstellerpflichten in Bezug auf das zweckentfremdete System nachzukommen, und verhindert so letztlich dessen „Aufschwingen“ zum Hersteller eines Hochrisikosystems.

Die Crux für ein mittelständisches Unternehmen, ebenso wie für jeden anderen Nutzer eines KI-Systems, liegt darin zu erkennen, ob die gesetzlichen Anwendungsszenarien, deren Einsatz ein Hochrisikosystem ausmachen, tatsächlich vorliegen oder nicht. Zu den insoweit kritischen Anwendungsfällen von KI-Systemen zählen insbesondere die Bewertung von Lernergebnissen (Mitarbeiter-Lernplattform) und die Entscheidung über die Einstellung oder Auswahl von Bewerbern (Bewerber-Bewertung) oder sonstiger Arbeitgeberentscheidungen in bestehenden Anstellungsverhältnissen (Mitarbeiterbewertung und -steuerung).

Praxishinweis: Ein Unternehmen, das ein KI-System anwendet, das nicht als Hochrisikosystem ausgewiesen ist, muss dennoch (ständig) prüfen, ob es dieses System nicht doch für einen Hochrisiko-Einsatzzweck verwendet. In diesem Fall wird der Betreiber selbst zum Hersteller und muss die herstellerbezogenen Pflichten einhalten. Die insoweit „gefährlichsten“ Fallkonstellationen dürften im Bereich der Personaldatenverarbeitung liegen.

Daneben gibt es den – hier nicht weiter thematisierten – Fall, dass das KI-System selbst ein „Sicherheitsbauteil“ eines Produkts (wie Maschinen, Spielzeug, Fahrzeuge, Aufzüge etc.) werden soll, also dieses Produkt selbst (für seine Inverkehrbringung bzw. Inbetriebnahme) nach EU-Recht einer Konformitätsbewertung durch Dritte bedarf. Auch wenn die von einem produzierenden Unternehmen hergestellten Produkte selbst KI-Systeme enthalten, wird der Produzent also selbst zum Hersteller eines Hochrisikosystems. Diese spezifische Folge tritt allerdings erst ab August 2027 in Kraft.

KI-Systeme mit besonders gefährlichem Einsatzzweck

Ungeachtet von alldem gibt es die „Todsünden“ der KI-Verordnung, deren Verletzung mit einem nochmals erhöhten Bußgeld (bis zu 35 Mio. EUR) geahndet werden kann. Das ist der Einsatz eines KI-Systems, von dem – aus Sicht des EU-Gesetzgebers – eine besondere Gefahr ausgeht, weil es entweder Menschen beeinflusst bzw. deren Schwächen ausnutzt oder mit dem Ziel der Benachteiligung Profile bildet oder anhand biometrischer Merkmale in Kategorien einsortiert, Internet-Scraping zum Zwecke der Gesichtserkennung betreibt oder Emotionen von Personen am Arbeitsplatz ableitet. Dabei kommt es auf die Einstufung des verwendeten KI-Systems als Hochrisikosystem (s. o.) nicht an, sondern schon die Verwendung eines „Normalrisikosystems“ wäre relevant. Allerdings werden KI-Systeme, die solche verbotenen Praktiken ermöglichen, in den allermeisten Fällen von vornherein bereits als Hochrisikosystem zu klassifizieren sein, sodass deren Hersteller auch unabhängig von diesen Regelungen die Pflicht trifft, einen derartigen Einsatz auszuschließen bzw. das Risiko eines solchen Einsatzes zu minimieren.

Rechtspolitisch haben viele dieser Verbote eher symbolischen Wert, weil diese Praktiken schon nach geltendem Recht – also in anderen Gesetzen – verboten sind, unabhängig davon, ob ein KI-System verwendet wird oder nicht. Sie werden nur im Rahmen der KI-VO noch einmal (wenn auch etwas unsystematisch bzw. lückenhaft) zusammengestellt und können unabhängig von anderen Regelungen mit einem hohen Bußgeld belegt werden.

Praxishinweis: Jeder Hersteller und Betreiber darf bei der Nutzung von KI-Systemen bestimmte „rote Linien“ nicht überschreiten. Auch hier sind die praktisch „gefährlichsten“ Fälle wohl im Bereich der Personaldatenverarbeitung zu suchen.

Was macht der Hersteller?

Wie oben bereits angemerkt, soll es hier eigentlich nicht um den Hersteller von KI-Systemen gehen, sondern um das mittelständische, insbesondere produzierende Unternehmen als Betreiber. Gleichwohl stellt sich auch für die „Nachfrageseite“ der Betreiber mittelbar die Frage, was Hochrisikosysteme denn nun inhaltlich dürfen und was nicht. Denn bei der fortlaufenden Prüfung, ob es sich bei einem betriebenen Hochrisikosystem um ein „risikobehaftetes Produkt“ handelt, wird auch einzubeziehen sein, ob dieses Produkt sich in den von der KI-VO gezogenen inhaltlichen Grenzen hält.

Dabei geht es nicht um die vielfältigen formalen Pflichten, die den Hersteller eines Hochrisikosystems treffen, und auch nur am Rande um die den Hersteller und den Betreiber gleichermaßen treffende Verpflichtung, kein KI-System herzustellen oder zu betreiben, welches zur Umsetzung der oben aufgeführten „verbotenen Praktiken“ vorgesehen ist. Die entscheidende inhaltliche Frage ist, wenn ein Hochrisikosystem hergestellt werden soll, was dieses – außerhalb der verbotenen Praktiken – tun bzw. ermöglichen darf und was nicht. Darauf gibt die KI-VO keine präzise Antwort, weil dies angesichts der vielfältigen vorstellbaren KI-Systeme kaum allgemeingültig hätte vorgegeben werden können.

Die zentrale Pflicht des Herstellers ist daher die Etablierung eines Risikomanagementsystems, das die „bekannten und vernünftigerweise vorhersehbaren Risiken, die vom Hochrisiko-KI-System für die Gesundheit, Sicherheit oder Grundrechte ausgehen können, wenn es entsprechend seiner Zweckbestimmung verwendet wird“, ermittelt, sodann diese Risiken, und zwar auch bei Verwendung des Systems „im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung“, bewertet, und schließlich „geeignete und gezielte Risikomanagementmaßnahmen zur Bewältigung der ermittelten Risiken“ ergreift. Daraus wird deutlich: Bei der Regulierung von KI-Systemen geht es – was kaum verwundern kann – inhaltlich um die Vermeidung von Grundrechtsverletzungen. Auch der Schutz der Gesundheit ist Teil des Grundrechtsschutzes und „Sicherheit“ ist kein abstrakter Begriff, sondern wiederum nur Mittel, um Grundrechtsverletzungen zu vermeiden. Es gilt also letztlich derselbe inhaltliche Maßstab wie im Rahmen der oben dargestellten Pflicht des Betreibers zu verhindern, dass im Rahmen des Betriebes eines Hochrisikosystems ein sog. risikobehaftetes Produkt im Sinne der Marktüberwachungsverordnung der EU entsteht.

Man kann die KI-VO daher auf den Nenner bringen: KI-Systeme dürfen keine Grundrechte verletzen – wer hätte das gedacht? Nur am Rande: Zur EU-Grundrechte-Charta enthält auch das Grundrecht auf Datenschutz. Die rechtlich entscheidende Frage, die sich für jeden Hersteller – und mittelbar auch für jeden Betreiber – eines Hochrisikosystems stellt, ist damit, wie weit das Risiko möglicher Grundrechtseingriffe – auch im Falle einer „vernünftigerweise vorhersehbaren Fehlanwendung“ – quantitativ minimiert werden muss.

Grundsätzlich muss nach Anwendung der Risikominimierungsmaßnahmen „jedes mit einer bestimmten Gefahr verbundene relevante Restrisiko sowie das Gesamtrestrisiko der Hochrisiko-KI-Systeme als vertretbar beurteilt“ werden. In diesem Zusammenhang spricht die KI-VO auch von einer „Beseitigung oder Verringerung“ der Risiken, von der „Bewältigung nicht auszuschließender Risiken“ und von Tests zur Ermittlung der „am besten geeigneten gezielten Risikomanagementmaßnahmen“. Jeder, der schon einmal Risiken spezifischer Szenarien anhand der Formel Risikoeintrittswahrscheinlichkeit mal voraussichtliche Schadenshöhe beurteilt hat, weiß, dass hier – euphemistisch ausgedrückt – ein hohes Maß an subjektiver Einschätzung vorherrscht. Selbst wenn man versucht, möglichst objektive Maßstäbe anzulegen (wobei die zur Quantifizierung häufig verwendete betragsmäßige Bezifferung der Grundrechtsthematik kaum gerecht wird), wird man spätestens bei der Frage, wann ein konkretes Risiko (ggf. nach Anwendung von Risikominimierungsmaßnahmen) bzw. die kumulierte Gesamt-Risikoexposition noch „vertretbar“ ist, einen willkürlichen Betrag ansetzen.

Dementsprechend gehen erste Kommentierungen auch eher von einer – im Bereich der rechtlichen Bewertung typischen – qualitativen Bestimmung des Begriffs der Vertretbarkeit aus, wobei die Beispiele vage bleiben und eher Extremfälle betreffen. So sei eine erhebliche Gesundheitsgefährdung bis hin zu Lebensgefahren nicht mehr vertretbar, ebenso wahrscheinliche nachteilige Auswirkungen zulasten Minderjähriger. In die Bestimmung der „tolerable risks“ sollen dabei auch aktuelle gesellschaftliche Wertvorstellungen, die Suche nach einer optimalen Balance zwischen dem Ideal absoluter Sicherheit und dem Erreichbaren, die Eignung zur Zweckerreichung sowie die Kosteneffektivität einbezogen werden. Je leistungsfähiger und nützlicher ein KI-System ist (nach welchem Maßstab?), desto mehr Restrisiken können verbleiben, wobei stets das Verwendungsumfelds („Betriebskontext“) zu beachten ist – eine Nutzung am Arbeitsplatz ist anders zu beurteilen als eine Nutzung in öffentlicher Umgebung, durch Verbraucher, Kinder etc. Für den hier relevanten Bereich der Nutzung im Unternehmensumfeld außerhalb konkreter Gefahren für Leib und Leben ist das Vorstehende nach alledem zwar wenig aussagekräftig, allerdings dürfte durch mögliche Sicherheitstrainings von Mitarbeitern, detaillierte Einweisungen und „sachverständige“ Nutzer im Unternehmensumfeld grundsätzlich ein höheres Restrisiko als vertretbar gelten können als in anderen Bereichen. Was das im konkreten Fall heißt, bleibt unklar.

Was bleibt zu tun?

Nach allgemeinen Compliance-Grundsätzen müssen Betreiber das Vorstehende in eine interne Richtlinie „gießen“, und zwar sowohl für die Auswahl eines neu zu beschaffenden KI-Systems und den generellen Umgang mit KI-Systemen im Unternehmen (Rahmenrichtlinie) als auch systemspezifisch für den laufenden Umgang mit jedem konkret eingesetzten KI-Systemen im Rahmen des eigenen Geschäftsbetriebes (Richtlinie zum systemspezifischen Einsatz).

Bei der Auswahl eines neu zu beschaffenden KI-Systems sind die Einsatzzwecke und der Betriebskontext zu spezifizieren und es muss analysiert werden, ob das in Rede stehende KI-System für die beschriebenen „verbotenen Praktiken“ eingesetzt werden kann bzw. könnte. Wenn ja, müssen Vorkehrungen entwickelt werden, um dies zu verhindern. Ohnehin muss ab dem Zeitpunkt der Inbetriebnahme für jedes beschaffte KI-System eine Richtlinie zu dessen Einsatz definiert werden, die (daneben) verhindert, dass das System zum Hochsicherheitssystem zweckentfremdet wird oder (wenn es sich um ein Hochsicherheitssystem handelt) außerhalb der Betriebsanleitungen des Herstellers verwendet wird bzw. sich trotz Einhaltung derselben als risikobehaftetes Produkt entpuppt. Dabei ist ebenfalls zu überlegen, welche Inhalte welchen Mitarbeitern im Vorfeld vermittelt werden müssen und wer für was verantwortlich ist. Die Einhaltung der Richtlinie zum systemspezifischen Einsatz ist dann laufend zu kontrollieren. Die Kontrollmechanismen sollten in der Rahmenrichtlinie definiert werden.

Wie hoch der Umsetzungsaufwand dieser Maßnahmen ist, wird maßgeblich davon abhängen, ob das Unternehmen bereits über eine Compliance-Organisation verfügt, die in der Umsetzung neuer gesetzlicher (Compliance-) Anforderungen auf den konkreten Unternehmenskontext geübt ist. Generische Checklisten sind bereits verfügbar, allerdings gilt es, diese auf die spezifischen Gegebenheiten des Betreibers anzupassen. Die Erfahrung zeigt, dass es in Compliance-Richtlinien zu häufig bei einer Wiederholung von abstrakten Gesetztexten und allgemeinen Checklisten bleibt, mit denen diejenigen Personen, die mit der Umsetzung und Einhaltung „vor Ort“ betraut sind, letztlich nur wenig anfangen können.