View on GitHub

ai-criteria-catalog

Kriterienkatalog für KI-Services

Zunehmend ergeben sich Anwendungsmöglichkeiten von Künstlicher Intelligenz (KI) für die Industrie. Jedoch scheuen insbesondere kleine und mittelständische Unternehmen (KMUs) Investitionen in KI-Lösungen, weil sie das Risiko einer Investition in KI nicht abschätzen können oder Vorbehalte gegenüber KI haben. Dabei kann der Einsatz von KI dem Fachkräftemangel entgegenwirken und die Wertschöpfung verbessern.

Motivation

Damit sich KMUs einen Überblick verschaffen und Alternativen von KI-Lösungen vergleichen können, wurde ein Fragenkatalog erarbeitet. Diesen können Anbieter ausfüllen, um ihre KI-Lösung auf einer (zukünftigen) Vergleichs-Plattform listen zu lassen, sofern sie gewisse Mindeststandards erfüllt und notwendige Angaben vorhanden sind. Dadurch wird eine vertrauenswürdige Quelle für Informationen geschaffen.

Methodik

Als Grundlage für den Katalog wurde zunächst eine Recherche nach Regulierungen, Standards und Leitlinien für vertrauenswürdige KI durchgeführt. Einige der berücksichtigten Dokumente sind im Folgenden aufgelistet:

A.1 Anbieter

A.1.0 Antragsart

Rechtlicher Vertragsgeber und Beteiligungsverhältnisse

Die Rechtsform des Anbieters und beherrschende Gesellschafter sind benannt.

Firmenname

Rechtsform

Umsatzsteuer-ID

Registernummer

Datum der Registrierung

Gehört Ihr Unternehmen zu der Kategorie "kleine und mittelständische Unternehmen" gemäß EU-Empfehlung 2003/361/EG?

Anschrift des Sitzes oder Hauptniederlassung

Namen der Mitglieder des Vertretungsorgans oder der gesetzlichen Vertreter

Hauptkontakt

Kontakt Datenschutzbeauftragter (gemäß Art. 37 Abs. 5 DSGVO) bzw. alternativ Datenschutz-Ansprechpartner

Kontakt IT Sicherheitsbeauftragter (Art. 37 Abs. 5 DSGVO)

Kontakt Technik

Kontakt Rechtsabteilung

URL der Unternehmens-Webseite

Unternehmensbeschreibung

Unternehmenslogo

Unternehmensprofil

Das Unternehmensprofil enthält Merkmale zur Darstellung der Unternehmensgröße sowie Angaben zur Erfahrung bei der Bereitstellung von KI-Services bzw. KI-bezogenen Dienstleistungen.

Anzahl Mitarbeiter

Anzahl Mitarbeiter im Bereich KI-Services

Gesamtumsatz

Unternehmenskategorie

Anzahl öffentlich angebotener KI-Services

Erfahrungsgrad der Bereitstellung von KI-Services

Auditierbarkeit

Angabe, ob Audits des Anbieters durch den Anwender möglich sind.

Besteht die Möglichkeit der Durchführung von Audits auf Antrag durch den Anwender?

Wenn ja, welche Audits sind möglich, bzw. welche Audits wurden bereits durchgeführt?

Ist es möglich, dass Audits vom Anwender zu Arbeitsprozessen und organisatorischen Abläufen in Bezug auf Datenschutz- und Sicherheit durchgeführt werden? (Art. 28 DSGVO)

A.2 Service

Allgemeine Angaben zum Service

Angabe von Basisinformationen zur Beschreibung des Services.

Name des Services

Service Logo

Bereitstellungs-Art

Service-Modell

URL der Service-Webseite

Funktionale Beschreibung des Service und fachliche Kategorisierung des Services.

Klärung der funktionalen Anforderungen in Bezug auf den Unternehmensbedarf.

Servicebeschreibung

Servicekurzbeschreibung

Reifegrad des Services

Angaben zum Umfang der Service-Nutzung.

Anzahl Kunden, die den Service nutzen, inkl. Datum der Erhebung

Anzahl Gesamtnutzer, die den Service nutzen, inkl. Datum der Erhebung

Referenzen

Angaben zu Referenzkunden und Nutzungsszenarien.

Name des Kunden

Beschreibung der Nutzung

Kontakt Ansprechpartner

URL der Kunden-Website

Hauptkontakt zum Service

Kontaktangaben des Hauptservices.

Name

Position

Telefonnummer

E-Mail Adresse

Foto

Anschrift

Weitere Kontakte zum Service

Name

Position

Telefonnummer

E-Mail Adresse

Foto

Datenverarbeitung

Angabe zu den zu verarbeitenden Daten

Welche Art von Daten wird verarbeitet?

A.3 Subunternehmer und Rechenzentren

Firmenname

Rechtsform

Registernummer

Anschrift des Sitzes oder Hauptniederlassung

Geografischer Standort des Rechenzentrums

Firmenintern/Rechtlich eigenständiges Unternehmen

Logo des Subunternehmens/ Rechenzentrum

Webseite

Unternehmensprofil

Angaben über Unternehmensgröße, Anzahl Mitarbeiter, Hauptgeschäftsfelder

Anzahl Mitarbeiter. Bei White-Label-Produkten des Anbieters sind diese Felder Pflichtfelder.

Umsatz

Anzahl öffentlich angebotener KI-Services

Erfahrungsgrad der Bereitstellung von KI-Services

A.4 Zertifikate

A.4.1

Angabe von Gütesiegeln und Zertifikaten des KI-Services und an der Service-Erbringung beteiligter Sub-Unternehmen bzw. Rechenzentren.

Ist dieser Service zertifiziert?

Zertifikate des Anbieters / Services

Zertifikate der Subunternehmen / Rechenzentren

A.4.2

Angabe von Gütesiegeln und Zertifikate des KI-Services oder an der Service-Erbringung beteiligter Sub-Unternehmen bzw. Rechenzentren. Weitere Zertifikate können in der Übersicht hinzugefügt werden (Button unten). In der KI-Services Suchvorschau werden drei Zertifikate je Service dargestellt (sortiert nach Zeitpunkt der Erstellung).

Name des Zertifikats

Zertifikatstyp

Beschreibung des Prüfumfangs

Zertifizierungsstelle

Zertifikatsdokument

Gültig bis

Wird das Zertifkat regelmäßig auditiert?

A.5 Vertrag

A.5.1 Allgemeine Vertragstransparenz

Werden Verträge vorab dem Kunden zur Verfügung gestellt?

Webverweis auf Servicevertrag

Angabe der verwendeten Lizenzen

Sind die Rechtsfolgen bei Verstoß gegen die SLAs im Vertrag beschrieben? (Art. 32 Abs. 1 b DSGVO)

Wird vertraglich eine dauerhafte Sicherstellung der Vertraulichkeit, Integrität, Verfügbarkeit und Belastbarkeit der Systeme und Dienste im Zusammenhang mit der Verarbeitung zugesichert? (Art. 32 Abs. 1 b DSGVO)

Wird die Verfügbarkeit und der Zugang der personenbezogenen Daten sowie die rasche Wiederherstellung bei einem physischen oder technischen Zwischenfall vertraglich zugesichert? (Art. 32 Abs. 1 c DSGVO)

Gewährleistung

Prozesse im Lebenszyklus zur Gewährleistung Rechenschaftspflicht

ist Vertraglich sichergestellt: dass der Prozess der Datenerhebung und -verwaltung protokolliert/aufgezeichnet wird und dass die relevanten Interessengruppen darauf zugreifen können?

ist Vertraglich sichergestellt: dass Entwicklungs- und Schulungsprozess protokolliert/aufgezeichnet wird?

ist Vertraglich sichergestellt: dass die Lauffähigkeit der Systemkomposition (einschließlich Soft- und Hardwarekomposition und Komponenten) gewährleistet ist

ist Vertraglich sichergestellt: dass Systeme mit einer Lernkomponente in ihrer Interaktion mit ihrer Umgebung während der gesamten Laufzeit überwacht werden?

Haftung

Haftung von Unternehmen/Institutionen (rückwirkend)

ist vertraglich sichergestellt: dass es einen definierten Kanal gibt, um Feedback zu geben und Informationen über Systemmerkmale zu erhalten?

ist vertraglich sichergestellt, dass es einen "einfach" Zugang zu den Feedback-Kanälen gibt?

Verantwortlichkeit

Verantwortlichkeit (menschliche Aufsicht), Der Mensch in der Führung (Kontrolle)

ist vertraglich definiert: das erforderliches Fachwissen des Benutzers zur Bewertung der Ergebnisse des KI-Systems, um eine Überbewertung zu vermeiden?

ist vertraglich definiert: welcher Aufwand erforderlich ist, um das KI-System zu verstehen und mit ihm zu interagieren? (abhängig vom Anwendungskontext)

Transparentes Preismodell

Angaben zum verwendeten Preismodell, Vertragslaufzeiten und Kündigungsfristen

Angaben zum verwendeten Preismodell

Ist das Preismodell für alle Kunden öffentlich verfügbar?

Link zum Preismodell

Angabe von Vertragslaufzeiten

Angabe von Kündigungsmodalitäten und -fristen

Wird eine kostenlose Testphase angeboten?

Werden in der kostenlosen Testphase die gleichen Datenschutzanforderungen wie in der kommerziellen Leistung angewandt?

Change-Management

Angaben zu vertraglichen Regelungen im Umgang mit Änderungen

Werden Änderungen im laufenden Vertrag dem Kunden vorab mitgeteilt?

Werden Regelungen zum Change-Management vertraglich definiert?

Mitwirkungspflichten und Beistellungen des Kunden

Angaben zu Mitwirkungspflichten und Beistellungen des Kunden.

Sind alle Mitwirkungspflichten (technische, organisatorische) und Beistellungen des Kunden im Vertrag definiert?

Urheber- und Nutzungsrechte

Einräumung von urheber- und patentrechtlichen Nutzungsrechten und Freistellung von etwaigen Ansprüchen Dritter.

Ist der Kunde von allen Ansprüchen Dritter im Rahmen der vertragsgemäßen Service-Nutzung vertraglich freigestellt?

Beendigungsunterstützung

Angaben zu Regelungen zur Beendigungsunterstützung (Exit-Management), insbesondere die geordnete Rückübertragung der Kundendaten

Sind Regelungen und Maßnahmen zur Beendigungsunterstützung vertraglich definiert?

Beschreibung der Regelungen und Maßnahmen zur Beendigungsunterstützung

A.6 Datenschutz

Technische und organisatorische Maßnahmen

Angaben der technischen und organisatorischen Maßnahmen zum Datenschutz

Wie erfolgt die angemessene Umsetzung der technischen und organisatorischen Maßnahmen laut DSGVO? (Art. 32 Abs. 1 DSGVO)

Weitere Details zu den umgesetzten technischen und organisatorischen Maßnahmen

Formale Datenschutzanforderungen

Angaben zur Einhaltung der nationalen europäischen Datenschutzanforderungen

Werden die durch die EU-DSGVO das BDSG vorgeschriebenen Formalanforderungen erfüllt?

Wird ein ADV-Vertrag bzw. Rechtsakt basierend auf den EU-DSGVO Anforderungen mit dem Kunden vereinbart? (Art. 28 Abs. 3 DSGVO)

Wird vertraglich die Unterstützung bei einer Datenschutzfolgeabschätzung (DFA) zugesagt sofern diese für den Auftraggeber notwendig ist? (z. B. "Datenverarbeitung in großem Umfang", "Datentransfer außerhalb der EU" etc.) (Art. 35 DSGVO)

Wird vertraglich Pseudonymisierung und/oder Verschlüsselung personenbezogener Daten zugesichert? (Art. 32 Abs. 1 a DSGVO)

Wird vertraglich die Umsetzung der Betroffenenrechte zugesichert? (Art. 28 Abs. 3 e DSGVO)

Wird vertraglich die Löschung der Daten inkl. Links auf die betreffenden Daten und Datenkopien in der Cloud zugesichert? (Art. 28 Abs. 3 g DSGVO)

Wird im ADV-Vertrag eine Angabe des Auftraggebers zur Art der personenbezogenen Daten sowie die Kategorien der betroffenen Personen abgefragt? (Art. 28 Abs. 3 DSGVO)

Nachweispflichten

Angaben zur Gewährleistung der geforderten Nachweispflichten gemäß DSGVO

Welche der folgenden Nachweise können mit geeigneten Mitteln gemäß dem ADV-Vertrag dem Auftragsgeber zur Überprüfung zur Verfügung gestellt werden? (Art. 28 Abs.3 h DSGVO)

Wird ein Verzeichnis zu den vom Kunden in Auftrag gegebenen Verarbeitungstätigkeiten basierend auf Art. 30 EU-DSGVO erstellt?

Ort der Datenhaltung

Angaben zur Einschränkung des Hostings von Kundendaten auf bestimmte Regionen

Kann das Hosting von Kundendaten auf eine bestimmte Lokation eingeschränkt werden?

Kann durch den Provider die Administration von Kundendaten auf eine bestimmte Lokation eingeschränkt werden?

Optionen der GEO-Regionen

Umsetzung der Betroffenenrechte

Wie wird sichergestellt, dass die Anforderungen aus der DSGVO zur Umsetzung der Betroffenenrechte, wie z.B. das Löschen von personenbezogenen Daten gewährleistet werden können? (Art. 12-23 DSGVO)

Wie wird sichergestellt, dass bei Vertragsende nicht nur die Daten gelöscht werden, sondern auch Links auf die betreffenden Daten und Datenkopien in der Cloud? (Art. 28 Abs. 3 g DSGVO)

Mitarbeiter

Verpflichtung der Mitarbeiter auf das Datengeheimnis und zur Wahrung der Vertraulichkeit

Ist die Verpflichtung aller die zur Verarbeitung der personenbezogenen Daten befugten Personen auf das Datengeheimnis gemäß Art. 28 Abs. 3 S. 2 lit. b, 29, 32 Abs. 4 DS-GVO vertraglich definiert?

Datenschutzzertifizierung

Angaben über vorhandene Datenschutz-Zertifizierungen.

Name des Zertifikats

Weitere Details zum Zertifikat hinsichtlich Prüfumfang, Ausprägungen, Erweiterungen, etc.

A.8 Operative Prozesse

Service-Management

Ist ein effizientes Service-Management gewährleistet, z.B. nach ITIL?

Weitere Details zum Vorgehen im Service-Management

Service-Management

Name des Zertifikats

Weitere Details zum Zertifikat hinsichtlich Prüfumfang, Ausprägungen, Erweiterungen, etc.

Serviceverfügbarkeit

Angabe der in den Service Level Agreements zugesicherten Service-Verfügbarkeit.

Zugesicherte Ende-zu-Ende Service-Verfügbarkeit in Prozent / Jahr

Maximale Downtime in Stunden

Wie wird die rasche Wiederherstellung der Verfügbarkeit der Kundendaten und den Zugang zu ihnen bei einem physischen oder technischen Zwischenfall garantiert? (Art. 32 Abs. 1c DSGVO)

Backups

Angaben zu Optionen und Umsetzung von Datensicherungskonzepten

Beschreibung der Backup-Optionen (Art. 32 Abs. 1c DSGVO)

Wie wird sichergestellt, dass die Anforderungen zur Wahrung der Vertraulichkeit sich auch auf die Backups erstreckt? (Art. 32 Abs. 1c DSGVO)

Provisionierung

Beschreibung der Möglichkeiten zur Provisionierung des Services durch den Anwender.

Kann der Kunde den Service eigenständig provisionieren?

Support

Angaben über Support-Leistungen und Dokumentation

Umfang / Beschreibung der Supportleistungen

Was ist die garantierte Antwortzeit des Kunden-Supports bezüglich normaler Anfragen?

Was ist die garantierte Antwortzeit des Kunden-Supports bezüglich kritischer Anfragen?

Was ist die durchschnittliche Zeit bis zur Problemlösung bezüglich geringfügiger Geschäftsbeeinträchtigungen?

Was ist die durchschnittliche Zeit bis zur Problemlösung bezüglich erheblicher Geschäftsbeeinträchtigungen

Was ist die Verfügbarkeit des Kunden-Supports?

Gibt es eine vollumfängliche Benutzerdokumentation? Dies beinhaltet auch eine technische Dokumentation zur Beschreibung der angebotenen Schnittstellen (APIs)

Gibt es eine vollumfängliche Systemdokumentation?

Werden Trainings angeboten?

Angabe von Trainingspartnern

A.9 Interoperabilität & Portabilität

In welchen Formaten können Daten exportiert werden?

Zu welchen anderen Anbietern wird Interoperabilität gewährleistet?

Zu welchen anderen Anbietern wird Portabilität gewährleistet?

Wie ist gewährleistet, dass die Daten auffindbar sind?

A.10 Allgemeine Informationen über das KI-System

A.10.1 Beschreibung der Zweckbestimmung des Systems (und den Anwendungsbereich). Evtl. Beschreibung wofür das System ungeeignet ist.

A.10.2 Beschreibung des Personenkreises und der Entitäten, die das KI-System entwickeln.

A.10.3 Beschreibung aller an dem System während seines Lebenszyklus vorgenommenen Änderungen.

Hochrisiko-KI-System

Erforderliche Angaben, falls es sich um ein Hochrisiko-KI-System handelt

A.10.4 Handelt es sich um ein Hochrisiko-KI-System oder trifft eine der folgenden Anwenungsfälle zu?

A.10.5 Liegt eine vollständige, aktuelle und gültige EU-Konformitätsbewertung für das Hochrisiko-KI-System vor?

A.10.6 Liegt eine gültige Bescheinigung über die Registrierung der Hochrisiko-KI-Systems in der EU-Datenbank vor?

A.11 Entwicklung des KI-Systems

A.11.1 Beschreibung der Methoden und Schritte zur Entwicklung des KI-Systems.

A.11.2 Beschreibung der Entwurfsspezifikationen des Systems, insbesondere die allgemeine Logik des KI-Systems und der Algorithmen

A.11.3 Beschreibung der wichtigsten Entwurfsentscheidungen mit den Gründen und Annahmen, auch in Bezug auf Personen oder Personengruppen, auf die das System angewandt werden soll

A.11.4 Beschreibung der hauptsächlichen Klassifizierungsentscheidungen, was das System optimieren soll und welche Bedeutung den verschiedenen Parametern dabei zukommt

A.11.5 Beschreibung der Systemarchitektur, aus der hervorgeht, wie Softwarekomponenten aufeinander aufbauen oder einander zuarbeiten und in die Gesamtverarbeitung integriert sind

A.11.6 Beschreibung der Trainingsmethoden und -techniken und Begründung, warum diese geeignet sind.

Systeme und Werkzeuge von Dritten

Angabe, welche Systeme und Werkzeuge von Drittanbietern für die Entwicklung des Systems verwendet wurden

A.11.7 Wurden von Dritten bereitgestellte vortrainierte Systeme oder Werkzeuge eingesetzt?

A.11.8 Wie wurden diese Werkzeuge benutzt, integriert und verändert?

Testen und Evaluation

A.11.9 Beschreibung der zum Entwickeln, Trainieren, Testen und Validieren des KI-Systems verwendeten Rechenressourcen.

A.11.10 Beschreibung der Methodik zur Messung von Genauigkeit und Robustheit.

A.11.11 Beschreibung der Messergebnisse und daraus abgeleitete Einschätzungen zur erwarteten Zuverlässigkeit und Genauigkeitsgrad des Systems, auch für vorhersehbare Ausnahme-/Sonderfälle.

A.11.12 Testprotokolle und alle von den verantwortlichen Personen datierten und unterzeichneten Testberichte, auch in Bezug auf die vorab bestimmten Änderungen (d. h. sich während des Betriebs anpassende Systeme).

A.12 Daten

A.12.1 Welche Daten werden im Betrieb benötigt?

A.12.2 Sind in der Lösungsentwicklung Trainingsdaten verwendet worden oder ist die Lösung vortrainiert?

Trainingsdaten

Datenerfassung und -aufbereitung

Angaben über die Datenerfassungs- und Datenaufbereitungsvorgänge

A.12.3 Beschreibung der Beschaffung und Auswahl der Daten und warum sie geeignet sind.

A.12.4 Angaben zur Herkunft der Daten (d. h. die Primärquelle).

A.12.5 Angaben zum Umfang der Daten.

A.12.6 Beschreibung der Hauptmerkmale der Daten

A.12.7 Beschreibung des Kennzeichnungsverfahrens bzw. Labeling (z. B. für überwachtes Lernen).

A.12.8 Beschreibung der Datenbereinigungsmethoden.

A.12.9 Wie wird die Korrektheit der Labels überprüft?

A.12.10 Beschreibung des Prozesses wie Trainingsdaten aktualisiert bzw. verworfen werden.

A.12.11 Enthalten die Trainingsdaten vertrauliche oder sensitive Daten?

A.12.12 Unter welchen Lizenzen stehen die verwendeten Trainingsdaten?

A.12.13 Gibt es ein Datasheet der Trainingsdaten?

Benötigte Trainingsdaten

Angaben über die benötigten Trainingsdaten zur Inbetriebnahme der Lösung

A.12.2.14 Spezifikation für die Trainingsdaten, damit Kunden bzw. Nutzer die Lösung mit eigenen Daten trainieren können.

Eingabedaten

Benötigtes Eingabeformat

Angaben über das Format von Eingaben, die die Lösung erwartet

A.12.15 Spezifikationen für die Eingabedaten

A.12.16 Beschreibung der benötigten Feature-Repräsentation der Eingabedaten

A.13 Dokumentation

Technische Dokumentation

Angabe von Informationen, die zur Integration und Inbetriebnahme in der Einsatzumgebung notwendig sind

A.13.1 Beschreibung der Interaktion oder Verwendung des KI-Systems mit Hardware oder Software, die nicht Teil des KI-Systems selbst sind.

A.13.2 Unterstütze Versionen der betreffenden Software oder Firmware und etwaige Anforderungen in Bezug auf die Aktualisierung der Versionen.

A.13.3 Beschreibung aller Formen, in denen das KI-System in Verkehr gebracht oder in Betrieb genommen wird.

A.13.4 Beschreibung der Hardware, auf der das KI-System betrieben werden soll.

A.13.5 Fotografien oder Abbildungen, die äußere Merkmale, Kennzeichnungen und den inneren Aufbau eines Produkts zeigen.

A.13.6 Sind Schritt-für-Schritt Aufbau- bzw. Installationsanweisungen verfügbar?

A.13.7 Ist das Ausgabeformat einer Entscheidung beschrieben bzw. dokumentiert?

Gebrauchsanweisung

A.13.8 Werden die Nutzer für die Verwendung des Systems geschult?

A.13.9 Werden die technischen Kenntnisse, die Erfahrungen und der Bildungsstand der Nutzer berücksichtigt?

A.13.10 Wird das Umfeld, in dem das System eingesetzt werden soll, berücksichtigt?

A.13.11 Sind Gebrauchsanweisungen für die Nutzer verfügbar und sind diese vollständig, korrekt und enthalten eindeutige Informationen?

A.13.12 Sind die Gebrauchsanweisungen verständlich und barrierefrei zugänglich?

Inhalte der Gebrauchsanweisung

A.13.13 Namen und die Kontaktangaben des Anbieters sowie gegebenenfalls seines Bevollmächtigten.

A.13.14 Merkmale, Fähigkeiten und Leistungsgrenzen des KI-Systems.

A.13.15 Zweckbestimmung.

A.13.16 Angabe der Maße für Genauigkeit und Robustheit für das das System getestet und validiert wurde und das zu erwarten ist. Beschreibung von bekannten und vorhersehbaren Umständen, die Einfluss auf diese Maße haben.

A.13.17 Beschreibung von Risiken beim ordnungsgemäßen Einsatz des System und bei vorhersehbarer Fehlanwendung.

A.13.18 Werden die Nutzer für die Verwendung des Systems geschult?

A.13.19 Etwaige Änderungen des KI-Systems und seiner Leistung, die der Anbieter vorab bestimmt hat.

A.13.20 Erläuterung wie Ergebnisse zu interpretieren sind.

A.13.21 Erwartete Lebensdauer des KI-Systems und alle erforderlichen Wartungs- und Pflegemaßnahmen zur Gewährleistung des ordnungsgemäßen Funktionierens dieses KI-Systems, auch in Bezug auf Software-Updates.

Menschliche Aufsicht

A.13.22 Beschreibung der Maßnahmen mit denen Personen, denen die menschliche Aufsicht übertragen wurde, in die Lage versetzt werden, die Fähigkeiten und Grenzen des Systems vollständig zu verstehen und den Betrieb ordnungsgemäß zu überwachen, sodass Anzeichen von Anomalien, Fehlfunktionen und unerwarteter Leistung so schnell wie möglich erkannt und behoben werden können.

A.13.23 Beschreibung wie dem Problem des Automation Bias entgegengewirkt wird bzw. Einschätzung der Gefahr eines Automation Bias.

A.13.24 Beschreibung wie und mit welchen Werkzeugen oder Methoden sichergestellt wird, dass die menschliche Aufsicht die Ergebnisse/Ausgaben des Systems richtig interpretieren kann.

A.13.25 Wie wird sichergestellt, dass die menschliche Aufsicht beschließen kann, Ergebnisse außer Acht zu lassen, außer Kraft zu setzen oder rückgängig zu machen?

A.13.26 Wie kann eine menschliche Aufsicht den Systembetrieb unterbrechen (Stopptaste)?

A.13.27 Beschreibung von Situationen, in denen Ergebnisse/Ausgaben von mindestens zwei Personen überprüft werden sollten.

A.14 Robustheit, Sicherheit und Monitoring

Robustheit

A.14.1 Beschreibung wie eine Widerstandsfähigkeit gegenüber Fehlern, Störungen oder Unstimmigkeiten erreicht wird, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, auftreten können; insbesondere bei Interaktionen mit natürlichen Personen oder anderen Systemen.

A.14.2 Beschreibung wie eine Widerstandsfähigkeit gegen Versuche unbefugter Dritter erreicht wird, die Verwendung oder Leistung des Systems durch Ausnutzen von Schwachstellen zu verändern.

A.14.3 Beschreibung der Untersuchungs-, Test- und Validierungsverfahren, die vor, während und nach dem Einsatz des Systems durchzuführen sind und die Häufigkeit der Durchführung.

Meldung von Vorfällen

A.14.4 Beschreibung wie (schwerwiegende) Vorfälle und Fehlfunktionen (dem Anbieter/Hersteller) gemeldet werden können.

A.14.5 Beschreibung wie Nutzer unverständliche / widersprüchliche / irreführende Erklärungen melden können.

Monitoring

A.14.6 Gibt es ein kontinuierliches Monitoring bezüglich des Datenstroms?

A.14.7 Ist das Monitoring übersichtlich dargestellt?

A.14.8 Wird die Qualität der Daten des Datenstrom im Rahmen von Sanity-Check überprüft?

A.14.9 Können die Sanity-Check konfiguriert werden?

A.14.10 Gibt es technische Checks (health check des Systems) bezüglich der Verfügbarkeit des technischen Grund-Systems?

A.14.11 Werden verantwortliche Personen bei Störungen zeitnah benachrichtigt?

A.14.12 Wie werden verantwortliche Personen bei Störungen zeitnah benachrichtigt?

A.14.13 Wird die Qualität des Services kontinuierlich überwacht?

Logging

A.14.14 Werden LOG-Dateien erzeugt?

A.14.15 Wie lange werden die LOG-Daten gespeichert?

A.14.16 Gibt es die Möglichkeit den Informationsgehalt der LOG-Protokollierung zu erweitern? Wenn Ja, bitte kurz beschreiben?

A.14.17 Wird jeder Zeitraum der Verwendung des Systems aufgezeichnet (Datum und Uhrzeit des Beginns und des Endes jeder Verwendung), inkl. Eingabedaten und zugehöriger Ausgabedaten?

Sicherheit

Angaben über die informationstechnische Sicherheit des KI-Systems

A.14.18 Sind alle Komponenten des Systems dokumentiert bzw. ist eine vollständige Software Bill of Materials (SBOM) verfügbar?

A.14.19 Beschreibung der Herstellungs- und Überwachungsprozesse.

A.14.20 Beschreibung des Prozesses zum Umgang mit Schwachstellen.

A.14.21 Beschreibung der Vulnerability Disclosure Policy

A.14.22 Kontaktadresse zum Melden von Schwachstellen.

A.14.23 Beschreibung der technischen Lösung für die sichere Verteilung von Updates.

A.14.24 Wie erfolgen Sicherheitsupdates?

A.14.25 Wie lange werden Sicherheitsupdates kostenlos bereitgestellt?

A.14.26 Durchschnittliche / zugesicherte Dauer für die Bereitstellung von Sicherheitsupdates ab Bekanntwerden einer Schwachstelle.

A.14.27 Werden Informationen über Schwachstellen nach Bereitstellung eines Sicherheitsupdates veröffentlicht?

A.14.28 Bewertung von Cyber-Sicherheitsrisiken gegen die das System entwickelt und gewartet wird und Beschreibung von Sicherheitsmaßnahmen.

A.14.29 Beschreibung wie die Sicherheit des Systems regelmäßig getestet und überprüft wird.

A.14.30 Wurde überprüft, dass die aktuelle Version des Systems keine bekannten ausnutzbaren Schwachstellen zum Zeitpunkt X enthält?

Sicherheitsinformationen für den Kunden / Nutzer

Angaben zur informationstechnisch sicheren Verwendung des KI-Systems

A.14.25 Ist beschrieben, wo und wie Schwachstellen gemeldet werden können?

A.14.26 Ist die Version des KI-Systems enthalten?

A.14.27 Sind die Sicherheitsumgebung des Herstellers, Funktionalitäten und Sicherheitseigenschaften beschrieben?

A.14.28 Sind Umstände oder Fehlanwendungen beschrieben aus denen Cybersicherheitsrisiken entstehen können?

A.14.29 Ist beschrieben, wo die SBOM abgerufen werden kann?

A.14.30 Ist die Art des technischen Sicherheitssupport der vom Hersteller angeboten wird und wie lange er angeboten wird beschrieben (mindestens wie lange der Nutzer davon ausgehen kann, Sicherheitsupdates zu erhalten)?

A.14.25 Sind die erforderlichen Maßnahmen bei der Erstinbetriebnahme und während der Lebensdauer des Produkts, um seine sichere Nutzung zu gewährleisten, beschrieben?

A.14.26 Ist beschrieben, wie sich Änderungen am Produkt auf die Sicherheit der verarbeiteten Daten auswirken können?

A.14.25 Ist beschrieben, wie sicherheitsrelevante Updates installiert werden können?

A.14.26 Ist die sichere Außerbetriebnahme des Produkts, einschließlich Informationen darüber, wie Benutzerdaten sicher entfernt werden können, beschrieben?

A.14.26 Kopie der EU-Konformitätserklärung

A.15 Risikobewertung

A.15.1 Wurden bekannte und vorhersehbare Risiken inkl. vorhersehbarer Fehlanwendungen ermittelt und analysiert?

A.15.2 Beschreibung vorhersehbarer unbeabsichtigter Ergebnisse und Risikoquellen für die Gesundheit und Sicherheit, die Grundrechte und eine etwaige Diskriminierung angesichts der Zweckbestimmung des KI-Systems.

A.15.3 Risikoanalyse im Kontext bzw. in der Einsatzumgebung (Hersteller bietet Risikoanalyse an Kunden an)?

A.15.4 Wird die Durchführung dokumentiert und dem Kunden zur Verfügung gestellt?

A.15.5 Werden dabei folgende KI Anwendungsspezifische Punkte mit Maßnahmen zur Risikominimierung inklusive der Mitwirkungspflichten des Kunden ausgeführt?

A.15.6 Gibt es weitere Punkte im Dokument, die Ihre Risikoanalyse auszeichnen?

A.16 Sonstiges

A.16.1 Erfolgt eine der folgenden Arten der Interaktion mit dem Benutzer?

A.16.2 Wird dem Nutzer klar kommuniziert, dass es sich um ein KI-System handelt?

Ansprechpartner