Reallabor für rechtskonforme KI und Robotik
Reallabor für rechtskonforme KI und Robotik

Überwachung des Normalbetriebs von AMR

Use Case Beschreibung

Das KI-System „IntelliVoiceAnalytic“ überwacht den Normalbetrieb eines AMR (autonomous mobile robot) direkt an Bord. Sollte es Abweichungen vom Normalzustand geben, zum Beispiel durch Defekte oder Verschleiß, kann das System diese detektieren und über ein Display (Mensch-Roboter-Schnittstelle) melden. Die Meldungen und nachfolgende Analysen erfolgen intuitiv und über natürliche Sprache mithilfe von Spracherkennung und -synthese. Das Personal vor Ort soll so ohne Unterstützung schnell auf die Meldungen reagieren können. Das KI-System hat weder Zugriff auf Sicherheitsfunktionen des AMR / Fahrzeug noch auf externe Netzwerke und kann technische Daten nur lesen.

© Neobotix GmbH, KI-generiert

Rechtliche Einordnung

  • KI-System i.S.d. Art. 3 Nr. 1 KI-Verordnung.
  • Das Unternehmen ist Anbieter nach Art. 2 Abs. 1 lit. A.
  • Es handelt sich nicht um Hochrisiko-KI, da das KI-System rein diagnostisch eingesetzt werden soll. Ein Ausfall des KI-Systems erhöht nicht das Sicherheitsrisiko, selbst wenn die Plattformsteuerung aufgrund eines vom KI-System erkannten Fehlers selbstständig reagiert und den Roboter geregelt anhält, da das KI-System auch hier lediglich unterstützend tätig wird.
  • Der Anwendung liegt ein GPAI-System zugrunde, jedoch wird auf einem „fertigen“ GPAI-System aufgebaut. Daher entfallen für das Unternehmen die Anbieterpflichten bzgl. GPAI-Systemen.
  • Das KI-System ist für die direkte Interaktion mit Menschen bestimmt, daher bestehen nach Art. 50 Abs. 1 KI-VO grundsätzlich Transparenzpflichten.

Besondere Herausforderungen

  • Die Umsetzung der Transparenzanforderungen besteht nicht, wenn dies aus Sicht einer angemessen informierten, aufmerksamen und verständigen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist.
    • Da es je nach Ausgestaltung für einen Nutzer aber ggf. nicht klar erkennbar ist, ob er mit einem Regelsystem oder einem KI-System interagiert, sollte die Transparenzpflicht im Zweifel umgesetzt werden.
    • Dafür reicht in der Regel ein klarer Hinweis, z.B. „Sie interagieren mit einem KI-System“ beim Start der Sprachinteraktion oder dauerhaft sichtbar.
  • Eine Erweiterung des Systems, sodass Nutzer Feedback zu den KI-Entscheidungen geben können, ermöglicht Logging und die Evaluierung des Systems vom Anbieter / Betreiber. 

Partnerunternehmen