Erstes Gütesiegel für vertrauenswürdige KI vorgestellt

Vertrauenswürdige KI als europäische Chance

Hinter dem Gütesiegel steht das Know Center, das führende österreichische COMET-Kompetenzzentrum mit Fokus auf vertrauenswürdige KI und Data Science. Für Oliver Bernecker, CEO des Know Centers, liegt in vertrauenswürdiger KI und digitaler Souveränität auch eine wirtschaftliche Chance für Europa. „Bei den KI-Modellen werden Europa und Österreich mit den globalen Anbietern kaum in Hinblick auf Größe und Kapital konkurrieren können. Unsere Chance liegt dort, wo Qualität, Sicherheit und Vertrauenswürdigkeit zum Wettbewerbsvorteil werden“, so Bernecker. „Gleichzeitig erleben wir, dass das Vertrauen in KI unter Druck steht. Systeme liefern unerwartete und nicht erklärbare Ergebnisse und für Unternehmen und die öffentliche Verwaltung ist nicht immer klar, wie belastbar eine Anwendung tatsächlich ist. Hier kann Europa Stärke entwickeln. Mit dem Gütesiegel übersetzen wir wissenschaftliche Expertise in einen konkreten Qualifizierungsprozess für reale KI-Anwendungen.“

Sieben Kriterien für vertrauenswürdige KI

Das Gütesiegel kann für KI-Tools, KI-Services, KI-Modelle und KI-Systeme beantragt werden. Bewertet werden sieben Bereiche:

• Datenschutz und Sicherheit,
• Transparenz, Erklärbarkeit und Fairness,
• menschliche Aufsicht und Entscheidung,
• digitale Souveränität,
• Ökonomie,
• Nachhaltigkeit sowie
• digitaler Humanismus.

In der zweiten Phase des Verfahrens wird zusätzlich die KI-Kompetenz innerhalb der jeweiligen Organisation berücksichtigt. Zudem sind Antragsteller:innen verpflichtet, eine kontinuierliche Eigenüberwachung durchzuführen.

„Wir prüfen konkrete Anwendungen anhand klar definierter Kriterien“, sagt Cathrin von Hesler, Verantwortliche für das Gütesiegel „Trustworthy AI – by Know Center”. „Dabei schauen wir uns an, welche Daten vorhanden sind, wo diese gespeichert und verarbeitet werden, welche Prozesse dahinterstehen und wie zentrale Anforderungen in der Praxis umgesetzt werden. Die Bewertung zeigt, wo eine Anwendung die Anforderungen erfüllt und wo Handlungsbedarf besteht.“

In die Prüfung fließen Forschungsergebnisse der Expert:innen des Know Centers ein, darunter wissenschaftlich entwickelte Methoden und Metriken für einzelne Bereiche, wie beispielsweise Fairness, Robustheit und Transparenz. Zeigen sich während des Audits offene Punkte, werden diese aufgezeigt und können von der antragstellenden Organisation bearbeitet werden. Anschließend können die betroffenen Kriterien erneut bewertet werden.

Ablauf des Qualifizierungsprozesses

Der Qualifizierungsprozess startet mit einem Antrag beim Know Center. Anschließend wird der Ablauf auf die jeweilige Anwendung abgestimmt. Die Prüfung kann online oder vor Ort erfolgen, wobei sich ihr Umfang nach Kritikalität und Komplexität der Anwendung richtet.

Das Verfahren umfasst zwei Phasen. In Phase eins prüft das Know Center die festgelegten Kriterien. In Phase zwei legt die antragstellende Organisation ein Konzept vor, das beschreibt, wie die Anforderungen auch künftig eingehalten werden. Nach der abgeschlossenen Erstprüfung durch das Know Center wird als zweite Voraussetzung der Vergabe eine Eigenüberwachung durch den Antragsteller/die Antragstellerin verlangt. Zusätzlich wird die KI-Kompetenz der Organisation berücksichtigt. Werden die Vergabebestimmungen bezüglich beider Phasen erfüllt, verleiht das Know Center das Gütesiegel und vergibt eine individuelle Gütesiegel-ID.

Für Unternehmen, die öffentliche Verwaltung und andere Organisationen schafft das einen sichtbaren Qualitätsnachweis.

Vertrauenswürdige KI als Standortfaktor

Die Bedeutung vertrauenswürdiger KI für den österreichischen Digitalstandort und die öffentliche Verwaltung ordnete bei der Pressekonferenz Erich Albrechtowitz, CDO der Gruppe I/C Digitalisierung und Informationsmanagement im Bundeskanzleramt*, ein. „Vertrauenswürdige KI ist ein Standortthema“, sagt Albrechtowitz. „Österreich braucht eigene wissenschaftliche und technologische Kompetenz, um KI-Systeme beurteilen, europäische Anforderungen in die Praxis übertragen und hochwertige Anwendungen entwickeln zu können. Kompetenz in diesen Bereichen stärkt die technologische Handlungsfähigkeit und digitale Souveränität Österreichs und Europas.“

„Vertrauen braucht eine nachvollziehbare Grundlage“, fügt von Hesler hinzu. „Mit dem Gütesiegel machen wir sichtbar, welche Kriterien eine konkrete KI-Anwendung erfüllt. Unternehmen und Organisationen erhalten damit eine belastbare Grundlage für die Bewertung und den Einsatz ihrer KI.“

Erstes Leuchtturmprojekt vorgestellt

Jene Anwendung, die den Qualifizierungsprozess als erstes erfolgreich durchlaufen und das Gütesiegel erhalten hat, wurde von der IT-Kommunal GmbH im Auftrag des Österreichischen Städtebundes für dessen Mitgliedsstädte entwickelt. Sie befindet sich derzeit im Testbetrieb.

Der „Kommunale KI-Assistent” setzt zu 100 % auf Open Source Software auf, die Architektur dafür entstammt einer laufenden Projektinitiative aus dem öffentlichen Sektor in Deutschland. Der „KI-Assistent” stellt vier Module zur Verfügung, mit denen grundlegende Verwaltungsaufgaben erledigt werden können: ein klassischer Chatbot für das strukturierte Abarbeiten von Aufgaben wie z.B. Dokumente redigieren oder Entwürfe erstellen; ein Recherche-Tool, das auf hinterlegte, kommunalspezifische Wissenspools zugreift; ein Zusammenfassungs-Tool, mit dem von längeren Dokumenten wie beispielsweise Studien, Gutachten oder auch Verträgen Zusammenfassungen mit vordefinierbarer Länge und Schwerpunktsetzung erstellt werden können und ein Transkriptions-Tool, mit dem Video- und Audio-Aufzeichnungen in Text umgewandelt werden können, was insbesondere bei intensivem Sitzungsbetrieb sehr hilfreich sein kann.

Alle Mitgliedsgemeinden des Österreichischen Städtebundes waren eingeladen, eine limitierte Zahl an Mitarbeiter:innen zum Evaluieren des KI-Assistenten zu nominieren. Aktuell testen rund 300 Gemeindebedienstete, der Testbetrieb läuft voraussichtlich noch bis Jahresende 2026.

„Bei einer KI-Anwendung für Städte zählt, dass sie absolut vertrauenswürdig ist, sodass Mitarbeiter:innen aus der Verwaltung also auch datenschutzrechtlich relevante Dokumente damit bearbeiten können und gewährleistet ist, dass keine Daten die Betriebsumgebung des KI-Assistenten verlassen und weder gespeichert noch in irgendeiner Form ausgewertet werden. Der Qualifizierungsprozess gab uns dafür einen klaren Blick auf die notwendigen Qualitätskriterien und zeigte uns, wo wir nachschärfen mussten“, erklärt Ronald Sallmann, CDO des Österreichischen Städtebundes und strategischer Geschäftsführer der IT-Kommunal GmbH. Die IT-Kommunal GmbH ist bei dem Projekt als technischer Dienstleister tätig. Auftraggeber ist der Österreichische Städtebund, für dessen Mitgliedsstädte der KI-Assistent entwickelt wurde.

 *(Anm.: Albrechtowitz ist in Entwicklung, Prüfung und Vergabe des Gütesiegels nicht eingebunden. „Trustworthy AI – by Know Center“ ist eine eigenständige Initiative des Know Center und kein staatliches Gütesiegel.)

Weitere Informationen finden Sie auf: www.know-center.at/guetesiegel