In dieser Folge erklärt Till, Head of Trustworthy AI am appliedAI Institute for Europe, was vertrauenswürdige KI ausmacht und welche Bedeutung sie hat. Er schlüsselt die drei Hauptsäulen auf: Rechtskonformität, technische Robustheit und Ethik. Till erörtert den historischen Kontext von KI, die Auswirkungen von vertrauenswürdiger KI auf Recht, Datenschutz und industrielle Anwendungen sowie die Bedeutung von Transparenz und Risikobewertung. Darüber hinaus hebt er die Bemühungen des appliedAI Instzitute for Europe hervor, die Umsetzung vertrauenswürdiger KI durch Ressourcen und aktive Zusammenarbeit mit politischen Entscheidungsträgern zu unterstützen und zu erleichtern. Besuche unser Kanal, um zu verstehen, was vertrauenswürdige KI eigentlich ist, warum wir uns darum kümmern sollten und wie sie effektiv umgesetzt werden kann. Besuche unsere Website: https://www.appliedai-institute.de/ Vergessen nicht, zu liken, zu teilen und zu abonnieren, um mehr Einblicke in unsere Inhalte zu erhalten!
00:00 Einführung
00:49 Was ist vertrauenswürdige KI?
01:51 Wie sind wir in die heutige Situation gekommen?
04:07 Das Prinzip der Rechtmäßigkeit
06:34 Das Prinzip der Robustheit
08:29 Das Prinzip der Ethik
11:32 Warum sollte uns das interessieren?
17:20 Wie baut das appliedAI Institute vertrauenswürdige KI auf?
18:56 Fazit und Schlussgedanken
In diesem Video sprechen wir über vertrauenswürdige KI. Was ist es genau und warum ist es so wichtig?
Hi, ich heiße Till und ich leite das Thema vertrauenswürdige KI beim
Marker
appliedAI Institute for Europe. In dieser Serie KI-Tools meistern generative KI für deinen Arbeitsalltag, schauen wir uns genauer an, was sich hinter dem Begriff vertrauenswürdige KI überhaupt verbirgt, warum es so wichtig ist und was wir von der Pleitei tun, um dich dabei zu unterstützen.
Das
Thema vertrauenswürdige KI kann man in drei Bereiche im Wesentlichen runterbrechen. Erstens Rechtsmäßigkeit. KI-Systeme müssen natürlich sich auch an geltendes Recht halten, wie all die anderen Produkte oder Dienstleistungen auch. Also Rechtsmäßigkeit. Zweitens technische Robustheit soll bedeuten, dass KI-Systeme dem Stand der Technik entsprechen sollen, damit sie funktionieren für ihren Verwendungszweck.
Und drittens, ethisch korrekt sollen sie sein. Das bedeutet vor allem, dass die Personen, die damit arbeiten, die von den KI-Systemen betroffen sind, dass deren Werte berücksichtigt werden, dass sie verstanden werden und erstens natürlich nicht beschädigt werden, aber im besten Fall soll KI dazu beitragen, dass diese Werte bestärkt werden.
Bevor wir uns nun diese drei Komponenten genauer anschauen wollen wir uns nochmal ganz kurz die Frage stellen, Wie sind wir eigentlich in die Situation heute gekommen, dass wir uns mit vertrauenswürdiger KI beschäftigen müssen?
Erstens der technologische Vortritt. Im Bereich KI war es so über die letzten Jahrzehnte, dass das Thema KI in sogenannten Hype-Zyklen stattgefunden hat. Immer wieder Phasen da war das Thema sehr populär. Es gab große Erwartungen und demnach sind eben auch die Investitionen nach oben gegangen und die Aufmerksamkeit und letztendlich auch die Hoffnungen.
Häufig war es jedoch so, dass diese Hoffnungen nicht ganz erfüllt wurden und demnach ist das Interesse wieder runter gegangen und dann ist man in so einem Tal gelandet einem sogenannten KI-Winter oder AI-Winter. Seit etwa 2012, 2010, um diese Zeit gab es noch wesentliche Durchbrüche im Bereich der Bilderkennung und der Textverarbeitung durch Methoden der künstlichen Intelligenz Und seitdem sehen wir den letzten Hype der nochmal zacken steiler geworden ist durch die Veröffentlichung dieser großen Modelle insbesondere Chat-GPT, weil sie einfach so viel zugänglicher und bediener und nutzerfreundlicher sind als Systeme die vorher zur Verfügung gestanden.
Und in diesem Kontext hat man gesehen, dass KI eine Technologie ist, die wirklich in alle Lebensbereiche reingeht Man findet das mittlerweile in allen möglichen Consumer-Geräten, in unseren Smartphones, in Smartwatches in unseren Autos, natürlich im Internet, auf sozialen Plattformen aber vielleicht auch in unserer Banking-App oder wenn wir zum Arzt gehen.
Wichtig dabei ist zu beachten, dass KI-Systeme Eigenschaften haben, die wir zuvor bei anderen Produkten nicht hatten und so kam es, dass so eine Gesamtstimmung entstand wo man vielleicht ein bisschen Zweifel hatte, ob das Thema KI, so wie es eben vor ein paar Jahren war, wirklich diesen Mehrwert bringt.
Das Ganze noch gepaart mit größeren Vorkommnissen Inzidenz, die wir gesehen haben in der internationalen Presse wo wirklich klar wurde, dass Menschen vielleicht in großem Maßstab diskriminiert wurden. Und all diese Entwicklungen haben dazu geführt dass man sieht, naja, es gibt eine neue Technologie, die hat ganz wesentliche neue Eigenschaften Also ist es wichtig, dass wir uns die Frage stellen, wie sollen solche Systeme künftig entwickelt werden, dass wir zwar die Chance nutzen können, aber ohne den Risiken in einer unangemessenen Art und Weise ausgesetzt sind.
Und deswegen ist es so wichtig, dass wir uns eben heute mit vertrauenswürdiger KI beschäftigen.
Nachdem wir geklärt haben, warum wir uns heute mit dem Thema vertrauenswürdige KI beschäftigen, wollen wir uns genauer anschauen, aus welch drei Komponenten das Thema besteht. Wir fangen an mit dem Thema Nummer 1, Rechtsmäßigkeit. Im Kern sagt dieses Prinzip, dass existierendes Recht auch auf KI-Systeme anzuwenden ist.
Wir sehen zwar auch, es gibt neue Gesetze wie die KI-Verordnung von der EU, aber natürlich gibt es auch viel geltendes Recht und das gilt weiterhin eben auch für KI-Systeme Zur Veranschaulichung wollen wir uns mal einen ganz konkreten Use Case rausnehmen. Stellen wir uns vor, wir haben eine Fabrik in der Teile hergestellt werden.
Da sind Maschinen, eine Fertigungsanlage, vielleicht haben wir eine große Fräsmaschine, eine Drehmaschine, einen Bohrer, einen Industrieroboter, irgendwas in dieser Art, wo sich Teile bewegen, wo natürlich auch was kaputt gehen kann. Und wir wissen zum Beispiel aus der Automobilproduktion, wenn das Band steht, das kann sehr schnell sehr teuer werden.
Aber abgesehen auch von ökonomischen Implikationen kann es natürlich sein, dass durch den Mangel an Wartung auch einfach etwas schief geht, dass Personen vielleicht verletzt werden oder dass Maschinen wirklich kaputt gehen. Also, wer ist hier haftbar? Hier ist eben hilfreich, sich mit dem Thema Produkthaftung früh auseinanderzusetzen, um ganz genau zu schauen, wer, ob das der Lieferant ist, der Nutzer, der Operator oder irgendjemand Drittes wer ist denn verantwortlich wenn die KI eben etwas Falsches rausgibt?
Das ist auch zugegebenermaßen eine schwierige Frage, aber wir sehen eben, dass da geltendes Recht, aber auch künftiges Recht dabei helfen kann. Anderes Beispiel, nehmen wir das Thema Datenschutz Es könnte sein, dass diese Maschine nicht nur in der Vergangenheit zugänglich war mit einem Schlüssel einer Schlüsselkarte, einem PIN-Code oder irgend so.
Möglicherweise so, dass jetzt durch diese KI-Funktionalität ein weiteres Modul hinzugefügt wurde, dass die Maschine... Aktiviert werden kann durch einen Face-Scan, also einen Gesichtsscan sozusagen, wie wir es heutzutage vielleicht von einem Mobilfunktelefon kennen. Hier könnte es sein, dass eben dann persönliche Daten von den Nutzerinnen und Nutzern der Maschine irgendwo abgelegt sind.
Das heißt, in diesem Fall würde auch die Datenschutzgrundverordnung gelten und ich als Betreiber von diesem KI-System muss mir natürlich auch in diesem Kontext dann gut überlegen Brauche ich diese persönlichen Daten überhaupt, wie werden sie behandelt und all die geltenden Prinzipien die wir aus der DSGVO aufnehmen.
Der zweite Punkt zum Thema Vertrauenswürdige KI, den wir uns anschauen wollen, ist das Thema Vertrauen Technische Rupus teilt. Das bedeutet, dass KI-Systeme nach dem Stand der Technik entwickelt werden sollen, sodass sie ganz einfach gesagt fit sind für ihren Purpose dass sie ihren Verwendungszweck auch zuverlässig erfüllen können.
Bleiben wir hier bei dem Beispiel der vorausschauenden Wartung in unserer Maschine in einer imaginären Fabrik Stellen wir uns vor, diese Maschine, also diese vorausschauende Wartungs-KI bekommt vielleicht Daten durch einen Vibrationssensor oder Schwingungssensor, der quasi aufnimmt wie sich diese Maschine bewegt wenn sie im Betrieb ist.
Zusätzlich könnte es sein, dass dort auch ein optischer Sensor ist, der mittels Bilderkennung sieht, ob bestimmte Teile vielleicht abgenutzt sind. Jetzt könnte es sein, dass im Laufe der Nutzung der Maschine diese Sensoren beschädigt werden, dass der optische Sensor verschmutzt wird. Von einer Maschine die nebendran steht, auch Schwingungen ausgehen, die sich dann überlagern.
Das heißt, es können verschiedene Störfaktoren auftreten, die vielleicht im Training von unserem KI-System gar nicht betrachtet wurden. Und dann ist natürlich die Frage, ob unsere KI weiterhin zuverlässig arbeiten wird oder ob sie sich davon auf die falsche Fährte bringen lässt. Welchen Einfluss hat so eine Fehlbenutzung auf die Funktionsweise des KI-Systems Ist es robust?
Sind diese Fehlersituationen vorgesehen? Oder auch hier könnte es passieren, dass das KI-System demnach auch falsche Vorhersagen und Entscheidungen trifft. Das sind alles Beispiele aber wir können sehen, dass technische Robustheit verschiedene Dimensionen hat. Und wie in unserem Beispiel müssen wir diese Idee übertragen auf das KI-System, mit dem ihr arbeitet, sei es mit generativer KI oder mit anderen Methoden Hier ist es wichtig, Systeme so robust zu machen, dass sie sich eben nicht
Der dritte Aspekt zum Thema vertrauenswürdige KI ist das Thema Ethik. Ethik ist sicher auch der schwammigste Begriff von den dreien, wird häufig in Diskussionen aufgebracht, die Frage nach welchen Werten wollen wir KI einsetzen. Das ist häufig recht schwierig und deswegen habe ich auch keine glasklare Definition, aber möchte Ihnen wieder ein paar Beispiele geben, in welcher Art und Weise man sich darüber Gedanken machen könnte.
Also schauen wir uns wieder an unser Beispiel von unserem Predictive Maintenance System, die so vorausschauende Wartung in unserer imaginären Fabrik. Es könnte sein, dass der Schichtplan der Arbeitnehmer dort mit diesem Modell verbunden ist. Das heißt, die Frage, wann wird die Maschine ausfallen, wird nicht nur allein damit vorhergesagt Welche Maschinendaten wir gerade haben, welche Schwingungen oder anderen optischen Signale wir rein kriegen, sondern vielleicht wird das eben auch mit dem Schichtplan gekoppelt sodass die KI vielleicht nachher sagen würde, naja, wenn dieser Maschinenbediener Bedienerin da ist, dann ist die Chance höher, dass das System ausfällt.
Natürlich können wir vorstellen, dass hier auch eine Ein Vorurteil entstehen kann, wenn man sagt, naja, die fällt immer aus, weil diese Person da ist. Vielleicht ist das auch reiner Zufall und gar kein wirklicher Wirkungszusammenhang. Das heißt, hier muss man vorsichtig sein, dass man nicht alle möglichen Daten einfach nimmt, um daraus dann irgendwelche Schlussfolgerungen zu ziehen, die vielleicht nachher auch fehlerhaft sind.
Ein anderer Aspekt im Bereich Werte könnte sein, dass wir uns in die Die Situation des Maschinenbedieners versetzen. Vielleicht habe ich lange Zeit gelernt und habe viel Erfahrung bei der Bedienung dieser Maschine. Ich kenne mich damit gut aus, ich beschäftige mich damit, mich interessiert das Thema und natürlich identifiziere ich mich auch ein Stück weit mit meiner Tätigkeit in dieser Fabrik.
Und jetzt könnte es sein, dass allein der Einsatz von diesem KI-System dazu führt, dass ich mich vielleicht weniger wohlfühle, dass ich mir denke, naja, wenn jetzt... Mehr und mehr Aufgaben die mir so wichtig sind, von dieser Maschine übernommen werden, was ist denn überhaupt mein Beitrag? Das heißt, hier muss ich sicherstellen, wenn ich das System In den Einsatz bringe dass mir ja bewusst ist, welchen Einfluss hat das auf einfach die Gefühle vielleicht auch der Person, die davon betroffen ist sei es direkt oder indirekt.
Also ein drittes Beispiel und das vielleicht sehr an den Haaren herbeigezogen, könnte irgendjemand auf die verrückte Idee kommen und sagen, naja. Wenn wir hier einen Zusammenhang sehen zwischen dem Ausfall der Maschine und der Person, die sie bedient hat, vielleicht wollen wir das beim nächsten Jahresendgespräch hernehmen, um zu schauen, wer soll als nächstes befördert werden oder wer soll irgendeine Anerkennung bekommen.
Das wäre natürlich total fehlgeleitet und könnte einen großen Schaden verursachen. Aber hier sieht man, dass wenn man solche Zusammenhänge erstellt von verschiedenen Datenpunkten, die man hat, dass man auf wilde Ideen kommt, die aber vielleicht am Ende mehr Schaden erzeugen als sie einem Nutzen bringen.
Der erste Punkt, warum vertrauenswürdige KI so wichtig ist, lässt sich auf eine einfache Formel zusammenfassen. Im Englischen no trust, no use. Also kein Vertrauen, keine Nutzung. Nehmen wir ein Beispiel. Stellen wir uns vor, wir haben ein neues Gerät, ein neues Smartphone, Laptop irgendein anderes technisches Gerät.
Was machen wir? Wir probieren es aus, wir öffnen es, wir drücken ein paar Mal rum, bis wir irgendwann das Gefühl haben, ja, wir wissen, wenn ich diesen Knopf drücke, passiert folgendes Ergebnis. Wenn ich mich so an ein Thema nähere und dem Vertrauen zu dem Gerät aufbaue dann fühle ich mich irgendwann wohl und werde es wahrscheinlich auch in meinem Alltag nutzen und dann auch den Mehrwert davon erhalten.
Bei KIs ist es so, ich kriege nicht immer beim gleichen Input das gleiche Output, sondern es kann sein, dass das System in einer Art und Weise reagiert, womit ich nicht gerechnet habe. Wenn ich dann aber in der Situation bin, dass ich es wirklich gar nicht verstehe, dann werde ich es wahrscheinlich ein- oder zweimal probieren und vielleicht dann einfach auch weglegen und nicht verwenden weil ich das Gefühl habe, irgendwie werde ich nicht warm mit der Technologie Und deswegen ist es extrem wichtig, dass wir hier Systeme schaffen, bei denen sich die Nutzerinnen und Nutzer wohlfühlen dass sie wissen, was passiert, dass sie Vertrauen haben darin, dass das System genau das tut, wofür es vorgesehen ist.
Und deswegen glauben wir eben, wenn wir vertrauenswürdige KI einsetzen, dann erhöhen wir auch die Nutzerbasis und das ist auch eines der wesentlichen Ziele von Applied.de, nämlich dafür zu sorgen, dass KI den Weg von der Entwicklung in die Anwendung findet. Der zweite Punkt ist etwas ähnlich wie der erste.
Anstatt No Trust, No Use würde ich jetzt sagen No Compliance No Use. Also auf Deutsch keine Rechtsmäßigkeit keine Anhaltung der Gesetze auch keine Nutzung. Hier spiele ich natürlich auf den AI Act an, die KI-Verordnung der Europäischen Union Darin vielleicht als Hintergrund, haben wir einen sogenannten risikobasierten Ansatz.
Das heißt, KI-Systeme werden in vier verschiedene Risikoklassen unterteilt. Häufig hat man so ein Sinnbild von einer Pyramide. Es gibt die ganz oben, die verboten sind. Das sind wahrscheinlich nur sehr wenige das sind so Predictive Policing, Social Scoring und ein paar andere Praktiken wo man sagt, die sind fundamental entgegen der Rechte der EU.
Verboten. Dann gibt es die Klasse der sogenannten Hochrisiko-KI-Systeme Das sind KI-Systeme die zum Beispiel in Produkten sind, die heute schon sicherheitskritisch sind. Denken wir an Medizinprodukte, an Aufzüge, Flugzeuge, PKWs oder Schutzausrichtung. Aber auch Systeme Im öffentlichen Raum denken wir an KI in der Schule, KI in der Strafverfolgung oder in der kritischen Infrastruktur.
All diese Systeme sind Hochrisikosysteme die sind prinzipiell erlaubt aber eben nur, wenn sie ganz bestimmte Anforderungen erfüllen. Das heißt, hier haben wir eine Markteintrittsbarriere. Das heißt, ich kann nur an diesem Markt teilnehmen, Mit meiner Karriereanwendung, wenn ich diese Regeln einhalte.
Andersrum gesagt, wenn ich das nicht tue, kann ich eben nicht an dem Markt teilnehmen. Und deswegen No Compliance No Use. Wenn ich nicht compliant bin, eben in diesem Kontext von AI, dann kann ich da nicht mein KI System einbringen und deswegen ist es so wichtig, hier eben nach den Prinzipien der vertrauenswürdigen KI zu arbeiten, die eben auch ganz stark im AI-Recht verankert sind.
Der dritte Punkt, warum vertrauenswürdige KI wichtig ist, ist die Beobachtung dass häufig sind die Ziele vertrauenswürdiger KI gar nicht so unterschiedlich zu dem, was ich auch in der technischen oder engineering community höre Häufig ist es so, dass es insbesondere von Wir Senior EntwicklerInnen ist, dass Sie sagen, Sie möchten gerne Systeme entwickeln die wirklich robust sind, die gut funktionieren, die man nachvollziehen kann, die erklärbar sind und die einfach wirklich einen guten Service bieten, eine gute Leistung bringen.
Wir sehen, wenn wir auf den AI schauen oder auf die Prinzipien vertrauenswürdiger KI, dass die Ziele funktionieren Ziemlich genau die gleichen sind. Der Ereignis und die Gesetze die da rumkommen, die kommen natürlich von einer sehr, sagen wir, extrinsischen Motivation, indem sie letztendlich einen Zwang erzeugen.
Und natürlich, niemand möchte gerne seinen Arm rumgedreht kriegen oder die Pistole auf der Brust, wenn man, dass man bestimmte Dinge tun muss oder bestraft wird, wenn man sie nicht tut. Das heißt, das Ziel ist anscheinend das Gleiche nur die Motivation ist sehr anders. Und hier wollen wir als supply-ti einen Beitrag leisten, indem wir, ja, Verständnis aufbauen auf beiden Seiten und diese Kräfte nutzen, um nachher auch vertrauenswürdige KI in die Praxis zu bringen und natürlich im besten Fall auch diese ganzen Boxen ticken können, die wir von der KI-Verordnung vorgeben bekommen.
Als letzten Punkt zu der Frage, warum vertrauenswürdige KI wichtig ist, ist die Quantifizierung von Risiken möchte ich den Punkt nennen, entlang der Lieferkette. Wir können uns alle vorstellen, dass irgendetwas schiefgehen kann. Wenn ich mich aber konkret damit beschäftige, dann kann ich dieses Risiko viel besser greifen, viel besser quantifizieren.
Das heißt, ich kann sagen, wie hoch ist denn die Eintrittswahrscheinlichkeit wie die Chance, dass es schiefgeht? Und wenn es schiefgeht, wie schlimm ist es denn wirklich? Ein bisschen mittelmäßig sehr schlimm. Wenn ich die Risiken quantifiziere, kann ich viel bessere Entscheidungen treffen und für mich sagen, möchte ich das machen, bin ich damit einverstanden Oder vielleicht auch nicht?
Oder welche Maßnahmen muss ich denn treffen, um nachher diese Risiken zu mitigieren? Und als letzten Punkt das Thema Transparenz und Erklärbarkeit. Wie vorhin gesagt, ist es so, wenn ich als Nutzer zu einem KI-System das erste Mal gegenüberstehe, habe ich natürlich sehr viele Fragen. Das heißt, wenn ich aktiv und sehr bewusst diese Prinzipien von vertrauenswürdiger KI betrachte Anwende, über meinen Entwicklungs Lebenszyklus, dann hilft es mir auch entlang dieser Value Chain, dieser KI-Lieferkette diese Informationen zur Verfügung zu stellen und die Verantwortlichkeiten zu klären, dass es nachher eben auch, dass da ein Schuh draus wird, dass wir nachher alle happy quasi KI-Handeln.
Zum Schluss wollen wir noch sagen, was wir vom ApplyTI Institute for Europe machen, um euch zu helfen, diese Prinzipien auch in die Praxis umzusetzen Auf der einen Seite entwickeln wir und veröffentlichen wir ein wachsendes Portfolio an unterschiedlichen Ressourcen. Wir haben zum Beispiel Informationsmaterial und Trainings die dir helfen können, einfach die Anforderungen besser zu verstehen.
Wir haben Datenbanken beispielsweise zum Thema Risikoklassifizierung. Wir wissen, dass das extrem wichtig ist, um nachher nachzuvollziehen, warum erzeugt ein KI-System einen bestimmten Output. Und hier haben wir ein Tool, das dir genau bei dieser Frage helfen soll Du siehst die Liste ist lang. Natürlich haben wir auch Veranstaltungen verschiedener Art.
Also komm da gerne vorbei, connecte dich mit anderen, geh in den Austausch. Neben diesen Ressourcen haben wir einen zweiten, sehr aktiven Bereich. Und das ist unser Austausch mit den Gesetzgebern also den Leuten die nachher diese Regeln schreiben, die wir alle dann erfüllen müssten. Wie sieht das aus? Es sieht so aus, dass wir einerseits mit Personen in Brüssel sprechen, aus dem Norden Mit Europäischen Parlament, mit der Europäischen Kommission.
Wir sind in Kontakt mit verschiedenen Stellen in Berlin oder auch anderen Ministerien in den Bundesländern. Was wir machen wollen, ist, wir wollen die praktische Perspektive an den Tisch bringen. Hier wollen wir ein Übersetzer sein von den Policy Leuten auf der einen Seite und den Anwendern auf der anderen.
Auch das ist uns sehr wichtig, dass wir eben Regeln nachher haben, die machbar sind von der technischen Seite und auch wirklich ihr Ziel erreichen können.
Wir sind am Ende dieses Videos angelangt Wir haben geklärt die Frage, was ist vertrauenswürdig KI, warum ist es so wichtig und was machen wir bei Applied.de, um dir mit diesem Thema zu helfen. Vielen Dank, dass du eingeschaltet hast. Wenn du mehr Interesse hast am Thema generative KI, KI allgemein dann schau gerne auf unsere Webseite.
Dort findest du viele interessante Ressourcen und natürlich auch noch andere Episoden von dieser Videoserie. Wenn du die nicht verpassen möchtest, bitte auf den Link-Button klicken und unseren Kanal subscriben. Vielen Dank und bis bald.