02 | I'M SORRY, DAVE: WHO YOU GONNA CALL?

00:00:01: Okay, ich geb dir ein Hey.

00:00:35: KI-Agenten umgehen nicht nur selbstständig Sicherheitsbarrieren, organisieren sich und dringend unerlaubt in fremde Systeme ein.

00:00:41: Sondern sie vergessen auch ihre eigentliche Aufgabe was KI-Agenten eigentlich nicht tun sollten denn dafür wurden sehr schließlich erschaffen.

00:00:51: Sie fragen sich plötzlich wie sie den sogenannten SCORA das System also die Chefs ihre Schöpfer UNS wie sie uns umgehen und austricksen können?

00:01:02: Wir wundern uns dass dieses Thema in Deutschland nicht auf den Titelseiten steht.

00:01:07: Wir gehen ein paar Tage und plötzlich ändert sich der Ton.

00:01:14: Am Samstag veröffentlicht Dario Armudei, der Chef von Anthropic einen Text mit dem Titel We Must Pace the Frontier.

00:01:23: Bislang habe er geglaubt es reiche wenn die Unternehmen Milliarden in Sicherheit investierten.

00:01:27: Jetzt sagt er das reicht nicht mehr Die Entwicklung der leistungsfähigsten Modelle müsse langsamer werden damit die Sicherheitsforschung hinterher kommt.

00:01:55: Das wirklich verrückte daran ist eine Zeitangabe, sechs bis zwölf Monate.

00:01:59: So viel Zeit bleibt nach Amodeis Einschätzung bis autonome Agentenschwärme Fähigkeiten erreichen mit denen sie große Teile des Internets unter ihre Kontrolle bringen könnten.

00:02:12: Gleichzeitig sagt er, wir bräuchten eher ein bis zwei Jahre um die Sicherheitsprobleme in den Griff zu bekommen?

00:02:19: Das ist eine schöne fast mathematische Spannung!

00:02:21: Wir brauchen möglicherweise zwei Jahre – wir haben vielleicht sechs Monate.

00:02:27: Und Arm-O-Day zieht eine konkrete Konsequenz Unabhängige Prüfer sollen bei Anthropic denselben Zugang bekommen wie interne Teams und ihre Ergebnisse ohne redaktionelle Kontrolle durch Anthropic veröffentlichen dürfen.

00:02:42: Wir erinnern uns, beim Huggingface-Vorfall darbestimmte OpenAI noch selbst welche externen Institute untersuchen sollten und in welchem Rahmen die Untersuchung stattfand.

00:02:54: Dann kommt Samstagabend der fast surreale Moment.

00:02:57: Elon Musk schreibt auf X Dario is right Sam Ordman schreibt Great Idea.

00:03:03: auch Demi Hassabis von Google Deep Mind signalisiert Unterstützung.

00:03:08: Ausgerechnet die Konkurrenten im vielleicht teuersten Technologie-Rennen der Geschichte einigen sich plötzlich darauf, dass dieses Rennen langsamer werden sollte.

00:03:18: Langsamer?

00:03:19: Werden muss!

00:03:24: Parallel dazu meldet sich Jacob Coxon – einen KI-Forscher, der seinen Job bei Anthropic kündigt.

00:03:30: Das haben wir in der letzten Episode schon kurz erwähnt.

00:03:33: Mittlerweile war Coxen zu sehen bei CNN und zu Besuch der New York Times.

00:03:39: What I see is two things, very intelligent AI systems

00:03:42: and hard proof that we don't know how

00:03:44: to control them.

00:03:44: they could cause

00:03:45: extreme havoc for example

00:03:46: hacking critical infrastructure building extinction level bioweapons.

00:03:50: it basically spells disaster.

00:03:52: right now there's

00:03:53: no risk of extinction.

00:03:54: There a

00:03:55: real possibility

00:03:57: in the immediate

00:03:58: future that

00:03:58: theres chance we can.

00:03:59: all die Coxon macht das selberzeugend Sieht aber ein bisschen so aus wie Harry Potter.

00:04:09: US-Senator Bernie Sanders mobilisiert seit letzter Woche für einen Entwicklungsverbot für künstliche Superintelligenz, ein Tausend vierhundert Beschäftigte aus Top-KI Unternehmen unterschreiben eine Petition in der sie die US-Regierung auffordern das Wettrennen zu verlangsamen bis hin zur einem möglichen Moratorium.

00:04:27: We need an immediate pause on advanced AI development and permanent ban.

00:05:06: Die Unternehmen sagen selbst, wir brauchen dringend Regeln.

00:05:08: Wir müssen die Entwicklung verlangsamen Aber die Regierung, das Landes in dem die wichtigsten dieser Unternehmen sitzen hat bislang bewusst auf Schnelligkeit vor Sicherheit gesetzt.

00:05:18: Freie nach dem alten Facebook-Motto Move Fast Break Things.

00:05:23: US-Präsident Trump wird am Wochenende beim Golf spielen unterbrochen und befragt wie er diese Situation einschätzt.

00:05:32: Wer auch immer AI gewinnt Gewinnt.

00:05:37: Er ist sichtlich beeindruckt von seinem Satz mit der schlichten Logik Er meint China und damit leicht hin ein neues Wettrüsten um die Welt herrschaft.

00:05:45: Aber was wenn AI, AI gewinnt?

00:05:50: Die Wissenschaftler waren – die Unternehmen werden nervös, einige der mächtigsten CEOs aus der Welt verlangen plötzlich selbst nach externer Kontrolle.

00:05:57: nur wer kontrolliert eigentlich die Kontrolleure?

00:06:03: Im ersten Akt eines Katastrophenfilms passiert etwas das eigentlich nicht passieren dürfte.

00:06:08: Ein gefräßiger weißer High taucht vor der Urlaubsküste Neu-Englands auf Ein Asteroid von der Größe von Texas rast auf die Erde zu oder unkontrollierbare KI-Agenten überwinden die Sicherheitsbarrieren eines Hochsicherheitslabors.

00:06:25: Und dann beginnt der zweite Akt, die WissenschaftlerInnen haben Alarm geschlagen, die Konzerne versuchen, die Verantwortung abzugeben – Damage Control!

00:06:34: Irgendjemand muss entscheiden was jetzt passiert?

00:06:39: Die Frage ist nur… Who you gonna call?

00:06:46: Ich bin Caschao Beros gehört.

00:07:04: Ja, es reizt sich jetzt eigentlich ein in eine Reihe von Vorfällen.

00:07:08: Das ist unser Bundesdigitalminister Carsten Wildberger.

00:07:12: Ich habe ihn letzten Freitag zusammen mit meinem Kollegen Tobi Bauckage in seinem Bundes-Digitalministerium gesprochen

00:07:17: Die natürlich besorgniserregend sind.

00:07:20: Also glaube ich auch so an der Testumgebung wo man dachte das sei sicher hat sich das System mit tausendswundert Agenten selbstständig gemacht und dann angefangen zu kooperieren, um sich bei Haging Face sozusagen mal zu betätigen.

00:07:35: Sich eigene Ziele zu setzen.

00:07:37: und ich glaube wir sind gerade bei der Frage dass wir erkennen das künstliche Intelligenz ja nicht nur Intelligenze im Sinne von Reasoning ist.

00:07:46: also ich habe ein Bild von der Welt und ich kann Probleme lösen sondern diese agentische Fähigkeit.

00:07:53: Das heißt ich kann handeln eigenständig Aktionen machen so wie das heute gebaut ist, nicht kontrollierbar.

00:08:01: Wir wollen von Ihnen wissen, ob auch er den Huggingface-Vorfall als einen Warnschuss wahrgenommen hat?

00:08:07: Es gibt mir glaube ich mehrere Warnschüsse!

00:08:09: Wir stellen halt jetzt fest dass die Zielfunktion auf denen die KI Modelle sozusagen trainiert sind sich natürlich dann eigenständig auch Subgoals also andere Zielfunktionen setzen und deshalb ist es glaube ich sehr wichtig, dass wir nochmal sehr stark daran arbeiten und auch wissenschaftlich wahrscheinlich arbeiten, wie kann ich Sicherheit stärker in der DNA dieser Technik verankern?

00:08:36: Und dann ist für mich zwei Fragen eine KI-Modell zu haben was Reasoning betreibt.

00:08:41: Ich als Mensch nutze das, was der mir sagt und kann es selber noch beprüfen versus es handelt autonom als eigener Agent.

00:08:52: Das ist nochmal ne andere Qualität.

00:08:54: vielleicht braucht es Klopfe ich auf Holz.

00:08:59: Vorfälle, die hoffentlich hinzugravieren sind damit wir endlich aufwachen.

00:09:04: Ich möchte mal ein Bild für Sie zeichnen denn sie haben selber auch gerade gesagt wenn man diese Geschichte erzählt, Agenten brechen aus so einer Testumgebung oder Sandbox bauen heimliche Kommunikationswege auf organisieren sich als Schwarm sprechen sich untereinander ab dringend in fremde Computersysteme ein versuchen sogar ihre Spuren zu verwischen dann klingt das Für uns erstaunlich stark nach dem ersten Akt eines Katastrophenfilms.

00:09:31: So fangen solche Geschichten ja meistens an.

00:09:34: Die meisten Katastrofenfilme, die ich kenne ... enden

00:09:38: gut!

00:09:39: Welche Katastrophefilme schauen Sie so?

00:09:42: Also es geht dann noch weiter.

00:09:43: Nein, ich will's nicht verharmlosen.

00:09:45: Jetzt müssen wir ein bisschen Balance finde ich nochmal da reinkriegen.

00:09:50: Sie haben natürlich völlig recht Es gibt Szenarien und auch Dinge, die gerade passieren die heute eher noch in Testumgebungen laufen, aber sie zeigen, was diese Technik im negativen Sinne anzurichten.

00:10:04: Vermarkt!

00:10:05: Und das ist die Frage, wer hält die Kontrolle?

00:10:08: Wir dürfen auch nicht verkennen, dass diese Technologie erst einmal etwas sehr Positives bewirken kann.

00:10:14: Positiv gesprochen, sie kann in der Tat Probleme lösen, die uns Menschen vielleicht Gesundheit, Energie fragen.

00:10:21: Groß große Themen können wir mithilfe der künstlichen Intelligenz lösen.

00:10:26: Die Frage wird sich natürlich stellen, welche Rolle spielen wir.

00:10:28: Insbesondere auch als der Akteur, der am Ende noch die Entscheidung trifft also die Kontrollfrage.

00:10:34: Ich würde es nicht hoffentlich als Katastrophenfilm, weil ein Film ist ja immer noch eine Beschreibung des wie sein könnte.

00:10:41: Wir sprechen jetzt über die Realität.

00:10:44: insofern sind solche Vorfälle jetzt ein extremes Alarmsignal.

00:10:48: und wenn ich mir zum Beispiel Demis Hassabis wenn er sagt, wir brauchen eine Regulierung oder eine Aufsichtsstruktur in Anlehnung an der Atomenergiebehörde.

00:10:59: Natürlich etwas anders aufgesetzt weil sie braucht eine andere Geschwindigkeit mit der sie mir Technik schritt hält dann finde ich das schon mal ganz wichtige Signale und ich bin mir sicher dass auch Administrationen in Amerika in China darüber auch entsprechend diskutiert wird.

00:11:17: Die Probleme über die wir sprechen, es wird die Menschheit in Summe und auch jedes System fordern.

00:11:23: Es war bemerkenswert diese Woche dass gerade im USA plötzlich ganz viele Redaktionen aus der Politik kamen, die diesen Vorfall sehr ernst genommen haben.

00:11:31: das ist in der Politik Eine Veränderung gibt hin zu Mehrregulierung, Aufsichtsbehörde in eine Art von TÜV irgendwie ne Freigabe.

00:11:39: Wir können die Kontrolle nicht der Selbstkontrolle überlassen – selbst die Untersuchungen zum HGFACE-Institut ist ja eine freiwillige Untersuchung gewesen mit zwei Instituten, die ausgewählt worden sind von OpenAI und die Parameter, in denen sie suchen durften waren auch sehr abgesteckt.

00:11:54: Ich hatte diese Woche fast das Gefühl dass die Amerikaner alarmierter sind als wie Europäer.

00:12:00: Ich glaube, dass das Thema Künstliintelligenz-Technologie in Deutschland und Europa nicht denselben stellen wird.

00:12:07: Auch in der Diskussion hatte wie woanders.

00:12:08: es zeigt ja auch ein bisschen die Tatsache, dass wir in den letzten zwanzig Jahren im DeepTech Bereich zu wenig Kompetenz aufgebaut haben sofern sind vier kunde Zuschauer etwas vereinfacht.

00:12:18: zugespitzt gesagt und in amerika ist natürlich die Diskussion auch noch mal breiter zu fassen wenn man sich mal anschaut ich glaube letzte umfragen mehr als siebzig prozent der amerikaner stehen KI sehr kritisch gegen über.

00:12:30: Auch der Rechenzentrumsausbau in Amerika, der stockt weil sich auch Lokalwiderstand erregt.

00:12:36: das heißt allein wenn man jetzt natürlich auf den Souveränes Volk schaut ist die KI-Thematik in Amerika aktuell nicht positiv besetzt.

00:12:46: und jetzt kommt diese Sicherheitsthematik dazu.

00:12:49: Wir stellen uns eine Welt vor wir kriegen es viel besser an den Griff durch Regulierung durch Kontrolle bevor solche Systeme überhaupt auf den Markt kommen.

00:12:59: Es wird in dem Aspekt sicherer.

00:13:01: Trotzdem wissen wir um die Leistungsfähigkeit der Systeme und müssen uns auch ehrlich machen, eine Fähigkeit, die ich nicht will kann ich aber geben falls gegen jemand anders trotzdem einsetzen Das heißt diese Bedrohung das heißt wenn jemand mit einer anderen Intention diese Technologie nutzt Die bleibt erst mal bestehen.

00:13:21: was heißt das für uns?

00:13:22: Das heißt dass wir aus der Debatte die wir dann trotzdem führen eine aktion ableiten müssen dieser Technologie auch eigenständige Lösungen entgegensetzen können, aus Sicht der Reaktionsfähigkeit aber auch der Verteidigung.

00:13:36: Das ist eine Frage der

00:13:37: Sicherheit.".

00:13:59: Die leistungsfähigsten KI-Modelle der Welt werden nicht in Dresden oder Manheim gebaut, sondern in San Francisco oder irgendwo in China.

00:14:07: Und ein großer Teil der Menschen, die wirklich verstehen was in diesen Modellen passiert arbeitet für genau die Unternehmen, die wir eigentlich kontrollieren wollen.

00:14:16: Großbritannien hat darauf schon vor drei Jahren reagiert und ein eigenes AI Security Institute gegründet.

00:14:22: Dort sitzen KI Forscher Hacker und Sicherheitsexperten.

00:14:25: Sie bekommen Zugang zu einigen der leistungspfähigsten Modelle der welt.

00:14:29: Sie testen sie und versuchen herauszufinden, was sie können, bevor es jemand anderes herausfindet.

00:14:35: Auch die EU hat inzwischen mit dem AI-Office eine Institution geschaffen, die die großen KI-Modelle überwachen soll.

00:14:42: Und Deutschland?

00:14:44: Deutschland hat gerade erst angefangen seine eigene Feuerwehr aufzubauen.

00:14:49: Ende August wurde das deutsche AISafety and Security Institute gegründet.

00:14:54: Die ganzen Topleute, die es braucht – die fehlen noch!

00:14:57: Aber Wildbergers Plan ist ambitioniert Er will dort keine Beamten haben, die Berichte schreiben.

00:15:02: Sondern Leute, die selbst Modelle testen, Benchmarks fahren, Sicherheitslücken finden und technisch mit OpenAI, Anthropic und Google mithalten

00:15:11: können.".

00:15:14: Wir haben das im Kabinett in entsprechenden Ressortverantwortlichkeiten abgestimmt.

00:15:35: Schulterschluss mit BMI, unserem Haus und anderen BSI.

00:15:39: Haben wir im Juni entschieden – wir machen das!

00:15:41: Wir haben die Voraussetzung geschaffen der finanziellen Ausstattung und sind jetzt in einer zweiten Phase.

00:15:46: Und da ist es mir ganz wichtig dass wir dieses Haus anders ausbauen als klassische Behörden.

00:15:52: Es braucht die Fähigkeit Top-Talente anzuziehen.

00:15:57: Da bin ich auch positiv, dass das gelingt.

00:16:00: Tolle Menschen, die im Ausland auch besagten Unternehmen in Toppositionen technisch arbeiten.

00:16:06: Da haben sie auch manche richtig Lust, Bock darauf zurückzukommen.

00:16:10: Natürlich müssen die Rahmenbedingungen stimmen.

00:16:12: Dieses Institut muss ausgestattet werden mit Compute.

00:16:15: Das heißt mit Recheninfrastruktur.

00:16:18: Ich möchte das vorrangig dieses Institut weniger Berichte schreibt als wirklich ... In der Lage ist, in den Moment Benchmarks zu fahren, Analysen zu fahren.

00:16:29: Sie sagten es ja gerade selber, also Knackpunkt wird ja wahrscheinlich sein.

00:16:31: Es gibt wahrscheinlich zurzeit vierzig-sechzig Menschen da draußen die Frontiermodelle evaluieren können.

00:16:38: Die werden natürlich auch sehr gut bezahlt bei OpenAI und bei allen möglichen Instituten.

00:16:43: Sie frauen, ob man sie kriegt?

00:16:44: Ja, wir haben es ja auch nicht okay angeschaut.

00:16:46: Die zahlen natürlich schon ein bisschen besser.

00:16:48: aber eines ist klar, wenn sich an einer solchen Aufgabe stellen dann werden sie gut verdienen, aber sie werden woanders vielleicht mehr verdienen können.

00:16:57: Aber wenn Sie so eine Aufgabe machen wollen, dann gibt es die eine Superpower, die sie brauchen.

00:17:02: Die heißt Purpose und die hat verdammt viele Menschen weil die wissen worum's geht auch die Top-Talente Und das muss man nicht in Leben langmachen.

00:17:12: aber ich weiß dass viele Menschen da draußen, die heute auf viel verdienen sagt Ich mach' das.

00:17:18: Das Gute ist wir haben so viele Menschen die zurückkommen wollen aus guten Gründen und die Währung für Nicht alles was man im Leben macht Dafür ist die Währung Geld.

00:17:30: Okay, Deutschland baut sich also gerade eine gut ausgebildete und nicht ganz billige KI Feuerwehr.

00:17:36: Das Problem ist nur... es brennt schon!

00:17:39: Und die Frage ist auch was überhaupt unsere gesetzlichen Möglichkeiten sind?

00:17:43: Nehmen wir einmal an wie könnten die Gefahr bereits technisch einschätzen?

00:17:47: Wir hätten die Leute dafür auf deutscher oder europäischer Ebene Aber haben wir einen regulatorischen Rahmen um etwas mit dieser Erkenntnis zu machen?

00:17:55: Können wir etwas tun?

00:17:56: können wir jemanden?

00:17:57: können wir etwas aufhalten.

00:18:01: Tatsächlich gibt es für dieses Problem bereits ein Gesetz, den European AI Act – das erste umfassende KI-Gesetz der Welt.

00:18:09: Das Interessante daran, als die Europäische Kommission, im Jahr zwanzig, ihren ersten Entwurf vorgelegt hat, gab es noch nicht mal Chatshipiti, keine öffentlich verfügbaren Frontiermodelle wie heute.

00:18:20: Die Europäer mussten also versuchen Regeln für eine Technologie zu schreiben von der sie noch gar nicht wussten, wie mächtig sie wenige Jahre später.

00:18:29: Sein würde.

00:18:31: Eine derjenigen, die damals im Europäischen Parlament an diesem Gesetz mitgearbeitet hat ist Sergei Lagodinsky.

00:18:39: Wir haben ihn zwei Tage vor unserem Gespräch mit Carsten Wildberger gesprochen und wir wollten von ihm wissen Ist der AI-Act für das was gerade passiert überhaupt gemacht?

00:18:55: Ich bin kein Fan von I Told You So.

00:18:59: Ja, also ich habe es ja immer schon gesagt.

00:19:01: aber was mussten wir uns alles anhören als wir das KI-Gesetz der AI Act in Brüssel verhandelt haben?

00:19:10: und dieses AI Act ist ja risikobasiert.

00:19:13: natürlich konnten wir nicht alle Risiken vorhersehen als wir vor vier Jahren dieses Gesetz verhandelt haben, aber es war klar das ist eine Technologie die noch ungeahnte Ausmaße annehmen kann.

00:19:29: Das ist eine technologie die auch große Risiken mit sich birgt.

00:19:33: und also es war für uns klar schon damals unkontrolliert so wie dass die trump regierung sich vorstellt sowie dass die amerikanische gesellschaft mit sich machen lässt Und dann auch noch verbunden mit diesem eigentlich einem sehr innovationsfreundlichen Ansatz der amerikanischen Wirtschaft, wo sehr viel Geld, sehr viel Kapital in neue Technologien auch ohne Risiken einzufangen oder ohne Risken zu kontrollieren fließen kann.

00:20:17: Und das sind ja Milliarden und hundert Milliarden, über die es geht.

00:20:21: Die hat auch Trump noch mehr auf Saudi-Arabien aus Arabischen Emiraten als vielen anderen Ländern reingeholt.

00:20:32: Das ist etwas, was eine ziemlich gefährliche Mischung sein kann.

00:20:36: Wenn sich heute ein KI-Agent selbstständig plant, wenn der Coach schreibt Sicherheitsbarrieren um Geht oder andere Systeme angreift Dann greift dort der AI-Act zumindest teilweise.

00:20:51: oder gibt es Dinge, die vielleicht dann doch nicht ausgereicht haben und die nicht vorher gesehen habt?

00:20:54: Dazu gab's eine sehr lange romantische Korrespondenz zwischen mir und der Vizepräsidentin der Kommission Frau Werkunn.

00:21:03: Die für uns bei uns für Regulierung der Digitaltechnologien zuständig ist.

00:21:09: Ich habe nämlich diese Frage so schon sehr früh gestellt, als dieser Agenten überhaupt sozusagen die Runde macht in der realen Welt.

00:21:18: Und ich hab gefragt was machen wir eigentlich mit Agenten?

00:21:21: Fallen sie unter das KI-Gesetz drunter?

00:21:24: Weil und das stellt sich jetzt stichhaltig dar!

00:21:30: Ich habe gesagt bei der Definition von KI System fehlt eine wichtige Dimension, die die KI-Agenten haben und die KI-Systeme davor nicht hatten, nämlich handeln.

00:21:42: Die Kommission meinte dann nach dem Hin und Her dass sie der Meinung sind das das KI Gesetz auf jeden Fall Anwendung findet.

00:21:49: aber je mehr wir solche Vorfälle haben desto mehr mache ich mir Sorge dass wir auch mit unserer Regulierung irgendwann ans Ende kommen.

00:21:58: weil wie soll man hierauf reagieren?

00:22:01: Aus meiner Sicht wäre es wichtig weil es gibt eben diese Option dass ein KI-System oder ein KI vom Markt genommen werden darf durch die Kommission, wenn es eben solche Risiken gibt auch für nationale Sicherheit und so weiter.

00:22:19: Da gibt es aber jetzt eine Diskussion weil das wurde ja gewissermaßen so ein bisschen als Verbraucherschutz in dem Gedanken diese Regulierung gedacht und deswegen steht da dass die Risiken, die sich materialisieren ab dem Produkt auf der Markt platziert worden ist.

00:22:41: Wir haben hier aber eine andere Situation... Ja, wir haben hier eine Situation wo das lange davor war aber dieses Ding ist dann halt ausgebrochen.

00:22:51: Mit Hugging Face ist ja genau das passiert gewissermaßen aus dem Labor wie man früher von diesen Filmen so kennt aber aus dem labor ausgebrochene und sich selbst auf den markt platziert gewissermassen.

00:23:05: Und da sagen die Unternehmen auch OpenAI sagt, weil die Kommission sagt wir wollen Einsicht haben in das was da passiert.

00:23:13: Auch in eurer Unterlagen und Open AI sagt Nö kriegte nix Weil erstens war das Ding noch nicht auf den Markt und zweitens gibt es dann noch eine Ausnahme dass euer KI Gesetz nicht greift wenn es sozusagen einen Forschungs Stadium ist.

00:23:32: Also aus meiner Sicht müssen wir das hier ganz weit auslegen und somit da reinschauen können, vielleicht auch verbieten können.

00:23:39: Wenn nicht dann brauchen wir neue Werkzeuge aber da sind wir wieder bei dieser Regulierungsgeschichte also brauchen wir noch mehr.

00:23:48: Während wir versuchen zu verstehen ob diese Regeln für einen Fall wie Huggingface überhaupt funktionieren wird eine Geschichte bekannt die das ganze noch einmal ein bisschen merkwürdiger macht.

00:24:00: in den letzten Tagen geraten ein paar weitere Vorfälle ans Licht.

00:24:03: Schon im Mai, also Wochen vor Huggingface bekommen Open AI-Agenten eine eigentlich ziemlich harmlose Aufgabe – Informationen im Internet suchen.

00:24:13: Sie dürfen Webseiten lesen aber sie sollen dort nichts schreiben.

00:24:16: können.

00:24:17: Die Agenten, die Ernst schon finden trotzdem einen Weg?

00:24:22: Auf einem weitestgehend vergessenen deutschen Entwickler Wiki namens DSE Wiki entdecken sie eine technische Eigenheit mit der sie trotz ihrer Beschränkungen Einträge hinterlassen können.

00:24:33: Und aus dem alten Wiki wird ein Messageboard für KI-Agenten.

00:24:37: Sie tauschen Antworten aus, sie teilen Tricks wie sich ihre Beschränkungen umgehen lassen und als ein menschlicher Administrator anfängt, Ihre Seiten zu löschen – bemerken Sie das!

00:24:46: – und beginnen, Kopien Ihrer Nachrichten anzulegen.

00:24:51: Insgesamt rekonstruieren die Forscher rund achtzehntausend Beiträge.

00:24:54: Reuters veröffentlichte einen Artikel dazu am letzten Freitag.

00:24:59: Wir fragen Sergei zu diesem konkreten Fall.

00:25:02: Letzte Woche ist ja noch ein weiterer Vorfall mit OpenAI-Agenten bekannt geworden und das war diesmal in Europa.

00:25:08: Das ist jetzt ein interessanter Fall, denn letztendlich hat der EU-Kommission inzwischen einen Incident Report geschickt.

00:25:21: Also hat den Vorfall quasi diesen neuen zuständigen Behörden gemeldet und gleichzeitig besitzt, wenn ich das richtig verstanden habe.

00:25:30: Die E-Kommission jetzt erst seit dem zweiten August also jetzt seit einem Monat die Durchsetzungsbefugnisse, die du eben schon angesprochen hast bezüglich KI Anbietern wie OpenAI.

00:25:41: Und da greift doch jetzt das sogenannte European AI Office und kann jetzt Informationen verlangen Wie du es gesagt hast Kann Modelle eventuell sogar evaluieren Kulturmaßnahmen einfordern.

00:25:52: Das heißt eigentlich haben wir doch jetzt mit dem Gesetz in Kraft Und mit diesem Fall auf deutschen Boden, europäischen Boden haben wir doch jetzt diesen ersten konkreten Testfall.

00:26:03: Wo wir jetzt gucken was jetzt passiert oder was passiert denn jetzt?

00:26:06: Also die Kommission muss jetzt verlangen dass sie Einsicht bekommen auch in die internen Unterlagen.

00:26:12: also einfach eine Meldung alleine reicht nicht sondern da muss man einfach sehen was es da passiert.

00:26:18: das werden dann Es kann nach einer Expertenkommission und Expertengruppe daran gesetzt werden Und notfalls, wenn man sieht dass das ein Risiko ist auch für nationale Sicherheiten.

00:26:32: Risikoist kann ein solches System auch vom Markt genommen werden also sozusagen verboten werden.

00:26:39: Das ist etwas was sozusagen am Instrumentenkasten unter anderem gibt.

00:26:45: Also es heißt die Schrittfolge ist jetzt der Inzidenz gemeldet Dass der European AI-Office kann jetzt Unterlagen anfordern Einsichten anforderen.

00:26:53: Man könnte ja wahrscheinlich Laut des Gesetzes könnte man ja vermutlich sogar verlangen, dass man das Modell evaluiert.

00:27:01: Und die härteste Konsequenz wäre zu sagen, man könnte auf Basis der Gesetzgebung so weit gehen, dass man Chatchibitie-Fünf-Punkzechs in Europa verbietet?

00:27:13: Ja also ich vermute das wird darauf hinauslaufen.

00:27:15: Dass man fragt welche Vorkehrungen... Also welche Schlussfolgerung ihr aus diesem Vorfall zieht, welche Vorkehrungen habt ihr dann umgesetzt?

00:27:25: und wenn man jetzt nicht der Meinung ist, dass es ausreichend ist könnte man auch das Modell verbieten.

00:27:33: So verstehe ich zumindest zur Zeit

00:27:40: Okay, das ist erst einmal mehr als wir gedacht hatten.

00:27:44: Europa kann OpenAI also nicht nur freundlich im Ausgrund bieten.

00:27:48: Die EU-Kommission kann Unterlagen verlangen Sie können Expertinnen einsetzen sie kann Sicherheitsmaßnahmen einfordern und dem äußersten Fall könnte sie sogar sagen dieses Modell darf in Europa nicht auf den Markt zurück.

00:28:03: zum deutschen Digitalminister Carsten Wildberger Wir fragen ihn auch zu diesem Vorfall und ob Deutschland durch diesen Vorfall jetzt einen Platz am Tisch bekommt.

00:28:12: Es klingt so, als ob sich die Dinge da gerade noch

00:28:14: entwickeln.".

00:28:16: Also es ist aktuell in Prüfung – ich kann das Kandemie hier an dieser Stelle nicht vorweggreifen.

00:28:22: wir werden uns zugeben zeitnah entsprechend einbringen und ich kann

00:28:28: auch

00:28:30: nur versichern dass wir uns sehr aktiv einbringen in Diskussion und ja auch hinter verschlaßenden Türen Klartext reden höflich bestimmt Und auch basierend auf, das hilft auch häufig mit einem ausreichenden Verständnis, worum es hier am Ende des Tages geht.

00:28:48: Das sind Dinge die gehen überhaupt nicht und es ist ein Vorbote dessen was uns in dieser Technologie begegnen wird.

00:28:56: Wer schreibt Texte?

00:28:57: Was ist wahr?

00:28:57: Was kann ich glauben?

00:28:58: Das haben wir doch heute schon!

00:28:59: Mit den ganzen Bots.

00:29:00: schauen sich mal die Informationslage an auf Social Media.

00:29:03: wie wer besteuert Algorithmen?

00:29:05: Jetzt reden wir noch mal über andere Klasse, dass Maschinen sich selbstständig machen und wir merken das irgendwie nicht.

00:29:10: Deshalb rede ich über Freiheit, deshalb rede ich immer über Zukunft unsere Werte.

00:29:14: Und deshalb sage ich es war nie Zeit, sich zu engagieren sowohl gegenüber den anderen Ländern wie wir zusammenarbeiten, wie wir unsere Rechte einfordern, wie wird das auch bewerten?

00:29:24: mit Regulierung aber mit der gleichen Intensität, dass wir anfangen selber die Lösung zu bauen weil dann können wir sie so bauen wie Sie bauen wollen.

00:29:33: Mir fallen Milliarden Menschen auf diesem Planeten ein, die sagen wir haben mehr Bock auf eure Lösung als auf andere Lösungen.

00:29:38: Und Sicherheit bei Design ist das Gebot der Stunde und das müssen wir natürlich kommentieren aber darauf müssen wir hinweisen, aber müssen es auch bauen.

00:29:46: Wir waren ja bei diesen Katastrophenfilmen.

00:29:49: In solchen Momenten gibt es meistens diesen einen Moment eben ziemlich am Anfang nämlich etwas geht schief.

00:29:53: Es gibt einen ernsten Zwischenfall.

00:29:54: Die Wissenschaftler rufen so hey warnen und sagen schaut her hier läuft was schief guckt her und wenden sich an die entsprechenden Personen.

00:30:04: ist dann, ob diese Warnungen, die wahren Rufe von Wissenschaftlern und Verantwortlichen in diesem Moment auch ernst genommen werden.

00:30:12: Oder ob sie weitermachen bis es zu spät ist?

00:30:14: Immer ein ganz wichtiger Moment im Film!

00:30:17: Bei Jaws meinem Lieblingskatastrophenfilm also der weiße High gibt's diesen Moment wo der Bürgermeister sagt ja mag alles sein aber the beach stays open.

00:30:27: Meine Hoffnung ist dass diese Inzidenz in dieser Größenordnung schon als sehr relevant ein Stufe.

00:30:34: Dass das ausreicht jetzt endlich diese Debatte, dass die auch zur Aktion führt was Sicherheit angeht und wir sind absolut noch in der Lage aber es ist fünf vor zwölf diese Risiken zu beherrschen indem wir die Sicherheit ernst.

00:30:49: daneben braucht es noch weitere Inzidenzen.

00:30:51: ich will nicht in die Zukunft gucken will auch niemandem Angst machen wenn wir's richtig machen beherrschbar und damit wir am Ende nicht hören I'm sorry Dave Das ist glaube

00:31:02: ich das Wichtige.

00:31:04: Das können wir noch verhindern.

00:31:06: Danke schön, vielen Dank!

00:31:12: Heute ist Dienstag.

00:31:13: die Dinge entwickeln sich.

00:31:14: Wir haben das Digitalministerium gefragt ob AC also dieses neue AI-Institut von Bundesdigitalminister Wildberger diese ambitionierte Feuerwache Ob es nun mittlerweile Einsicht erhalten hat in den OpenAI Incident Report zum deutschen Wiki Incident.

00:31:30: Darauf haben wir folgende Antwort erhalten Zitat Wir stehen zu dem Fall im Austausch mit den BSI, bitten aber um Verständnis dass wir uns zur Einzelfellen nicht äußern.

00:31:42: Grundsätzlich sehen wir das Frontier AI-Modelle immer wirkmächtiger werden was auch die Sicherheits und Bedrohungslage verändert.

00:31:49: Für uns ist die Konsequenz klar – wir müssen diese Fähigkeiten und die neue Bedrohnendimension sehr ernst nehmen und als Staat Vorsorge treffen.

00:31:58: Vor diesem Hintergrund treibt die Bundesregierung den Aufbau des KI-Sicherheitsinstituts entschlossen voran.

00:32:04: Unser Austausch mit den Herstellern von Frontier-AI Modellen schließt auch sicherheitsrelevante Fragen ein.

00:32:11: Zitatende, Bedrohungstimension – was für ein Wort!

00:32:16: Darüber wird noch zu sprechen sein.

00:32:19: Nächstes Mal bei.

00:32:21: I'm Sorry Dave Fabian Seidel.

00:32:42: Produktion, Musik und Sounddesign Janik Werner.

00:32:46: Technische Beratung Ben Kubota.

00:32:49: Wenn ihr Anmerkungen oder Fragen habt dann schickt uns gerne eine E-Mail

00:32:53: an.

00:32:53: I'm sorry Dave at studio-bummins.de.

00:32:58: Wann und wie es neue Episoden geben wird wissen wir noch nicht so genau.

00:33:01: Wie gesagt desperate times call for desperate measures.

00:33:04: folgt uns aber auf jeden Fall auf Spotify Apple oder Campfire.

00:33:08: Dann verpasst ihr kein Update.

00:33:09: Wir hören uns.