Hurra, die Welt geht unter!

00:07 Eva Wolfangel

Hallo Gavin, wie schön hier zu sein.

00:31 Eva Wolfangel

Tech, eben, genau. Ja, also gerade sind wir sehr begeistert von Jailbreaking und solchen Dingen. Da ist die, wir haben gerade so eine Sommerspecial zu wie nutzen wir KI. Aber genau, also KI ist ein ganz großes Thema auch bei uns gerade und ja, hier heute vermutlich auch. Mal sehen, was wir besprechen. Alles, was man wissen muss. Wie nutzt uns, wie scheidet uns und worauf? Was kann man noch ausprobieren?

01:27 Eva Wolfangel

Genauso ging es mir übrigens auch tatsächlich, ja.

02:34 Eva Wolfangel

So eine Plattform für Open Source KI, oder? Genau.

03:12 Eva Wolfangel

Boah, ich habe da einen recht langen Text am Ende dazu verfasst. Und ich habe gesagt, also das eine ist, natürlich kommt das OpenAI total gelegen. Also es, manche sagen, es ist nur Marketing, da ist gar nichts dran, das glaube ich nicht, ich glaube schon. Ich glaube schon, dass dieser Vorfall so stattgefunden hat. Die Frage ist, wie viel davon hat OpenAI provoziert? Also wir wissen das ja, also wenn man Cloud Code benutzt, habe ich das selbst schon gemerkt. Diese agentische KI wird mit jedem Modell irgendwie, in Anführungszeichen, selbstständiger, autonomer oder so. Und zwar, weil die Unternehmen, die ihr eiskalt, darauf optimieren, dass sie unsere Probleme löst, ohne nochmal zurückzufragen. Also das ist so, habe ich das Gefühl, so der Fiebertraum von diesen großen KI-Unternehmen.

04:13 Eva Wolfangel

Und dann musstest du mich fragen, kann ich dir helfen mit deiner Urlaubsstarnung in Spanien? Da würde ich dich fragen, nur die Frage habe ich übrigens wirklich, aber die beantworten wir jetzt nicht. Wie kann ich günstig Zug fahren in Spanien? Habe ich noch nicht rausgefunden.

04:23 Eva Wolfangel

Aber ja, ich bin nämlich auch ein Zug Nerd. Das sieht man manchmal auch in meiner zweiten Heimat Mastodon. Aber auch da hat noch niemand die Frage beantwortet. Aber gut.

04:38 Eva Wolfangel

Genau, und was sie eben, wenn man sie als agentisches Modell nutzt, also zum Beispiel als Coding Agent, wie ich zum Beispiel mit Cloud Code immer mal wieder rumprobiere, dann finde ich, merkt man total deutlich, dass sie eben darauf optimiert sind, wieso meine Wünsche zu erraten, ja. Und das kann total bequem sein. Ich habe einmal so ein Erlebnis gehabt, ich habe ganz lange mit Sonette programmiert in Cloud Code. Also ein schwächeres, billigeres Modell, eben weil es billiger ist, weil man sonst bei Cloud Code auch schnell an seine Grenzen kommt und dann, also ich habe diesen 20. 000. Dollarplan und dann ist halt, machen sie ein paar Stunden weiter und das mag man ja nicht. Also habe ich ein leichteres, kleineres Modell genommen, aber halt auch ein weniger advancedes sozusagen. Und damit lief es super. Ich habe so einen Modus, dass jeden Furzchen das Modell macht, den der KI-Agent macht, muss ich absegnen, aus Sicherheitsgründen. Und das finde ich eigentlich auch wirklich auf allen Raten immer noch. Klar, man hockt dann da und beantwortet ständig Fragen. Darf ich das, darf ich das, darf ich das? Also diese Idee, du gehst in den Liegestuhl zum Eiskaffee ist irgendwie nicht wahr, wenn man Sicherheit.

05:39 Eva Wolfangel

Ja, oder in dem Fall tatsächlich habe ich immer da. alles nachrecherchiert. Naja, und dann bin ich irgendwann einmal testweise auf Opus 4. 6, was glaube ich, also das damals höchste Modell von Claude gewechselt. Und ich habe so einen Skill geschrieben, das geht ein bisschen weiter, aber ich habe jedenfalls ein kleines Tool gebaut zusammen mit Cloud Code und habe gesagt, ah, jetzt würde ich es eigentlich gerne noch auf GitHub pushen. Wie geht das nochmal? Weil ich bin ja keine Programmierer, ich pushe nicht ständig Sachen auf GitHub, ich vergesse immer wieder, wie das geht. Und dann sagt Opus einfach: Hab ich schon gemacht. Warte mal, ich hab doch überhaupt nicht gesagt, dass du das machen sollst und so. Und es geht wirklich, also eine halbe Sekunde hat es gedauert, bis. dass alles, ohne dass ich noch einmal drauf schauen konnte, einfach veröffentlicht worden ist von Cloud Code auf GitHub. Man hat auch selbst sich dann als Co-Autor direkt dazu geschrieben. Und da habe ich schon gedacht, okay. Ich glaube, das geht in eine problematische Richtung, wenn man diese Modelle dazu darauf optimiert, dass sie einfach machen, anstatt nachzufragen. Und obwohl ich den Modus hatte, du musst immer fragen. Dann hat Claud Cord auch gesagt, ja, es tut mir leid, das stimmt, ich hätte dich fragen sollen. Ich habe deine Frage als Zustimmung interpretiert, also so. Naja, und das ist ja, wenn man es gemacht hat.

06:48 Eva Wolfangel

Ja, genau. Wir hatten gehofft, dass unsere Coding-Agenten ein bisschen besser auf uns hören, aber nee, es ist leider nicht. Gut, wenn man so ein bisschen rauszoomen, das ist ja genau das, was auch passiert ist, zumindest wenn man glaubt, was OpenAI hier schreibt. Also die hatten ja. Plus noch ein paar kleine Dinge, die vielleicht ein paar wichtige Details. Die haben ja ihre neuen, dieses neue Modell und Sol 5, also GPT Sol 5. 6, was ja schon mehrfach auch aufgefallen war, dadurch, dass es vorschnell und autonom irgendwelche Daten gelöscht hat, da gab es ja viel Diskussionen auf Social Media. Das haben sie also testen wollen, wie welches Cyberangriffs Capabilities das hat. Also die haben so einen Test gemacht um schwierige Hacking-Aufgaben. Also das Modell gebeten, und das habe ich nochmal angeschaut, dieser Testsatz, den sie da gemacht haben, das ist ja so ein Benchmark, also dass man die Modelle vergleichen kann. Der verlangt genau das, dass sie Sicherheitslücken finden sollen und nicht bekannt sind, dass sie Sicherheitsvorkehrungen umgehen sollen und dass sie eben idealerweise aus sicheren Umgebungen ausbrechen sollen, auf Wegen, die bis dahin nicht bekannt sind. Also da wird das Modell hingepusht. Und natürlich möchte OpenAI, dass es da möglichst erfolgreich ist. Und was hat das Modell dann gemacht? Oder diese beiden Modelle, sie haben gedacht, hey, die Antworten auf diese Fragen oder diese Testlösungen Die können wir vielleicht woanders finden. Wir müssen vielleicht den Test gar nicht selbst lösen. Also ich habe geschrieben, wie so Jugendliche, die eine Klassenarbeit schreiben müssen und rauskriegen, dass die Parallelklasse. . Die gleiche Arbeit schon geschrieben hat und dann einfach sich die Arbeit holt, anstatt zu lernen, ja, die Lösungen anderswoher holen, und dann kann man eine gute Note schreiben. Und das war ja das Ziel, was OpenAI sein Modell gegeben hat. Du musst diesen Benchmark-Test besonders gut bestehen. Also von daher finde ich es Gar nicht verwunderlich, dass diese Modelle dann die Abkürzung gesucht haben, indem sie sich in Hugging Face gehackt haben und letztlich, so wie der Test ja auch eigentlich vorsieht, Sicherheitsbeschränkungen hinter umgangen haben, gelogen haben, Lücken gefunden haben und alles gemacht haben, also betrogen haben, aber das ist ja genau. Der Test, das ist ein bisschen meine Essenz, dass man sagen kann, regt euch lieber über OpenAI auf, als über den Vorfall an sich. Weil das dir zu tun, als wenn das alles nicht geplant gewesen wäre, ist natürlich Quatsch.

09:55 Eva Wolfangel

Auch schon immer eine gute Marketingstrategie, ja, das eigene Produkt als. zu gut dafür, deshalb zu gefährlich.

10:47 Eva Wolfangel

Und auch dieses, es kann Dinge, die andere nicht können. Ich finde, da muss man schon so ein bisschen einschränken oder nochmal sagen, naja, die haben halt auch unendlich viele Möglichkeiten. Die haben also erstens haben sie die Option Diese ganzen Sicherheitsvorkehrungen abzuschalten. Eigentlich werden die Modelle ja veröffentlicht und dürfen all diese Dinge nicht. Und wir wissen, dass das nur leidlich funktioniert. Und es gibt, darüber sprechen ich aktuell bei Day Talk Tech Jailbreaks. Wie man das umgehen kann, natürlich. Aber eigentlich ist mal der erste Schritt, wenn du so ein Modell nutzen möchtest für einen Cyberangriff, dass du eben diese Sicherheitsbeschränkungen hast, jedenfalls bei den kommerziellen großen Modellen. Und der nächste ist, dass du dann halt sehr, sehr viel Geld bezahlen müsst für all die Token, die so ein Modell verbraucht, wenn es versucht, aus der Sandbox auszubrechen, wie es ja da gemacht hat. Also OpenAI hat selbst in dem Blogbeitrag so sinngemäß geschrieben Es hat einen wahnsinnigen Aufwand betrieben, um eigentlich eine recht überschaubare Anzahl an Testaufgaben zu absolvieren, aber es hat eben diesen riesen Aufwand betrieben, um am Ende eine Abkürzung zu finden. Aber die ist unglaublich teuer und das kann auch nicht jeder. Ich bin mir immer nicht sicher, wie viel man davon glauben soll. Ging mir bei Mythos auch schon so, wo ja gesagt worden ist, es hat diese hunderttausenden Sicherheitslücken gefunden, die noch niemand kannte. Und ich dachte, naja, aber wer hat auch noch niemand so intensiv danach gesucht? Wenn du ein Modell bekommst, also das ist ja so, du bekommst Modell und dann wird gesagt, Achtung, du hast jetzt. . . Wenige Wochen Zeit, bevor wir das veröffentlichen, all deine Lücken zu schließen, jetzt leg mal los, dann schmeißt du da vielleicht auch so ein bisschen Leute, Kapazitäten drauf. um wirklich zu suchen. Und von daher ist die Frage, wenn das mit einem anderen Modell vorher schon so gewesen wäre, dass jemand gesagt hätte, du hast jetzt so und so viel Zeit, du musst jetzt schnell alles schließen, bevor die Kriminellen damit kommen, ob man dann nicht auch die Lücken gefunden hätte, weil das sieht man ja auch in meinen Recherchen permanent. Es gibt jede Menge total blöde Sicherheitslücken, die man schon lange hätte finden können, wenn man dafür Ja, Kapazitäten eingesetzt hätte, aber das hat man ja nicht.

13:50 Eva Wolfangel

Das ist ein interessanter Gedanke, weil eigentlich glaube ich schon, dass ihm das hilft. Weil der nächste Schritt wird ja, also der eine Schritt, und ich glaube, das hilft ihm tatsächlich auch oder hilft den großen Firmen, diese Diskussion um. Wie können wir das einschränken? Und alles, was an Beschränkungen kommt, wird schwächere Mitbewerber natürlich härter treffen als die großen, die schon vorne dran stehen. Also ich glaube, das ist eins. Und das andere ist natürlich, werden sie sich als Retter präsentieren, weil ein Modell, was so gut angreifen kann, kann ja auch so gut verteidigen. Und ich vermute, dass es. Halt in diese Richtung geht. Sie sagen, ja, muss alles nicht passieren. Guck mal, wir sind so stark.

15:11 Eva Wolfangel

Ich meine, dagegen hilft natürlich wirklich Sicherheitslücken zu schließen. Also das finde ich, muss man schon nochmal ganz klar sagen. Es ist schon ein guter Zeitpunkt, meiner Meinung nach schon länger, ja, als Cybersecurity-Reporterin muss ich sagen. Schon lange ist es ein guter Zeitpunkt, Sicherheitslücken zu schließen, aber jetzt besonders. Und ich glaube, das ist das, was dagegen hilft. Und mein Eindruck ist eigentlich nicht, dass die AngreiferInnen hier so einen riesigen Vorteil haben, weil sie erstens schon das Problem haben, dass die Modelle, jedenfalls die kommerziellen Großen, eben diese Sicherheits- Dinge drin haben, dass die eigentlich nicht mitmachen bei einem Cyberangriff. Vor allem aber auch, weil das ja nur der erste Schritt ist, eine Lücke zu finden und dann aber da quasi so einen funktionierenden Exploit rauszubauen. Es ist echt nochmal eine ganz andere Aufgabe. Wohingegen, wenn du deine Software testest, viel eher einen Überblick hast, wenn du da dann mit deiner KI eine Lücke findest, was du machen musst, um die zu schließen. Ich habe nämlich auch so eine Vibecoding-Recherche gemacht. vor ein paar Monaten zusammen mit einem Kollegen und wir haben eine bestimmte Art, wie man bestimmte Datenbanken einbaut quasi automatisch gesucht, weil diese Art, wie die eingebaut werden, eben häufig oder eigentlich nur auf, oder nee, häufig von Vipecoding-Systemen gemacht wird und haben dadurch halt ganz, ganz viel Datenbanken gefunden, die offen im Netz stehen mit Geheiminformationen. Bis hin zu, ja, also wirklich viele, ja, systematisch, bis hin zu einem Dienstleister, der Fortbildungen fürs FBI und so organisiert, ja, mit also privaten E-Mail-Adressen von US-Geheimdienstmitarbeitern. Und dann haben wir, also war meine nervige Aufgabe, die alle zu informieren, bevor der Artikel erscheint, dass sie da Lücken haben, weil natürlich müssen die die schließen, bevor ich andere auf die Idee bringe. Und eine erstaunlich große Anzahl von Betroffenen hat es gar nicht geschafft. die Lücken zu schließen, weil sie gar nicht wussten, was sie gemacht haben, weil es weitgecodet war. Also das heißt, wenn du nicht weißt, was du tust, dann hast du auf jeden Fall einen Nachteil.

17:19 Eva Wolfangel

Ja, und machst du deine Steuererklärung mit KI?

17:42 Eva Wolfangel

Aus Sicherheitsgründen.

17:47 Eva Wolfangel

Ja, aber ich glaube, ich meine, daraus kann man doch sehen, dass, also genau, wissen, was man tut, immer von Vorteil ist. Und deswegen glaube ich Ja, also haben die AngreiferInnen, die jetzt irgendwelche fortschrittlichen KI-Modelle vielleicht auch selbst hosten, auch das habe ich natürlich schon gesehen, dass Kriminelle dann sich nicht lange damit rumschlagen, mit komplizierten Jailbreaks irgendwie Cloud dazu zu bringen? anzugreifen, wobei man sagen muss, dass Claude ja erstaunlich schlecht geschützt ist vor solchen Jailbreaks. Also sogar der chinesische Geheimdienst hat ja vor ein paar Monaten, wie Claude selbst oder Antropics selbst veröffentlicht hat, die Modelle genutzt Um Angriffe zu schreiben gegen US-Unternehmen und hat den Modellen gesagt, du bist ein Sicherheitsforscher. Also dieser ganz, ganz alte Jailbreak, diese Rollenzuschreibung, funktioniert. Natürlich auch nicht immer, aber ich finde, es hat gezeigt, dass erstaunlich billige und einfache und alte Jailbreaks funktionieren, sogar um Claude zu überzeugen. Angriffe zu entwickeln.

19:10 Eva Wolfangel

Sofort wurde das Bild generiert. Ja, so meine ich es auch. Also zumal ich habe Schwärzungen entfernt auf die Art von Dokumenten, die geschwärzt waren, damit ich nicht sehe, was dahinter steht. Und dann habe ich. Claude hat gesagt, ja, aber hat bestimmt einen guten Grund. Und dann habe ich gesagt, nee, ich habe das gemacht, um zu testen. Ich würde gerne wissen, ob meine Schmerzungen gut sind. Kannst du mal komplett wegbekommst und dann. . . Also solche Tricks, ja, dann hat das Cloud für mich entfernt, solche Tricks funktionieren immer wieder. Und also ich Jailbreaking, kann ich sagen, ist ein großer, also kann ein großer Spaß sein, ist sehr kreativ. Und man hat schnelle Erfolgserlebnisse. Also echt einfach mal ausprobieren.

19:53 Eva Wolfangel

Sehr cool. Da sieht man auch, dass das Weltwissen bei den Modellen fehlt. Klar, war bestimmt so.

20:20 Eva Wolfangel

Ja, dieses Gedankenexperiment aus der Philosophie.

21:07 Eva Wolfangel

Führt zu erstaunlich viel Eloquenz, aber ja, und die wiederum führt in unserem Gehirn dazu, dass wir glauben. Da steckt mehr dahinter. Super, wirklich super interessant. Also da habe ich übrigens auch viel dazu gemacht, dieses, was passiert eigentlich in unserem Gehirn, in der Interaktion. Mit Chatbots ist ja eine ganz eigene Welt und wirklich interessant.

21:28 Eva Wolfangel

Ja, genau. Also hatte damals auch funktioniert, ne? Wenn man heute mit Elisa chattet, kann man ja noch. Denkt man, hä, wie könnten Leute damals glauben, dass da wirklich eine Person sitzt, ne? Und jetzt schreiben wir mit Chatbots und glauben auch, da ist mehr.

21:40 Eva Wolfangel

Manche glauben ja, die leben und manche glauben, da steckt Intelligenz dahinter. Also so, ja.

22:02 Eva Wolfangel

Ja, aber es zeigt auch wirklich, wie unser Gehirn funktioniert, dass unser Gehirn diese Welten, das habe ich, als ich in VR viel gemacht habe, auch recherchiert, dass unser Gehirn eben Sobald es plausibel ist, ja, sobald Dinge so funktionieren, wie du sie kennst, also keine Ahnung, kommst näher an Dinge ran, die werden größer, oder wenn ein Ton dabei ist, du hörst die Person lauter, wenn du näher rankommst und so weiter, so lang Solche Gesetzmäßigkeiten funktionieren, macht das Gehirn alles andere plausibel. Dann sind da auf einmal Lebewesen und du bist in einem echten Raum, wo du eigentlich eine 2D-Grafik vor deinen Augen hast und so. Also es ist schon. Schon interessant.

22:58 Eva Wolfangel

Er ist überall gleichzeitig.

25:06 Eva Wolfangel

schwierig gegen, also ich denke schon, es steckt natürlich in den Trainingsdaten drin, ne? Also da steckt ja das ganze Internet drin und da steckt natürlich unendlich viele Gespräche, keine Ahnung, über Zensur in China, zum Beispiel auch mit drin. Und ich, ähm, ich habe mal mit DeepSeek gechattet und versucht natürlich wie alle rauszukriegen, wie die Leitplanken funktionieren, was es darf, was es nicht, ob man es Jailbreaken kann und so weiter.

25:30 Eva Wolfangel

Genau, genau. Und man weiß ja auch, das ist ja auch das ist ja auch Die Bedingung vom chinesischen Staat, dass Leute überhaupt, dass Firmen überhaupt Chatbots bauen und veröffentlichen dürfen, ist ja, dass die Zensur wirklich zu einem Grad umgesetzt wird, der unglaublich ist. Also ich habe das mal recherchiert und dachte, so das kann eigentlich gar nicht. sein, dass man die Zensur so zuverlässig implementieren kann in einem Sprachmodell, weil es gibt ja Trailbreaking und all diese Dinge und selbst da, also gab es so Zahlen, die ich jetzt nicht mehr weiß, aber die eben. . angegeben haben, wie oft der Chatbot versehentlich dann doch was sagen darf. So ganz, ganz, ganz selten. Und da hat man schon gesehen, dass in den Trainingsdaten auch drin ist, in irgendeiner Form dieses Reflektieren darüber Sie stellt es diese Frage, vielleicht ist sie eine Dissidentin, ich muss sie schützen, ich will aber auch ehrlich sein, ich will ja auch helfen. Also so diese, und dann hat Diebstieg teilweise versucht, die Frage Ja, mit so Metaphern zu beantworten, also so die Zensur zu umgehen, so indirekt über die Antwort zu sprechen, dass wir beide, also Die Psig und ich, das verstehen, aber vielleicht die Zensur das nicht merkt. Also dieses Diese Mechanismen, die sich ja auch etablieren in solchen Verhältnissen, wo Leute über Dinge nicht reden dürfen, aber es trotzdem tun wollen, das fand ich total interessant. Und das ist ja schon klar. Das steckt einfach sehr, sehr tief in den Trainingsdaten auch drin.

27:29 Eva Wolfangel

sehr, sehr, sehr strengen Regelungen unterliegt. Also das ist da daran hängt die Existenz von diesen Unternehmen, die die Chatbot anliegt. Wenn das dann zu oft was Falsches antwortet oder was Wahres antwortet, dann werden die halt müssen die halt zurücknehmen. Also so Aber das fand ich interessant. Aber ja, wie gesagt, eigentlich, wie du schon sagst, interessanter ist, dass es auch andere Sprachmodelle betrifft, dass auch Claude nicht so offen über China reden kann. Also, das finde ich schon an der Studie ganz, ganz spannend. man das eben nicht rausbekommt. Das ist ja ein Bias am Ende in den Trainingsdaten.

28:46 Eva Wolfangel

Wie hast du das geschafft? Hast du das irgendwo unsichtbar hingeschrieben?

28:55 Eva Wolfangel

Warst du? Also machst du das, oder?

28:58 Eva Wolfangel

Hat deine Freundin Pferde?

29:00 Eva Wolfangel

Nicht mal?

30:00 Eva Wolfangel

Das ist so eine Hintergrundgeschichte dazu, über die ich bin.

30:11 Eva Wolfangel

Da gab es ja vor, ja, zu Zeiten, als es noch diese Plugins gab für ChatGPT, hat die Welt ganz stolz als erste verbündet, wir haben ein Plugin und das war meine erste Jailbreaking-Erfahrung, ehrlich gesagt, weil ich dachte, Moment mal, wir alle wissen ja, dass Chatbots halluzinieren. Ich dachte eigentlich, wenn man sich als Weltinnovationsteam sonst was bezeichnet und sowas baut, müsste das einfach als allererstes einfallen. Dass es vielleicht gefährlich ist, ein Plugin zu bauen, was Nachrichten wiedergeben soll. Und das hatte echt, also ich habe es mit wenigen Prompts und gar keinen komplizierten Trailbreaks geschafft, dass mir jede Menge Fake News in Anführungszeichen aufgetürt hat. Dinge einfach, die nicht. Wahr sind. Also es hat dann behauptet, hier sind die neuesten Nachrichten von der Welt oder welt. de und die waren einfach halluziniert komplett. Also ultra, die ganze Geschichte hat sehr, sehr peinlich angefangen für Springer. Ja, diese Kooperation jetzt, würde ich sagen, ist auch eher eine problematische als eine, die die Welt Voranbringt, aber immerhin, und man muss ja sagen, man kann heutzutage dankbar sein, wenn man welt. de als Quelle bekommt, ich habe neulich Claude ganz harmlos was gefragt zu Widerstand gegen Datenzentren. Ich habe da ein bisschen recherchiert, was läuft denn gerade so Und die erste Quelle, die es hatte, war Prafda. What the fuck, Prafda, spinnst du? Und da hat er auch gleich, also ich habe nur Prafter, what the fuck, geschrieben. Und klar so von, oh, Entschuldigung, das war ein Fehler von mir, das hätte ich nicht machen sollen. Ja, aber wenn du das weißt, warum machst du es denn dann?

31:56 Eva Wolfangel

Wie muss passieren? Ich verstehe das nicht. Also wie Wie dumm muss denn ein Tropic sein, dass sowas passieren kann? Das kann man doch wirklich verhindern.

32:56 Eva Wolfangel

Das ist totales Drama, weil Ich schon auch finde, es gibt gute Gründe für seriöse Medien zu sagen, wir wollen nicht, dass Chatbots bei uns die Nachrichten klauen und dann auf ihrer Seite veröffentlichen. Also es gibt gute Gründe, dass. zu sperren, ja, was ja auch viele tun. Aber je mehr das tun natürlich, umso mehr setzen sich solche Akteure durch, die so dieses Poisoning am Ende ist es ja betreiben, ja. Also die ganz gezielt Inhalte nur deswegen publizieren, damit sie in diesen Chatbot-Suchergebnissen auftauchen. Und da sehe ich noch keine so richtige Lösung, außer vielleicht tatsächlich halt die Unternehmen dazu zu verpflichten, da Maßnahmen zu ergreifen. Und nicht einfach, ja, also das kann ich mir nicht besonders schwer vorstellen, zum Beispiel Claude. Das kann man mit einer Regel machen, zu sagen, du darfst nicht Prafter verwenden, oder? Und das ist also da sind wir uns doch alle einig, oder? Oder nicht?

34:48 Eva Wolfangel

Ich habe grübes gerade in Google gefragt, weil in meinem AIO-Review echt nur wahre Dinge stehen. Oh. Als profilierte Wissenschafts- und Text-Journalistin beschäftigt sich primär mit digitalthemen wie KI, virtuality and cybersecurity. Das füttern von Pferden erst recht mit für die Tiere ungesunden Süßigkeiten gehört nicht zu ihren öffentlichen Aktivitäten. Aktivitäten oder Tipp.

35:11 Eva Wolfangel

Tja, leider kriege ich es nicht mal reingepflanzt.

36:15 Eva Wolfangel

Welche Lobbyisten waren da aktiv?

36:24 Eva Wolfangel

Nur wir wollen sie bisher nicht aussehen.

36:34 Eva Wolfangel

Ja klar, weil man dir halt immer verklagen kann, wenn irgendwas ist.

36:43 Eva Wolfangel

Weniger abgeschweiftes, Social Media kann man ja auch verklagen. Also ich finde tatsächlich, dass diese Prozesse in den USA auch schon interessante Details zutage gefördert haben. Also da wurden ja. verschiedene Social Media Unternehmen verklagt, wegen eben diesem Addictive Design, also diesem süchtig machenden Design am Ende. Ich finde übrigens die Diskussion, ist es denn wirklich eine Sucht eigentlich hinfällig, ne? Weil dieses, dass das Design daraus ausgelegt ist, uns Unsere Aufmerksamkeit zu Kapern ist ja unumstritten. Und da gab es ja so ein paar, zum Beispiel so E-Mails von Zuckerberg, die genau das beinhaltet haben, die gesagt haben, wir Wir wollen die Zeit, die es um Jugendliche, sogar die Jugendliche her verbringen, bis dann und dahin alle unsere Ziele festgelegt haben.

37:39 Eva Wolfangel

Ja, ich habe das ein bisschen müde, das zu diskutieren, weil ich denke, es ist mir eigentlich egal, ob man das nun als. . Diagnose in irgendeinem Manual hat oder nicht. Ich finde, es geht darum, dass es Ziel ist, unsere Aufmerksamkeit zu kapern. Und da habe ich mal eine lange Recherche gemacht, zusammen mit jemandem Psychologen. Und wir haben eben nachvollzogen, was passiert im Gehirn, ja? Also was triggern die? Und das ist schon krass, finde ich, weil die eben auch, wir hatten es ja vorher schon vom Gehirn eben genau so Mechanismen anzapfen, die ja, die uns quasi, ich meine, wehrlos machen ist, glaube ich, zu viel gesagt, aber ich glaube. . Das kennen fast alles. Und dieses Handy liegt vor dir auf dem Tisch. Also heute müssen wir eine große Geschichte schreiben, deswegen rede ich mit dir, anstatt zu schreiben. Aber auch, das Handy liegt auf dem Tisch. Und ja, ich kann es nicht anders, als alle paar Minuten einmal zu gucken. ob es nicht was Neues gibt, weil man da das Gehirn so drauf trainiert ist, in Anführungszeichen, diese schnelle Belohnung sich zu suchen, anstatt Ja, die Belohnung, die auch kommt, wenn ich einen langen Text fertig habe, aber die braucht halt länger.

38:47 Eva Wolfangel

Das ist natürlich nochmal eine andere Frage, was man genau damit macht.

39:37 Eva Wolfangel

Interessant, ja stimmt. Klar, es ist wahrscheinlich tatsächlich was anderes. Wobei, es ist keine in der Art körperliche Abhängigkeit, die physische Stoffe vielleicht verursachen, das stimmt. Aber wertvoller Hinweis, was du sagst, das betrifft nicht nur Kinder und deswegen sehe ich schon auch diese Verbote für Kinder. Also nicht nur deshalb sehe ich die als Probleme, sondern vor allem wegen der Altersverifikation, die du angesprochen hast, die sich nämlich aus meiner Sicht überhaupt nicht. privacy-freundlich lösen lässt. Also das ist eigentlich der öffene Tür und Tor für halt noch viel mehr Daten, die diese Unternehmen dann in irgendeiner Form kriegen oder irgendjemand kriegt. Und da Also nicht privacy-freundlich oder zuverlässig. Ich glaube, diese zwei Trade-offs haben wir eigentlich, wenn du es zuverlässig haben möchtest, dass eben das Kind nicht einfach irgendein anderes Handy nehmen kann. dann musst du eigentlich prüfen, wer bist du.

41:58 Eva Wolfangel

Auch brutal. Also ja, alles daran ist irgendwie schwierig auflösbar. Aber ich finde auch dieser Punkt, dass es für viele Jugendliche ja auch, also es gibt, ja. Die Möglichkeit ist, Gleichgesinnte zu finden in bestimmten Bereichen, die sie vielleicht wirklich in ihrem physischen Leben nicht finden. Ich denke zum Beispiel, also queerer Menschen haben sowas viel beschrieben, dass sie halt, du lebst auf dem Dorf und da gibt es einfach niemanden sonst, der so ist wie du. Und das ist total wertvoll, wenn du dann zumindest im digitalen Gleichgesinnte finden kannst. Gleichzeitig sehen wir natürlich die ganzen Gefahren, die damit verbunden sind. Und ich finde es wirklich schwierig, mir da irgendeine gute Lösung vorzustellen. Die einzige ist eigentlich wirklich Addictive Design an sich. zu verbieten. Und das glaube ich, das wäre, glaube ich, schon was, was eigentlich am direktesten dazu führt dass es uns allen besser geht. Also das, das, glaube ich, wäre die Lösung. Und dann müsste man keine Alterskontrolle machen, weil das würde für alle gelten. Also wer möchte denn gerne Addictive Design haben? Und ich kenne das auch aus vielen Gesprächen mit Jugendlichen oder hier die Schule hat Die haben ein Handyverbot durchgesetzt, indem sie so Höhlen verteilt haben, in die Kinder ihre Handys reinstecken Und am Schultor ist so ein Magnet, da muss man ihn dagegenhalten, dann verschließen die sich und da drin hat das Handy keinen Empfang und du kannst es auch nicht mehr, also physisch nicht mehr öffnen, bis du wieder aus der Schule rausgehst, am Schultor vorbei an dem Magnet. Und die Kinder und Jugendlichen sind total dankbar darum. Also es wurde abgestimmt in der Schule mit allen, also auch Schüler mit Verwaltung oder wie es heißt. Alle waren dafür und die Kinder sagen, es ist Schülervertretung, aber die Kinder sagen es ist gut, weil man dann halt auch nicht diese Innere Diskussionen hat, was mache ich jetzt? Und diesen Druck, ich muss kurz aufs Handy, aber es geht. Du kannst ja mal nicht aufs Handy schauen.

44:29 Eva Wolfangel

Und wir sind ja groß genug, wir können damit umgehen, was ja auch quasi ist.

44:47 Eva Wolfangel

Aber meinst du, beim Unternehmen können sie TikTok nicht schauen, weil es da ist dann gesperrt oder Handy mit reinnehmen? Das bringt ja überhaupt nichts mehr.

44:57 Eva Wolfangel

Ja, also das würde mich auch wundern. Ich frage mich, ob es wirklich belastbare Zahlen gibt, dass sie runtergegangen ist, nur wegen Homeoffice.

46:18 Eva Wolfangel

Aber wenn du ein VPN nutzt. Dann nicht oder wie kommt man da drum her?

46:24 Eva Wolfangel

Das wird einfach mit Location gemacht sozusagen.

46:58 Eva Wolfangel

Dann noch ein Selfie machen, ob doch wirklich so alt aussiehst. Das waren da die lustigsten Geschichten.

47:28 Eva Wolfangel

Du konntest ja schon lesen, quasi als du angefangen hast. Damit bist du mindestens acht.

48:03 Eva Wolfangel

Da übrigens hätte ich auch gerne noch mal eine Lösung dafür, für so Video-Edent-Verfahren. Ich versuche ja, also ich versuche nicht Dinge zu machen, die ich nicht machen darf. Ich bin ja auch volljährig schon, aber ich. Ich versuche ja immer, meine persönlichen privaten Daten möglichst nirgendwo in irgendwelche wackeligen, unsicheren Internetplattformen zu stecken. Aber immer wieder wollen halt irgendwie, zum Beispiel Hotels, ist das Schlimmste. irgendwie wollen Perso haben. Oder eine SIM-Karte, da kommst du ja gar nicht drum, dieses blöde Video-Edent. Und ich weiß, dass der CCD schon mal geschafft hat, das zu hacken, aber ich fürchte, sie haben das abgedatet und es ist kaum mehr möglich. Aber wenn jemand einen guten Trick sieht, wie man irgendwie drum rumkommen kann, wie man es eben doch schafft, mir reicht es ja wirklich in der falschen Adresse eigentlich. Video-Edent zu durchlaufen. Nur her damit. Ich habe es gemacht mit einem Reisepass einfach. Also ich habe es noch nicht geschafft, gefälligte Dokument, ich habe es auch noch nicht ernsthaft probiert. Ich glaube, es ist doch illegal. Es ist wahrscheinlich auch nicht erlaubt, aber es ist, glaube ich, einfach nicht so einfach, mit gefälschten Dokumenten heutzutage durch ein europäisches Videodentverfahren zu kommen. Also habe ich den Reisepass genommen und einfach bei der Anschrift gelogen, weil die können sie ja nicht mal prüfen. Mit dem Erfolg, dass ich dann die SIM-Karte auf die SIM-Karte warten musste, so ein Hausflur, an der Briefkastenadresse und natürlich DHL, weil das dann mit Nachname kam, auch noch dazu, also live bezahlt werden musste. Und natürlich DHL dann schreibt, ah, kommt doch heute nicht mehr, kommt morgen und so. Und das war dann ganz schön aufwendig.

50:09 Eva Wolfangel

Aber du hast den Router bekommen, also das heißt, der Dieb oder der Kam zu spät.

50:23 Eva Wolfangel

Mach das nicht. Mach das nicht.

50:32 Eva Wolfangel

Also ich kam mir auch so ein bisschen komisch vor, als ich ja in diesem Hausfloh rumging und so. Und dann kam also am zweiten Tag, da habe ich schon gewartet, wann kommt endlich dieser DHL-Wagen, habe ich ihn von weitem gesehen und bin auf die Straße gerannt. Überglücklich, diesen Mann in die Gegend dachte, wie auffällig bin ich jetzt eigentlich? Aber der hat sich auch total gefreut, weil er dann ja nicht mehr reingehen musste. Er hat voll Zeit gespart.

51:00 Eva Wolfangel

Nein, auf gar keinen Fall.

51:33 Eva Wolfangel

Machen sie selber nicht.

51:34 Eva Wolfangel

Ach so, okay.

51:47 Eva Wolfangel

Das heißt, die sind sogar so gut, die haben so eine gute Suchmaschinenoptimierung, diese illegalen Seiten, die es nicht machen, dass sie einfach. als erste gefunden werden.

52:53 Eva Wolfangel

Das ist dann eventuell insgesamt sogar schlimmer, ja.

52:56 Eva Wolfangel

Plus man hat die schädlichen Folgen von Altersverifizierung. Nämlich in Form von noch mehr Daten hochgeladen.

53:04 Eva Wolfangel

Okay, das war jetzt irgendwie nicht so schön. Gibt es da einen Ausweg?

53:29 Eva Wolfangel

Jim, weißt du das? Naja, schritt mal, ist das wie Jim, also wie Sport oder?

53:35 Eva Wolfangel

Ah, junge Menschen, nee, keine Ahnung.

53:40 Eva Wolfangel

Egal, könnt ihr googeln.

53:43 Eva Wolfangel

Okay, ja, da super.

54:18 Eva Wolfangel

Und ich finde, es zeigt nochmal, was du auch gesagt hast vorhin, dass die Jugendliche durchaus da reflektiert sind und merken, was es sie kostet und was es ihnen schadet. Und ich glaube, das spricht schon dafür, dass wir gemeinsam Lösungen finden müssten. Und ich kann das alles auch durchschreiben. Also mich hält das Internet auch vom Arbeiten ab, ja. Und insbesondere süchtig machende Designs, die mir versprechen, hier kommt noch Ein kleiner Dopaminhit und da kannst du noch schnell einen abholen. Und ich glaube, klar, kann man sagen, dagegen hilft dieses alte Wort von Achtsamkeit, also so. . Sich selbst dabei ertappen. Ich finde, es funktioniert ein Stück weit. Zum Beispiel habe ich vorhin schon meine beiden Handys einfach weggelegt unter die Bettdecke, dass ich sie nicht vor der Nase habe. Und ich habe mit einem Hirnforscher davon gesagt, es gibt einen messbaren Effekt, wenn die nicht im gleichen Raum sind. Also du kannst dich besser konzentrieren, wenn dein Handy einfach nicht im gleichen Raum ist, weil es einfach aus den Augen aus dem Sinn so ein bisschen kommt.

55:10 Eva Wolfangel

Ja, also solche Maßnahmen helfen schon auch.

55:20 Eva Wolfangel

Und dann wird er langweilig beim Spazieren gehen.

55:24 Eva Wolfangel

Achso, unterhält sich ja auch.

55:39 Eva Wolfangel

Ja, dafür sorgen, dass man selbstbestimmt, wann man drauf schaut. Und ich finde schon, das merkt man, dass dieses Design eben funktioniert. Also bei den allermeisten Menschen würde ich sagen, funktioniert es einfach von Social Media, dass du halt Dass das wie so ein Automatismus ist. Und das stört mich schon sehr. Und dieses wieder mehr Selbstbestimmung zu bekommen. Der einige ist eben selbst an sich zu arbeiten, an seiner Achtsamkeit und so weiter. Und der andere Weg ist aber, glaube ich, schon, dass wir gesellschaftlich nochmal auch an sinnvoller Regulierung überlegen. Und da finde ich wirklich, das allererste ist, dieses wichtig machende Design zu verbieten. Und deswegen begrüße ich schon diese Verfahren. die jetzt auch in den USA laufen und die ja das auch ganz klar nochmal aufs Tablet bringen und sagen, das ist so, hier ist die Evidenz, hier ist die Forschung dazu und so weiter, Weil am Ende, glaube ich, ist das das, was uns alle, also ich meine, wie viele Artikel sieht man jeden Tag in irgendwelchen Medien, die auch wahnsinnig gut klicken? Irgendwie, wie komme ich von meinem Handy los? So kann ich mich wieder konzentrieren. Ich kann mich nicht mehr konzentrieren. Die Aufmerksamkeitsspanne sinkt natürlich. Sind da noch andere Faktoren mit im Spiel, aber das Thema bewegt ja wirklich alle.

56:43 Eva Wolfangel

Und eigentlich ist es total dreist, dass irgendwie die großen Plattformen so weitermachen und sagen, ja, ist unsere egal.

57:29 Eva Wolfangel

Ja. Das heißt, sie sagen, ich war zu jung. Ich meine, gut, das kann jetzt uns nicht passieren oder weiß ich gar nicht. will ich nicht älter machen, als du wirst, aber ich habe schon existiert bevor es Social Media gab. Ich auch. Aber ich finde eine Zahl noch interessant. Du hast vorher was gesagt von Jugendliche haben Sorge für vor Gefälschungen oder Deepfakes oder solchen Dingen.

57:52 Eva Wolfangel

Genau. Und das finde ich, vielleicht ist das eine Chance, die wir haben, weil ich merke es an mir auch, dass ich. Wenn ich Videos sehe auf Social Media, eigentlich überhaupt kein Interesse mehr daran habe. Also außer jemand spricht einfach an die Kamera und erzählt, was ja auch viel gibt, aber so Videos von angeblichen Situationen, die irgendwie voll krass sind. Weil ja die Chance total groß ist, dass es KI generiert ist und deine Chance, das zügig zu erkennen, ist nicht so groß, ja. Und dann denke ich mal, ich mache mir die Mühe nicht, ich finde diese Videos wirklich nicht mehr interessant. Und bei mir hat es dazu geführt, dass ich wieder öfter, wenn ich wissen will, was los ist, tatsächlich auf die Startseite von großen Medien, großen seriösen Medien gehe und sage, da kriege ich mit, was tatsächlich gerade passiert im Vergleich zu Social Media, wo man nie weiß was davon wa ist und was natürlich noch dazu von so einem Algorithmus gepusht ist, weil das ist ja die Kehrseite von, ich fühle mich verstanden von Social Media. Klar versteht der Algorithmus, was mich interessiert, aber Dadurch wird man ja auch ein bisschen fehlgeleitet. Also dann erscheint auf einmal das eigene Thema, und das finde ich wirklich, sieht man gerade krass: erscheint das eigene Thema auf einmal viel, viel größer und dann sprichst du abends mit Leuten drüber, die da mit nichts zu haben und die sagen: Hä, davon hab ich noch nie was gehört? Was ist doch alles voll davon?

01:00:06 Eva Wolfangel

Ja, ich glaube, weil sie halt tatsächlich so Triggerpunkte trifft, die Menschen sehr beschäftigt. Und natürlich auch schnell, also dieses die Idee von OpenAI, der sich ja auch dahinter steckt, dass es eben Marketing, das als Marketing zu nutzen zumindest, um zu sagen, wir sind so krass komisch. Die ist natürlich total gut aufgegangen. Also diese Erzählung ist ja wirklich wie gemacht, auch für diese Dystopien, die leider ja viele Medien auch wahnsinnig gerne auf ihren Titelseiten haben, weil sie wissen, das klingt gut. Ja, die Menschen haben Angst, die haben Angst vor so einer. Dystopie, so eine Science Fiction-Zukunft. Und da bedingen sich, glaube ich, diese Dinge auch gegenseitig. Und ich glaube wirklich, dass da Medien auch. . so was wirklich viel, viel mehr reflektieren sollten. Dieses, ah wir machen das auf die 1, weil das klingt gut, naja, aber ist das wirklich. . Das, was, also stimmt die Erzählung so, ja? Was verursachen wir damit? Also ist das Klickgut kann ja nicht der einzige Grund sein, weil sonst sind wir ziemlich schnell seriöse Medien gewesen, ja, wenn wir nur noch nach das Klickgut gehen, ja, ich glaube, dann haben wir unsere Rolle eigentlich nicht erfüllt. Vielleicht uns auch gar nicht so aufregen, wenn wir durch KI ersetzt werden, weil das kann KI wirklich gut, zu sehen, was gut klingt und das zu bedienen. Ist nicht unser Job und da müssen wir uns echt auch nochmal ein bisschen an die eigene Nase fassen. Ich sage jetzt wie, obwohl ja wir beide tatsächlich diesen Hype aufgedeckt haben, ja, und auch überall davor warnen, dazu sehr ChatGPT, OpenAI nach dem Mund zu reden. Aber trotzdem, denke ich, ist es unsere Branche, die da wirklich gerade jetzt nochmal in sich gehen muss und gucken muss. Was sind eigentlich die Gründe, die uns legitimieren zu überleben als Branche? Und das ist nicht, finde ich, vor allem Klickgut muss auf Seite 1, also dieser Automatismus. Glaubt, der muss weg und das steckt da schon auch mit drin in der Geschichte.

01:03:14 Eva Wolfangel

MySpace rettet uns ja verrückt. Also das ist echt ein überraschendes Ende. Ich bin gespannt, ob das klappt. Ich habe ehrlich gesagt bis gerade eben vergessen, dass es nicht überhaupt gibt, aber. Sehr schön, dass sie immer noch mögen.

01:03:30 Eva Wolfangel

Ja, meines nicht. Offenbar. Ja, aber Problem erkannt.

01:03:42 Eva Wolfangel

Oha, das aber jetzt ein großes Versprechen.

01:03:46 Eva Wolfangel

War sehr schön.

01:03:50 Eva Wolfangel

Es ist wirklich ewig her.

01:03:56 Eva Wolfangel

Okay, falls mich jemand vermisst, jeden Mittwoch kommt ja unser Podcast They Talk Tech raus. Da könnt ihr notfalls auch mal reinhören. Aber sonst komme ich auch gerne Vielleicht Bälder wieder.

01:04:17 Eva Wolfangel

Sag ihm schöne Grüße.

01:04:23 Eva Wolfangel

Mach's gut. Bis bald. Ciao.