Was Meta über junge Menschen nicht wissen will (Spezial)

02:44 Dr. Anneke Buffone

Ja, gerne. Also ich bin, also ich komme aus Deutschland, wie man hört, aber bin nicht mehr das Deutschsprechen so gewohnt, also seid mit mir vorsichtig. Liebe Hörer, tut mir sehr leid, wenn ich die Worte nicht finde. Ich versuche mein Bestes, aber ich habe halt wenig in meinem Leben über meine Arbeit oder so, meinen Lebensgang auf Deutsch gesprochen. Von daher, aber ich bin in Norddeutsch aufgewachsen, in Kloppenburg. Das kennt eigentlich kein Mensch, aber es ist in der Nähe von Oldenburg in Niedersachsen. Und dann habe ich studiert, Sozialpsychologie, meinen Doktor gemacht, habe auch ein bisschen sozial also Soziologie und Politologie, also in Deutschland habe ich noch mein Diplom gemacht damals. Ja, und dann habe ich bei Meta gearbeitet, sieben Jahre lang, und zwar in ganz verschiedenen Bereichen, am Anfang im Wellbeing-Bereich. Da ging es tatsächlich um Screentime und um eben Sucht. Und dann am Ende, also zwischendurch aber auch in diesen Growth Teams, wo wir tatsächlich an den Algorithmen gearbeitet haben. Und dann am Ende in der Altersbestimmung quasi, so Age Assurance heißt es auf Englisch. Und bin dann von Meta entlassen worden, weil ich mich nicht an ihre Benimmregeln für das sprechen halten wollte und habe dann überlegt okay irgendwie also ich war immer so ein bisschen also idealist glaube ich schon und habe also dieses diese arbeiten attack Branche zwar zum einen auch sehr spannend gefunden, habe da sehr viel gelernt, bin dafür auch dankbar und habe viele nette Leute kennengelernt und so. Aber so hundertprozentig war meine wirklich meine Seele nicht mehr so dabei und habe dann gesagt, okay, jetzt Kann ich, was weiß ich, was bei mich bei allen anderen Tech-Firmen bewerben, aber ich habe so die Sorge, dass es immer dasselbe sein wird. Und habe dann gesagt, okay, ich gründe jetzt so meine eigene Firmen, habe ich erst mal ein bisschen überlegt, jetzt mache ich eine normale Firma oder irgendwie Nonprofit und jetzt also habe ich mich erstmal entschieden, mich erstmal aufs Nonprofit zu konzentrieren und habe eine Organisation gegründet, die heißt es Clara. Und es geht darum, eben soziale Medien aufzuwerten. Also ich habe so quasi ein AI -sogar-System, also wo wir quasi diese ganzen verschiedenen Apps, die Kinder benutzen, auswerten. Es ist ein ziemlich kompliziertes System. Aber und das ist bis jetzt noch nicht live, also es ist halt monatelang, bin ich schon daran am arbeiten. Aber die Idee ist halt, dass man wirklich. ganz viele Kategorien sehen kann, was sind alle die Probleme, die und die Sicherheitsprobleme und eben die Schwierigkeiten, die eben Jugendlichen erfahren können von Irgendwie, dass sie Erwachsene kontaktieren können, die sie nicht kontaktieren sollten, bis hin zur Altersbeschränkung funktioniert das. Wie funktioniert das? Ist es sicher und halt wirklich an meinen eigenen Standards zu arbeiten, was ich als sicher empfinde, weil ich halt natürlich ein bisschen mehr weiß als so der Durchschnittsmensch eben was eine Sicherheits eine Mindestsicherheitsschwelle für Kinder in den ganzen verschiedenen Bereichen eben bedeuten sollte. Und ja, das ist, und ich bin auch, also ich habe zwischendurch ausgesagt, als Zeugin in einem der Prozesse gegen Metter für die Staatsanwaltschaft von Tennessee. Und genau, das ist auch noch so ein bisschen eine Arbeit, die eben noch ein bisschen so dazukommt, so für mich Bart quasi.

06:03 Dr. Anneke Buffone

Yeah, also meine Theory of Change is quasi, also meine also mein also mein Modell quasi ist das Wir anfangen mit jugendlichen Kindern und den Eltern eben, weil es halt viele gute Gründe damit anzufangen eben, also viele Dinge, die man in dem Bereich Jugendschutz macht. Kommen irgendwann auch Erwachsenen zugute. Ja, zum Beispiel, also nicht nur Jugendliche können psychische Probleme entwickeln oder irgendwie für bestimmte Dinge geschützt werden. Es gibt auch viele Erwachsene, die das benötigen. Jeder, ich glaube, die Statistik ist ungefähr, dass ich glaube, jeder Zweite in seinem Leben irgendwann mal Depressionen bekommt zum Beispiel. Also es ist ja nicht nur, dass Kinder diesen Schutz brauchen, aber Für Kinder ist es halt einfacher, dass sich auch die verschiedenen politischen Lager einigen können. Und das finde ich eine sehr schöne Sache auch bei dieser Arbeit. Zwischen bei Facebook News gearbeitet und also ne, diese ganzen politischen Polarisierungen und all diese ganzen Probleme und ich, also in dem Bereich, wo ich arbeite, ich finde es halt so schön, dass man also wirklich alle an einen Tisch bringen kann, weil Am Ende des Tages wollen alle, dass ihre Kinder sicher sind. Und also im Moment ist es erstmal das die Zielgruppe. Aber was halt mich so ein bisschen unterscheidet, ist, dass ich es nicht so sehe. Ja, wir geben jetzt den Eltern einen Haufen Spyware, um ihre Kinder irgendwie zu kontrollieren, weil das System meiner Meinung nach funktioniert halt auch nicht sehr gut. Ja, weil die Eltern wissen zum Teil selber nicht, was sie da sich angucken, wenn ich irgendwie mir jetzt bei Genshin Impact oder irgendwelchen Computerspielen, also da irgendwie durchsteigen soll oder Minecraft oder so, wie das alles funktioniert. Ich spiele das selber nicht. Da kann ich als Eltern gar nicht so viel machen und das ist so oft so. Und die Idee ist halt eben, man macht so eine Zusammenarbeit, genau, dass man halt eben sagt, klar, die Eltern müssen natürlich mit drin sein irgendwie. Aber es ist auch ganz wichtig, dass die Jugendlichen halt selber lernen, wie werde ich so quasi digital ausgezogen von diesen Apps, wie kann ich das vermeiden, wie kann ich die Dinge sehen, wie kann ich erkennen, was mir nicht gut tut, was mir gut tut. Welche Settings habe ich selber zur Verfügung, ohne dass die Eltern da eingreifen müssen, weil am Ende des Tages irgendwann ist der Jugendliche älter, also alt genug, ob es jetzt 13 oder 15 oder 18 oder 20 ist? Irgendwann ist der Mensch mit diesem App alleine, ja, und dann ist er alleine in diesem Tunnel, in diesem, ne, und da muss er vorbereitet sein dafür. Und deswegen hilft das eigentlich meiner Meinung nach nicht, dass es immer nur die Eltern sind, weil Dann lernen die das ja nicht. Also wir binden ja auch nicht unseren Kindern das ganze Leben lang die Schuhe zu. Genau. Ja. Aber

09:15 Dr. Anneke Buffone

Ja, also ich bin tatsächlich erst im Dezember letzten Jahres gegangen. Also von daher war ich ziemlich lange noch mit dabei und habe zwei Jahre zuvor eben in diesem Bereich gearbeitet und den halt als Forschung, also ich habe die Forschung eben geleitet, übergreifend über die Apps, überall also für Alters-Ebenbestimmung. Also das ist mal zu dazu. Und ja, also es ist ein ganz schwieriges Thema. Und da gibt es ganz viele, jeder hat eine Meinung, irgendwie Bands oder nicht Bands oder so, aber ich glaube, also am Ende des Tages ist es so. Viele von uns, ich eingeschlossen, sind im Moment für Bands, aber ich bin es nicht, weil ich glaube, dass es grundsätzlich nicht sein kann. dass Jugendliche auf diesen Apps sind. Ich finde eigentlich auch, es gibt sicher positive Dinge auch. Aber dass, also die, solange die Apps nicht. gewillt sind und uns nicht zeigen, dass sie die Apps, dass sie den Jugendschutz ernst nehmen, glaube ich, dass man, dass wir eigentlich fast keine Wahl haben als diese mehr drastischen, also ich sage mal so bland Blunt Tools, ne? Also diese, diese, ne, also es ist wirklich, es ist schon so ein bisschen wie mit einem, also mit einem, weiß ich nicht, mit einem Vorschusshammer irgendwie Also, keine Ahnung, irgendwie keine Ahnung, also ne, an was dran zu gehen, wo man vielleicht auch einen Hammer nehmen könnte. Aber es ist halt, also es liegt wirklich daran, dass es also wirklich so grottenschlecht ist, wie der Jugendschutz im Moment eben gehandhabt wird. Und dann das zweite, also der zweite Punkt, den du noch mit so da drin hattest, den wollte ich auch noch ansprechen. Also dass wie das ist mit der mit der mit der Privatsphäre. Also es ist ja so, dass die Forschung immer weiter kommt. Und ich glaube dass es auf jeden Fall die Grundlage sein muss, dass es eine privacy first Altersbestimmung sein soll. Es gibt keinen Grund, dass wir jedem App da unseren Personalausweis oder unseren Pass schicken sollen. Das finde ich eigentlich also völlig verrückt. Also und es ist auch was, was nicht funktioniert, ja, weil also es geht ja um Jugendliche eigentlich, es geht ja nicht um Erwachsene hauptsächlich. Und Jugendliche und Kinder haben in vielen Ländern der Welt gar keinen Pass oder Personal. Wo ich lebe in den USA hat fast Haben viele Erwachsene nicht mal passt. Ja. Wäre vielleicht besser, wenn sie einen hätten, teilweise und reisen würden. Aber ne, also dass man jetzt ganz Beiseite gelassen. Und das ist ja in Deutschland auch so. Also es hat nicht mit 13 hat ja und nicht jeder hat überhaupt keinen Personalausweis. Das gibt es ja auch erst, glaube ich, mit 16, ist das, ne? Also Und das sind so Sachen, also das ist ja, funktioniert gar nicht gut. Und also es gibt, man muss sich wirklich, wir müssen uns darauf konzentrieren, eben viel, viel mehr auf diese Dinge zu verlassen, die eben subtil auch da sind. Also zum Beispiel jedes App weiß ja unheimlich viel über uns. Also die wissen, dass sie mir Anti-Faltencreme verkaufen können, wahrscheinlich irgendwie sowas, ich krieg. viel Mamainhalte, weil ich habe vier Kinder. Ich krieg irgendwie keine Ahnung, ich kriege über so weit Taekwondo-Sport und solche Sachen kriege ich Sachen. Also die wissen ja, wer wir sind. Die wissen, dass ich kein Mann bin, ziemlich sicher. Also bestimmte Themen kriege ich nicht. Und ich habe weniger sexy Frauen in meinem Feed. Als jetzt irgendwie mein Mann zum Beispiel hat. Und das sind halt einfach, also die wissen natürlich, wenn man die, also die wissen so viel, die wissen auch ein ungefähres Alter, ja. Also Wenn meine Tochter irgendwie sich bei YouTube was anguckt, dann wissen die ganz klar, dass sie irgendwie Skincare und solche Sachen will, die also die Produkte für irgendwie jüngere Mädchen und Das sind halt so Sachen, also von daher denke ich, und es gibt viel, also man, es gibt zum Beispiel eine neue Technik, also neue Technologien, die auch so über so Swipes arbeiten, also die schauen halt eben, wie schnell Swipe geswiped wird, welche Emojis verwendet werden, was die also wie schnell die tippen und Also solche Sachen, ne? Also auch Wortwahl und so und können darüber auch einiges erkennen. Und also das ist eigentlich die Forschung, in die wir investieren müssen eben. Und dann auch das Konsumverhalten, ne? Also man kann natürlich, je nachdem, was jemand eben konsumiert , auf diesen Apps kann man ja auch, also ne, wenn man jetzt, und das kann jeder auch über schöner Selbstversuch, also jeder kann sich sein eigenes Feed angucken und dann den von seinem Partner, seinem Kind, seiner Oma, weiß ich nicht, und sehen, also man kann aber schon ziemlich so ein kleines Persönlichkeitsprofil, wenn man sich so anguckt, was denn so kommt.

14:14 Dr. Anneke Buffone

Ja, das sind jetzt so ein bisschen zwei verschiedene Paar Schuhe für mich. Also können die Firmen das, ich würde sagen, auf jeden Fall. Also ich meine, es geht natürlich, es ist schwieriger, also es gibt Dinge, die können sie erst nicht mal ganz klar erklären. Die Firma kann im Moment, also niemand kann sagen, ist jemand 12,5 oder 13 oder irgendwie 17,5 oder 18. Genauso wie im normalen Leben, wenn man Menschen sieht, es gibt Leute, die sind 18 und sehen aus wie 25, es gibt Leute, die sind 25, sehen aus wie 15. Ja, und da kommen natürlich auch noch ethnische Unterschiede dazu. Es gibt auch bevölkerungs, also eben ethnische Bevölkerungsgruppen, die jünger aussehen und so weiter, und diese, also auch diese Facial Recognition, zum Beispiel, die genutzt wird. Ist da nicht so immer sehr gut. Also es wird besser, aber es ist immer noch nicht sehr gut. Und genauso wie es schwer ist, jemanden das Alter von jemandem zu schätzen, den man trifft, ist es so auch schwer. Aber man hat natürlich viel mehr Daten. Und von daher, wenn es um so also Altersgruppen geht, ist es viel, viel einfacher, also zu sagen, ist derjenige wahrscheinlich erwachsen oder wahrscheinlich nicht erwachsen. Und das hilft für die Privacy natürlich schon mal sehr viel, weil man kann schon mal ganz viele Leute aus quasi sortieren. Das ist die eine Sache. Und dann kann man den Firmen trauen. Also da würde ich sagen, eher nicht leider. Und also da ist es halt so, dass man am besten diese Altersbestimmungen eben außerhalb von den Firmen auch macht. Also das ist ja auch in den europäischen Entwürfen mit drin, soweit ich verstehe, dass es da auch diese Alters Bestimmungs eben dieses App gehen wird. Und das ist eben ganz wichtig, dass es über Tokens läuft, dass es Privacy, dass die Firma braucht ja nicht, also die Firma hat eben die Braucht ja nicht irgendwie deine Adresse und irgendwie deine Augensehstärke oder sowas. Und das ist ganz, ganz wichtig. Und dann eine Sache, die ich auch nochmal dazu sagen muss: immer ist Dass es ganz wichtig ist, dass eben, wie das dann eben gehandelt wird, was dann mit dem App geteilt wird letztendlich. Weil es geht natürlich nicht, dass wir dann am Geburtstag alle freischalten, weil dann weiß natürlich das App Am Geburtstag, genau das Geburtsdatum, ja. Also das sind auch nochmal so Sachen, dass man dann überlegen muss, wahrscheinlich heißt es dann, dass die Jugendlichen nicht genau mit 13 draufkommen oder 15, sondern eben etwas früher, etwas später. Ich glaube dem Firmenvertrauen also man kann darauf sich verlassen, dass die Firmen die Daten haben und dass die wahrscheinlich eine der besten sind, ist auch Also mit dieser Forschung, aber ich glaube, trotzdem sollte es besser außerhalb eben geregelt werden.

18:06 Dr. Anneke Buffone

Ja, also das ist so ein bisschen, also ich habe das auch damals in meiner Aussage gehabt, als es eben um diesen Tennessee-Trial ging. Es ist halt so, man muss sich das so vorstellen, dass eine Firma ist, also da sind ganz viele verschiedene Teams, ja, und also oft arbeiten die halt auch sehr quasi so in ihren eigenen Silos quasi, ja. Also und dann gibt es, es ist dann halt nicht Es ist ganz normal, dass es Teams gibt , deren wirklich Ziel es ist, Leute so viel wie möglich auf dem App zu haben. Und dann gibt es andere Teams, die quasi an der Sicherheit arbeiten. Das ist jetzt nicht nur bei Meta so, das ist in der ganzen Industrie, also in dieser ganzen App -Industrie ist es, ist es, soweit ich verstehe, fast überall irgendwie so, dass halt diese Teams eben dann eher so ihr eigenes Ding machen. Natürlich die Firma, das, was der Firma Geld bringt, sind die Teams, die die Leute auf den Apps lassen. Und so die Teams, also ne, so wie Mains am Ende. sind nicht so die Teams wie uns, also die sind eher das Gegenteil. Und ein Problem ist eben, dass es so ein bisschen so ist, wenn man quasi ein Auto baut in Deutschland. Und dann kommt aber irgendwie der Sicherheitsgurt und der Airberg, der wird irgendwie in, sagen wir mal, weiß ich nicht, ich sage es in einem random Land, in den USA gebaut. So, und dann, ähm, aber das Team in den USA und das Team in Deutschland, die sprechen nicht so unbedingt dieselbe Sprache, ja, und dann irgendwann schickt dann, kommt dann ein großes Paket an aus Amerika mit diesem mit dem mit diesem Equipment und dann merken die, oh scheiße, das passt aber das Auto gar nicht rein. Irgendwie und jetzt haben wir gar keinen, ne, und jetzt leider funktioniert das nicht irgendwie und The airbag geht los, aber irgendwie macht er die Windschutzscheibe kaputt oder so, yeah. And that is so ein bisschen halt, ne, so muss man sich das so ein bisschen vorstellen. Und deswegen kann man sich halt vorstellen, dass es dann eben nicht so ganz super funktioniert immer mit diesen Sicherheitsgeschichten. Und das, was dann eben noch dazu kommt, ist eben, dass, also dann, wenn eine Firma so Ziele hat, dass eben Jugendliche, gerade und junge Erwachsene eben Wie das bei Meta auch war, und öffentlich dokumentiert ist auch, dass es ganz klar Ziele gab, dass man Jugendliche so viel wie möglich auf den Apps haben will. So kann man sich vorstellen, warum das nicht, also warum das nicht total verrückt ist. dass dann auf einer anderen Seite ein Team gibt, was dafür sorgt, also dass eben für die Altersbegrenzung zuständig ist und für den Jugendschutz, ja. Und das Problem ist eben, dass es quasi so ein bisschen als ob man so gespaltene Persönlichkeit sich muss immer sich das vorstellen. Und genau, und also auf jeden Fall ist es so, dass wenn man da, also für mich als Tagarbeiter hat sich das jedenfalls so angefühlt, als ob es oft so war, dass auch man so die Ja, so irgendwie so die Opposition ist und so, aber man so richtig durchkommt, also man kommt halt nicht so richtig durch, eben die Dinge zu also ne für die Dinge, also dass die Dinge eben passieren, die man in diesen Sicherheitsteams eben so sich, also die man, die passieren sollten. Und das war halt eben auch der Grund, warum ich dann am Ende Also was dann für mich Probleme geschaffen hat, weil sie dann gesagt haben, also wir dürften bestimmte Dinge nicht mehr erforschen. Also wie ich auch vor Gericht gesagt habe, zum Beispiel, wir durften nicht fragen, welche sind eure Kinder auf Instagram oder Facebook, also das durften wir nicht Eltern befragen irgendwie. Und also unter 13, ja. Und also wenn man dann so solche Zahlen nicht hat dann kann man ja viel weniger machen. Also ich bin quantitativer Forscher gewesen, also ich habe Surveys viel gemacht und auch, also ich habe auch Interviews gemacht und so, aber ich fahre viel auch für diese ganze quantitative Forschungszustand, ich habe auch ganz lange dort an den Algorithmen direkt gearbeitet, ja, also den Ranking-Algorithmen, die eben dafür sorgen, was man, wie sie, also was man zuerst sieht quasi. Also damals für mich war das bei Facebook-Gruppen gewesen. Also was in der Gruppe zuerst kommt, welche Gruppe du zuerst siehst in deinem Feed and so weiter and so forth. Und auch die Qualität, das ist nicht alles blöde, keine Posts sind, sondern halt die, die man sehen möchte vielleicht. Und wenn man da so mal wirklich drin war, dann merkt man halt, also es ist halt eben, also diese, also diese, ja kommt halt so eben dieses Gegend das. gingen diese anderen Teams eben nicht an und das hat eben ganz viele verschiedene Gründe. Und am Ende war es halt auch so, wir durften nicht mehr drüber so richtig sprechen. Also zum Beispiel Also als ich dort angefangen habe, hieß es, es war auch ein ganz anderes, also da wurden wir angehalten und gesagt, jetzt schreibt nicht so wie die Akademiker in eurem Elfenbeinturm so. Irgendwie mit 1000, irgendwie 5000, so, jetzt könnte auch dies und das und wir sind uns nicht ganz so sicher und so, also die ganzen Limitations und so bei der Forschung, sondern ihr müsst Tacheles reden, einfach so 1, 2, 3, 4. Das haben wir gefunden, das könnten die Probleme sein, das sollt ihr machen. Also wirklich Ansagen geben, dem PM und so weiter. Und das haben wir auch alle so verinnerlicht und so. Und dann aber über die Zeit hinweg, als dann diese Leaks kamen, hieß es dann, nein, eigentlich wollen wir das doch, schreibt doch lieber so wie die Akademiker und am Ende war es dann so, schreibt lieber noch viel vorsichtiger. Also zum Beispiel muss man sagen Wir durften nicht mehr sagen, Meta sollte das machen, sondern Meta sollte sich überlegen oder sollte in Erwägung ziehen, dies und dies vielleicht zu tun, so nach dem Motto. Natürlich kann man sich vorstellen, wenn dann so ein Team sowas kriegt, wie sollte vielleicht in Erwägung ziehen. Das hört sich jetzt nicht an wie Handlungsbedarf. So muss man sich das vorstellen, das hat eben also als Forscher irgendwann, also das fühlte sich dann schon unethisch an. Wenn man sich überlegt, man, man, also dann waren bestimmte Sachen, die sollten wir gar nicht empfehlen. Also diese Empfehlung sollte man lieber rausnehmen und so. Was ist denn überhaupt mein Job hier noch?

23:44 Dr. Anneke Buffone

Also das war die Sache nicht erklärt, also diese Kinder unter 13, also ich meine, wenn man das ein Problem lösen möchte, dass Kinder unter 13 nicht auf der App sind. Muss man erstmal wissen, wie viele da sind und warum Eltern ihre Kinder da drauf lassen. Ja, also warum irgendwie oder warum, also wissen das die, also zum Beispiel wissen das die Eltern nicht? Wissen es die Eltern doch? Wie passiert das? Also und natürlich, ne, und es war dann, also und man muss es ja für seinen eigenen Bereich auch wissen. Das hilft nicht unbedingt, wenn wir das jetzt wissen für, keine Ahnung. alle sozialen Medien überhaupt, weil wenn so ein Survey, also Surveys sind immer nur so gut wie die Fragen, die wir stellen. Und das ist halt mein ganzes Leben Also quasi ja, also ich mache das schon über 20 Jahre. Man muss halt, wenn man fragt, irgendwie, sind deine Kinder auf sozialen Medien unterwegs? Einige Eltern zielen YouTube mit rein, andere nicht. Die einen Eltern zielen rein, wenn ihr Kind ihr Telefon mal nimmt beim Dinner, wenn die Eltern mal ihre Ruhe haben wollen und schauen sich irgendwie ein paar TikToks an. Der nächste ist irgendwie Influenza auf Instagram mit irgendwie 13 oder so und weiß ich nicht, schmiert sich irgendwelche Cremes ins Gesicht, ja. Also vielleicht die nächste. Mit schön Retinol oder so, ja. Also, also ne, das ist so, ne, das ist ja, also, deswegen muss man ja, und das war eben, also das ist eine Sache eben, also dass solche Forschung dann eben nicht mehr so konkret möglich ist. Und dann auch diese, also das ist ganz wichtig, weil ohne, also wenn man nicht die richtigen Fragen stellen kann, die ganz konkret eben dahin führen, was man dann auch machen könnte, das wird, dann wird es wirklich schwierig. Und das sind ganz viele solche eben Dinge gewesen, auch und wenn es auch um Befehlungen geht, irgendwie zum Beispiel, wenn man nicht Dinge empfehlen kann, die vielleicht besser werden, zum Beispiel, also zum Beispiel eine Sache ist auch Du hast noch eine andere Frage. Aber es ist ein gutes Beispiel, wo ich sagen muss, dass es halt Das war für mich auch so ein Knackpunkt, als das dann so schwierig war.

26:04 Dr. Anneke Buffone

Ja, also schon. Also über die ganze Zeit hat sich viel verändert. Also als ich angekommen bin, war ich eigentlich noch so ziemlich happy, weil Also als das Team, also wo ich gearbeitet habe, das war dieses Wallbean-Team und ich habe halt eben durfte halt eben diese Sucht erforschen auch. Und da wurde wirklich noch. . noch Forschung gemacht, die auch nicht unbedingt nur positive Seiten von den Apps irgendwie gezeigt hat. Und damals würde ich auch sagen, wurde auch verantwortlicher damit umgegangen. Aber immer noch nicht, also nicht so wie es sein sollte unbedingt, aber auf jeden Fall besser. Und dann als diese Leaks kamen, also dann hatte man das Gefühl, da war immer mehr so der Daumen dann drauf. Und es war also vor allem auf uns Forscher eigentlich. Weil natürlich sind wir so ein bisschen, natürlich, wir sind so ein bisschen das explosive Material in dieser Firma, ja, weil wir sind. Wir haben unseren Doktor und wir haben diese Studie, wir wissen genau, was wir fragen müssen. Und dann, wenn die Leute uns ehrlich antworten, dann ist das für die Firma erstmal vielleicht blöd. Und dann verstehen wir es auch so, dass wir, also ich, mein Auftrag war als, also ich bin ein User Experience Forscher gewesen. Das heißt, uns, also ich wurde als, mir wurde gesagt, du bist der, du bist die für die Stimme des Verbrauchers zuständig. Das heißt also, mein Kunde ist derjenige, der das App benutzt Es geht darum, dass dieser Mensch eben nicht in Schwierigkeiten kommt, dass er eine gute Erfahrung hat und dass ihm nichts Schlimmes passiert. Und also wenn man sich, also das ist natürlich, man sieht dann, wenn man natürlich Probleme sieht, dann hat man natürlich auch die Aufgabe, dass man dem Team das klar machen muss, damit sie es halt eben dann beheben können. Und es geht auch ganz viel darum, eben vorzuschlagen, wie könnte man es besser machen. Also man wird auch so ein bisschen Product Designer und man wird so ein bisschen, also ich musste ganz viel über Engineering lernen. Ich habe ja auch vorher bei Penn gearbeitet und habe mit Computerwissenschaften zusammengearbeitet. Ich arbeite mit Also es gibt gewisse Dinge, wenn ich jetzt auch mir angucke und so ich denke mal sofort, ja, okay, habt ihr euch eure Daten, die reingegangen sind, angeguckt? Habt ihr euch eure Daten, die rausgegangen sind, angeguckt? Sehr, dass wenig Papers für irgendwelche Computerwissenschaftler irgendwie im AI-Bereich irgendwie Sicherheit für Kinder angucke, ja, okay, habt ihr weder das eine noch das andere gemacht? Ja, also okay, also das ist jetzt nicht irgendwie, ja, das ist jetzt nicht Nobelpreiswürdig, ja, aber ich kenne mich schon aus, ja, und ich glaube, das war so ein bisschen, und dann über die Zeit eben, also als dann diese Leaks kamen. war es dann halt so, dass da immer mehr der Daumen drauf ging. Man hatte immer so das Gefühl, dass die Forscher so quasi So dann immer so die sind, die dann so vor den Zug geschmissen werden. Weil halt, also, ne, dann, also, dann, und das war auch, also, ne, dann, dass die eben, und das habe ich auch immer vom Gericht erzählt, also das ist immer so sich so angefühlt hat, als also gerade in den ersten Runden der Leaks, dass dann immer hieß, ja, diese Forschung, die war ja auch so schlecht gemacht oder ne, so And um also was eighteen ziemlich also beleidigend ist, weil ich meine, wir sind alle sehr ausgebildet, wir arbeiten sehr hart, ja, und also blödsinnige Forschungen machen, da würde man gar nicht eingestellt bei so einer Firma, wenn man irgendwie schlecht in seinem Job ist, ja. Und dann, also das, ne, das wurde halt immer mehr. Und dann haben sie schon auch versucht, dann eben, das, was sie vielleicht nicht ganz so uns gegen sie auch schon. Also ich durfte zum Beispiel meinem, also als meine Forschung beliebt wurde, also ich hatte Tatsächlich, meine Forschung war dann auch im Wall Street Journal. Und dann wurde ich berufen, dann zu sagen, okay, jetzt arbeiten wir am Rebuttal intern, das war auch eine spannende Erfahrung. Aber genau, and then also gegen das Ende eben war es dann so, dass es wirklich, also dann ging es halt wirklich darum, es gab immer mehr Gesetze, immer mehr Gesetze. Das ist natürlich immer wieder Feuer, Feuer, Feuer, weil dann müssen wir dies, müssen wir das, müssen wir das machen. Um aber für mich, also es wirkte halt im Am Ende wirklich mehr so, dass es darum ging eben halt also mit diesem legalen Druck eben zu arbeiten. Und das war halt so, also anstatt, also ich hatte nicht das Gefühl selber, mein Gefühl war nicht, dass es so sich anfühlte. als ob man ja als ob es irgendwie darum geht, die Sicherheit der User steht an höchster Stelle, sondern eher so, ja, wir wollen nicht tausendmal verklagt werden und so und wir müssen uns dann diese Regelung irgendwie erhalten und wie kriegen wir das, kriegen wir das hin? Ja, also ich finde halt, also ich denke immer, also natürlich erwartet man von der Firma nicht, dass sie jetzt irgendwie, weiß ich nicht, päpstlicher ist als der Papst, wie man so sagt, aber Ich denke halt, es gibt ja, hat immer schon Firmen gegeben, die wirklich sagen, wir machen es so, also wir haben, ich habe einen Stolz in das Produkt, was ich bilde. Also was ich baue und ich gehe damit im richtigen Gewissen auch dann daran. Und mir ist es einfach persönlich wichtig, dass Dass das eben diese Sicherheit, also gerade für Kinder und Jugendliche, diese Sicherheit da ist. Und das ist für mich ein bisschen unverständlich, dass es so in der ganzen, also wenn ich mir die ganze Industrie angucke, diese ganzen Apps. was da für ein Kucculores gemacht wird, wie diese Sicherheitsvorkehrung funktioniert, dass ich in jedem App als Mama mir da angucken muss, alle haben andere Symbole und dann funktioniert das überall anders, wie ich diese Sachen einstellen muss, dann funktioniert irgendwas nicht. By Apple, I can see a telephone number , texten. I don't know where that is. Die könnten eine Contact-Card schicken, die könnten den Eltern das schicken. Also da gäbe es so viele bessere Möglichkeiten als das, was man kriegt. Also es sind so viele Sachen, die einfach, also Also wo man merkt, es ist einfach, dass so lieblos dran gegangen wird und ohne technischen Verstand. Und das sind Firmen, die können, also was weiß ich alles, die können jemanden zum Mond schicken, die können. Was weiß ich alles irgendwie, ja, die können irgendwie, ne, Leute können live gehen, egal wo sie sind. Es gibt irgendwie AI -Assistenten, die mit uns irgendwelche Unterhaltungen sprechen können, die also die mit unserer Depressionen umgehen können, irgendwie, ja, oder mehr oder weniger vielleicht noch nicht, aber. Ja, aber diese simplen Sachen funktionieren nicht. Und es ist ja viel simpler, sowas zu bauen. Es ist viel simpler, eine vernünftige Contact Approval zu Pipeline zu bauen, als irgendwie sich mit Niemand über Literatur zu unterhalten. Ja, und also das ist Ja, unverständlich.

32:57 Dr. Anneke Buffone

Ja, also ich glaube, wir sind wirklich so von der Ära von Tech Optimism in die Ära der Tech Delusion quasi abgerutscht. Soll ich das so kurz und knapp formulieren? Was ich damit meine, ist halt, also ich glaube halt, also diese vielen, also diese positiven Dinge sind ja da. Es gibt Austausch und so weiter, ja. Aber es sind eben Entscheidungen getroffen worden, die für die Produkt, also für die Optimierung von der Verweildauer und eben vom Profit gemacht worden sind. die dann eben halt das Gute quasi, was es gibt, eben halt dann eben nicht, also das eben dann stören, ja. Also zumindest, und das ist halt, also das ist natürlich also in der Also die Sache ist, wenn man, so wie die Algorithmen funktionieren, und da liegt für mich so der Hase im Pfeffer, es ist ja nicht so, dass es, es geht nicht darum, dass wir irgendwie Leuten sagen, dass sie irgendwie sich nicht irgendwas politisch, weiß ich, nicht Abgefahrenes reinziehen sollen, ja. Also wenn das irgendwie, ne, das, darum, das können die ja auch so, ja. Aber das Problem ist, dass wenn man, also das, was passiert ist, dass also erstens werden an Menschen Versuche gemacht, die, also in der akademischen Forschung, wenn wir einen Versuch machen mit Personen. dann müssen wir das irgendwie genau aufschreiben und wir müssen, also das gibt es zwar in Firmen auch, aber das hat einen ganz anderen Zweck in Firmen. Dann müssen wir dafür sorgen, dass es den Menschen, die das, also dass denen die nicht zu Schaden kommen. Und also wenn wir so irgendwie mit den Feeds experimentieren in diesen Firmen, ja dann, es gibt schon Sachen, die wir nicht mehr machen können. Es gab ja diese Feed-Experiments, wo es dann, wo dann irgendwie so die von Menschen, die Launen quasi so manipuliert wurden und das hat ziemlich schlechte Schlagzeilen gemacht, ja, aber es ist trotzdem passiert. Es ist ja schon mal interessant, dass es überhaupt passiert ist. Und dass er nicht immer gedacht hat: sollten wir das vielleicht durchmachen? Ist das vielleicht unethisch? Ja, aber ne, also, oder zumindest die Stimme hat nicht gewonnen. Und also das ist schon mal eine Sache, ja. Und das nehmen wir eigentlich so in Kauf. Wenn wir diese Apps benutzen, stimmen wir eigentlich so selbstversuchen zu. Das zweite ist, dass halt eben all diese subtilen Signale über uns verwendet werden und die werden alle so willkürlich interpretiert, als das willst du jetzt. Also, ein gutes Beispiel ist, ich hatte neulich nur sterbende Mamas. In meinem Feed. Ja, und der Grund war, ich hatte irgendwie einen Account gefunden und da waren so Mädchen, die haben sich ganz lieb um ihre Mama gekümmert, die krebskrank war und es war ganz traurig und so, aber es war auch irgendwie ziemlich interessant gemacht und so. Naja, aber irgendwie habe ich das gesehen und da waren auf einmal mehr und mehr und mehr und mehr und auf einmal wir sterbende Haustiere und so weiter. Einmal ganz auf Feed war irgendwie so ein Hospiz. Und dann irgendwie ist es ja so, klar, ich kann natürlich in das Hamburger Menü geben und sag ich, ich will das alles nicht sehen und so, aber dann denkst du ja, Aubi, was bin ich jetzt für ein Mensch? Irgendwie stecken bitte keine sterbenden Menschen. Das macht mich. Ja. Versaut mir gerade die Laune, ja, das geht ja auch nicht. Also natürlich macht man das dann trotzdem, aber es ist schon so, wo man denkt, naja, gut, okay. Und aber es ist ja nichts, was irgendwie mir was bringt. Ja, ich kann den Leuten nicht helfen. Und das ist halt so ein ganz gutes Beispiel, ja. Also das, was eben, also Emotion Cells, ja, also Alles, was irgendwie überraschend ist, was mir Angst macht, was sich komisch an, also so, hä, was ist das jetzt? Ja. Deswegen, also so weinende F Frauen im Internet irgendwie, wo man nicht weiß, warum sie weinen, funktionieren super. Das wissen ja auch die Creators. Ja, und also es gibt solche Sachen eben, also das, und es gibt ganz viele Sachen, wie du swipest, ob du, wo du bleibst, ob du das weiterguckst, ob du anhältst. Ob du das App verlässt in, also all diese Dinge, die du machst, es gibt so, so viele Signale, die man sich gar nicht vorstellen kann. Clickst du auf ein Add or nicht. Also kommentierst du, likes so, das ist klar. Aber viele dieser Signale sind eben ganz subtil und die werden halt interpretiert, um dir mehr Dinge zu zeigen. And it darum, dass du so lange wie möglich da bleibst. Und viele dieser Signale sind halt eben falsch. Also wenn ich, wenn, also die heißen nicht, dass du es mehr sehen willst. Wenn ich dir zeigen würde, das und das und das und das, denke ich, jetzt willst du mehr sehen, weil du das und das gemacht hast, würdest du bei ganz vielen Sachen sagen, so hä, das will ich überhaupt nicht sehen oder Bitte nicht das, ja. Aber es ist halt so ein blandes Instrument. Und ich glaube, wir müssen eigentlich dahin gehen, dass wir sagen, es ist nur in Ordnung. Signale zu erstmal erstmal erstens mal müssen wir ganz klar sagen, Experimente müssen ein External Review haben. dass wir nicht irgendwie willkürlich herumexperimentiert bekommen an ein bisschen Leuten. Und B, es muss ganz klar gesagt werden, es gibt eben explizite Signale, wie zum Beispiel ich like was oder ich kommentiere oder sowas. By all means, ja. Kannst du benutzen, okay, ja, aber das ist ziemlich sicher, dass das der Mensch dann wirklich das haben will, ja. Aber also ganz viel dieser subtilen Dinge, die eben so als Mögliche heißen könnten. Sollten nicht so interpretiert werden. Und das ist also, da geht es dann und dann, ich glaube, dann würden auch Feeds irgendwann anders aussehen, ja. Und dann auch dieses Endless Scroll und also die Notifications auch Gibt es auch viele andere Dinge, aber ich glaube, gerade wenn es um dieses Design geht, also man muss sich einfach mal vorstellen, wie man da so digital ausgezogen wird und wie halt diese ganz subtilen Signale eben quasi benutzt werden, eben um dafür zu sorgen, dass wir da bleiben. Funktioniert ja auch so. Das ist irgendwie so diese. Videos gehen, wo man so nicht richtig weiß, worum es geht, aber man guckt trotzdem weiter irgendwie, ja. Und das sind alles, also das ist alles dieser, wenn man sich das mal anguckt, das sind diese Mechanismen, die halt eben, und das, also ich glaube, darum geht es so ein bisschen, ja. Das ist eben Ein bisschen unethisch eigentlich, finde ich.

39:25 Dr. Anneke Buffone

Ja, also das Prinzip des Oversight Boards ist eigentlich eine gute Idee, weil. Also es muss von außerhalb eben quasi den Einblick geben und so weiter und so fort. Aber das Problem ist halt, dass so ein Oversight Board halt wirklich auch independent sein muss und also unabhängig sein muss. Und das ist halt so nicht so gewesen, ja. Also man muss halt gucken, also das ist, ich bin da gerade dabei bei meiner eigenen Nonprofit, ja, dass ich mir ganz viel Gedanken darüber, ich habe eine ethische Forschungs Ein ethisches Forschungsprotokoll, zum Beispiel für meine Forschung, die ich vorhabe, zu machen und auch schon mache, wo eben ganz genau drin steht, ich möchte nicht, also ich nehme kein Funding von Unternehmen, die mich, die ich auswerte, zum Beispiel und solche. Und ich glaube, das ist halt so, wenn dann finanzielle Interessen dabei sind. Das ist in der ganzen Jugendschutzforschung eigentlich auch ein Problem leider. Dass wenn so eben Firmen oder auch wenn in NGOs oder was weiß ich, wenn die bewährt halt von diesen Firmen dann das Geld wieder von der Firma kriegen, dann sind sie nicht mehr unbedingt so einfach auch unabhängig. Und also das ist ein ganz großes Problem, ja. Und Wenn dann die Firma sagen kann, ja die und die Frage, wollen wir nicht, dass ihr die stellt oder so, ja, und das ist halt so, also dann ist es halt eben nicht mehr unabhängig und das muss man ganz genau regeln. Da müssen sich auch ganz viele Leute noch Gedanken machen, wie man das eben so am besten aufzieht. Also ich glaube, das Prinzip, die Idee ist sehr gut, aber eben es muss wirklich unabhängig sein und das Funding dafür sollte eigentlich besser nicht von den Firmen kommen. Und dann geht es auch um Datenzugang, ja. Also wir haben das jetzt auch gesehen mit AI, mit diesen Breaches, die dann OpenAI, und dann gab es ja diese Forschung bei Meter und Und die anderen , die konnten dann so ein bisschen da, also Zugang kriegen, aber nicht ganz und so. Und also ich meine natürlich, das ist dann irgendwie auch Pillepalle, weil also danke Also das ist, also man muss wirklich den Datenzugang haben, weil sonst tappt man so halb im Dunkeln und wenn man so mit verbundenen Augen dann irgendwie gucken soll, wie sicher das jetzt ist. Das ist nicht so, das hilft halt nicht. Das muss ja wirklich der Zugang geregelt werden, auch gesetzlich, dass eben die Daten offengelegt werden müssen, bestimmte Daten natürlich auch wieder privacy first. Und auch das Finanzsystem muss eben dementsprechend aufgebaut sein, damit es nicht dann diese Conflicts of Interest immer gibt.

42:05 Dr. Anneke Buffone

Ich weiß, also mir wurde schon so ein Agreement angeboten am Ende. Das habe ich halt dann, also ich wollte das halt nicht unterschreiben. Also ich glaube nicht, also Ich habe keine Ahnung, ich kann nur spekulieren. Ich weiß also, dass ich eigentlich jemand bin, der auch nicht, also ich war schon, als ich dort war, natürlich auch Also ich glaube nicht, dass ich jetzt wie jemand gewirkt habe, der jetzt irgendwie nach außen geht oder so und habe das auch. . . eigentlich nie so vorgehabt, aber es war halt dann so, als ich dann diese Verfahren gesehen habe, als ich dann draußen war und dann, wo es also nicht mehr da war, und dann halt gesehen habe, was für Sachen dann so von der Führungsriege kamen Also dann konnte ich das, also ich konnte das in meinem Gewissen einfach nicht mehr vereinbaren. Und dann denkt man so daran, so auch an so Zivilcourage, wenn man aufgewachsen als Deutscher, so irgendwie würde man was, sagt man was oder Was ist ja viel bequemer, nichts zu sagen, ne? Also viel bequemer irgendwie sich einen anderen Job zu holen, wo man viel Geld verdient und immer noch Forscher ist und so weiter in einer so einer Firma und Es ist viel bequemer, etwas sein Leben zu führen und zu sagen, okay, das werden schon, das wird schon sich richten, da sind so viele, die sich dafür einsetzen, warum ich. Und also, man hat schon Also, und ich glaube halt vielleicht, dass ich nicht so der Kandidat war, der irgendwo man gedacht hätte, also und irgendwer weiß jetzt nicht halt, wo ich bin.

43:41 Dr. Anneke Buffone

Ja, ich habe einen Account. Ich bin sehr vorsichtig. Also ich habe auf jeden Fall so ein Mulmies-Gehl im Bauch immer und bin, also ich bin nicht mehr so gerne drauf, leider. Also Also, das ist für mich auch ein bisschen schade alles, weil also ich habe da, als ich dort angefangen habe, hatte ich wirklich eigentlich ein positives Gefühl und dachte, die haben so ein bisschen auch, also die wollen wirklich das Richtige tun und so. Das ist halt immer mehr abgeblättert und also das ist, ich habe da sieben Jahre meines Lebens verbracht, ich habe viele Freunde dort gefunden und Also ich habe auch mit Herzblut daran gearbeitet, eine ganz lange Zeit. Und dann, es gibt dann so eine Phase, wo dann so hin und her, so ist das jetzt und so. Und Also das ist schon was auch, ja, also irgendwie so was, was ganz, also was schmerzt, also für mich und für die Welt und für die Jugendlichen. Aber es gibt natürlich auch nicht viele Alternativen und so und diese Videos sind auch schon compelling, wie schon mal hier und da mal auf TikTok und so, aber ich versuche es halt alles zu limitieren, weil ich halt eben weiß, wie es alles funktioniert und auch also Ich möchte auch mit gutem Beispiel für meine eigenen Kinder so ein bisschen dastehen. Und genau, ja, aber ich versuche es schon ziemlich zu limitieren und ich glaube, also Ja, also auf jeden Fall. Also können wir kein AI und so. Also ich möchte, ja, also ich, diese AI-Apps, da bin ich auch besonders vorsichtig, weil ich glaube, dass es noch wird nochmal jetzt also schwieriger und also das sind noch mehr eben Probleme, weil das ja viel intimer ist und man, also ne, diese ganze Technologie und Also ich versuche wirklich immer die ethischen, also ich versuche so viel wie möglich dann also Claudanthropic zu benutzen. Und da gibt es jetzt natürlich auch wieder schlechte Nachricht, also. Aber ich versuche schon, also dahin, also meine eigene Benutzung dahin zu schieben, wo ich eben ein bisschen mehr Vertrauen habe.

45:50 Dr. Anneke Buffone

Ja, auf jeden Fall. Also ich finde es alles super spannend und ja, war echt nett, mich mit dir zu unterhalten. Und danke für die Gelegenheit.