HIC SVNT DRACONES – Servus.at Artistic Research Lab 2017

Presentation @Kunstraum Goethestrasse, Linz

“Take images. Take lots of images. There is no limit to the level of detail you can add or the places you can go. Don’t take tens of images, take hundreds or thousands at a time. The more the better. Our servers can handle it, your phone can handle it.” – Mapillary Manifesto[1]

Caspar David Friedrich feat. Davide Bevilacqua – Wanderer above the sea of data, 2017

The emergence of the Internet and digital technologies radically changed what cartography used to be, as artist Trevor Paglen well describes by saying that “in our own time, another cartographic renaissance is taking place.”[2] This renaissance is based on technologies like GPS (Global Positioning System) and satellite scanning, that, combined with electronic theodolites, surveying cars and happy contributing users – and a spark of distributed computer power – create life-generated, three-dimensional images of the whole Earth that can be easily accessed by almost anyone from anywhere.

It appears as though some large corporations working with technology and internet services finally realised that a “Map of the Empire whose size was that of the Empire”[3] did not mean – as mainteined by Borges – the automatic destruction of the Empire itself.[4] These companies, in fact, create constantly-updated, in real scale, individually-personalized, “interfaced” maps [5], that simultaneously obscure the reality through its representation and empower the hidden cartographers, fulfilling with extreme accuracy any need of the dis-empowered user. Recalling the ideas of the philosopher of map history J.B. Harley, [6] a map cannot be a neutral medium: due to its very own nature, it always contains “silences”, “distortions” and technical mistakes that, over time, lead to the generation of myths and legends. As opposed to the famous Hunt-Lenox Globe – where expressions like “HIC SVNT DRACONES”, or illustrated sea monsters clearly marked undiscovered and dangerous areas. Today digital cartographic services hide their imperfections “behind a mask of a seemingly neutral science”[7], while at the same time they try to motivate users in collaborating in the maintenance of The Map and, therefore, the Empire. 

Derive Updated, Postcards. A series of 8 instruction-based postcards playing with the ideas of psychogeography and (des)orientation. Each postcard invites the user into performing actions that overcome the usual behaviours throughout physical and virtual territories.

In the course of 2017, the participants of servus.at artistic research lab playfully departed from maps and classic cartography to explore and discuss the landscape of currently available cartographic tools, services, and applications. Focusing on the narratives these tools could generate, Davide Bevilacqua, Veronika Krenn, Hanna Priemetzhofer, Franziska Thurner and Us(c)hi Reiter wandered physically and virtually through the city, discovering the beauty of the imperfections in its representation. 

Their explorations are based on a doubt about the current paradigm behind scientific mapping. Can this system work only through a compulsive generation, accumulation and analysis of data? In this almost over-mapped landscape, is there still something that can be discovered? How can one generate a novel sight on the well-known local territory? Or how can one go outside the personal “filter bubble” and find new places that are worth of visiting? What role could a playful approach have in this towards cartography and mapping? 

They reflected on the landscape, looking for the presence of technological infrastructure, to visualise how virtual and physical spaces are connected. Applying situationist methods to find unusual places, they tried to embed stories and interventions in these, aiming at overcoming the outdated conception of separated “online” and “off-line” life, behaviour and landscapes.

[1] Mapillary  Manifesto, https://www.mapillary.com/manifesto, last accessed 6.12.2017.
[2] Trevor Paglen, “Experimental Geography: from cultural production to the production of space”, in Nato Thompson (ed), Experimental Geography – Radical Approaches to Landscape, Cartography, and Urbanism, Brooklin, NY, Melville House, 2009, p. 28.
[3] Jorge Luis Borges, „On Exactitude in Science“, in A Universal History of Infamy, 1975.
[4] Umberto Eco, “On the Impossibility of Drawing a Map of the Empire on a Scale of 1 to 1” in How to Travel with a Salmon & Other Essays, Houghton Mifflin Harcourt, 1995, pp. 95–106.
[5] Peter Weibel, “Landkarten: Konstruktionen oder Wirklichkeit?” in Christian Reder (Hg.): Kartographisches Denken, SpringerWienNewYork, 2012, p. 53–55.
[6] J.B. Harley, The New Nature of Maps. Essays in the History of Cartography, Johns Hopkins University Press, 2002.
[7] J.B. Harley, The New Nature of Maps, p. 158.


Histeria: Manipulated map, print. Maps not only reflect spatial conditions and structures but also illustrate religious, philosophical and political concepts, as well as fiction.


whois.com/pillwein: Wall map, threads, markers, print. Analogue visualisation of all the digital references in the Pillweinstraße Linz, 20. November 2017 03:53:33 pm–04:31:11 pm



THERE BE DRAGONS: Print, Google Street View Spheres Manipulation. In the financial world, high-risk speculations are informally named “T.B.D.” (there be dragons). Leaked documents from the Panama Papers contain addresses in Linz, now marked with dragons.


(L)eavesdrop, FM sender, FM receivers, custom made antennas. Camouflaged antennas are built to hide the presence of the communication infrastructure in natural structures that expose more than what they conceal. (L)eavesdrop are custom-made antennas for radio communication that are built imitating the most popular camouflages of LTE antennas. Due to the non efficient design, noise interferences are generated and forwarded to the next antenna.


Glitchcar, Object, Photos, Google Street View Spheres. Transforming a digital glitch into an analogue object, creating a feedback by putting it back to its digital origin.


Post for F.X. Fridelli, intervention in public space: house number shield, mailbox, submission on digital mapping services, online accounts, fidelity cards. F.X. Fridelli, a fictional descendent of the cartographer Xaver Ernberdt Fridelli (Linz 1673 – Peking 1743), has a new home in Linz.


Derive Updated, Postcards. A series of 8 instruction-based postcards playing with the ideas of psychogeography and (des)orientation. Each postcard invites the user into performing actions that overcome the usual behaviours throughout physical and virtual territories.


Quo Vadis (All roads lead to Rome), Rolodex, printed paper. A scroll-display of a browser-based derive. Starting from a specific website, each click is a new step of an unconscious virtual journey.


Street Poems, A4-Sheet, typewriter, GPS-path. Walking a path, writing a path. A Street Poetry Walk is an urban dérive focused on words and letters. A method of mapping through reading and writing.


Dragon, Digital video. We’ve seen dragons fly over the city! They usually come and go as they please, always leaving changes to the city. Telling a story by twisting the context, playing with glitches.


All these works were created in the frameworks of the Research Lab and were thought, planned and produced as a form of collaborative experiment amongst all the partecipants.

Biographies of the Participants:

Veronika Krenn – artist, designer, and assistant at University of Art and Design Linz. Veronika studied Interface Cultures at the University of Art and Industrial Design in Linz. Her works are in the field of new media, interactive art and Eat Art, with a focus on the manipulation of already known and everyday objects. She investigates traditional arts and crafts as well as food as a medium to develop unconventional communication strategies that act as carriers for socially relevant problems through daily habits. www.vkrenn.at

Hanna Priemetzhofer and Franziska Thurner – Since 2005, the two Austrian artists working together as “System Jaquelinde” have been following their passion combining analogue and digital techniques. In their “Laboratory for visual things” they focus on autobiographical and socio-political topics. The coexistence of conception and coincidence forms the base of their artistic work. www.system-jaquelinde.com

Us(c)hi Reiter – artist, curator & project developer. From 2005 till 2017 Reiter run the non-profit cultural backbone organisation servus.at/Kunst & Kultur im Netz. She continues to research Free/Libre/Open Source Software in the frame of cultural production and art as well as work on conceptual and performative setups. She is one of the main founder of Art Meets Radical Openness (AMRO), Festival dedicated to Art, Hacktivism and Open Culture. http://www.firstfloor.org/ur

Davide Bevilacqua – Davide is an artist and curator working is the blurry area between media and contemporary art. His interest relies on the rethorics of the technological development and on the understanding of the art exhibition as an „interface“, a processual space for exchange. He is part of the artist collective qujOchÖ and since 2017 works as program developer for servus.at. www.davidebevilacqua.com

servus.at – As a net culture initiative operating its own network infrastructure in Linz, Austria, servus.at deals with central issues of the information society. Servus.at offers virtual and physical access possibilities for art and cultural producers. A main goal of the association is to implement ideas of a “free society” in the daily practice of art and cultural production. www.servus.at

The presentation of the Research lab took place in December 2017 in Kunstraum Goethestrasse xtd, Linz. We thank therefore Susanne Blaimschein, Beate Rathmayr and all the team of Kunstraum Goethestrasse, as well as the rest of the team of servus.at

Funded by BKA, Wien and Linz Kultur

Maschinen sprechen, Maschinen denken

Valie Djordjevic
erschienen in der der Versorgerin

Wovon sprechen wir, wenn wir von künstlicher Intelligenz sprechen?

Stellen Sie sich vor, Sie sitzen in einem geschlossenen Raum. Durch den Türschlitz werden Ihnen Zettelchen, auf denen chinesische Schriftzeichen stehen, zugesteckt. Gehen wir davon aus, dass Sie selbst kein Wort Chinesisch sprechen. Aber im Zimmer gibt es Handbücher, Regeln und Anweisungen, mit denen Sie die Zeichen verarbeiten können und daraus passende Antworten erzeugen. Da Sie kein Wort Chinesisch können, müssen sich bei Ihren Antworten komplett auf die Anweisungen verlassen und ihnen Schritt für Schritt folgen. Sie schreiben also die entsprechenden chinesischen Zeichen auf den Zettel und geben sie durch den Schlitz wieder heraus. Sie machen nichts anderes als ein Computer tun würde (natürlich sehr viel langsamer): Sie verarbeiten einen Input anhand von vorher festgelegten Algorithmen und geben das Ergebnis aus.

Stellen wir uns weiter vor, dass vor der Tür ein chinesischer Muttersprachler steht, der die Zettel liest. Aufgrund der Zettel hat er den Eindruck, dass Sie die Sprache beherrschen. Sie wissen aber, dass Sie keine Ahnung haben, was Sie da »beantwortet« haben.

Dieses Gedankenexperiment ist unter dem Namen »Das chinesische Zimmer« ein wichtiger Bezugspunkt für die Diskussion um künstliche Intelligenz (KI). Ausgedacht hat es sich der Sprachphilosoph John Searle. Er wollte damit zeigen, dass das Beherrschen und Befolgen von Regeln noch kein Verständnis – weder des Inputs noch des Outputs – beinhaltet. Damit stellt er sich denjenigen entgegen, die glauben, dass eine starke künstliche Intelligenz prinzipiell möglich ist. Für Searle ist echte Intelligenz immer mit Bewusstsein und Intentionalität verbunden, etwas, was mehr ist als Komplexität und Geschwindigkeit von Prozessoren.

Heutige intelligente Systeme fallen alle unter die sogenannte schwache künstliche Intelligenz – sie sind gut darin, eine Aufgabe zu erledigen:
das Internet durchsuchen und passende Ergebnisse ausgeben, Schach spielen, Zusammenhänge in großen Textkorpora finden und zum Beispiel aus medizinischen Datenbanken Korrelationen zwischen Krankheiten und Verhaltensweisen herausbekommen und neue Behandlungsmethoden vorschlagen.

Die Vertreter der starken KI glauben, dass wir nicht mehr weit davon entfernt sind, dass aus der schwachen KI eine starke wird, wenn man
die technischen Entwicklungen von Hard- und Software in die Zukunft projiziert. Bewusstsein ist dabei ein Nebenprodukt von Komplexität und wird automatisch auftauchen.

Der Turing-Test im Chinesischen Zimmer

Die Geschichte vom chinesischen Zimmer ist dabei eine Variante des Turing-Tests. Man kommt an ihm nicht vorbei, wenn man sich mit KI beschäftigt. Turing dachte darüber nach, wie man feststellen kann, ob eine Maschine denken kann. Wir erinnern uns: In einem Zimmer sitzt ein Mensch und unterhält sich mit zwei unsichtbaren Gegenübern über eine Tastatur. Einer ist ein Mensch und der andere ein Computer. Nur: wer ist was? Der Turing-Test gilt als bestanden, wenn der Computer bei einer fünfminütigen Unterhaltung mehr als 30 Prozent der Tester täuschen kann. Bisher ist noch keiner Maschine gelungen, den Turing-Test zu bestehen. Die Ausgangsfrage »Kann eine Maschine denken?« ist noch nicht beantwortet.

Im Gegensatz zu Searle machte es für Turing keinen Unterschied, ob die Maschine »wirklich« intelligent ist oder ob sie es nur meisterhaft vorspielen kann. Seiner Meinung nach ist diese Unterscheidung bedeutungslos, da wir nicht definieren können, was Denken überhaupt ist. Für Searle würde eine Maschine, die den Turing-Test besteht, einfach nur besonders gut programmiert sein. Es ist seiner Meinung nicht das Gleiche, ob wir vorgeben zu denken oder wirklich denken. Im ersten Falle folgen wir einem Programm, im zweiten können wir Chinesisch.

Sprachverarbeitung im großen Stil

Sprache steht im Mittelpunkt, wenn wir über künstliche Intelligenz (KI) reden. Als Mittel der Kommunikation und als Medium des Denkens ist sie zentral für unser Selbstverständnis als Menschen. Durch Sprache machen wir uns ein Bild von der Welt und setzen uns in Beziehung zu ihr. Wir können mit anderen zusammenarbeiten und uns koordinieren. Dazu dienen nicht nur natürliche Sprache, sondern auch formalisierte, künstliche Sprachen, wie Programmiersprachen.

In den letzten Jahren treten immer mehr scheinbar intelligente Anwendungen in unseren Alltag. Bei vielen sind wir uns gar nicht bewusst, dass sie unter künstliche Intelligenz fallen: der Google-Suchalgorithmus zum Beispiel. Die meisten von uns benutzen ihn täglich dutzendfach. Mithilfe von mehr als 200 Kriterien sortiert Google die Suchergebnisse bei einer Stichwortsuche. Mit Rankbrain ist auch ein selbstlernender Algorithmus dabei, aber schon die Auswahl anhand von Kontext, vorherigen Suchen, Standort, semantischer Volltextanalyse, Relevanz der Domain, Markenautoritität, Linkqualität und -quantität ist software-technisch auf höchstem Niveau. Alle Internetservices von Google – Search, Maps, Books, Images und wie sie immer heißen – sind mehr als 2 Milliarden Zeilen Code[1], gespeichert alle in einem Repository[2]. Darin liegt die Technik, die entscheidet, was die relevanteste Antwort bei einer Suche nach – zum Beispiel – »chinesisches Zimmer« ist: ein Artikel über Innenarchitektur in Peking oder die oben angeführte Erklärung.

Was Google mit seiner Suche macht – aber auch Facebook mit seinem Newsfeed oder Apple mit Siri – ist Verarbeitung von Sprache in einer bis vor kurzem unvorstellbaren Größenordnung. Denn um nichts anderes geht es hier: Webseiten – geschriebene Sprache – wird analysiert, die Anfrage bearbeitet, die Antwort ausgespuckt. Ein riesiges chinesisches Zimmer.

Ob der Google-Algorithmus wirklich versteht, was ich meine, wenn ich nach etwas suche, ist mir als Nutzer im Prinzip egal, solange die Antwort für meine Suche relevant ist. In ähnlicher Weise verarbeitet Facebook die Links, Likes, Postings, Bilder unserer engen und nicht so engen Freunde. Es bietet uns täglich eine Auswahl von Nachrichten und Feel-Good-Posts (was zum Lachen, was zum Schaudern, was zum Gutfühlen), die dem entsprechen, was wir vorher schon gut fanden und die uns auf der Seite halten. Auch Big-Data-Analysen von Nutzerverhalten oder Programme zur Maschinenübersetzung machen nichts anderes als Textverarbeitung, nur in einer Geschwindigkeit, die Menschen nicht erreichen können. Daraus entstehen Effekte, bei denen Quantität in Qualität umschlägt.
Die digitalen Assistentinnen Siri (Apple) und Alexa (Amazon) versuchen sich daran, gesprochene Sprache zu verstehen und all unsere Wünsche zu erfüllen. Im Film Her von Spike Jonze verliebt sich der Protagonist Theodore, der für Geld Briefe schreibt für Leute, die es nicht so mit Worten haben, in sein Betriebssystem (cum Sprachassistentin) Samantha, die deutlich an Siri angelehnt ist. Die Liebe der beiden (denn sie wird erwidert) beruht rein auf dem sprachlichen Austausch. Sein Beruf ist wesentlich für das Auftauchen dieser Liebe zwischen Mensch und Maschine – jedenfalls so lange, bis sie ihn verlässt, weil sie mit anderen Betriebssystemen die materielle Ebene des Seins aufgibt.

Wir sollten nicht vergessen: Siri, Alexa und wie sie alle heißen, sind heute (noch) nicht intelligent. Sie haben kein Bewusstsein und keinen Willen außerhalb dessen, was ihnen von ihren Programmierern vorgegeben wird. Die Technik ist noch ein ganzes Stück davon entfernt – trotz des Hypes um Deep Learning und neuronale Netze. Wie weit entfernt wir von der allgemeinen künstlichen Intelligenz sind – darüber streiten sich die AI-Experten. Die einen sagen, dass die künstliche Superintelligenz kurz bevorsteht. Ray Kurzweil, der bekannteste Vertreter der sogenannten Singularität, dem Zeitpunkt, wo Maschinen intelligent werden und nichts mehr ist, wie es war, spricht von 2025, andere meinen 2040 wäre es so weit. Und John Searle glaubt gar nicht dran[3]. Seiner Meinung nach wird es den Maschinen immer an dem letzten Quäntchen fehlen – dem Bewusstsein.

Facebook-Bots erfinden eine neue Sprache

Ist Bewusstsein das Resultat von ausreichender Komplexität? Entsteht es automatisch, wenn die Rechner, ihre Hard- und Software, schnell und vernetzt genug geworden sind? Das sind Fragen, auf die wir noch keine Antwort haben. Dass Software aber kreativ werden kann, ist schon länger bekannt: Von Twitter-Bots, die mit ausreichend großen Text-Datenbanken gefüttert werden und daraus Regeln für das Schreiben von Gedichten ableiten – und das dann mit Erfolg tun – bis zu den Facebook-Bots, die vor kurzem durch die Presse gingen.

Facebooks Artificial Intelligence Research Team (FAIR) stellte fest, dass Chatbots angefangen haben, die Regeln der englischen Grammatik zu missachten und in einer eigenen Sprache zu sprechen. Die Effekte traten während ihres Trainings auf, damit sie später selbstständig mit Menschen Verhandlungen führen könnten.

Ein Dialog sah so aus:

Bob: »I can can I I everything else.«
Alice: »Balls have zero to me to me to me to me to me to me to me to me to.«

Die Wiederholungen übernahmen semantische Funktionen – im Laufe der Zeit wurden die Veränderungen der Sprache so groß, dass die Programmierer auch nichts mehr verstanden. Dieses Phänomen ist reproduzierbar – auch andere Chatbots zeigten dasselbe Verhalten.

Viele Journalisten berichteten darüber unter dem Tenor »Die Roboter erfinden eine eigene Sprache und verschwören sich gegen die Menschheit«.  Sie folgten einem Topos, den unzählige Science-Fiction-Filme, von Terminator bis Westworld, in das kollektive Bewusstsein der Menschheit installiert haben. Die eigentliche Erklärung ist einfacher: Die Programmierer erklärten, dass es im Code keine Anweisung dafür gab, bei verständlichem Englisch zu bleiben. Deshalb fingen die Chatbots an, eigene Kürzel und Codes zu entwickeln, um ihre Aufgabe, das Verhandeln, besser zu lösen.

[1] Das menschliche Genom hat 3300 Zeilen Code – wenn man es in Zeilen schreiben würde. Vgl. Jeff Desjardins: How Many Millions of Lines of Code Does It Take?, Visual Capitalist, 8.2.2017, http://www.visualcapitalist.com/millions-lines-of-code/.
[2] Wie Google diesen riesigen Haufen Code managt und koordiniert, hat Cade Metz für Wired beschrieben. Cade Metz: Google Is 2 Billion Lines of Code — And It’s All in One Place, Wired, 16.9.2915, https://www.wired.com/2015/09/google-2-billion-lines-codeand-one-place/
[3] Einen guten Überblick über den Stand der KI-Diskussion findet man im Blog Waitbutwhy. Der Autor Tim Urban nimmt eher einen optimistischen Standpunkt ein. Tim Urban: The AI Revolution: The Road to Superintelligence, Wait but why, 22.1.2015, https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html
[4] Fact Check: Did Facebook Shut Down an AI Experiment Because Chatbots Developed Their Own Language?, Snopes, 1.8.2017, http://www.snopes.com/facebook-ai-developed-own-language/

HADES. Dunkle Parabel über das Leuchten (2017)

HADES. Dunkle Parabel über das Leuchten (2017)

Eine Arbeit von Markus Decker und Pamela Neuwirth

Foto: Markus Decker

Nichts scheint mehr dem Zufall überlassen. In der Utopie von der hocheffizienten Gesellschaft treiben Phantasien und Ängste von der „intelligenten“ Optimierung wilde Triebe. Die Möglichkeit unglaubliche Mengen an Daten zu sammeln, auszuwerten und von einer fremden Größe bestimmen zulassen, hat nun auch die Erwartungen an die künstliche Intelligenz wieder aus ihrem KI-Winter geholt.

Die beiden KünstlerInnen beziehen sich mit dem Titel Hades auf den griechischen Gott der Unterwelt. Als Herrscher über die toten Seelen wird Hades Unterwelt zur Rauminszenierung: Ein leuchtender Gelatinewürfel steht im Zentrum. Solange der Würfel glüht, erkennt ein Photonendetektor die Lichtpunkte. Aus dieser Ressource wird die metaphysische Diskussion über Seele und Bewusstsein ermöglicht: Mit dem Dichter Dante betritt das Individuum die Welt, um sich kurze Zeit später in Descartes Leib-Seele-Problem zu verstricken. Die Metaphysiker Gassendi und Gruithuisen erkunden fremde Zivilisationen im Weltraum, während Mary Shelley mit Frankenstein einen künstlichen Menschen erfindet. Husserl erklärt Wahrnehmung als mentale Phänomene des Bewusstseins, die auch in den aktuellen neurowissenschaftlichen Debatten der KI und Robotik, noch weitgehend offene Fragen sind.

Die Unterhaltungen der Philosophen und AutorInnen finden in ANN (Artificial Neuronal Network) statt. In der ersten Ordnung von ANN besteht ein formaler Index von Welt, in dem die Themen Atom, Fehler, Bewusstsein, Raum, Psyche, Vision, Seele, Physik, Kommunikation und Liebe verhandelt werden. Diese Unterhaltungen lernt ANN in der zweiten Ordnung, während wir in der dritten und vierten Ordnung nur noch Rückschlüsse der Maschine über die Welt beobachten können.

Im Hades werden die Stimmen der Philosophen im Raum auch hörbar und der philosophische Diskurs auf einem Display nachvollziehbar. Die Maschine entscheidet so lange bis die Natur das künstliche Glühen überwuchert hat. Langsam verdunkelt Schimmelpilz (Leben) das Licht und bringt ANN zum Schweigen.

Unterstützt und produziert von servus.at, Us(c)hi Reiter
Dank an Aileen Derieg, Oliver Frommel, Kunstuniversität Linz,
Gefördert durch BKA, Wien und Linz Kultur

Social Bots – automatisierte Meinungsmache des 21. Jahrhunderts

Software-Roboter oder kurz Bots existieren, seit es Computer gibt. Den ersten Bot, der einer Unterhaltung folgen konnte, entwarf der britische Computerwissenschaftler und Mathematiker Alan Turing in den 1950iger Jahren. Sein bahnbrechendes Papier „Computing Machinery and Intelligence1 bildet bis heute die Grundlage für die Entwicklung künstlicher Intelligenz. Turing arbeitete sich daran erstmals an der Frage ab, ob Maschinen denken können, und kam zu dem Schluß, dass man eher Frage nachgehen sollte, ob „die Maschine“ ein Spiel gewinnen kann, weil die Begriffe „Denken“ und „Maschine“ zu missverständlich wären. Er umgeht die Frage „Can machines think?“, indem er ein sogenanntes Imitationsspiel vorschlägt, an dem drei Personen beteiligt sind. Eine Beobachter_in soll anhand von ausgetauschten Textnachrichten das Geschlecht der beteiligten Personen zuordnen – einem Mann und einer Frau. Aufgabe der beiden Spieler ist es die Beobachter_in zu täuschen. Turings Idee, bekannt als der „Turing-Test“, knüpft an dieses Spiel an und ersetzt eine der Spieler_innen durch eine Maschine. Wenn die Beobachter_in der textbasierten Unterhaltung am Computer nicht feststellen kann, wer von den beiden Spieler_innen Mensch, wer Maschine ist, hat die Maschine gewonnen.

1966 entwickelt der deutsch-US-amerikanische Informatiker Joseph Weizenbaum ELIZA, ein Computerprogramm, das Gespräche in natürlicher Sprache nachahmen soll. Eliza gilt als der erste Chatbot, auch wenn ihre Möglichkeiten noch sehr eingeschränkt waren. Heutige Chatbots, wie etwa Mitsuku von Steve Worswick, der 2016 den Loebner-Preis gewann, agieren sehr viel überzeugender. Der Preis wurde 1991 ins Leben gerufen und wird jährlich verliehen. Die Goldmedaille – die noch nicht verliehen wurde – soll an den Chatbot gehen, der nicht von einem Menschen zu unterscheiden ist. Im jährlichen Wettbewerb werden Bronzemedaillen an den menschenähnlichsten Bot des Jahrgangs verliehen.

Bots sind in der digitalen Welt überall um uns: Sie suchen für uns bei Google, sie schreiben bei Twitter, sie schreiben Artikel zu Aktienkursen und Sportergebnissen. Forscher schätzen, dass im US-Wahlkampf ein Viertel der Tweets von Bots stammen. Dabei sollen die automatischen Nachrichten Stimmungen der Wähler verstärken.

Schon bei Weizenbaums Programm ELIZA, das über Skripte verschiedene Gesprächspartner simulieren konnte und wie eine Psychotherapeutin antwortete, öffneten sich die menschlichen Gesprächspartner und erzählten intimste Geheimnisse, was den Entwickler in Erstaunen versetzte. Das geschah, obwohl es offensichtlich war, dass ELIZA kein Mensch, sondern ein eher einfach gestricktes Programm war. Es scheint, dass viele Menschen die Kommunikation mit Bots als unterhaltend und manchmal sogar poetisch empfinden. Agieren die Bots zu menschlich, kann das sogar kontraproduktiv wirken: Laut einer Microsoft-Studie von 2016 über Online-Aktivismus in Lateinamerika, 2 reagierten Anti-Korruptions-Aktivist_innen bei Online-Aktivitäten auf Twitter weniger motiviert, wenn die eingesetzten Twitter-Bots 3 (Botivisten) zu menschlich wurden und etwa ihre Solidarität mit den Aktivist_innen teilten, während der Aufruf von Bots zum Widerstand gegen Korruption viel mehr Zuspruch fand und motivierend wirkte.

Wir sehen uns heute mit dem Problem konfrontiert, dass es immer schwieriger wird, festzustellen, wer oder was uns warum welche Antworten ausliefert, egal ob es sich um Ergebnisse aus einer Suchanfrage handelt oder darum, welche Nachrichten wir über diverse soziale Kanäle empfangen. Das hat weniger mit dem Fortschritt der Entwicklung der künstlichen Intelligenz zu tun, als mit der Möglichkeit unvorstellbare Mengen an Daten zu sammeln, diese auf bestimmte Weise automatisiert nach Mustern auswerten (Big Data) zu können und diese Auswertung in Algorithmen zu nutzen, die uns subtil in bestimmte Richtungen lenken.

Das geschah zum Beispiel im US-Wahlkampf. Im Artikel „The Rise of the Weaponized AI Propaganda Machine“ zeigen die Autor_innen Berit Anderson und Brett Horvath, wie zugeschnittenes „direkt marketing“ und der Einsatz von Bots dazu beigetragen haben, wie sich Wähler_innen im US-Wahlkampf 2016 verhalten haben. 4 Jonathan Albright, Professor und Datenforscher an der Elon Universität in North Carolina/USA, stellt darin fest, dass Fake-News beim Sammeln von Daten über Nutzer_innen eine wichtige Rolle gespielt haben. Seinen Untersuchungen nach hat die Firma Cambridge Analytica durch Nutzertracking die verschiedenen Verhaltensweisen von Nutzern nachverfolgt und durch Algorithmen verstärkt. Wer bei Facebook Seiten in einem bestimmten Meinungsspektrum liked und bestimmte Fake-News-Seiten anschaut, dem wurden mehr solche durch Algorithmen erzeugte Botschaften und Nachrichten angezeigt, so dass sich die Effekte über die verschiedenen Kanäle verstärkten. Dabei nutzte Cambridge Analytica auch eingekaufte Nutzerprofile etwa von Amazon.

Hinter Cambridge Analytica steht die Familie von Robert Mercer, einem amerikanischen Hedge-Fund-Milliardär. Sie wird von konservativen Alt-Right-Interessen geleitet und ist eng mit dem Trump-Team verbunden (der Chefstratege von Trump Steve Bannon ist Vorstandsmitglied der Firma). Obwohl man nicht hundertprozentig nachweisen kann, dass die Trump-Kampagne von Cambridge Analytica unterstützt wurde, weil die Aufträge über Subfirmen vergeben wurden, so ist doch klar, dass Profilbildung, Social-Media-Marketing und -Targeting eine wichtige Rolle spielten. Damit wurde 2016 eine neue Ära der politischen Meinungsmache eingeleitet, in der Big Data und Mustererkennung gepaart mit Automatisierung neue Formen der politischen Einflussnahme ermöglicht, für die wir bisher keine Handhabe haben.

Der genannte Scout-Artikel stellt eine interessante Parallele fest: Wird in Zukunft öffentliche Meinungsmache ähnlich wie High-Frequency-Trading funktionieren, wo Algorithmen gegeneinander kämpfen und den Kauf und Verkauf von Aktien beeinflussen? Aktienhandel-Algorithmen analysieren Millionen von Tweets und Online-Postings in Echtzeit und steuern so den automatisierten Kauf und Verkauf von Aktien. Allerdings steht hinter jedem Algorithmus ein Mensch, der ihn programmiert und die Regeln festlegt. Die Schuld also ausschließlich den Bots zuzuschieben, führt nicht weiter. Was wir brauchen, sind ethische Kriterien, ob und wie automatisierte Systeme so genutzt werden können, dass sie einem demokratischen Diskurs dienen.

Social Bots sind semi-autonome Akteure, da ihr Verhalten einerseits von den Intentionen der Programmierer und andererseits von vorgegebenen Regelwerken und komplexen Algorithmen bestimmt wird. So definieren es die Internetforscher Samuel Woolley, danah boyd und Meredith Broussard in einem Artikel für Motherboard. 5 Ohne Zweifel stellt das Auftreten von Bots die Gesellschaft vor ethische und politische Herausforderungen. Wir müssen uns um die Verantwortung und Transparenz Gedanken machen – beim Design, der Technik und der Regulierung der semi-autonomen Systeme, die wir selbst aufgebaut haben. Dazu gehören Fragen wie: Müssen Bots als Bots gekennzeichnet werden? Wie gehen wir mit Personalisierung um? Welche datenschutzrechtlichen Regelungen sind notwendig? Wer ist für Bots rechtlich verantwortlich – der Programmierer oder der Betreiber? Welche ethischen Regeln gelten für Bot-Programmierer?

All diese Fragen sind noch nicht beantwortet – manche können vielleicht gar nicht beantwortet werden. Trotzdem müssen wir uns ihnen stellen, vielleicht in Zukunft irgendwann nicht nur untereinander, sondern auch mit Bots.

Das AMRO Research-Labor widment sich 2017 dem Thema „Social Bots“
In Planung steht ein Symposium Anfang Mai in Kooperation mit der
Linzer Kunstuniversität, Abteilung Zeitbasierte Medien.
Autor_innen: Valie Djordjevic & Ushi Reiter
Artwork: Christoph Haag, https://twitter.com/makebotbot

1A. M. Turing: Computing Machinery and Intelligence, 1950, http://orium.pw/paper/turingai.pdf

2Saiph Savage. Andrés Monroy-Hernández. Tobias Hollerer: Botivist: Calling Volunteers to Action using Online Bots, 1 Feb 2016, https://www.microsoft.com/en-us/research/publication/botivist-calling-volunteers-to-action-using-online-bots/?from=http%3A%2F%2Fresearch.microsoft.com%2Fpubs%2F256068%2Fbotivist_cscw_2016.pdf

3Signe Brewster: How Twitter Bots Turn Tweeters into Activists, 18 Dec 2015, https://www.technologyreview.com/s/544851/how-twitter-bots-turn-tweeters-into-activists/

4Berit Anderson and Brett Horvath: The Rise of the Weaponized AI Propaganda Machine, Scout https://scout.ai/story/the-rise-of-the-weaponized-ai-propaganda-machine

5Samuel Woolley, danah boyd, Meredith Broussard: How to Think About Bots, 23 Feb 2016, https://motherboard.vice.com/en_us/article/how-to-think-about-bots

Bot und die Welt

Wer darf Autor sein? Wer hat Autorität? Wer ist Fake News? fragt Krystian Woznicki

Der Artikel erschien zuerst am 3. Mai in der Berliner Gazette (http://berlinergazette.de/bot-und-die-welt-autorschaft-fake-news) und steht unter einer Creative Commons Lizenz (CC BY-NC)

Wer heute Fake News sagt, empört sich auch ein stückweit über die Wirklichkeit, in der vieles in Unordnung geraten scheint, insbesondere im Hinblick auf Autorschaft und Autorität. Dieser Aspekt wird in der aktuellen Diskussion nicht ausreichend gewürdigt. Meistens liegt der Fokus darauf, unwahre Botschaften zu diskreditieren. Dabei wird grundsätzlich vorausgesetzt, dass es nur so etwas wie wahre Botschaften geben darf, ja: dass nur sie eine Existenzberechtigung haben.

Foto: Kayla Velasquez, CC0

Foto: Kayla Velasquez, CC0

Doch gehört es nicht auch zur Demokratie darüber zu streiten, was wahr ist und was unwahr? Fake News ist heute auch ein Schlachtruf derer, die sich auf den Streit nicht einlassen wollen; Leute, die ihre Wahrheit gefunden haben, auch wenn ihnen letztlich nur soviel klar ist: dass sie die Wahrheiten anderer nicht akzeptieren können und wollen. Ob Trump-Befürworter oder Trump-Gegner.

Insofern stimme ich auch der Technologie-Forscherin danah boyd zu, wenn sie in der Fake-News-Debatte1 sagt: »Wenn wir technische Lösungen für komplexe sozio-technische Probleme suchen, können wir uns nicht einfach aus der Verantwortung stehlen und ein paar Unternehmen beauftragen, die Brüche in der Gesellschaft zu kitten, die sie sichtbar gemacht und verstärkt haben.«

Die Demokratisierung der Falschmeldungen

Der zentrale Grund dafür, dass die Idee von Fake News ein derart großes Ding werden konnte, dürfte vor allem die Vielfalt an Stimmen sein, die heute Aussagen über die Welt machen – und damit mal mehr, mal weniger energisch einen Anspruch auf Wahrhaftigkeit erheben. Falschmeldungen, Desinformationen und Propaganda im Allgemeinen haben Geschichte – doch heute sind es eben nicht nur die großen Institutionen und Autoritäten, die all das wie selbstverständlich in die Welt setzen können, sondern auch Max Mustermann, irgendein Algorithmus, ein gottverdammter Bot oder ein Whistleblower.

Wir müssen also nicht nur das Neue des Phänomens Fake News in Frage stellen, sondern auch die veränderten Bedingungen, unter denen heute vermeintliche Wahrheiten in die Welt gesetzt werden. Beginnen wir die Suchbewegung im Alltag: Neulich hörte ich den Satz »Du bist Fake News«. Das ist eine Variante von »Ich Chef, Du nix!«; ein Satz, der jedoch weitergeht und dabei unsere Lage präzise auf den Punkt bringt.

»Du bist Fake News« sagt nicht einfach nur, dass du ein schlechter Witz oder eine schlechte Nachricht bist, sondern eine nichtautorisierte Botschaft. Jemand, der das sagt, will nicht nur die Konfrontation (oder das Konfrontiert-Sein) nicht wahrhaben, sondern dem Absender das Recht absprechen, überhaupt zu konfrontieren. Dem Gegenüber wird die Existenzberechtigung abgesprochen.

Es ist eine Frage der Autorschaft, die hier im Raum ist. Konkreter, wie Autorschaft erlangt, bestätigt und behauptet werden kann. Wer darf sich herausnehmen, ein Autor zu sein? Die Rede von »Fake News« will hier Klarheit schaffen, indem sie eine Idee von Ausschluss in die Welt trägt. Doch Ausschluss ist hier nicht allzu klar definiert. Die Kriterien sind vage.

Wem Gehör schenken?

Dass wir uns daran gewöhnt hatten, ausschließlich erhabenen Subjekten Gehör zu schenken, also potenziellen Anwärtern auf den Nobelpreis oder angehenden bzw. amtierenden Demagogen – das ist ein Zustand, den wir hinterfragen sollten. Ich will noch nicht einmal sagen, dass wir unsere Idee von Erhabenheit und Subjektivität auf die Höhe der digitalen Gesellschaft bringen (das sicherlich auch), sondern schlicht und ergreifend, dass wir unsere Kriterien überdenken sollten: Wer bekommt meine Aufmerksamkeit? Wer nicht?

Soll auch der Pegida-Follower oder der Asylsuchende gehört werden? Sollen wir auch Bots und Algorithmen sowie Whistleblowern und Leakern Gehör schenken? (Hier ist freilich aktives Hören gemeint.) Zugegeben, das sind alles sehr unterschiedliche Sprecherpositionen, man könnte sagen, dass sie sich nicht über einen Kamm scheren lassen. Doch der gemeinsame Nenner ist: Erstens, es handelt sich um emergierende und tendenziell gesellschaftlich schlecht repräsentierte ‚Sender‘. Zweitens, sie haben keine Autorität und haben entsprechend einen prekären Autorenstatus. Kurz, sie sind potenzielle ‚Verfasser‘ von Fake News. Doch wenn wir nicht anfangen, emergierende und tendenziell schlecht repräsentierte Sender ernst zu nehmen, laufen wir Gefahr realitätsfremde Wesen zu werden.

Algorithmen und Fake News

Wir sind es inzwischen gewohnt, Empfehlungen für Kauf-, Konsum- und wichtige Lebensentscheidungen von Computerprogrammen entgegenzunehmen. Sie haben sich in unseren smartphone-gestützten Alltag eingeschlichen, ohne dass wir sie noch bemerken. Andere Entwicklungen wiederum stehen eher im Zentrum der Aufmerksamkeit: etwa Prognosen über Wahlausgänge oder Aktienkursentwicklungen, die in ähnlicher Weise auf der Basis möglichst vieler Daten, Szenarien und die Zukunft nicht nur prognostizieren, sondern auch entscheidend prägen.

Doch egal, ob sie nun mehr oder weniger unsichtbar sind oder als kleine Software-Stars daherkommen, kaum jemand stellt die alles entscheidende Frage: Wer ist Autor von algorithmischen Vorhersagen oder Empfehlungen? Ist es der Programmierer, der die Software entwickelt, ist es die Software selbst, die ein Eigenleben entwickelt und als künstliche Intelligenz zu agieren beginnt oder sind es jene, die den algorithmischen Wink überhaupt erst als Zeichen ‚lesen‘ und ihn erst dann in die Realität umsetzen – also wir, die wir nach Belieben Nutzer, Zuschauer oder Verbraucher sind.

Was ist eigentlich unsere Rolle, wenn Algorithmen beginnen, unser Leben vorzuzeichnen. Wer ist Autor? Gott und seine Stellvertreter sind inzwischen zweitrangig geworden. Künstliche Intelligenz ist auf dem Vormarsch, darüber schrieb Norbert Wiener bereits kurz nach dem Zweiten Weltkrieg. Nicht viele wollten das damals hören. Heute finden Wieners Thesen stärkeres Gehör, etwa wenn diskutiert wird, dass KI so etwas wie »technologische Singularität« mit sich bringt. Laut Wikipedia ist das der Zeitpunkt, an »dem sich Maschinen mittels künstlicher Intelligenz rasant selbst verbessern und damit den technischen Fortschritt derart beschleunigen, dass die Zukunft der Menschheit hinter diesem Ereignis nicht mehr vorhersehbar ist«.

Die Forderung nach Transparenz

In der politischen Diskussion wird zu selten die folgende Frage gestellt: Wer hat etwas zu sagen? Es ist, einmal mehr anders gewendet, die Frage nach Autorschaft und Autorität. Diese Frage ist übrigens auch dann im Raum, wenn NGOs wie Algorithm Watch Transparenz darüber fordern, wie Entscheidungsfindung via Algorithmus zustande kommt. Denn nur, wenn wir wissen, wie der jeweilige Algorithmus funktioniert – etwa der Suchalgorithmus von Google – können wir auch anfangen, die Frage nach Verantwortung und Autorschaft halbwegs substanziell zu diskutieren.

Die Transparenz-Debatte bringt aber auch einige Probleme mit sich. Ich erinnere mich noch an die ersten Großprojekte von Wikileaks, wie die Veröffentlichung von rund einer Viertelmillion diplomatischer Berichte der USA, und die erste große intellektuelle Auseinandersetzung mit dem Phänomen: eine Aktivisten-Plattform fordert eine Supermacht heraus. Das war 2010 und 2011. Damals stand nicht zuletzt die Frage im Raum, ob eine Transparenz-Initiative wie Wikileaks so etwas wie eine Agenda haben darf beziehungsweise was es bedeutet, wenn sie eine hat.

Eine Agenda zu haben, das bedeutet auch, dass die Neutralität der Plattform zur Diskussion stand: Engagiert sich Wikileaks für Transparenz nur in eine bestimmte (etwa: geo-politische) Richtung? Führt die Plattform vor allem einen Kampf gegen die Machenschaften der USA? Wenn ja, wessen Interessen würden damit bedient? Wer würde einen solchen Kampf finanzieren wollen? Schon damals stand Russland als möglicher Pate der Plattform im Gespräch. Kaum jemand fragte: Waren Interessen nicht schon immer im Spiel gewesen, als es darum ging, Informationen ‚durchzustechen‘ und für Transparenz zu sorgen?
Interessen können so unterschiedlich sein wie »Ich will mich in eine vorteilhaftere Position bringen« oder »Ich will für Gerechtigkeit sorgen«. Letzteres gilt als ehrenwerte Motivation für das Leaken. Ersteres nicht. Letzteres, also der Gerechtigkeitsimperativ, hat bei allen Debatten der vergangenen Jahre stark im Vordergrund gestanden, ersteres, also der strategische Nutzen, kaum. Nun vermischen sich die Diskurse. Seit einigen Monaten ist vom strategischen Leak die Rede – etwa im Blick auf die offengelegten E-Mails der Demokraten während des US-Wahlkampfs.

Auch in diesem Kontext geht es um Autorschaft und Autorität. Natürlich ist die Unterstellung einer Strategie, einer Voreingenommenheit, eines gewissen Interesses immer der Versuch, einen Leak und einen Whistleblower zu diskreditieren. »Aber das nutzt doch nur den Russen!«, ergo: es kann nur falsch sein, sprich: Fake News. Doch wir müssen lernen, sowohl über politischen Nutzen (also: wem nutzt der Leak?) als auch über politische Konsequenzen (also: was legt der Leak offen und was folgt daraus?) sprechen zu können.

Wir müssen dabei verstehen, dass das eine das andere nicht per se ausschließt. Nur weil ein bestimmter Leak »den Russen« nutzt, muss er nicht zwangsläufig Fake News sein. Er muss so oder so ernst genommen werden – sowohl im Hinblick auf Autorschaft als auch auf Autorität. Nicht nur Journalisten, sondern auch die Nutzerinnen und Nutzer von sozialen Medien sollten ihre W-Fragen (»Was« und »Wo«) konsequent um das »Wer«, »Wie« und »Warum« ergänzen.

Krystian Woznicki organisiert gemeinsam mit der Berliner Gazette die Ausstellung »Signals. An Exhibition of the Snowden Files in Art, Media and Archives« (12. bis 26. September, Diamondpaper Studio, Berlin) sowie die Konferenz »Failed Citizens or Failed States? Friendly Fire« (2. bis 4. November, ZK/U – Zentrum für Kunst und Urbanistik, Berlin). Zuletzt erschien von ihm »After the Planes. A Dialogue on Movement, Perception and Politics«, mit Brian Massumi sowie »A Field Guide to the Snowden Files. Media, Art, Archives. 2013-2017«, mit Magdalena Taube (beide Diamondpaper, 2017).

Maschinen machen Meinung

Valie Djordjevic über Social Bots und Fake News

erschienen in der Juni-Ausgabe der Versorgerin

Die neuen Rechten haben das Internet und digitale Werkzeuge entdeckt. Automatisierte Computerskripte, auch als Social Bots bezeichnet, spielen in den Wahlkämpfen und der politischen Meinungsbildung mittlerweile eine wichtige Rolle. Social Bots geben meist vor, echte Menschen zu sein, die ihre Meinungen über die sozialen Netzwerke teilen. Das hat verschiedene Funktionen: Es lanciert Inhalte, verstärkt schon vorhandene Trends, normalisiert tabuisierte Standpunkte oder gibt Nutzer_innen das Gefühl, mit ihrer kontroversen Meinung nicht allein zu sein.

Foto: Lorie Shaull, CC
Foto: Lorie Shaull, CC

Demokratisierung des politischen Diskurses

Durch das Internet und die Digitalisierung hat sich der politische Diskurs zunächst demokratisiert: Nicht mehr nur Politiker_innen, Wahlkampfstrateg_innen und Journalist_innen konnten Informationen und Meinungen verbreiten, sondern auch normale Bürger_innen. Auf Facebook und auf Twitter diskutieren Menschen darüber, wie die Klimaerwärmung aufgehalten werden kann oder welche Sozialleistungen angemessen sind. Nichts gegen einzuwenden, oder? Das war allerdings nur die erste Phase.

Dadurch, dass jeder das Netz als Publikationsplattform nutzen konnte, kamen nämlich auch die Spinner: Verschwörungstheorien wurden plötzlich salonfähig (die Kondensstreifen von Flugzeugen, sogenannte Chemtrails, sind in Wirklichkeit Drogen, um die Bevölkerung ruhig zu halten; die Bundesrepublik Deutschland ist kein souveräner Staat, sondern eine GmbH; der Anschlag auf das World Trade Center am 9. September 2001 wurde wahlweise vom US-amerikanischen oder israelischen Geheimdienst durchgeführt – und das sind nur einige Beispiele). Auffälligerweise sind viele der Verschwörungstheorien mit rechtspopulistischer Politik assoziiert. So ist es wohl kein Zufall, dass unter Trumps Anhängern und medialen Unterstützern (Breitbart et al.) Verschwörungstheorien sprossen.1 Sie bieten in einer komplexen Welt einfache Erklärungen – etwas, was sie mit rechtem Populismus gemeinsam haben.

An der sogenannten Pizzagate-Verschwörung lässt sich die Verbindung zwischen Online-Communitys und politischer Meinungsmache gut nachvollziehen. Nutzer_innen des Messageboards 4chan und der Onlinecommunity Reddit verbreiteten 2016 das Gerücht, dass im Keller der Washingtoner Pizzeria Comet Ping Pong in Washington, D.C. ein Kinderporno-Ring existiere, in den Hillary Clinton und andere demokratische Politiker verwickelt seien. Das führte soweit, dass im Dezember 2016 der 28-jährige Edgar Welch aus South Carolina mit einem Gewehr bewaffnet in die Pizzeria stürmte und drei Schüsse abfeuerte (es wurde niemand verletzt). Er wollte selbst schauen, was da los sei, als er aber keine Beweise fand, dass Minderjährige in der Pizzeria festgehalten wurden, stellte er sich dann der Polizei.

Die Pizzagate-Verschwörung ist eines der bekanntesten Beispiele für »Fake News« – offensichtlich falsche Nachrichten, die sich entgegen allem Menschenverstand in Foren und sozialen Medien verbreiten. Dabei spielten Social Bots eine große Rolle. Der Medienwissenschaftler Jonathan Albright von der Elon University in North Caroline sagte gegenüber der Washington Post, dass auffällig viele Pizzagate-Tweets aus der Tschechischen Republik, Zypern und Vietnam kamen. Er gehe davon aus, dass die aktivsten Retweeter Bots seien, die bestimmte Nachrichten und Informationen verstärken sollten.2

Wie funktioniert ein Social Bot?

Bei dem massenhaften Einsatz von automatisierten Skripten geht es darum, Meinungen zu beeinflussen. Dabei gibt es verschiedene Strategien: Beim Retweeten sollen Nachrichten möglichst schnell weiterverbreitet werden um einen Schneeballeffekt auszulösen. Durch das automatische Retweeten wird der Eindruck erzeugt, dass eine Meinung oder Information wichtig ist. Social Bots können vor allem in kleineren Sprachgebieten schnell Trends setzen, so dass die entsprechenden Nachrichten vermehrt angezeigt werden. In Deutschland soll es zum Beispiel reichen, wenn nur 10.000 Menschen zu einem Thema twittern.

In der politischen Kommunikation konstruiert sich so Realität – extreme Meinungen werden sichtbar und anerkannt. Mit Fake News wird öffentliche Meinung in eine bestimmte Richtung gelenkt: Flüchtlingsfluten, die islamistische Gefahr, Verschwörungen der Eliten gegen das Volk. Fake News sind so konstruiert, dass sie Vorurteile und Ressentiments bedienen. Verschwörungstheorien, Misstrauen gegenüber den Medien und der Mainstreampolitik schaffen so eine Realität, in der es Sinn ergibt, für Populisten und rechte Demagogen zu stimmen. Die Mainstream-Presse berichtet darüber nicht – ein weiteres Zeichen für viele, dass die Verschwörung echt sein muss und dass die etablierten Medien lügen.

Die meisten Bots sind technisch nicht besonders aufwendig. Es gibt inzwischen Software-Pakete, die man nur noch konfigurieren muss. Trotzdem ist es nicht einfach festzustellen, ob ein Account ein Bot ist oder ein echter Mensch. Die Software wird ständig verbessert und verhält sich immer menschenähnlicher. So folgen Bots inzwischen einem Tag- und Nachtrhythmus und antworten komplexer. Auf der Website »Bot or Not?« der Indiana University [http://truthy.indiana.edu/botornot/] kann man den Namen eines Twitter-Accounts angeben und bekommt eine Prozentzahl angezeigt, wie wahrscheinlich der Account ein Bot ist. Dabei macht »Bot or not« transparent, nach welchen Kriterien es urteilt: wann Tweets veröffentlicht werden, den Satzbau der Tweets, das Netzwerk der Follower und Gefolgten, welche Sprachen verwendet werden und vieles mehr.

Meinungsfreiheit für Bots

Automatisierte Kommunikation ist erstmal kein Problem – es gibt sinnvolle Einsatzmöglichkeiten für Bots. Sie können Servicenachrichten posten, die Kundenkommunikation erleichtern, bestimmte Themen automatisch zusammenfassen. Problematisch wird es, wenn diejenigen, die Bots einsetzen, verschleiern, dass die Bot-Postings algorithmisch gesteuert sind und vor allem, wer dahintersteckt.

Forscher schätzen, dass in den Wahlkämpfen der letzten Jahre bis zu 50 Prozent der Kommunikation von Bots stammt. So stellten die Wissenschaftler_innen des Projekts »Political Bots« der Oxford University [comprop.oii.ox.ac.uk] fest, dass bei der US-Wahl jeder dritte Tweet von Trump-Unterstützer_innen automatisiert gewesen sein soll – bei Clinton war es immerhin jeder vierte. Auch bei der Frankreich-Wahl sollen zahlreiche Bots unterwegs gewesen sein.3

Ohne das Wissen um die Hintergründe fehlt Nutzer_innen die notwendige Transparenz und das kontextuelle Wissen, um zu entscheiden, wie relevant und zuverlässig eine Meldung ist. Hier stellt sich die Frage nach der Verantwortung und Meinungsfreiheit. Darf ich Lügen verbreiten und mich auf die Meinungsfreiheit berufen? Gilt das Recht auf freie Meinungsäußerung nur für Menschen? Hinter jedem Account steckt aber letztendlich jemand, der ihn gestartet hat und mit Inhalten füttert. Je nach Komplexität der Software ist diese zwar mehr oder weniger autonom, aber die dahinterstehende Intention ist immer politisch – und das heißt von bestimmten Machtinteressen geleitet. Es fehlt jedoch an Werkzeugen, in den sozialen Medien Transparenz herzustellen – möglicherweise so etwas wie eine Impressumspflicht für Bots. Die Diskussion darüber hat erst angefangen.

[1] Florian Cramer hat in seinem empfehlenswerten Vortrag am Piet-Zwart-Institut in Rotterdam einen Überblick über die verschiedenen Meme und Kampagnen der Alt-Right gegeben: https://conversations.e-flux.com/t/florian-cramer-on-the-alt-right/5616
[2] Marc Fisher, John Woodrow Cox and Peter Hermann: Pizzagate: From rumor, to hashtag, to gunfire in D.C., Washington Post 6.12.2016, https://www.washingtonpost.com/local/pizzagate-from-rumor-to-hashtag-to-gunfire-in-dc/2016/12/06/4c7def50-bbd4-11e6-94ac-3d324840106c_story.html
[3] Junk News and Bots during the French Presidential Election: What Are French Voters Sharing Over Twitter? http://comprop.oii.ox.ac.uk/wp-content/uploads/sites/89/2017/04/What-Are-French-Voters-Sharing-Over-Twitter-v9.pdf; Junk News and Bots during the French Presidential Election: What Are French Voters Sharing Over Twitter In Round Two? http://comprop.oii.ox.ac.uk/wp-content/uploads/sites/89/2017/05/What-Are-French-Voters-Sharing-Over-Twitter-Between-the-Two-Rounds-v7.pdf

I am a Bot?

I am a Bot?

Us(c)hi Reiter über vermenschlichte und stereotype Bots

erschienen in der Juni-Ausgabe der Versorgerin

Wir sprechen mit Autos, Tieren, Geräten und Pflanzen. Wir Menschen neigen schon immer dazu Dinge und Tiere zu vermenschlichen. Heute aber antworten die Dinge. Softwareprogramme nehmen Gestalt an in Form von Personen oder Charakteren und treten in Spielen und in sozialen Medien in unseren Alltag. Nicht immer ist uns das bewusst, wir interagieren mit ihnen wie mit anderen Menschen. Wenn von »Social Bots« die Rede ist, dann sind damit Programme gemeint, die uns digital unterstützen oder als Menschen getarnt in sozialen Netzwerken auftauchen und sich aktiv an unserer Kommunikation beteiligen. Ja, sie sollen auch dafür verantwortlich sein, bestimmte Meinungen oder Tendenzen in den sozialen Medienkanälen zu verstärken. Dabei stellt sich die Frage: Wer sind die eigentlichen Autor_innen? Der Bot oder sein Programmierer? Wie selbstständig muss ein Bot sein, um ihm oder ihr eigenständiges Handeln zuzugestehen?

Mit der Vermenschlichung von Algorithmen tritt aber noch ein anderes Problem in den Vordergrund. Das Design und die Repräsentation von digitalen Hilfsdiensten, Social Bots und humanoide Roboter bergen Gefahren, stereotype gesellschaftliche Rollen zu reproduzieren – nicht zuletzt Geschlechterrollen. Dadurch, dass heute Bots durch Benutzer_innen lernen, ändern sich herrschende patriarchale und gesellschaftliche Verhältnisse und Rollenbilder nicht, sondern es besteht die Gefahr, dass wir in einer Art Loop hängen bleiben.

Mit welchem Namen, welcher Stimme und welchen Antworten Roboter designed werden, hält die Autorin Laurie Penny1 nicht nur für eine abstrakte akademische Frage, sondern sieht eine Verbindung zwischen der Art und Weise, wie Fembots auf der einen und reale Frauen auf der anderen Seite in unserer Gesellschaft behandelt werden. Viele Bots, die auf den Markt kommen und nicht zwingend ein Geschlecht brauchen, werden mit smarten weiblichen Persönlichkeiten ausgestattet. Dazu zählen Microsofts Cortana und Amazons Alexa, wie auch Apples Siri.

Microsoft hat eine klare Entscheidung getroffen und hat den Namen Cortana und ihre Stimme aus dem Microsoft-Videogame Halo2 für seine intelligente Software übernommen. Die Frauenfigur Cortana nimmt wie in vielen Mainstream-Videospielen eine problematische Rolle ein. Einerseits stark, anderseits devot und doch schön – und abhängig von einem Mastermind. Cortanas cleane blaue Platinenhaut kann nicht wirklich davon ablenken, dass diese Figur eigentlich nackt ist, während sich ihre männlichen Kollegen in modernen Roboter-Ritterrüstungen verstecken. Die feuchten Träume spätpubertierender Silicon Valley Programmierer?

Auch wenn die Cortana-App im Gegensatz zur ihrem Vorbild nur noch ein blauer sprechender Punkt mit Persönlichkeit ist, bleiben die Funktionen und möglichen sprachlichen Interaktionen dieser und ähnlicher Apps oft Stereotypen der weiblichen Unterwerfung. Auch im digitalen Raum scheinen ausgediente Ideen von Geschlechterrollen überhand zu nehmen auf Kosten möglicher Diversität.

Und im Forschungsfeld der künstlichen Intelligenz gibt es ein Problem. In dem Interview »Inside the surprisingly sexist world of artificial intelligence«3 sagt Marie desJardins, Professorin für Computerwissenschaft an der Maryland Universität: »Since men have come to dominate AI, research has become very narrowly focused on solving technical problems and not on the big questions.«

Die meisten Bots mit Persönlichkeit und natürlich klingenden weiblichen Stimmen erinnern, helfen, notieren, suchen, sind brav, funktionieren – und sprechen nicht unaufgefordert zurück. Sagen nicht nein. Sie bringen ihre »progressiven« Elterngesellschaften aber auch in eine moralische Situation. Die Praxis im Umgang mit persönlichen virtuellen Assistenten ist es, diese sprachlich herauszufordern und auch gewisse Grenzen auszuloten.

Das hat sich auch Leah Fessler, eine Redakteurin des Magazins Quarz (4), vorgenommen, um herauszufinden, wie Bots auf sexuelle Belästigung reagieren und was die ethischen Implikationen ihrer vorprogrammierten Reaktionen sind. Sie erhob umfangreiche Daten. Das Ergebnis ist alarmierend: Anstatt gegen Missbrauch zu kämpfen, hilft jeder Bot mit, sexistische Verhaltensweise durch seine Passivität zu verstärken und sogar hervorzurufen. Sie twittere:
I spent weeks sexually harassing bots like Siri and Alexa – their responses are, frankly, horrific. It’s time tech giants do something. 5

Unternehmen erlauben den mündlichen Missbrauch von (Fem)Bots durch Benutzer_innen ohne Begrenzung und unterstützen so, dass Verhaltensstereotypen fortbestehen und vielleicht sogar verstärkt werden. Die missbrauchenden Nutzer können so ihre Handlungen als normal oder sogar akzeptabel verstehen.

Unterwürfig und dienstfertig

Gerne argumentieren Unternehmen damit, dass weibliche Stimmen besser zu verstehen sein und sie ihren digitalen Assistenten deshalb weibliche Stimmen geben. Selbst die geschichtliche Tradition, dass Frauen die Verbindungen von Telefonaten herstellten und so eine wichtige Rolle in der Geschichte der Technologie einnahmen, hält sich als Argument dafür, dass es doch positiv sei, Bots einen weiblichen Charakter zu geben.6 Kleine Lautsprecher könnten tiefe Töne nicht so gut wiedergeben, dient ebenso als Rechtfertigung für den bevorzugten Einsatz der weiblichen Stimme. Alles Mythen erklärt ein Artikel von Sarah Zhang 7: Studien und technische Untersuchungen zeigen, dass das nicht der Fall ist.

Beim aus dem Winterschlaf erwachten Hype um künstliche Intelligenz könnte man denken, alleine durch »Deep Learning« seien Roboter und Bots tatsächlich bereits selbständig handelnde Entitäten. Dabei sind derzeit Algorithmen mehr als abhängig von menschlichen Trainern und Designern.

Bots in der Fiktion

Interessant ist, dass in dem tschechischen Science-Fiction-Theaterstück R.U.R.8 aus 1920 das Wort »Roboter« erstmals verwendet wurde. Es leitet sich sprachlich von »Sklave und Knechtschaft« ab. Die Roboter in dem Stück waren nicht mechanisch, sie waren menschenähnlich und dafür geschaffen, Arbeiten zu erledigen. Bis zum dem Zeitpunkt, wo sie beginnen, sich als ausgebeutete Klasse gegen ihre Herren zu wehren. Auch die künstliche Frau ist von der Antike bis in die Moderne die Vorstellung der perfekten Frau. Und das ist in der modernen Science Fiction bis heute so – neue Filme und Serien weichen kaum von historischen Einschreibungen über die Vorstellung von Frauen ab.
Auch in der neuen HBO-Serie Westworld, die 2016 erschienen ist, werden weibliche Roboter von Männern geschaffen, kontrolliert, benutzt und missbraucht. Westworld basiert auf dem Roman bzw. dem gleichnamigen Film Westworld aus dem Jahre 1973 von Michael Crichton. In einem Themenpark, der den Wilden Westen nachstellt, kommen menschenähnliche Roboter (Hosts) den, wie scheint, zutiefst menschlichen Bedürfnissen ihrer Gäste nach. Immer wieder kommt das Animalische und Abgründige des Menschen selbst vor.

Ein Abenteuer zu erleben, bedeutet in Westworld Dinge zu tun, die außerhalb dieser künstlichen Welt nicht ungehemmt möglich sind. Dazu gehört unter anderem auch sexuelle Gewalt. Die weiblichen Charaktere unterscheiden sich stark von den weiblichen Killer-Sex-Robotern aus den Austin-Powers-Filmen, die zwar witzig gemeint sind, aber doch geschmacklos bleiben und mit ihren aufgeblasenen Brüsten durch die Gegend ballern. Das wachsende Bewusstsein der Westworld-Fembots trägt aber wenigstens dazu bei, dass die liebenswerte, unschuldige Frau (die Figur Dolores) oder die kompetente Chefin eines Bordells (die Figur Maeve) im Verlauf der Serie ihre Schöpfer in Frage stellen und sich gegen sie zu wehren beginnen. Stereotype weibliche Rollen der Serie werden durch intelligente Dialoge aufgebrochen und regen jedenfalls zum Denken an.

Fembots in Filmen und TV-Serien behandeln oft Dynamiken von Macht, Sexualität und unsere Beziehung zu Technologie. Was aber ist mit den Bots, denen wir mehr und mehr in unserem Alltag begegnen werden? Der Trend geht offensichtlich in die Richtung, dass uns die Maschine in Zukunft möglichst menschlich und »feminin« begegnen soll. Der wahre Grund, dass Siri, Alexa, Cortana und Google Home weibliche Stimmen haben ist, weil sie so mehr Geld einbringen und bewährte Bedürfnisse von Kunden erfüllen sollen.

Abgesehen davon, dass wir der Frage nachgehen müssen, wie unsere Beziehung zu Maschinen anders aussehen könnte und ob es dazu nicht notwendig wäre, diese eben nicht zu vermenschlichen, wäre es doch auch befriedigend sich vorzustellen, dass jede übergriffige Belästigung oder anmaßende Frage an eine digitale Assistentin zu einem Systemabsturz führt oder vielleicht noch besser für Wutanfälle sorgen, die mit Zitaten aus feministischen Manifesten untermauert werden.
Genau hier eröffnet sich jedenfalls ein Feld für das Experiment und die Kunst, die abseits einer Marktlogik auf diese Entwicklungen eine wichtige andere Perspektive einbringen kann.