Big Data, Künstliche Intelligenz und was das mit uns zu tun hat – Interview mit Jay Tuck

0

Keinen Post mehr verpassen? Folge uns auf Facebook oder Twitter!

Undogmatisch spricht mit Jay Tuck, dem ehemaligen Leiter der Tagesthemenredaktion über die Themen aus seinem Buch Evolution ohne uns. Im Fokus stehen dabei Big Data und die Möglichkeiten der Massenüberwachung mit Hilfe von Künstlicher Intelligenz (KI). Insbesondere an den Gefahren von KI sind wir interessiert und natürlich daran, wie man diesen begegnen kann.

Setting the Stage

Es ist Mittwochvormittag als ich mich auf den kurzen Weg von Hannover nach Hamburg mache. Am Himmel zeigt sich klassisch nordisches Wetter: grau-bedeckt. Immerhin kein Regen, denke ich. Das Interview ist seit zwei, drei Wochen abgemacht und schließt an meine Lektüre von Tucks neuestem Buch Evolution ohne uns an. In der Zwischenzeit sind mir vermehrt Texte über das Thema Künstliche Intelligenz aufgefallen, egal ob im Internet, oder in den größeren Printmedien, das Thema scheint en vogue zu sein. Dabei ging es oft um die Gefahren, die von einer Künstlichen Intelligenz ausgehen können. Eine Sensibilität für das Thema scheint es also mittlerweile zu geben; eine gute Grundlage für das Buch von Jay Tuck, der es auch zur Buchmesse in Frankfurt präsentieren wird und sich eine breite Leserschaft wünscht. Das Thema ist also aktuell, brisant und spannend, eine sehr gute Voraussetzung, um darüber zu berichten, Bücher zu schreiben und zu diskutieren, denn eins wird auch im Gespräch mit Tuck klar: Es ist aller höchste Eisenbahn!

Wir treffen uns im Hamburger Schanzenviertel. Wie gewohnt bin ich eine Dreiviertelstunde zu früh vor Ort und kann mich noch etwas umsehen. Zugegeben: Von der Schanze hörte ich bereits, konnte mir aber bisher weder ein klares Bild machen noch habe ich mich genauer informiert. Also flanierte etwas umher. Und siehe da: Die Schanze ist ein hippes Szeneviertel. Es erinnerte mich an Neukölln oder Kreuzberg: Obdachlose, Arme, Migranten leben seit an seit mit Yuppies, Reichen und Hipstern. Ein Geschäft für teuren Nippes liegt neben dem Eingang zu einer Art Kommune, die mit Hilfe eines Plakats das Sterben im Mittelmeer anprangert.

Ich brauch eine Pause, es ist zu viel Zeit zum Interview. Noch ist mir nicht nach Essen und ich schaue mich nach einem Café um. Zu sagen, dass es hiervon einige gibt, wäre eine Untertreibung. Am Schluss betrete ich eine Espresso Bar und bestelle mir einen Doppelten. Dann bemerke ich die anderen Gäste und mir wird wieder klar, wie hip dieses Viertel sein muss. An einem Tisch sitzt ein Mann Ende 50, raspelkurze graue Haare, Bomberjacke, dazu Skinny-Jeans, die bis zum Knöchel gekrempelt sind, an den Füßen schicke Nike Sneaker.  Vor sich hat er – ganz klassisch – einen Café Latte oder Latte Macchiato, die Unterschiede gehen mir leider ab, sodass ich es nicht näher bestimmen konnte. Ansonsten befinden sich mit mir in der Bar: Zwei Hipster, die schwer bei Fritz-Getränken an ihren MacBooks arbeiten und eine Familie aus der oberen Mittelschicht, Mann, Frau, zwei Kinder – alles ganz süß und viel zu perfekt.

tuckjayIch war dann tatsächlich auch froh, als ich meinen Espresso ausgetrunken und wieder gehen konnte.
Jetzt war es auch endlich soweit: Ich klingelte in der Annahme Jay Tuck abzuholen, doch er lud mich spontan in seine Wohnung ein. Dort begrüßte mich auch seine Frau und schnell war klar: die beiden sind sehr gute Gastgeber. Was für eine Ausgangslage für ein Interview.


Das Interview

Einleitung

Undogmatisch: Herr Tuck, vielen Dank, dass Sie sich Zeit für uns nehmen.

Jay Tuck: Gerne doch, schießen Sie los.

U: Sie haben vor über 2 Jahre mit der Recherche für Ihr Buch begonnen und damals haben nur sehr wenige die Relevanz des Themas Künstliche Intelligenz erkannt. Wie sind Sie selbst auf das Thema aufmerksam geworden?

JT: Ich bin seit langem als Journalist auf Sicherheit spezialisiert; mein letztes Buch hieß Die Computer-Spione. Das ist von diesem Thema nicht so weit entfernt. Außerdem: Ich verfolge die Entwicklungen in diesem Bereich seit Jahren, schon in meiner Zeit als Leiter der Tagesthemenredaktion. Ich war und bin technikaffin, auch in meiner Rolle als Journalist, weil ich denke, dass Technologie extrem wichtig für unser Leben ist. Das wurde weithin unterschätzt, auch in den öffentlich-rechtlichen Sendern. Die Resonanz damals war sehr gut, als wir mit Techonologiethemen aufgemacht haben und damit meine ich nicht games & gadgets, sondern Entwicklungen im Baubereich, in der Raumfahrt oder im medizinischen Bereich. Eben alles was unseren Alltag wirklich verändert. So war ich nah dran an den Themen und ursprünglich war ich auf dem Weg ein Buch über Big Data zu schreiben. Das merkt man dem Buch auch an, doch während ich an dem Buch schrieb erschienen sehr viele zu diesem Thema. Da habe ich dann entschieden lieber weiterzugehen und über KI zu schreiben.

Big Data

U: Die Entstehungsgeschichte verdeutlich warum ihr Buch sich im ersten Drittel intensiv mit Big Data beschäftigt. Sie bildet ja die Grundlage für fortschrittliche KI.

JT: Richtig! Einerseits muss man die Big Data Thematik kennen, um KI zu verstehen. Das ist technisch relevant, da eine KI ohne Big Data nicht viel bringt und auch nicht viel kann – sie wäre praktisch tot. Andererseits politisch: Big Data hat uns wie ein Tsunami überrascht. Unsere Gesellschaft war nicht darauf vorbereitet. Die Geschwindigkeit in der sich die Computertechnologie entwickelt hat ist unglaublich. Wir können es nicht verstehen. Unser Intellekt kann ein lineares Wachstum begreifen, also: das wächst um 20% oder 200% im Jahr. Aber wenn es exponentiell wächst, dann verstehen wir es nicht, das können wir nicht begreifen. Deswegen ist der erste Satz in dem Buch: Wir sind zu doof dafür. Also wir sind wirklich zu doof dafür, in dieser Größenordnung Dinge zu verstehen und ich nenne das die Googlegrößenordnung. Was dabei an Informationen vorliegt ist Wahnsinn. Um Big Data zu begreifen und zu verarbeiten, um sie kommerziell, geheimdienstlich, militärisch, oder im Management zu nutzen, ja dafür sind wir zu blöd. Wir können das nicht. Und deswegen ist das die Grundlage um über KI zu schreiben.

Ein Sinn des Buches war für mich immer, dass unsere Gesellschaft nicht schon wieder überrollt wird von einer Entwicklung, die so rasend schnell auf uns zukommt. Und mit einem Mal. Mit Big Data haben wir festgestellt, dass unsere Grundrechte nicht mehr gelten. Das recht auf einen Durchsuchungsbefehl, oder das Recht auf richterliche Anordnung beim Abhören. Diese Dinge werden einfach gemacht. Wir sind nicht mehr geschützt und deswegen muss sich die Gesellschaft vorbereiten.

U: Was schätzen Sie also, wie sehr werden die Datenbestände über die Bürger und die Möglichkeiten durch staatliche Stellen ausgenutzt? Für wie gefährlich halten Sie die Überwachung durch staatliche Stellen?

JT: Also private Überwachung ist viel größer und viel gefährlicher in meinen Augen als die staatliche Überwachung. Denn der Staat interessiert sich tatsächlich nur für bestimmte Terroristen, die sie wie die Nadel im Heuhaufen suchen und finden wollen.

Die Privatwirtschaft aber interessiert sich für jeden und für jeden Aspekt von jedem und da ist die Überwachung viel größer und viel gründlicher. Wir haben eine Entwicklung, bei der wir den Geist nicht mehr zurück in die Flasche stopfen können. Man kann die Atombombe nicht unerfinden, die ist ja nunmehr da und hat sich auch verbreitet. Und Big Data ist auch nunmehr da. Also niemand kann Big Data abschaffen. Die versuche in Brüssel und in Deutschland mit Datenschutz das Problem in den Griff zu bekommen, sind absolut lächerlich. Wir müssen viele Dinge in unserem demokratischen System von Grund auf neu denken und neu erfinden.

U: Sie deuten es auch in ihrem Buch an, nationale Ansätze helfen wenig. Denken Sie wir bräuchten eine digitale Grundrechtscharta bzw. ein Grundgesetz fürs Internet, das weltweit gilt?

JT: Die Daten fließen an allen nationalen Kontrollen einfach vorbei. Und das wird sich nicht ändern. Man kann keinen Datenzaun errichten, das funktioniert einfach nicht. Und die Hoffnungen, als Merkels Handy abgehört wurde und sie ein neues bekam, mit einem deutschen Sicherheitssystem. Toll. Und drei Wochen später ist das System an Kanada verkauft worden. Diese Dinge können wir nicht rückgängig machen. Es ist eine Illusion, wenn wir denken, wir könnten das verhindern. Wir müssen nur wissen, wie wir damit umgehen. Das ist ja eine schwierige aber grundlegende Frage, bei der man viel Kreativität braucht, viel Sachverstand und den haben wir im Bundestag und Europaparlament zurzeit nicht. Und wir brauchen die Mitwirkung der Industrie, um das zu verstehen. Und ich habe die Lösungen auch nicht. Mein Zweck ist es, auf die Problematik aufmerksam zu machen und zwar so gut und Intensiv ich kann. Wichtig ist: Ohne Problemerkenntnis findet man keine Lösung.

Künstliche Intelligenz

U: Dann lassen Sie uns auf das Thema der KI kommen. Wann kommt das, was Sie Singularität nennen?

JT: Es ist schon da. Ich meine, Künstliche Intelligenz hat uns schon überholt, in ganz vielen Bereichen. Das haben wir nicht so richtig wahrgenommen, aber KI kann und tut heute schon Dinge, die wir nicht verstehen und die wir nicht nachvollziehen können. Zum Beispiel die Börse, die wir im Fernsehen sehen: Das ist ein Schauspiel. Egal ob Frankfurt, New York oder London, da wird vor Ort kaum noch gehandelt. Der Massenhandel wird mit Computern gemacht und das rasend schnell. In Mikro-, Makro-, oder Nanosekunden und dabei kommt es auf den schnellsten Rechner, die besten Algorithmen an. Diese Algorithmen werden mittlerweile von KI geschrieben und hier heißt KI: Eine Software, die sich selbst fortschreibt.

Sie kann sich selbst schreiben und updaten. Jeder, der an KI arbeitet, weiß, dass was KI schreibt können ihre Erfinder in der Regel nicht mehr verstehen. Die Codezeilen und Algorithmen, die KI entwickelt, können schon nach kurzer Zeit nicht mehr von Menschen nachvollzogen werden. Am Ergebnis sehen wir aber, dass es funktioniert, wie an der Börse. Und damit kann man Millionen verdienen. Nur was dahinter steckt, weiß man nicht mehr so genau. Wir wissen also: es ist schon jetzt außer Kontrolle.

U: In diesem konstatierten Kontrollverlust sehen sie das Problem: Wir können nicht mehr nachvollziehen, was und wie KI sich selbst verändert.

JT: Genau, wir müssen auf den Ist-Zustand schauen. Nur wenn die Menschen, den Ist-Zustand verstehen, können wir über die Zukunft nachdenken. Der Ist-Zustand beispielsweise in der Preisgestaltung bei Fluglinien ist so: Die Preise im Internet sind immer unterschiedlich, je nachdem wer wann wo auf die Vergleichsportale schaut. Und selbst die zuständigen Vorstände in den Unternehmen begreifen nicht unbedingt, wie die einzelnen Preise zustande kommen, d.h. sie können die Programme, die die Preise erzeugen, nicht nachvollziehen. Aber nicht nur die Fluggesellschaften, sondern das betrifft auch die Vergleichsportale. Beide Parteien verstehen nicht mehr, was da passiert. In ganz vielen Bereichen benutzen wir schon heute KI, vor allem in Bereichen, wo wir es selber nicht besser können.

Ich halte viele Vorträge zu diesem Thema. Und das ist ganz toll, da ich dabei immer ein Feedback bekomme, was haben die Leute verstanden und was haben sie nicht verstanden. Und der wichtigste Punkt ist, dass sie den Ist-Zustand nicht begriffen haben. Sie haben nicht verstanden was hier und heute, und überall auf der Welt gemacht wird mit KI. Und wenn man das versteht, dann kann man auch sagen wohin das geht und mit welcher Geschwindigkeit. Ich beginne meine Vorträge immer mit Überwachung. Ich spreche über Argus, das ist ein Intelligence-pod, ein Gehäuse voll mit Überwachungsinstrumenten, das vor eine Drohne montiert wird.

Ich kenne ein Video, das zeigt, wie dieses Ding funktioniert: Die Drohne fliegt über eine Stadt und die Kameras zoomen dann eine Einzelperson heran und du kannst erkennen wohin sie geht und die Gesichtserkennung funktioniert mittlerweile auch von oben. Ich zeige dies den Leuten und ich zeige ihnen den Erfinder von Argus, der auf seine Erfindung sehr stolz ist. Guck mal ich kann eine Einzelperson erkennen. Das macht er nur, weil wir doof sind. Wir sind nur Menschen. Wir können das Argussystem nur begreifen, wenn wir es an einer Person demonstriert bekommen. Es fährt an eine Person heran und wir sehen sie.

Wer sich in der Materie auskennt, der weiß, das ist alt. Das kann man aus dem Weltraum. Was speziell an Argus interessant ist: Es kann eine ganze Stadt überwachen.

Jeder Mensch, der sich in dieser Stadt bewegt, hat eine Nummer und ist erkannt. Von wenigen Ausnahmen abgesehen. Auch alle Fahrzeuge der Stadt werden gleichzeitig erfasst. Alles wird aufgenommen. Dahinter steckt eine KI, die diese bewegten Bilder von allen Menschen, gleichzeitig verarbeitet – in Echtzeit. Hier und jetzt.

Und es kann die Echtzeitbilder mit den gespeicherten Daten abgleichen, wohin ist er denn wann, wie oft gefahren in den letzten zwei Wochen usw. Argus erkennt dies alles Gleichzeit. Wir begreifen es nur, wenn wir es personalisiert vorgestellt bekommen.

Und Argus ist nur ein System – es gibt viele davon. Du könntest damit günstig das ganze Land überwachen. Das ist gängige Technologie und auch nicht nur geheimdienstliche, denn die Geheimdienste sprechen öffentlich über diese Technologie. Daraus können wir schließen, dass die schon ganz wo anders sind in Forschung und Entwicklung.

U: Ist es dann nicht nur eine Frage der Zeit, wann sich die KI verselbstständigt?

JT: Ja, aber teilweise hat es sich das auch. Es schreibt seine eigene Software. Es ist nicht mehr aufhaltbar. Was ich damit sagen wollte: Wie definieren wir, wann es uns überholt hat? Eine Definition wäre: Es spielt besser Schach und Backgammon, es kann die bessere Stadtplanung machen, es ist in der Lage, in einem Krankenhaus eine MRI-Aufnahme besser zu analysieren als jeder Radiologe. Wenn du mit den besten Radiologen Deutschlands sprichst, dann sagen sie dir, dass die Maschine die Aufnahme besser analysieren kann und eher den Krebs diagnostizieren kann als sie selbst. In ganz vielen Bereichen sind wir also schon überholt worden. Wir sind zu doof dafür. Wir neigen dazu, uns als unausweichliche Höchststufe der Evolution zu betrachten – das glaube ich nicht. Ich denke, dass die Evolution ohne uns weitergehen kann.

jaytuckmitkillerdrohnereaper

Wir vermenschlichen alle möglichen Dinge. Ein Orkan hat einen Menschennamen, ein Hund hat einen Menschennamen, und kann Pfötchen geben. Wir versuchen unsere Umgebung in menschlicher Weise zu verstehen: Ein Physiker redet mit einem Physiker und ein Straßenarbeiter redet mit einem Straßenarbeiter. Wir sind nicht so gut darin, Dinge zu begreifen die über unseren Horizont hinausgehen. Und alle sind sich einig: KI wird tausendmal intelligenter sein als die gesamte Menschheit. In einer Größenordnung, die wir nicht verstehen und da geht es hin.

Handlungsmöglichkeiten

U: Denken Sie, die Verankerung ethischer Grundsätze, wie die berühmten drei Gesetze von Isaac Asimov, würde helfen und uns schützen? Oder könnte es sich darüber hinwegsetzen, wenn diese dem Ziel, dass es erreichen soll im Weg stehen?

JT: Wir sollten uns nicht einbilden, dass wir eine Superintelligenz stoppen können, wenn sie etwas Anderes will. Und wir sollten uns auch nicht einbilden, das wir verstehen werden, was sie will – das begreifen wir nicht. Sie macht ihr Ding und das macht sie gut und reproduziert sich immer weiter.

Manche haben die Vorstellung: Dann ziehen wir eben den Stecker raus und fertig ist. Wie bei HAL in dem Film „Odysee im Weltraum“. Das funktioniert aber nicht, KI sitzt nicht in einer Box irgendwo beim MIT oder in München oder sonst wo, sondern sie ist vernetzt. Sie ist dezentral. Sie lebt im Internet der Dinge. Wenn sie mehr Programmleistung braucht, vernetzt es sich und holt sich mehr Leistung. Wenn es mehr Daten braucht, besorgt es sich die. Dafür baut es irgendwo in der Welt blitzschnell tausende Verbindungen auf, holt sich was sie braucht und dann verschwindet wieder. Und überall wo sie hingeht, ähnlich wie Insekteneier, hinterlegt sie überall kleine Backups. Das kann man mit Stecker ziehen nicht lösen, denn irgendwo auf einem Smartphone oder Rechner wird es noch ein Backup geben.

U: Stecker ziehen, hieße dann aber doch, quasi jedes elektronisches Gerät, abzuschalten oder zu vernichten. Was uns auch in ein mehr oder weniger vorelektrisches Zeitalter katapultieren würden, da heute immer mehr Geräte vernetzt sind.

JT: Das funktioniert auch nicht, es ist einfach undenkbar. Aber eins weiß man, wenn sich eine KI verselbstständigt, wird es auf jeden Fall ein Ziel haben: Lebenserhaltung. Es hat eine Aufgabe und die kann es nur wahrnehmen, wenn sie sich selbst erhält. Wenn irgendwas kommt, z.B. ein dummer Mensch und versucht es zu behindern, oder auszuschalten, dann wird es dagegen vorgehen. Und ich glaube, die KI ist besser darin als der Mensch.

Und mit ethischen Grundsätzen á la der Mensch soll glücklich sein, kann es passieren, dass es uns zwingt alle Heroin zu nehmen, denn im Rausch sind wir ja glücklich. Es muss ja nicht böswillig sein, solche Kategorien hat eine KI nicht.

U: Denken Sie eine KI kann ein Bewusstsein entwickeln und darüber hinaus auch Emotionen?

JT: Es wird diese simulieren können, fehlerfrei und perfekt, aber empfinden wird es nicht, es wird sein Programm durchziehen. Und wir sind sehr gefährdet, wenn wir uns einbilden, wir hätten eine emotionale Basis mit einer KI und könnten uns darauf einlassen. Die Emotionen sind bei der KI nicht da. Was da ist: Ein Simulant, der alles simulieren kann und uns manipulieren. Aber es wird keine echten Emotionen haben, das heißt aber nicht, dass es uns nicht überlegen ist, es ist uns haushochüberlegen.

Aber: Die Fixierung auf einen Roboter oder eine, vermenschlichte, KI lenkt nur ab, von den Dimensionen und Ausmaßen über die wir eigentlich sprechen müssen. KI kann eine gesamte Stadt überwachen.

Effekte von KI auf Menschen

U: Sie berichten in Ihrem Buch, von Ihrem Freund Thomas: Sie sagen:„Es geht ihm zu schnell, viel zu schnell. Und er weiß, das Tempo wird sich immer weiter beschleunigen. Er hält die Schnelligkeit – und die Größe – der Internetwelt für bedenklich. Er sieht darin die Entwurzlung des Einzelnen.“Das ist schon hart, denn der einzelne entscheidet sich ja noch immer selbst, ob er ins Internet geht und diese Dienste zu nutzen. Heutzutage hat man sehr oft noch die Möglichkeit zu wählen. Doch was meinen Sie bzw. Ihr Freund mit Entwurzelung?

JT: Ich kenne viele Menschen, die nicht mehr so jung sind. Viele haben Angst vor dieser Entwicklung, denn sie haben ein Allgemeinwissen in der Schule erworben. An der Uni und bei der Doktorarbeit haben sie ihr Wissen erweitert. Und das ist ihr Wert. Das gehört zu ihnen, es ist untrennbar mit ihnen verbunden. Und wenn diese Menschen, Architekten, Ärzte usw. merken, dass was ich gelernt habe, hat keine besondere Relevanz mehr und all die Dinge, die ich auswendig gelernt habe oder die ich gelesen habe. Verglichen mit der Googlegrößenordnung da draußen, ist das nichts, es ist nichts mehr wert. Es zieht einem den Boden unter den Füßen weg. Es ist das intellektuelle und emotionale Fundament auf dem sie stehen. In der Größenordnung mit der wir es zu tun haben., bedeutet es für viele Menschen, dass die Art und Weise was und wie sie gelernt haben Makulatur ist. Es geht nicht mehr darum, dass Schweiß-und-Muskeljobs ersetzt werden, sondern es geht bald auch an die Akademiker, die ersetzt werden.

U: Damit geht es nun wieder an die ‚berufliche Ehre’ anderer Gruppen, die nun durch Maschinen ersetzt werden. Es geht ja um Selbstverständnis und –wert der betreffenden Berufe und Menschen. Sehen Sie darin ein großes Konfliktpotential? Die Frage ist ja, was können wir tun, was sind Sofortmaßnahmen oder Forderungen an die Politik vor dem Hintergrund dessen, was sie in ihrem Buch beschreiben?

JT: Erstmal zu Konfliktpotentialen: Wird es bestimmt geben, aber KI einzugrenzen wird schwierig, weil sie so gut ist. Sie ist so gut in dem was es macht. Wer soll was dagegen haben, wenn KI mein Krebs erkennt während mein Arzt es noch nicht sieht. Wer soll dagegen protestieren? Aber irgendwann merken wir, alle Bereiche in denen wir Verantwortung tragen, haben wir scheibchenweise abgegeben und dann kannst du es nicht mehr zurückholen, du kannst es nicht mehr unerfinden.

U: Machen wir uns damit nicht selbst unmündig? Indem wir die Verantwortung immer mehr abgeben. Und irgendwann wird KI – zu unserem besten, wer kann was dagegen haben – uns sagen, wie wir leben sollen.

JT: Es ist ja jetzt schon so, dass kaum ein Mensch mehr einen Stadtplan lesen muß. Warum denn auch, ich habe doch ein Navi. Und ich kaufe nicht mal mehr ein Navi, ich habe alles in meinem Telefon. Viele Skills, die wir haben, brauchen wir nicht mehr. All diese altbewerten Skills und damit Wissen, geht uns verloren. Das brauchen wir nicht mehr. Das ist toll, solange Google du Co. noch auf unserer Seite sind.

U: Aber wir werden nicht merken, wann Google und die anderen die Seiten gewechselt haben. Das ist doch unser Problem.

JT: Richtig, wir werden es nicht merken. Wir sind zu doof dafür.

U: Was erhoffen Sie sich für Ihr Buch?

JT: Ich hoffe mir natürlich eine weite Verbreitung zu finden und in Folge dessen, dass es eine große und ergiebige Debatte darüber gibt, wie wir als Gesellschaft mit KI umgehen können und wie wir KI ethisch und demokratisch in den Griff kriegen. Das wäre ein großartiger Erfolg.

U: Vielen Dank für Ihre Zeit.

JT: Ich danke Ihnen.

Evolution-ohne-uns_Cover-Layout.indd
© Plassen Verlag, Verwendung genehmigt.

Jay Tuck: Evolution ohne uns. Wird Künstliche Intelligenz uns töten?
Blassen Verlag, 2016, 336 Seiten, 19,99 €.

Ein Rezensionsexemplar wurde uns vom Verlag zur Verfügung gestellt.
Ebenso möchten wir uns bei Quadriga Communications bedanken, die uns dabei betreut haben.

Verwendung des Beitragsbildes im Rahmen dieser Besprechung freigegeben von Autor/Verlag.

Evolution ohne uns.

Kommentar verfassen