Google Trends als Datenquelle unzureichend
Eine Studie hat ergeben, dass die Ergebnisse von Google Trends unzuverlässig sind. Es ist fragwürdig, ob das Analysetool hinreichend realistische Aussagen zum Suchverhalten trifft.
Suchanfragen im Internet beeinflussen Politik und Wirtschaft. Warum? Weil sie einen Hinweis darauf geben, was die Gesellschaft bewegt. Suchen Personen beispielsweise vermehrt nach Symptomen einer Krankheit, kann dies auf eine steigende Infektionsrate schließen lassen. Insbesondere in der Corona-Pandemie versuchten Wissenschaftler*innen weltweit den Verlauf des Virus vorherzusagen und stützten sich unter anderem auf Google Trends. Google Trends ist ein öffentlich zugängliches Tool, das Statistiken zum Suchverhalten im Internet anbietet. Es zeigt an, welche Begriffe wie oft nachgefragt werden. Die Suche kann auf Regionen und Zeitpunkte eingegrenzt werden.
Ein weiteres Beispiel für die Relevanz von Google Trends ist die Identifikation von Konsumtrends, was für die Wirtschaft ein gerne genutzter Hinweis zu Produktgestaltung, Sortiment, Preisbildung und Werbung ist. Auch die Entwicklung von Aktienkursen kann sich mit der Google Analyse vorhersagen lassen. Was bedeutet es also, wenn die Analysen von Google Trends fehlerhaft sind? Politische und wirtschaftliche Entscheidungen basieren ggf. auf falschen Grundlagen.
Dem Big-Data-Beratungsunternehmen Hase & Igel, assoziierter Partner des ZDIN Zukunftslabors Gesellschaft & Arbeit, fielen bei der Arbeit an einem KI-Tool massive Schwankungen bei den Ergebnissen aus Google Trends auf. Gemeinsam mit Forschern der Leibniz Universität Hannover (Forschungszentrum L3S[1]) und der Carl von Ossietzky Universität Oldenburg (Abteilung Very Large Business Applications[2]) untersuchte Hase & Igel das Problem anhand von mehr als 6.800 Suchabfragen.
„Wir sind für unsere Marktanalysen und -prognosen auf die Zusammenführung und Qualitätskontrolle von Big Data Quellen rund um menschliches Verhalten im Netz spezialisiert – so haben wir auch die erheblichen Schwächen von Google Trends aufgespürt“, erklärt Jan Schoenmakers, Geschäftsführer Hase & Igel. „Es verwundert uns, dass nicht auch Experten der Wirtschaftsweisen, Landesregierungen und LKAs, die ebenfalls mit diesen Daten arbeiten, bei solchen Schwankungen stutzig geworden sind – denn bei der Arbeit mit „wilden“ Verhaltensdaten aus dem Netz ist immer Besonnenheit angebracht.“
Das interdisziplinäre Team fand heraus, dass im Schnitt 25 % der Daten, die Google Trends liefert, weder repräsentativ noch wiederholbar sind. Identische Suchabfragen zu späteren Zeitpunkten führen zu gänzlich unterschiedlichen Ergebnissen. Woran kann das liegen? Dr. Sergej Zerr, Forschungsgruppenleiter am Forschungszentrum L3S und Projektleiter im Zukunftslabor Gesellschaft & Arbeit, gibt eine mögliche Erklärung auf diese Frage: „Google verarbeitet für die Trendanalyse nicht alle Suchanfragen, die gestellt werden, sondern wertet sie stichprobenartig aus. Die Stichproben sind offenbar so unterschiedlich, dass sie oft nicht aussagekräftig und auch nicht vergleichbar sind. Es reicht aus, eine identische Suchabfrage mit einem Abstand von einer Stunde laufen zu lassen, um unterschiedliche Trends für denselben Zeitraum angezeigt zu bekommen.“ Bei der Untersuchung fand das Team heraus, dass insbesondere bei Analysezeiträumen von weniger als acht Monaten häufig so unterschiedliche Ergebnisse erzielt werden, dass sie Analysen stark verfälschen können.
Mit diesen Ergebnissen konfrontierte das Team Google. Während inzwischen ein inoffizieller Austausch zwischen Google und den Forschern stattfindet, bliebt die offizielle Aussage von Google bislang ernüchternd: Abweichungen seien nur gering und kämen lediglich bei seltenen Suchanfragen zu Nischenthemen vor. Dass dies den Ergebnissen der Untersuchung widerspricht, ist offensichtlich. Denn selbst für beliebte Suchbegriffe mit einem großen Volumen weichen laut der Studie die Ergebnisse teilweise um 100 % voneinander ab.
„Indem Google Journalisten und Unternehmern Google Trends als „Fenster zur Welt“ empfiehlt und repräsentative Sichtproben zusichert, werden die Nutzer im Unklaren gelassen über die Risiken in den Daten,“ kritisiert Schoenmakers. „Google bietet mit Trends einen wichtigen Service, doch sollte entweder eine ausreichende Verlässlichkeit der Daten sicherstellen, oder zumindest mit einer „Ampelkennzeichnung“ für jeden verständlich anzeigen, wie verlässlich die gerade ausgelieferten Daten sind.“ Schoenmakers empfiehlt allen Google Trends Nutzer*innen, Suchbegriffe über einen längeren Zeitraum hinweg zu beobachten und wenn möglich, Data Science Expert*innen hinzuzuziehen, um möglichst sichere Trendanalysen durchzuführen.
Die Studie fand ein reges Interesse in der Forschungscommunity sowie deutschen Medien (z. B. haben die Tagesschau und t3n die Arbeit aufgegriffen und das Whitepaper zählt bereits zu den meistgelesenen bei ResearchGate). In einem weiteren Schritt wird das Team die Untersuchungen auf weitere Sprachen, Länder und Datenquellen von Google ausweiten. Die vollständige Studie ist unter diesem Link abrufbar.
(Quelle: ZDIN)