PreprintPDF Available
Preprints and early-stage research may not have been peer reviewed yet.

Abstract and Figures

DIESE FORSCHUNG IST INZWISCHEN PEER-REVIEWED VERÖFFENTLICHT IN http://dx.doi.org/10.1007/978-3-030-65965-3_25 Zahlreiche Prozesse in Medien, Politik, Wirtschaft und Wissenschaft beziehen Daten zu Suchhäufigkeiten und Suchtrends bei Google in ihre Entscheidungen ein. Diese Daten stellt Google kostenlos über Google Trends bereit - auf Basis von Stichproben, deren Repräsentativität zugesichert wird. Dem Analyse- und Beratungsunternehmen HASE & IGEL fielen bei seiner Arbeit Widersprüche auf, die Zweifel an dieser Repräsentativität aufkommen ließen: so zeigen Daten, die aus Google Trends für denselben Suchbegriff (z.B. “Kurzarbeit”) und denselben Zeitraum (z.B. 1. Quartal 2020) zu verschiedenen Zeitpunkten (z.B. einmal um 20 Uhr, einmal um 21 Uhr) abgerufen werden, Werte, die so stark voneinander abweichen, dass die Trends mitunter in gänzlich verschiedene Richtungen weisen. Ein Team aus Mitarbeitern von HASE & IGEL, der Abteilung Very Large Business Applications der Uni Oldenburg sowie des L3S Research Centers der Uni Hannover untersuchte Häufigkeit, Ausmaß und Muster dieser Abweichungen. Es wurde deutlich, dass solche Widersprüche systematisch in Google Trends Daten auftreten und insbesondere bei Analysezeiträumen von weniger als 8 Monaten oft so stark ausfallen, dass sie Analysen stark verfälschen können. Die von Google beteuerte Repräsentativität der Stichproben ist in einem z.T. erheblichen Anteil der Fälle erwiesenermaßen nicht gegeben. Das seitens Google vorgebrachte Argument, entsprechende Defizite in der Zuverlässigkeit von Google Trends Daten seien auf geringe Suchvolumina zurückzuführen, greift eindeutig zu kurz: zwar ist der Zusammenhang zwischen Suchvolumen und Datenqualität signifikant, doch erklärt er bestenfalls die Hälfte der Widersprüche in den Daten und trifft nicht auf alle Suchbegriffe gleichermaßen zu. Offenkundig gibt es weitere Einflussfaktoren, die zum Teil alle Suchbegriffe gleichzeitig betreffen und nur durch Google aufgeklärt werden könnten. Für Anwender ist die Arbeit mit Google Trends Daten daher mit deutlichen Risiken behaftet, zudem die Analyse zeigt, dass der in Google Trends genannte Indexwert nur begrenzt Rückschlüsse auf das tatsächliche Suchvolumen zulässt.
Content may be subject to copyright.
Whitepaper: Auftreten, Ausmaß und Muster systematischer
Inkonsistenzen in Google Trends Daten
Philipp Behnen
1
, René Kessler
2
, Felix Kruse
3
, Jan Schoenmakers
4
, Sergej Zerr
5
, Jorge Marx
Gómez
6
Management Summary
Zahlreiche Prozesse in Medien, Politik, Wirtschaft und Wissenschaft beziehen Daten zu
Suchhäufigkeiten und Suchtrends bei Google in ihre Entscheidungen ein. Diese Daten stellt
Google kostenlos über Google Trends bereit - auf Basis von Stichproben, deren Repräsentativität
zugesichert wird. Dem Analyse- und Beratungsunternehmen HASE & IGEL fielen bei seiner
Arbeit Widersprüche auf, die Zweifel an dieser Repräsentativität aufkommen ließen: so zeigen
Daten, die aus Google Trends für denselben Suchbegriff (z.B. “Kurzarbeit”) und denselben
Zeitraum (z.B. 1. Quartal 2020) zu verschiedenen Zeitpunkten (z.B. einmal um 20 Uhr, einmal um
21 Uhr) abgerufen werden, Werte, die so stark voneinander abweichen, dass die Trends mitunter
in gänzlich verschiedene Richtungen weisen. Ein Team aus Mitarbeitern von HASE & IGEL, der
Abteilung Very Large Business Applications der Uni Oldenburg sowie des L3S Research Centers
der Uni Hannover untersuchte Häufigkeit, Ausmaß und Muster dieser Abweichungen. Es wurde
deutlich, dass solche Widersprüche systematisch in Google Trends Daten auftreten und
insbesondere bei Analysezeiträumen von weniger als 8 Monaten oft so stark ausfallen, dass sie
Analysen stark verfälschen können. Die von Google beteuerte Repräsentativität der Stichproben
ist in einem z.T. erheblichen Anteil der Fälle erwiesenermaßen nicht gegeben. Das seitens
Google vorgebrachte Argument, entsprechende Defizite in der Zuverlässigkeit von Google
Trends Daten seien auf geringe Suchvolumina zurückzuführen, greift eindeutig zu kurz: zwar ist
der Zusammenhang zwischen Suchvolumen und Datenqualität signifikant, doch erklärt er
bestenfalls die Hälfte der Widersprüche in den Daten und trifft nicht auf alle Suchbegriffe
gleichermaßen zu. Offenkundig gibt es weitere Einflussfaktoren, die zum Teil alle Suchbegriffe
gleichzeitig betreffen und nur durch Google aufgeklärt werden könnten. Für Anwender ist die
Arbeit mit Google Trends Daten daher mit deutlichen Risiken behaftet, zudem die Analyse zeigt,
dass der in Google Trends genannte Indexwert nur begrenzt Rückschlüsse auf das tatsächliche
Suchvolumen zulässt.
1
Data Scientist, HASE & IGEL GmbH; philipp.behnen@haseundigel.com
2
Wissenschaftlicher Mitarbeiter, Abt. Very Large Business Applications, Carl von Ossietzky Universität
Oldenburg; rene.kessler@uni-oldenburg.de
3
Wissenschaftlicher Mitarbeiter, Abt. Very Large Business Applications, Carl von Ossietzky Universität
Oldenburg; felix.kruse@uni-oldenburg.de
4
Geschäftsführer, HASE & IGEL GmbH; jan.schoenmakers@haseundigel.com
5
Forschungsgruppenleiter L3S Research Center, Leibniz Universität Hannover; szerr@l3s.de
6
Leiter des Lehrstuhls, Abt. Very Large Business Applications, Carl von Ossietzky Universität Oldenburg;
jorge.marx.gomez@uni-oldenburg.de
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 2
1. Über Google Trends
Google Trends ist ein kostenloser Dienst von Google, der seit 2006 weltweit Zeitreihen zur
Häufigkeit von Google-Suchen nach frei wählbaren Themen und Begriffen bereitstellt. Die
Analysezeiträume sind dabei zwischen weniger Stunden und bis zu mehr als 15 Jahren frei
wählbar und reichen zurück bis ins Jahr 2004. Ebenfalls können gezielt einzelne Länder und
Regionen betrachtet werden. Angegeben werden die Daten mit einem Indexwert, der abbildet,
wie stark dieser Begriff gesucht wird im Verhältnis zum Gesamtvolumen der Google-
Suchanfragen aus dieser Region und in diesem Zeitraum. Google-Trends Daten lassen sich
online in einem Dashboard abrufen
7
sowie als CSV-Datei exportieren. Für die Analyse zieht
Google ad-hoc Stichproben aus der Grundgesamtheit aller Google-Suchen heran, die das
Unternehmen ausdrücklich als “ausreichend und repräsentativ” bezeichnet
8
.
Google Trends hat sich seit seiner Einführung als Recherche-, Forschungs- und
Prognoseinstrument für verschiedene Anwendungen etabliert von der Vorhersage von
Krankheits-Epidemien
9
über Indikatoren für die Entwicklung von Aktienkursen
10
bis hin zur
Identifikation von Konsumtrends
11
.
2. Entdeckung von erheblichen Inkonsistenzen in Google Trends Daten
HASE & IGEL
12
ist ein Forschungs- und Beratungsunternehmen, das aus digitalen Daten zum
online-Verhalten Modelle zu Nachfragepotenzialen, Kundenpräferenzen, Informationsverhalten
und Meinungsbildung entwickelt und auf dieser Basis Unternehmen und Institutionen berät. Für
seine Big Data Analysen zieht HASE & IGEL verschiedene Quellen heran neben z.B. dem
Surfverhalten, Produktbewertungen, der Reaktion auf Medienbeiträge oder der Interaktion mit
Werbung kommen dabei auch Daten zum Suchverhalten zum Einsatz.
Beim Entwickeln eines Prognosemodells, in das unter Anderem Daten aus Google Trends
einfließen sollten, exportierte ein Mitarbeiter am 21.4. dieselbe Zeitreihe (zum Verlauf der Suchen
nach “Badsanierung” vom 1.1.2017 bis 12.4.2020) erneut von Google Trends, die ein anderer
Mitarbeiter bereits am Vortag exportiert hatte. Im Abgleich fiel auf, dass die beiden Exporte Werte
aufwiesen, die einander zum Teil völlig widersprachen so zeigte z.B. der Export vom 20.4.
7
https://trends.google.de
8
https://support.google.com/trends/answer/4365533?hl=de
9
So erfreuten sich die Google-Trends basierten Prognoseprodukte Google Flu Trends und Google
Dengue Trends erheblicher Popularität, bis Schwächen in der Datenqualität zu Kritik und zur Einstellung
durch Google führten. Dennoch wird Google Trends international weiterhin zur Vorhersage von
Krankheitsausbrüchen verwendet, siehe z.B: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6230529/
10
vgl. u.A. https://www.springerprofessional.de/forecasting-stock-market-movements-using-google-trend-
searches/16905060
11
z.B. https://onlinelibrary.wiley.com/doi/abs/10.1002/for.1213
12
https://www.haseundigel.com
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 3
zwischen 12. und 25.11.2017 einen Anstieg um 66%, der vom 21.4. einen Rückgang von 10%
13
.
Prognosen mit den Google Trends-Daten waren daher nicht sinnvoll möglich, ohne diesen
starken Schwankungen auf den Grund zu gehen. Dass es leichte Abweichungen geben kann,
war HASE & IGEL nicht neu, da Google bei Trends bekanntlich mit Stichproben arbeitet. Weil
jedoch Google die Repräsentativität dieser Stichproben betont, sollten solche Diskrepanzen nicht
zu völlig unterschiedlichen Trends führen.
Über die nächsten Tage wiederholte HASE & IGEL denselben Export zu verschiedenen
Zeitpunkten. Da sich immer wieder ähnlich starke Abweichungen ergaben, wurden diese mit
weiteren Suchbegriffen überprüft darunter auch solche mit hohem Suchvolumen und hoher
Aktualität wie z.B. verschiedene Corona-Symptome. Auch bei diesen kam es zu erheblichen
Abweichungen, wenn dieselbe Analyse (z.B. Entwicklung zu “trockener Husten” in Deutschland
von Oktober 2019 bis März 2020) zu verschiedenen Zeitpunkten abgerufen wurde.
HASE & IGEL wendete sich damit an den Google-Support und, als dort eine Reaktion ausblieb,
an die Pressestelle von Google Deutschland sowie die offiziellen Twitter-Accounts von Google.
Google ließ über seine PR Agentur ausrichten, dass “kleine Abweichungen” bei Suchbegriffen
mit “geringem Volumen” möglich seien, auch bei Vergangenheitsdaten. Auf den Hinweis, dass
die beobachteten Abweichungen zum einen groß seien und zum anderen auch bei Begriffen mit
höheren Volumina auftreten, nahm Google nicht weiter Stellung, sondern erklärte lediglich, dass
auch Begriffe wie das Corona-Symptom “trockener Husten” mit einem Volumen von
durchschnittlich 28.000, im März 2020 jedoch 135.000 Suchen im Monat
14
für Google als “kleines
Volumen” gölten
15
.
Da HASE & IGEL damit nicht den Eindruck hatte, dass Google in den z.T. erheblichen
Widersprüchen in Google Trends Daten ein lösenswertes Problem sieht, fiel die Entscheidung,
das Ausmaß dieser Abweichungen und die Muster dahinter detaillierter zu untersuchen und
Anwender in Wissenschaft, Wirtschaft und Politik, die mit Google Trends Daten arbeiten, auf
diese Unwägbarkeiten hinzuweisen.
Für diese Untersuchung initiierte HASE & IGEL ein gemeinsames Projekt mit der Abteilung Very
Large Business Applications der Carl-von-Ossietzky-Universität Oldenburg
16
sowie mit einer
Forschungsgruppe des L3S Research Centers der Gottfried Wilhelm Leibniz Universität
Hannover
17
an, mit dem HASE & IGEL im Zukunftslabor Arbeit und Gesellschaft des Zentrums
für Digitale Innovation Niedersachsen
18
vertreten ist.
Während die Untersuchungen weiter andauern, gibt dieses Whitepaper erste Einblicke in
Analyseergebnisse mit unmittelbarer Relevanz für Anwender.
13
Die originalen Daten finden sich im Anhang
14
Daten aus Google Ads, erhoben mit Mangools KWFinder, nähere Beschreibung der
Erhebungsmethode s.u.
15
Die - aus Datenschutzgründen anonymisierte - E-Mail-Korrespondenz ist im Anhang hinterlegt.
16
https://uol.de/vlba
17
https://www.l3s.de/de
18
https://www.zdin.de/zukunftslabore/gesellschaft-arbeit
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 4
3. Wirtschaftliche, wissenschaftliche, gesellschaftliche und politische
Relevanz des Problems
Sollten sich Daten aus Google Trends als unzuverlässig erweisen, hat dies weitreichende
Implikationen, da der Dienst regelmäßig in Politik, Journalismus, Wirtschaft und Wissenschaft
verwendet wird.
So ist Google Trends ein zentraler Baustein der Google News Initiative, mit der Google
Journalisten Ressourcen für Recherche und Factchecking bereitstellen möchte und hierzu
Stipendien vergibt
19
. Insbesondere in der Corona-Krise Nutzen Medien diese Angebote häufig
und stützen Recherchen und Berichterstattung auf Google Trends Daten
20
. Die Stichhaltigkeit
dieser Schlüsse und der Meinungsbildung, die dadurch angeregt wird, steht und fällt mit der
Belastbarkeit der Daten.
Auch politische Entscheider nutzen Daten aus Google Trends für wichtige Weichenstellungen
zum Umgang mit der Corona-Pandemie: So ist für das aktuelle Sondergutachten des
Sachverständigenrats Wirtschaft (die “Wirtschaftsweisen”) Google Trends eine zentralen
Prognosequelle zur Zunahme von Kurzarbeit
21
. Nicht zuletzt wird in den USA aktiv diskutiert,
Google Trends Daten für die Prognose von Corona-Ausbrüchen und deren wirtschaftliche und
gesellschaftliche Folgen zu nutzen
22
, was bereits erste wissenschaftliche Studien vorschlagen
23
und für Deutschland ebenfalls in den Medien diskutiert wird
24
. Auch gänzlich unabhängig von der
Pandemie kommt Google Trends in weiteren Bereichen staatlicher Arbeit zum Einsatz: so nutzen
forensische Experten der Kriminalpolizei Google Trends Daten, um anhand von Mustern im
19
vgl. https://newsinitiative.withgoogle.com/training/,
https://www.horizont.net/schweiz/nachrichten/google-65-millionen-dollar-zur-bekaempfung-von-
coronavirus-fehlinformationen-182105
20
Einige Beispiele:
https://www.deutschlandfunknova.de/beitrag/kurzarbeit-wegen-corona-prognose-mithilfe-von-google-
trends
https://www.zeit.de/gesellschaft/2020-04/corona-alltag-konsum-stromverbrauch-wasserverbrauch-
schlafverhalten-grafiken, https://www.suedkurier.de/ueberregional/panorama/was-unser-verhalten-im-
internet-ueber-die-corona-krise-verraet;art409965,10494086,
https://bnn.de/nachrichten/suedwestecho/coronavirus-karlsruhe-baden-pforzheim-rastatt/google-
auswertung-herrscht-auf-rheinland-pfaelzischen-koepfen-wildwuchs-wegen-corona,
https://www.merkur.de/lokales/wolfratshausen/muensing-ort29101/bad-toelz-wolfratshausen-was-
wolfratshauser-geretsrieder-und-muensinger-in-corona-krise-googeln-13699430.html
21
https://www.sachverstaendigenrat-
wirtschaft.de/fileadmin/dateiablage/gutachten/sg2020/SG2020_Gesamtausgabe.pdf
22
https://www.nytimes.com/2020/04/05/opinion/coronavirus-google-searches.html
23
https://www.medrxiv.org/content/10.1101/2020.04.15.20064485v1, https://idw-
online.de/de/news745181
24
https://blog.wdr.de/digitalistan/wie-google-gegen-corona-helfen-kann/,
https://meedia.de/2020/04/06/trending-alarmismus-mit-aerosolen-die-queen-und-boris-johnson-covid-19-
vorhersagen-mit-google-trends/
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 5
Suchverhalten nach Mittätern in Mordfällen zu fahnden
25
. Es ist offensichtlich, dass für alle
genannten Anwendungen angesichts ihrer Tragweite ein sehr hohes Interesse an verlässlichen
und konsistenten Daten besteht.
Erhebliche ökonomische Implikationen hat die Verlässlichkeit von Google Trends Daten für die
Online-Marketing Branche. Pro Jahr werden in Deutschland über 3 Milliarden Euro für Google-
Werbung ausgegeben
26
. Google Trends ist dabei eine wichtige Recherchequelle, da Werber
Begriffe bevorzugen, die an Volumen zunehmen. Noch wichtiger ist Google Trends für die
Suchmaschinenoptimierung (SEO), die in der Regel auf volumenstarke Trendbegriffe setzt. Hier
werden in Deutschland jährlich 4,5 Milliarden Euro erlöst
27
. Nicht zuletzt ist Google Trends im
Content Marketing in der DACH-Region ein 9,4 Milliarden Euro Markt
28
von Bedeutung, um
Redaktionspläne auf Suchtrends auszurichten. Ergeben sich aus den Daten irreführende
Prognosen, kann dies folglich zu milliardenschweren Fehlallokationen führen.
Auch für die Wissenschaft hat sich Google Trends als eine häufig genutzte Datenquelle etabliert.
Bereits 2017 zählte eine Metaanalyse über 600 Studien in peer-reviewten Journals, die sich
primär auf Google Trends Daten stützen
29
. Beispiele sind u.A. Analysen und Prognosen zu
Geburtenraten
30
, Panikverkäufen am Aktienmarkt
31
und regionalen Unterschieden im
Tabakgebrauch
32
. Je nach Ausmaß der Inkonsistenzen in Google Trends Daten können die
Ergebnisse solcher Studien nicht repliziert werden, womit die Anwendung von Google Trends in
der Wissenschaft insgesamt in Frage stehen könnte. Dieses Problem ist bereits 2017 in einer
österreichischen Studie bemerkt worden
33
, hatte jedoch keine weitere Beachtung gefunden.
4. Untersuchte Daten und Erhebungsmethodik
Die für die Untersuchung verwendete Datengrundlage besteht aus Google Trends Daten, die wir
systematisch über mehrere Wochen hinweg immer wieder zu denselben Suchbegriffen und
Zeiträumen für Deutschland abgerufen haben.
Google Trends Daten lassen sich manuell über die Webseite (https://trends.google.de/) abrufen
oder automatisiert als POST-Request. Dabei wird direkt eine URL aufgerufen, die die gewünschte
25
https://www.spiegel.de/panorama/justiz/fall-walter-luebcke-wer-googelte-kopfschuss-a-00000000-0002-
0001-0000-000170604433
26
https://www.adzine.de/2020/01/werbeerloese-google-und-co-haengen-deutsche-konkurrenz-weiter-ab/
27
https://www.horizont.net/marketing/nachrichten/Loewenstark-Umfrage-Ausgaben-fuer-Suchmaschinen-
Marketing-koennten-auf-Rekordhoehe-steigen-165380
28
https://lout.plus/Analysen/CMF-Basisstudie2020-Content-Marketing.html
29
https://www.researchgate.net/publication/321284143_Ten_years_of_research_change_using_Google_
Trends_From_the_perspective_of_big_data_utilizations_and_applications
30
https://doi.org/10.29392/joghr.2.e2018001
31
https://www.nature.com/articles/srep01684
32
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4122644/
33
https://journals.plos.org/plosone/article/file?id=10.1371/journal.pone.0183149&type=printable
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 6
Kombination aus Suchbegriff, Abfragezeitraum und Region enthält. Ein Beispiel ist:
https://trends.google.com/trends/explore?date=2020-01-01%202020-01-31&geo=DE&q=corona
Um automatisiert rund um die Uhr in festen Zeitabständen immer wieder dieselben Daten zu
erheben, haben wir diese Methode angewandt, die von Google ausgegebenen Daten direkt in
eine Tabellenstruktur umgewandelt und in eine PostgreSQL-Datenbank der Abteilung VLBA (Uni
Oldenburg) gestreamt
34
. Da die Anfragen direkt an Google-Server gestellt wurden, ist eine
Veränderung der Trenddaten durch Dritte ausgeschlossen.
Als Suchbegriffe haben wir “Dachdecker”, “Kurzarbeit” und “Sofa” untersucht
35
, da diese
verschiedene Bereiche an Suchvolumen und Volatlität abdecken (siehe Tabelle 1). “Dachdecker”
als ein am Suchvolumen gemessen mittlerer Begriff mit saisonalen Schwankungen, “Sofa”
als volumenmäßig großen Suchbegriff mit recht gleichmäßigem Volumen, sowie “Kurzarbeit” als
recht kleinvolumiger Begriff, der gerade in der Corona-, aber auch in der Finanz- und Eurokrise
extreme Schwankungen aufweist.
Suchbegriff
Grund für die Aufnahme in die Analyse
Dachdecker
Langfristig konstante Nachfrage mit einzelnen saisonalen Peaks,
mittleres Volumen
Kurzarbeit
Einzelner Nachfrage-Gipfel in Corona-Zeit von geringem auf sehr
hohes Niveau und zurück auf mittleres
Sofa
Langfristig ansteigender Begriff auf hohem Niveau mit
regelmäßigen saisonalen Schwankungen
Tabelle 1: Verwendete Suchbegriffe
Die Trends der Suchbegriffe wurden stets für bereits abgeschlossene Zeiträume angefragt. Dabei
aggregiert Google Trends die Daten abhängig vom Abfragezeitraum automatisch stündlich,
täglich, wöchentlich oder monatlich. Insgesamt wurden 16 Abfragezeiträume betrachtet, die in
Tabelle 2 zusammen mit der Granularität der Werte angegeben sind.
34
Diese Abrufe erfolgten unter Nutzung der pseudo-API pytrends
(https://github.com/GeneralMills/pytrends). Pytrends kann als mögliche Fehlerquelle ausgeschlossen
werden, weil wir die darin erzeugten Abfragen wiederholt durch manuelle Aufrufe im Browser sowie
Downloads der CSV-Exporte aus dem Google Trends Frontend gegengeprüft haben und dort die
gleichen Schwankungen feststellen konnten.
35
Als Basis einer größer angelegten Studie haben wir zu insgesamt 17 Suchbegriffen Daten erhoben.
Für dieses Whitepaper haben wir uns auf drei davon konzentriert, die das Spektrum der Daten nach
Größe und Schwankungsbreite gut abdecken, um auf Basis der hier vorgestellten ersten Analysen
zeitnah Anwender über die Unwägbarkeiten im Umgang mit dieser Datenquelle zu informieren. Eine
Untersuchung aller 17 Begriffe sowie weiterer Variablen dauert noch an, hat jedoch bisher keine
grundsätzlich anderen Muster gezeigt als die in diesem Paper vorgestellten.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 7
Abfragezeitraum
Granularität der Werte
01/2010 - 04/2020
monatlich
01/2015 - 04/2020
monatlich
01/2019 - 04/2020
Wöchentlich
01/2020 - 04/2020
täglich
Q1, Q2, Q3 und Q4 (2019)
täglich
Januar, Februar und März (2020)
täglich
15.04, 16.04, 17.04, 18.04 und 19.04 (2020)
stündlich
Tabelle 2: Verwendete Abfragezeiträume und die Granularität des Google Index Wertes
Die Abfrage zu jedem Zeitraum und Suchbegriff wurde über Wochen hinweg zu verschiedenen
Tageszeiten sowie mit unterschiedlichen Abfrageabständen (von 1 min bis zu mehreren Stunden)
mindestens 25-mal wiederholt. Abbildung 1 zeigt exemplarisch die verwendete Datengrundlage.
Jede Spalte repräsentiert eine Google-Trends Abfrage (für Suchbegriff “kurzarbeit”, Zeitraum
“Januar 2020” und Region “DE”). Die Zeilen zeigen den Google Trends Indexwert für den
jeweiligen Tag hier auszugsweise die Werte für Anfragen zum Zeitraum vom 01.01.20
11.01.20.
Abbildung 1: Heatmap für 7 durchgeführte Anfragen mit Zeitstempel (Januar 2020, Kurzarbeit)
auszugsweise die ersten 11 Tage.
Neben den Google Index Werten haben wir für die folgenden statistischen Analysen zum Teil
auch die Suchvolumina herangezogen, da eine Überprüfung der Aussage von Google,
Schwankungen in der Datenqualität lägen an geringem Suchvolumen, nur mit absoluten Zahlen
zu den Suchhäufigkeiten möglich ist, die Google nicht in Google Trends, sondern nur in Google
Ads bereitstellt. Diese Daten zum monatlichen Suchvolumen haben wir über das am Markt
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 8
etablierte Tool “KWFinder” des slowakischen Softwarehauses “Mangools” erhoben, welches sie
aus der Google Ads API bezieht
36
.
5. Ergebnisse der Analyse
Bereits Abbildung 1 im vorigen Kapitel zeigt anhand der Rohdaten deutlich Abweichungen je
nachdem, zu welchem Zeitpunkt dieselbe Anfrage bei Google Trends getätigt wurde. Um diese
Abweichungen näher zu analysieren, haben wir sie visualisiert und statistisch beschrieben.
Herangezogen haben wir dabei die Google-Indexwerte, die zu den verschiedenen Zeitpunkten
für denselben Zeitraum von Google zurückgemeldet wurden, sowie die absolute und prozentuale
Standardabweichung, die angibt, wie stark die Abweichungen zwischen diesen verschiedenen
Abfrage-Zeitpunkten ausfallen
37
. Im Anschluss daran haben wir mit statistischen Tests
untersucht, inwiefern die Daten wie Google behauptet mit höherem Suchvolumen
zuverlässiger werden und ob die Stichproben, die Google für Trends nutzt, tatsächlich als
repräsentativ gelten können. Abschließend haben wir den möglichen Einfluss von Wochentagen
und Tageszeiten betrachtet.
5.1 Wie groß sind die Widersprüche in Google Trends Daten nach
Suchbegriff und Zeitraum?
Um Muster hinter den Widersprüchen in den Google Trends Daten zu erkennen, haben wir
einerseits die nach Suchvolumen und Volatilität unterschiedlichen Suchbegriffe (s.o., Tabelle 1)
und andererseits die verschiedenen Zeiträume (s.o., Tabelle 2) untersucht.
Auf der kürzesten betrachteten Zeitskala den 15., 16., 17., 18. und 19.4.2020 in stundenweiser
Auflösung erkennen wir keine klaren Muster (siehe Abbildung 2, nächste Seite). Für den
Suchbegriff “Sofa” als Begriff mit dem langfristig größten Suchvolumen gab Google für den 15.04-
18.04 gar keine Werte aus
38
, jedoch für den 19.04. Für die Begriffe “Kurzarbeit” und “Dachdecker”
obwohl vom Suchvolumen her im Durchschnitt kleiner lieferte Google hingegen für jeden Tag
Werte. Zwischen dem 15. und 17.4. weichen diese je nach Zeitpunkt der Abfrage sehr stark
voneinander ab zum Teil um mehr als 100%. Die Daten können damit nicht als verlässlich
gelten. Am 18.04 und 19.04 jedoch sind sie in sich sehr stimmig und würden eine Nutzung für
Analysen und Prognosen durchaus zulassen. Auffällig ist, dass am 19.4. der Begriff “Sofa” trotz
des höchsten durchschnittlichen Suchvolumens die mit Abstand größten Abweichungen aufweist.
36
https://mangools.com/blog/kwfinder-top-questions/ Ein direkter Abruf aus Google Ads war uns nicht
möglich, da Google hier standardmäßig nur sehr grobe Größenordnungen wie z.B. “10.000-100.000”
angibt - nur größere Werbetreibende erhalten genauere Daten.
37
Genauer gesagt: wie stark die Werte, die zu einem Abfrage-Zeitpunkt von Google für eine Anfrage
zurückgemeldet wurden, vom Durchschnitt dieser Werte zur selben Anfrage über alle Abfrage-Zeitpunkte
hinweg abweichen
38
Für den 16.04, 17.04 und 18.04 liegen jeweils 35 Abfrageergebnisse vor, die für jede Stunde den
Google-Index Wert 0 besitzen. Die entsprechenden Zeitreihen wurden in der Analyse daher nicht
berücksichtigt.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 9
Abbildung 2: Standardabweichungen der stundenweisen Google Trends Indexwerte für 5 Tage (15.-19.
April 2020)
Für den zweitkürzesten betrachteten Zeitraum Januar bis März 2020 zeigt Google Trends die
Ergebnisse auf Tagesebene an (siehe Abbildung 3). Insgesamt weichen die Daten für den Begriff
“Sofa” mit dem höchsten Suchvolumen am Geringsten voneinander ab, zum Begriff “Kurzarbeit”
mit dem geringstem Suchvolumen dagegen am Stärksten. “Sofa” und “Dachdecker” liegen jedoch
in der Datenqualität häufig nicht weit auseinander, obwohl “Dachdecker” wesentlich seltener
gesucht wird. Mehr Suchvolumen scheint also manchmal (siehe Kurzarbeit vs. Sofa), jedoch nicht
zwingend und vor Allem nicht proportional (siehe Sofa vs. Dachdecker) zu einer höheren
Verlässlichkeit der Google Trends Daten zu führen.
Abbildung 3: Standardabweichungen (absolut und prozentual) der tageweisen Google Trends Indexwerte
für die Monate Januar-März 2020
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 10
Über 15 Monate betrachtet (1/2019-4/2020) mit Google Trends Indexwerten auf Wochenebene
sind die Widersprüche in den Daten für häufiger gesuchte Begriffe beinahe durchweg geringer
als für “kleinere” Keywords (siehe Abbildung 6). Doch steht dies in keinem direkten
Zusammenhang: auch in Zeiten, in denen das Suchvolumen gleich bleibt, nehmen die
Abweichungen in den Google Trends Daten mal zu, mal ab, und ein Begriff mit doppelt so viel
Volumen hat nicht zwingend eine doppelt so gute Datenqualität. So weisen “Sofa” und
“Dachdecker” Ende März und Anfang Juli ähnlich starke Abweichungen auf, obwohl “Sofa” im
Vergleich wesentlich häufiger gesucht wird als der Begriff “Dachdecker”.
Abbildung 4: Standardabweichungen (absolut und prozentual) der wochenweisen Google Trends
Indexwerte für Januar 2019 bis April 2020
Über die längsten betrachteten Zeiträume 1.5.2010-30.4.2020 und 1.4.2015-1.4.2020 , für die
Google die Werte auf Monatsebene angibt, sind die Abweichungen zwischen zu verschiedenen
Zeitpunkten abgefragten Ergebnissen wesentlich geringer (siehe Abbildung 5, nächste Seite). Für
“Sofa” und “Dachdecker” scheint hier eine gute Grundlage für die Arbeit mit den Daten gegeben.
Beim “kleinsten” Suchbegriff, Kurzarbeit, treten jedoch immer wieder Schwankungen in der
Datenqualität auf, die zwar in absoluten Zahlen gering ausfallen, doch prozentual sehr stark sind
und damit auch auf dieser langen Zeitachse zu voneinander abweichenden Schlüssen führen
können, wenn man nur einzelne Monate betrachtet.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 11
Abbildung 5: Standardabweichungen (absolut und prozentual) der drei Suchbegriffe für die Zeiträume
(2010 bzw. 2015-2020) mit monatlicher Granularität der Google Index Werte
In Tabelle 3 (nächste Seite) sind die Ergebnisse der deskriptiven Analysen zusammengefasst.
Für “Sofa” und “Dachdecker” zeigt sich, dass stundenweise Analysen auf Ebene einzelner Tage
aufgrund extremer Widersprüche in den Google Trends Daten nicht aussagekräftig sind und auch
die Betrachtung von z.B. Quartalen auf Tagesbasis erhebliche Abweichungen aufweist, je
nachdem, wann die Daten abgerufen wurden. Ruft man jedoch die Google Trends Daten für
Zeiträume von mindestens 8 Monaten und damit auf der Ebene von Wochen oder Monaten
ab, weichen die verschiedenen “Stichproben” so gering voneinander ab, dass Analysen und
Prognosen auf dieser Basis durchaus belastbar erscheinen. Für “Kurzarbeit” mit dem kleinsten
Suchvolumen und den größten Schwankungen hingegen der Begriff, auf den sich die
Wirtschaftsweisen beriefen sind die Widersprüche in den Google Trends Daten durchweg so
groß, dass damit nicht belastbar gearbeitet werden kann. Hier nehmen die Abweichungen für
längere Zeiträume sogar prozentual zu.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 12
Suchwort
Granularität des
Index-Wertes
Spektrum der
relativen
Standardabw. (%)
Durchschnittliche
relative
Standardabw. (%)
Kurzarbeit
Stündlich
0-181
38,4
Sofa
Stündlich
57-248
87,4
Dachdecker
Stündlich
0-134
33,3
Kurzarbeit
Täglich
0-170,8
34,2
Sofa
Täglich
0-13,4
5,8
Dachdecker
Täglich
0-36,1
12,8
Kurzarbeit
Wöchentlich
0-685,6
75,4
Sofa
Wöchentlich
0-3,7
1,7
Dachdecker
Wöchentlich
0-9,0
4,6
Kurzarbeit
Monatlich
0-888,8
100,9
Sofa
Monatlich
0-4,5
1,8
Dachdecker
Monatlich
0-5,5
2,4
Tabelle 3: relative Standardabweichungen für die verschiedenen Zeiträume
5.2 Werden Google-Trends-Daten bei mehr Suchvolumen verlässlicher?
Wie viel der gefundenen Widersprüche in den Daten lassen sich aus
dem Suchvolumen erklären?
Eine zentrale Argumentation von Google ist die Abhängigkeit der Datenqualität vom
Suchvolumen. Die deskriptive Untersuchung der Daten gibt hierfür Anhaltspunkte, doch zeigt sie
keinen klaren Zusammenhang.
Um dies statistisch zu überprüfen, haben haben wir für die vier Quartale des Jahres 2019 und die
gewählten Suchbegriffe die Korrelationen zwischen dem Google-Index (als relative Werte), den
Suchvolumina aus Google Ads
39
(als absolute Werte) und der Standardabweichung (als Indikator
für die Zuverlässigkeit der Daten) berechnet. Diese Berechnung haben wir wiederholt mit den
Ableitungen dieser Werte, also ihrer Veränderung. So konnten wir auch testen, ob die
Datenqualität womöglich stärker durch Schwankungen im Suchvolumen statt durch dessen
absolute Höhe beeinflusst wird. Zum Einsatz kam die Rangkorrelation nach Spearman. Die
39
erhoben via Mangools, s.o.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 13
ermittelten Korrelationen haben wir daraufhin einem Signifikanztest unterzogen und mit dem R²
Wert den Anteil der Varianz in den Daten ermittelt, der aus der jeweiligen Korrelation erklärt
werden kann so sehen wir, wie stark der Effekt tatsächlich ist (siehe Abbildung 12).
Im Durchschnitt nimmt tatsächlich die Datenqualität zu, wenn das Suchvolumen steigt. Allerdings
lässt sich nur ca. ein Viertel (beim Google-Index Wert) bzw. rund die Hälfte (beim absoluten
Suchvolumen) der Widersprüche in den Google Trends Daten aus dem Suchvolumen der Begriffe
erklären. Zusätzlich konnten wir zeigen, dass die Datenqualität unter Veränderungen im
Suchvolumen (gemessen am Google-Index) tatsächlich etwas leidet bei schwankender
Suchnachfrage ist sie also schlechter ist als bei gleichbleibender. Doch auch dieser Effekt erklärt
nicht einmal ein Fünftel der Abweichungen.
Dies zeigt deutlich, dass die Erklärung von Google die Widersprüche in Google Trends Daten
seien ein Produkt geringer Suchvolumina zwar nicht prinzipiell falsch, doch bei Weitem nicht
ausreichend ist: je nachdem, welche Größe man als Referenz heranzieht, sind knapp die Hälfte
bis beinahe drei Viertel der Abweichungen in Google Trends Daten nicht aus dem Suchvolumen
der jeweiligen Suchbegriffe zu erklären.
Index
STD
STD
c= -0.49 r²=
26.33%
p<0.05
Vol
c= 0.79
r²=51.39%
p<0.05
c= -0.87 r²=
53.22%
p<0.05
Korrelation zwischen den Werten
Index’
STD’
STD’
c= 0.44 r²=
18.16%
p<0.05
Vol’
c= -0.06
r²=0.49% p=
0.69
c= -0.20 r²=
4.13%
p=0.23
Korrelation zwischen den zeitlichen
Wertänderungen
Abbildung 6: Korrelationen für Standardabweichung, Suchvolumen und Google-Indexwert sowie deren
Ableitungen für die Gesamtheit der untersuchten Begriffe (Q1-Q4 2019)
Noch mehr Fragen wirft die Betrachtung der einzelnen Begriffe auf (siehe Abbildung 13):
statistisch signifikant ist der oben beschriebene Zusammenhang primär wegen starker
Korrelationen zwischen Datenqualität und Google-Index beim Begriff “Dachdecker” und zwischen
Datenqualität und absolutem Suchvolumen beim Begriff “Kurzarbeit”. Diese Befunde lassen sich
jedoch nicht auf den jeweils anderen Begriff übertragen: die Datenqualität für “Dachdecker”
reagiert nicht auf die Entwicklung des absoluten Suchvolumens, die zum Begriff “Kurzarbeit”
bleibt von der Entwicklung des Google-Index unberührt. Und die Verlässlichkeit der Google-
Trends Daten für “Sofa” hängt weder mit der Entwicklung des absoluten Suchvolumens noch
jener des Google-Index zusammen.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 14
Somit ist der im Durchschnitt der Begriffe beobachtete Effekt für eine bessere Datenqualität bei
höherem Suchvolumen bzw. Google-Index so ungleich auf verschiedene Suchbegriffe verteilt,
dass man nicht mit ausreichender Sicherheit davon ausgehen kann, dass ein Begriff mit höherem
Google Trends Indexwert oder höherem Suchvolumen laut Google Ads auch verlässlichere
Google Trends Daten aufweist.
Index
STD
STD
c= 0.08
r²= 0.29%
p=0.87
Vol
c= 0.66
r²=25.84%
p= 0.09
c= -0.18
r²= 4.18%
p=0.52
Sofa
Index
STD
STD
c= 0.86
r²= 87.62%
p<0.05
Vol
c= 0.06
r²= 0.72%
p=0.79
c= -0.12
r²= 2.65%
p=0.61
Dachdecker
Index
STD
STD
c=0.09
r²=0.24%
p= 0.88
Vol
c= 0.57
r²=38.6%
p<0.05
c= -0.63
r²= 49.63%
p<0.05
Kurzarbeit
Abbildung 7: Korrelationen für Standardabweichung, Suchvolumen und Google-Indexwert für die
einzelnen Begriffe
Auch zeigen unsere Analysen, dass der Google Trend Index nur sehr begrenzt tatsächliche
Veränderungen im Suchvolumen anzeigt: da er in Bezug auf die Gesamtzahl der Google-Suchen
zum jeweiligen Zeitpunkt berechnet wird und diese offenbar massiv schwankt, werden durch
Änderungen im tatsächlichen Suchvolumen nur die Hälfte der Veränderungen beim Google
Indexwert erklärt. Für 2 der 3 untersuchten Begriffe gibt es sogar überhaupt keinen signifikanten
Zusammenhang zwischen der Entwicklung des Google-Indexwertes und dem des absoluten
Suchvolumens zumindest, so weit uns die Daten zugänglich waren.
Ohne eine Angabe von Google, wie sich im jeweiligen Zeitraum die Zahl der Google-Suchen
insgesamt entwickelt hat, sind also grundsätzliche Zweifel an der Aussagekraft des Google Index
angebracht.
5.3 Sind die Stichproben von Google repräsentativ? Wie oft weichen die
Werte verschiedener Messungen signifikant voneinander ab?
Wir haben systematische und zum Teil sehr starke Abweichungen gefunden zwischen Google
Trends Daten zum selben Begriff und Zeitraum, die zu unterschiedlichen Zeitpunkten abgerufen
wurden. Google betont indes, die für Google Trends verwendeten Stichproben seien
repräsentativ.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 15
Da sich dies zu widersprechen scheint, haben wir alle Suchbegriffe über alle Zeiträume daraufhin
überprüft, inwieweit diese Abweichungen zwischen den Zeitreihen in einem Zweistichproben-Test
signifikant sind. Für diese Untersuchungen kam der Mann-Whitney-U-Test zum Einsatz, da wir
nicht von einer Normalverteilung ausgehen können. So können wir eine Aussage darüber treffen,
ob zu verschiedenen Zeiten abgefragte Google Trends Daten für denselben Suchbegriff und
denselben Zeitraum aus derselben Grundgesamtheit stammen. Ist dies nicht der Fall, kann von
einer Repräsentativität der Stichproben nicht die Rede sein.
Je nach Zeitraum und Suchbegriff fielen bis zu 35 Prozent der verglichenen Stichproben beim
Test durch können also nicht als repräsentativ gelten. Auf stündlicher Ebene (Erhebung über
einen Tag oder wenige Tage) besteht ein Viertel den Test nicht, auf Tagesebene (Erhebung über
Wochen oder Monate) ist das Risiko, eine nicht repräsentative Stichprobe angezeigt zu
bekommen, annähernd genauso hoch. Ab der wochenweisen Aggregation der Daten (Erhebung
über mindestens 8 Monate) bestehen für “Sofa” und “Kurzarbeit” alle Stichproben den Test und
können damit als repräsentativ angesehen werden. Für “Dachdecker” liegt der Anteil nicht-
repräsentativer Stichproben jedoch auf Wochenebene am Höchsten bei 35 Prozent und fällt
erst auf Monatsebene (also bei Zeitreihen von mindestens 5 Jahren) deutlich ab, wobei dabei
immer noch mehr als jede siebte Stichprobe zu diesem Begriff nicht repräsentativ ist.
Abbildung 8: Anteil an Stichprobenpaaren pro Suchbegriff, die den Mann-Whitney-U Test nicht bestanden
haben, je Aggregationsebene (Auflösung auf Stunden-, Tages-, Wochen- oder Monatsebene)
In einer Untersuchung von 17 Suchbegriffen für eine umfassendere Studie (die sich noch in Arbeit
befindet), haben wir im Durchschnitt einen noch höheren Anteil an nicht-repräsentativen
Stichproben festgestellt (siehe Grafik im Anhang). Insgesamt zeigt sich dort für Zeitreihen auf
Tagesebene (7 Tage bis 8 Monate) sogar eine größere Unzuverlässigkeit als für solche auf
Stundenebene, für 6 der 17 Begriffe nimmt der Anteil nicht-repräsentativer Stichproben auf
Wochenebene (8 Monate bis 5 Jahre) wie oben für Dachdecker weiter zu und erreicht bis zu
60 Prozent. Dies betrifft auch durchaus breite Suchbegriffe wie “Change Management” oder
Artificial Intelligence.
Die zugesicherte Repräsentativität der Stichproben, auf deren Basis Google die Google Trends
Daten berechnet, ist also eindeutig nicht sichergestellt: zwar ist im Durchschnitt die Mehrheit der
Stichproben repräsentativ, bei einem Aufruf von Google Trends gibt es jedoch auf jeder
Zeitachse ein reales Risiko, nicht repräsentative Stichproben angezeigt zu bekommen und
damit zu Analyseergebnissen zu gelangen, die sich nicht replizieren lassen.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 16
5.4 Spielen Wochentag und Uhrzeit eine Rolle für die Datenqualität?
Bereits zu Beginn unserer Untersuchung fanden wir heraus, dass die Qualität der Google Daten
selbst innerhalb vergleichbarer Zeiträume stark schwanken kann - offenkundig unabhängig vom
Suchvolumen und über mehrere Suchbegriffe gleichermaßen.
Während zum Beispiel die Werte für “Kurzarbeit” für den 15.4. je nachdem, wann sie abgerufen
wurden, so unterschiedlich ausfallen, dass sie zum Teil gänzlich widersprüchlich Trends zeigen,
gibt es zum selben Suchbegriff für den 18.4. kaum Widersprüche in den Daten (siehe Abbildung
2). Der Google Trends Indexwert für das Suchvolumen zeigt jedoch bei einer Betrachtung des
gesamten April für den 18. April ein nicht einmal halb so hohes Suchvolumen an wie für den 15.
April (siehe Abbildung 9). Parallel ist für den 18. April auch die Datenqualität für “Dachdecker”
wesentlich besser als für den 15. (siehe oben, Abbildung 4).
Abbildung 9: Google-Trends Angaben für “Kurzarbeit” für den 15. April und den 18. April 2020 inkl. der
Trendlinien, für jede einzelne Trend Abfrage (gestrichelt)
Abbildung 10: Google-Trends Indexwerte für “Kurzarbeit” im April 2020, direkt im Dashboard abgerufen.
Wert für den 18. laut Google: 20, für den 15. 44.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 17
Es muss also daher noch andere Einflussfaktoren auf die Zuverlässigkeit von Google Trends
Daten geben. Wir haben explorativ untersucht, wie weit die Daten über die verschiedenen
Suchbegriffe hinweg nach Wochentagen und Tageszeiten schwanken. Für die Untersuchung auf
Ebene von Wochentagen kam die Zeitreihe vom 1. Januar 2020 bis 1. April 2020 zum Einsatz.
Den möglichen Einfluss der Tageszeit untersuchten wir an den Daten vom 15.-20. April 2020.
Während die Abweichungen der Daten auf Ebene von Wochentagen keinem erkennbaren Muster
folgten, zeigte die Analyse nach Tageszeit eine gemeinsame Tendenz über die Begriffe hinweg:
zwischen 20 Uhr und den frühen Morgenstunden wird die Datenqualität besser. Derlei
Phänomene werden wir in unserer künftigen Forschung an weiteren Daten tiefergehend
untersuchen.
Abbildung 11: Durchschnittswerte und Standardabweichungen (absolut und prozentual) für den 15.-20.
April 2020 nach Uhrzeit.
6. Fazit und Ausblick: (Wie) lässt sich mit Google Trends Daten
arbeiten?
Google Trends Daten sind als Quelle für Analysen und Prognosen mit großer Unsicherheit
behaftet: möchte man ein Ergebnis zu späterem Zeitpunkt erneut abrufen, erhält man häufig für
denselben Begriff und Zeitraum andere Daten. Die Abweichungen sind dabei immer wieder so
stark häufiger über 100 Prozent , dass auf die Repräsentativität der von Google
herangezogenen Stichproben eindeutig kein Verlass ist.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 18
Hinter diesen Widersprüchen in den Google Trends Daten liegen komplexe Muster, die nur
Google hinreichend aufklären kann. Die von Google angeführte Begründung, unzuverlässige
Daten lägen an kleinen Suchvolumina, ist nicht falsch, aber greift auch erwiesener Maßen
wesentlich zu kurz. Aus dem Suchvolumen lässt sich bestenfalls die Hälfte der Widersprüche in
den Google Trends Daten erklären und dies durchaus nicht bei allen Suchbegriffen. Hohes
Suchvolumen führt damit nicht mit ausreichender Sicherheit zu verlässlicheren Google Trends
Daten. Für den üblichen Google Trends Anwender ist zudem gar nicht absehbar, welches
Suchvolumen ein Begriff tatsächlich hat, da Google hierzu nur einen Indexwert angibt, dieser
jedoch in unserer Untersuchung nur zur Hälfte mit dem realen Suchvolumen zusammen hing.
Einen eindeutigeren Einfluss hat die Länge der Zeitreihe: Werden Google Trends Daten für mehr
als 5 Jahre monatsscharf abgerufen, ist die Datenqualität insgesamt gut. Zwar können auch hier
noch bei manchen Begriffen erhebliche Abweichungen auftreten, doch erscheint uns eine
belastbare Arbeit mit den Daten möglich, sofern diese zur Überprüfung zu mehreren Zeitpunkten
abgerufen werden und bei Abweichungen Durchschnittswerte gebildet werden. Analysen auf
Wochenbasis über mindestens 8 Monate hinweg sind im Durchschnitt deutlich zuverlässiger als
solche für kürzere Zeiträume, doch konnten wir zeigen, dass es auch Begriffe gibt, die hierbei
sogar mehr Widersprüche in den Daten aufweisen als bei einer tages- oder stundenweise
Analyse. Es ist also deutlich mehr Vorsicht und Kontrolle angebracht. Bei einer Auswertung von
Google Trends Daten über Zeiträume, die kürzer sind als 8 Monate (und damit auf tages- oder
stundenbasis ausgewiesen werden) sind dagegen so viele Stichproben nicht repräsentativ und
die Widersprüche in den Daten so groß, dass sich daraus in der Regel keine seriösen Aussagen
ableiten lassen.
Losgelöst von einzelnen Suchbegriffen gibt es starke Schwankungen in der Zuverlässigkeit der
Google Trends Daten nach Mustern, die sich nicht klar erschließen: so sind über alle untersuchten
Begriffe hinweg teils für bestimmte Tageszeiten, teils für mehrere Tage in Folge deutlich
stimmigere Daten zu verzeichnen, nur um danach wieder stärker und für jeden Begriff
unterschiedlich in ihrer Qualität zu schwanken. In unserer weiteren Forschung konnten wir
zudem feststellen, dass Daten für zurückliegende Zeiträume mit sehr schlechter Qualität mitunter
wesentlich besser ausfielen, wenn sie einige Wochen später erneut aufgerufen wurden. Es
scheinen Hintergrundprozesse bei Google die Aussagekraft der gesamten Google Trends Daten
in bestimmten Zyklen zu beeinflussen. Nur Google ist in der Lage, dies aufzuklären.
Da Google im Rahmen seiner News Initiative offenkundig an der Verwendung von Google Trends
Daten gelegen ist, wäre es äußerst wünschenswert, wenn der Anbieter in sein Datenangebot
einen Güteindikator aufnähme, der für jede Abfrage anzeigt, wie weit die angezeigten Daten
repräsentativ sind zum Beispiel als Ampel, auf Basis der Stichprobengröße im Verhältnis zur
Varianz. Auch bezüglich der Unsicherheit, wie weit der Google Trend Index tatsächlich Aussagen
zum Suchvolumen zulässt, könnte Google einfach Abhilfe schaffen - mit einem weiteren Index,
der angibt, wie hoch zum gewählten Zeitpunkt das Suchvolumen im Vergleich zum Durchschnitt
ausfiel.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 19
So lange Google solche Schritte nicht ergreift, muss zu äußerster Vorsicht geraten werden, wenn
mit Google Trends Daten Entscheidungen in Wirtschaft, Wissenschaft, Politik oder Journalismus
getroffen werden sollen.
Oldenburg/Hannover, 2. Juni 2020
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 20
Anhang
I. Zahl und Verteilung der API-Abfragen
II. Zusätzliche Graphen zu den Daten
III. Korrespondenz mit Google
IV. Datensatz, an dem die Abweichungen ursprünglich entdeckt wurden
I. Zahl und Verteilung der API-Abfragen
API-Abfragen 15.04. - 19.04.2020
Anzahl API Abfragen
15.04.2020
16.04.2020
17.04.2020
18.04.2020
19.04.2020
dachdecker
31
29
27
25
25
kurzarbeit
44
41
41
39
38
sofa
3
36
35
35
35
API-Abfragen Januar 2020 - März 2020
Anzahl API Abfragen
Januar 2020
Februar 2020
März 2020
dachdecker
31
31
31
kurzarbeit
41
41
41
sofa
38
38
38
API-Abfragen Q1 2019 - Q4 2019
Anzahl API Abfragen
Q1 2019
Q2 2019
Q3 2019
Q4 2019
dachdecker
32
30
28
28
kurzarbeit
46
45
43
41
sofa
40
40
40
40
API-Abfragen 2010 - 19.04.2020, 2015 - 19.04.2020, 2019 - 19.04.2020
Anzahl API Abfragen
2010 - 19.04.2020
2015 - 19.04.2020
2019 - 19.04.2020
dachdecker
29
32
32
kurzarbeit
32
47
47
sofa
40
40
40
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 21
II. Zusätzliche Graphen zu den Daten
Visualisierung der Standardabweichungen (absolut und prozentual) der Suchbegriffe “Sofa”,
“Dachdecker” und “Kurzarbeit” für die 4 Quartale (2019) mit täglicher Granularität der Google Index Werte
Relative Standardabweichungen der stundenweisen Google Trends Indexwerte für 5 Tage (15.-19. April
2020)
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 22
Visualisierung der Streuung für die Suchbegriffe “Sofa”, “Dachdecker” und “Kurzarbeit” Der Boxplot für 5
Tage (15.-20. April 2020) in Stunden-Intervallen:
Fortsetzung auf nächster Seite
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 23
Visualisierung der Streuung für die Suchbegriffe “Sofa”, “Dachdecker” und “Kurzarbeit” Der Boxplot für 1
Quartal (Januar-März 2020) in Tages-Intervallen:
Fortsetzung auf nächster Seite
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 24
Visualisierung der Streuung (relativ zum Durchschnitt) für die Suchbegriffe “Sofa”, “Dachdecker” und
“Kurzarbeit” Januar-April 2020 nach Wochentagen:
Visualisierung der Streuung (relativ zum Durchschnitt) für die Suchbegriffe “Sofa”, “Dachdecker” und
“Kurzarbeit” 15.-20- April 2020 nach Tageszeit (stundenweise):
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 25
Visualisierung der Korrelationen zwischen Google-Index, Suchvolumen und Standardabweichung sowie
deren Ableitungen (Q1-Q4 2019):
Beispielhafte Abfragen mit der gleichen Parametrisierung, deren Ergebnisse den Mann.Whitney-U-Test
nicht bestanden haben: Suche nach “Kurzarbeit” für den 15.4.2020 (stündlich), Vergleich der Abfrage
vom 25.4. 21:05 mit der vom 26.4. 22:36.
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 26
Suche nach “Sofa” für den Januar .2020 (täglich), Vergleich der Abfrage vom 30.4. 11:33 mit der vom
08.5. 08:57
Anteil der Google-Stichprobenpaare, die den Mann-Whitney-U Test nicht bestanden haben, je
Aggregationsebene (Auflösung auf Stunden-, Tages-, Wochen- oder Monatsebene)
Fortsetzung auf nächster Seite
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 27
Suche nach “Dachdecker” für den Juli.September 2019 (wöchentlich), Vergleich der Abfrage vom 27.4.
16:30 mit der vom 28.4. 07:58.
III. Korrespondenz mit Google
Von: V <@achtung-kontakt.de>
Gesendet: Mittwoch, 22. April 2020 17:51
An: Jan Schoenmakers <jan.schoenmakers@haseundigel.com>
Betreff: Re: ANFRAGE Hase & Igel Systematischen Fehler in Google Trends Daten gefunden
Hallo Herr Schoenmakers,
wie gesagt, es handelt sich dabei um Stichproben, die immer wieder aktualisiert werden.
Sowohl Badsanierung als auch trockener Husten sind Suchanfragen mit geringem Volumina,
die mit 25k und 28k Suchanfragen pro Monat nur für einen geringen Datensatz sorgen.
Viele Grüße
V
Senior Account Manager
achtung! GmbH
Straßenbahnring 3
20251 Hamburg
Telefon: +49 40 45 02 10 -
Telefax: +49 40 45 02 10 - 999
@achtung-kontakt.de
twitter.com/achtung
achtung.de
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 28
achtung! GmbH
HRB-Nr.: 81110, Amtsgericht Hamburg
Geschäftsführer: Mirko Kaminski, Thorsten Beckmann, Max Ströbel
Am Mi., 22. Apr. 2020 um 17:33 Uhr schrieb Jan Schoenmakers
<jan.schoenmakers@haseundigel.com>:
Liebe Frau S,
vielen Dank für Ihre Antwort!
Die beobachteten Diskrepanzen treten jedoch auch auf
a. bei langen Zeiträumen (wir haben zu „Badsanierung“ die Zeiträume für 3 Jahre untersucht
und auch lange zurück diese großen Schwankungen gesehen)
b. bei Suchanfragen mit hohen Volumina, wie z.B. „trockener Husten“ (25.400 Suchen pro
Monat) und „Picknick“ (28.000 Suchen pro Monat) – siehe Anhang.
Zudem waren / sind die Diskrepanzen z.T. nicht klein, sondern ausgesprochen markant und
zeigen z.T. exakt gegenläufige Entwicklungen (z.B. Steigerung 50% für 1 Woche vs. Abfall 40%
für dieselbe Woche). Bei dem Anspruch „einen Datensatz [zu] betrachten, der für alle Google-
Suchanfragen repräsentativ ist“, sollte dies ja nicht passieren… es könnten sich natürlich kleine
Unterschiede in den Werten ergeben, doch keine diametral entgegengesetzten Trends.
So starke Schwankungen wie aktuell haben wir auch in der Vergangenheit noch nicht
beobachtet und fragen uns, ob wir als Analyse- und Prognoseunternehmen auf die Google-
Daten noch mit gutem Gewissen setzen können. Zudem spielen die entsprechenden Analysen
und Prognosen auf Basis von Google-Daten ja in der aktuellen Corona-Debatte eine erhebliche
Rolle in Politik und Medien… da sollte natürlich gewährleistet sein, dass z.B. Rückgänge für 1
(abgeschlossene) Woche nicht Minuten darauf als Steigerungen für eben diese Woche
ausgewiesen werden…
Herzliche Grüße
Jan Schoenmakers
Von: V <@achtung-kontakt.de>
Gesendet: Mittwoch, 22. April 2020 17:11
An: Jan Schoenmakers <jan.schoenmakers@haseundigel.com>
Betreff: Re: ANFRAGE Hase & Igel Systematischen Fehler in Google Trends Daten gefunden
Lieber Herr Schoenmakers,
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 29
ich habe Rückmeldung aus dem Team bekommen.
Folgende Erklärung zu Ihrer Suchanfrage "Badsanierung" kann ich Ihnen mitgeben:
Google Trends bietet Zugriff auf eine weitgehend ungefilterte Stichprobe von tatsächlichen
Suchanfragen an Google. Anhand dieser Stichprobe die sich permanent auf Grundlage von
aktuellen Suchanfragen aktualisiert können wir einen Datensatz betrachten, der für alle
Google-Suchanfragen repräsentativ ist. Eine Erklärung dazu finden Sie auch hier. Bei jeder
Anfrage über Google Trends zieht sich Google Trends eine Stichprobe als Vergleichswert zur
Darstellung des Suchinteresses heran. Wenn ein Suchbegriff nur einen sehr geringen
Datensatz hat (was oft daran zu erkennen ist, dass keine Ergebnisse unter "Ähnliche
Suchanfragen" angezeigt werden), kann es hier zu kleinen Abweichungen auch in
abgeschlossenen Zeiträumen kommen. Wir empfehlen bei solchen Fällen, den Zeitraum der
Abfrage zu erweitern oder den Suchbegriff zu variieren.
Eine weitere gute Erklärung zu Google Trends Daten zeigt außerdem dieser Blogpost.
Viele Grüße
V
V
Senior Account Manager
achtung! GmbH
Straßenbahnring 3
20251 Hamburg
Telefon: +49 40 45 02 10 -
Telefax: +49 40 45 02 10 - 999
@achtung-kontakt.de
twitter.com/achtung
achtung.de
achtung! GmbH
HRB-Nr.: 81110, Amtsgericht Hamburg
Geschäftsführer: Mirko Kaminski, Thorsten Beckmann, Max Ströbel
Von: press-de-external@google.comIm Auftrag vonJan Schoenmakers
Gesendet: Dienstag, 21. April 2020 13:25:22 (UTC+01:00) Belgrad, Bratislava (Pressburg),
Budapest, Laibach, Prag (Praha)
An: support-deutschland@google.com; press-de-external@google.com
Betreff: Systematischen Fehler in Google Trends Daten gefunden
Sehr geehrte Damen und Herren,
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 30
derzeit gibt es einen folgenschweren Fehler in Google Trends: ruft man die Daten für denselben
Suchbegriff, dieselbe Region und denselben abgeschlossenen Zeitraum zu verschiedenen
Zeitpunkten ab (z.B. selber Begriff, Zeitraum 1.1.-1.3.2020, einmal abgerufen um 10:00, einmal
um 10:15 siehe Dokumentation unten), erhält man völlig unterschiedliche Werte für sämtliche
Datenpunkte und die angezeigten Trends widersprechen sich oft diametral.
Damit sind Google-Trends Ergebisse aktuell weder replizierbar noch glaubwürdig. Im Trail unter
dieser Mail finden Sie eine Dokumentation (natürlich stellen wir auch gerne die vollständigen
Daten zur Verfügung).
Dieser Fehler tritt unabhängig davon auf, ob Daten per GT Frontend, CSV-Export, API
(pytrends) oder Tools (z.B. SEO- und Marktforschungs-Tools), in denen Google Trends Daten
integriert sind, abruft, und tritt auch auf verschiedenen Devices mit verschiedenen IP-Adressen
auf. Die rückwirkenden (!) Veränderungen in den Daten folgen u.E. keinem Muster, sondern
wirken chaotisch.
Wir haben heute @GoogleDE, @Google und @GoogleTrends per Twitter darauf aufmerksam
gemacht und nach der Ursache sowie einem Bugfix gefragt bisher ohne Antwort. Wir hoffen
auf eine heutige Antwort von Ihnen, bevor wir das Problem öffentlich machen. Unser Interesse
liegt zunächst daran, die Daten (wieder) zuverlässig nutzen zu können, nicht daran, möglichst
viel Aufmerksamkeit mit dem Bug zu gewinnen.
Herzliche Grüße
Jan Schoenmakers
Geschäftsführer
HASE & IGEL GmbH
Theaterwall 24
26122 Oldenburg
0160-7941714
Haseundigel.com
Fortsetzung auf nächster Seite
Whitepaper HASE & IGEL GmbH, VLBA Universität Oldenburg, L3S Universität Hannover
Widersprüche in Google Trends Daten 31
IV. Datensatz, mit dem HASE & IGEL am 21.4.2020 die erheblichen
Abweichungen ursprünglich entdeckte
Chapter
This chapter provides a basic understanding of trends as a theoretical construct to facilitate dealing with the future. Trends can be defined at different levels, from individual technology trends to overarching megatrends. In this context, their development is driven by the complex interplay with their environment. Some mechanisms can be abstracted by the diffusion model by Rogers or the Gartner Hype Cycle. However, the concrete course of trends is complex and cannot be predicted in detail.
Chapter
Der Treibstoff der Digitalisierung sind Daten. Das Internet lässt sich als die größte Datenfabrik der Menschheitsgeschichte begreifen – und als ihre umfassendste Selbstbeobachtung. Dementsprechend ist es in Online-Marketing und E-Commerce längst zum Standard geworden, die digitalen Handlungen sehr vieler Marktteilnehmender kontinuierlich und weitläufig auszuwerten. Eine noch junge Entwicklung ist dagegen die Nutzung von Big Data Streams aus dem Netz, um das Verhalten von Menschen im analogen Raum besser zu verstehen und vorherzusagen – auch in Bereichen, in denen Meinungsbildung und Transaktionen primär offline stattfinden. Anhand einer praxisnahen Übersicht über die verfügbaren Datenquellen und die Arbeitsweise damit stellt der Beitrag vor, wie Unternehmen und Forschende diese Möglichkeiten gewinnbringend nutzen können, illustriert dies an einer Fallstudie aus dem Mittelstand und diskutiert die Auswirkungen auf Marktforschung, Werbung und Vertrieb. Den Schluss bilden zehn Empfehlungen für Praktiker.
  • Einige Beispiele
Einige Beispiele: https://www.deutschlandfunknova.de/beitrag/kurzarbeit-wegen-corona-prognose-mithilfe-von-googletrends https://www.zeit.de/gesellschaft/2020-04/corona-alltag-konsum-stromverbrauch-wasserverbrauchschlafverhalten-grafiken, https://www.suedkurier.de/ueberregional/panorama/was-unser-verhalten-iminternet-ueber-die-corona-krise-verraet;art409965,10494086, https://bnn.de/nachrichten/suedwestecho/coronavirus-karlsruhe-baden-pforzheim-rastatt/googleauswertung-herrscht-auf-rheinland-pfaelzischen-koepfen-wildwuchs-wegen-corona, https://www.merkur.de/lokales/wolfratshausen/muensing-ort29101/bad-toelz-wolfratshausen-waswolfratshauser-geretsrieder-und-muensinger-in-corona-krise-googeln-13699430.html 21 https://www.sachverstaendigenratwirtschaft.de/fileadmin/dateiablage/gutachten/sg2020/SG2020_Gesamtausgabe.pdf 22 https://www.nytimes.com/2020/04/05/opinion/coronavirus-google-searches.html 23 https://www.medrxiv.org/content/10.1101/2020.04.15.20064485v1, https://idwonline.de/de/news745181
Dachdecker" für den Juli
  • Suche Nach
Suche nach "Dachdecker" für den Juli.September 2019 (wöchentlich), Vergleich der Abfrage vom 27.4. 16:30 mit der vom 28.4. 07:58.