Daten von Meinungsforschern sind oft unzulänglich
Die Auswertungen vieler privater Wahlgruppen, Meinungs- und Marktforschungsinstituten sind oft unzuverlässig. Das ist das Ergebnis einer neuen Studie eines internationalen Forscherteams unter der Beteiligung der Mannheimer Datenwissenschaftlerin Prof. Annelies Blom. Das Problem betrifft nicht nur Newcomer, sondern auch renommierte Institute in Deutschland.
Die Aufgabe von Meinungsforschungsinstituten ist es, zuverlässige Daten für die Prognose von Wahlen und für das Abbild von politischen Stimmungen und Meinungen zu liefern. Die Großen unter ihnen wie Allensbach, Infratest und Forsa dominieren seit Jahrzehnten das Geschäft der Demoskopen. Auf ihre Daten stützen sich Wahlprognosen oder Meinungsumfragen wie das ZDF Politbarometer mit der Sonntagsfrage. Seit einigen Jahren wird die Qualität der Meinungsdaten jedoch zunehmend untergraben, weil viele Umfrageinstitute zu günstigeren aber wissenschaftlich nicht fundierten Methoden greifen. Zudem drängen immer mehr neue Unternehmen auf den Markt, die schnelle Umfragen für kleines Geld versprechen.
Die meisten Meinungsumfragen nutzen Online-Befragtenpools
Sie offenbaren ein Problem, das die ganze Branche – darunter auch die etablierten Marktführer – betrifft: Sie nutzen Online-Befragtenpools, für die sich die Teilnehmer selbst anmelden, oder sprechen Menschen über Banner-Anzeigen auf großen Nachrichtenseiten an. So bekommen sie Antworten von Personen, die sich aktiv bereit erklären, an einer solchen Online-Umfrage teilzunehmen. Diese Gruppe kann jedoch nicht repräsentativ für die ganze Bevölkerung sein, weil sie meist aus internetaffinen, politisch interessierten, gebildeten Menschen mittleren Alters besteht.
Internationale Studie zeigt: Viele Daten sind nicht bevölkerungsrepräsentativ
Diesem Thema ging ein internationales Forscherteam unter Beteiligung von Annelies Blom, Professorin für Politikwissenschaft und Data Science an der Universität Mannheim, nach. Ihre Forschungsergebnisse sind in einer Sonderausgabe der Zeitschrift Journal for Survey Statistics and Methodology veröffentlicht (siehe Link weiter unten). An dem Artikel sind drei weitere Mannheimer Data Scientists beteiligt: Dr. Carina Cornesse, Dr. Alexander Wenz und Prof. Joseph Sakshaug.
In ihrem Artikel fassen sie die Ergebnisse von 25 Vergleichsstudien zusammen, in denen die Repräsentativität dieser so genannten nicht-probabilistischen Umfragen untersucht wurde. Das Resultat: Die große Mehrheit der Meinungsumfragen liefert keine repräsentativen Ergebnisse. „Auch wenn die Zahl der Befragten in die Tausende geht, sind die Ergebnisse verzerrt, weil sie die Bevölkerung nicht adäquat abbilden. Das Versprechen, von einer Stichprobe auf die Allgemeinheit schließen zu können, kann so nicht eingehalten werden“, so Prof. Blom.
„Seriöse Studien ziehen eine Zufallsstichprobe, die Menschen verschiedenster Hintergründe aus allen Regionen Deutschlands erfasst“, so Prof. Annelies Blom weiter. „Diese Genauigkeit können jedoch viele kommerzielle Panels, die auf Online-Befragtenpools beruhen, nicht gewährleisten.“ Verlässliche Daten ließen sich nun einmal nicht herbeizaubern.
Ein Grund für die schlechte Datenqualität vieler Institute sei, dass die Branche unter enormem Kostendruck steht und die Daten an die Auftragsgeber immer schneller liefern muss. In diesen Markt drängen stets neue Institute, die für noch weniger Geld noch dubiosere Ergebnisse anbieten. „Dass die Daten unzureichend sind, ist ein großes Problem. Auch manche Wissenschaftlerinnen und Wissenschaftler nutzen solche Panels, um ihre Forschung durchzuführen“, erklärt die Datenwissenschaftlerin. Schlechte Datenqualität führe unter Umständen sogar zu Fehlschlüssen in der Wissenschaft und folgerichtig zu Fehlentscheidungen in der Wirtschaft oder in der Politik.
Link zum Artikel:
Carina Cornesse, Annelies G Blom et al. A Review of Conceptual Approaches and Empirical Evidence on Probability and Nonprobability Sample Survey Research. Journal of Survey Statistics and Methodology. January 2020. https://academic.oup.com/jssam/advance-article/doi/10.1093/jssam/smz041/...
Link zum Blogeintrag Keine Macht den Zauberdaten! von Prof. Annelies Blom: http://tiny.uni-mannheim.de/60t
Kontakt:
Prof. Annelies Blom, Ph.D.
Professur für Politikwissenschaft, Data Science
Universität Mannheim
E-Mail: blom [at] uni-mannheim.de
https://www.mzes.uni-mannheim.de/d7/de/profiles/annelies-blom
Yvonne Kaul
Forschungskommunikation
Universität Mannheim
Tel. +49 621 181-1266
E-Mail: kaul [at] uni-mannheim.de
(Pressemitteilung Universität Mannheim, 11.02.2020)