Leveraging Large Language Models for Survey Research

Projektleiter/innen Dr. Alexander Wenz MZES-gefördert 2024 – 2027

Forschungsfrage/Ziel:

Die neusten Fortschritte und die Verfügbarkeit großer Sprachmodelle (Large Language Models, LLMs) schaffen neue Möglichkeiten für die Forschung in den Sozial- und Verhaltenswissenschaften. In diesem Projekt wird untersucht, inwieweit große Sprachmodelle bei zwei Aspekten der Erhebung von Umfragedaten verwendet werden können: (1) bei der Fragebogenentwicklung und -evaluierung und (2) bei der Befragung. Zunächst untersuchen wir, inwieweit große Sprachmodelle im Vergleich zu bestehenden Methoden der Fragebogenevaluierung potenzielle Probleme in Survey-Fragen identifizieren können. Zweitens analysieren wir, inwieweit ein auf großen Sprachmodellen basierender Chatbot im Vergleich zu einer Online-Befragung hochwertige Umfragedaten erheben kann. Drittens untersuchen wir, inwieweit die Leistungsfähigkeit von großen Sprachmodellen in der Umfrageforschung durch Prompt-Engineering und Fine-Tuning verbessert werden kann.


Publikationen

Zeitschriftenartikel

  • Von der Heyde, Leah, Anna-Carolina Haensch, Alexander Wenz (2025): Vox Populi, Vox AI? Using Large Language Models to Estimate German Vote Choice. Social Science Computer Review, tba, tba, 1-23. More

Präsentationen

  • Haensch, Anna-Carolina, Leah Von der Heyde, Alexander Wenz (2024): Can large language models predict how people vote? Evidence from Germany. [10th International Conference on Computational Social Science (IC2S2), Philadelphia, PA, 17/07/2024 - 20/07/2024]. More
  • Von der Heyde, Leah, Anna-Carolina Haensch, Alexander Wenz (2024): Can large language models estimate how people vote? Evidence from Germany. [29. Wissenschaftlicher Kongress der Deutschen Vereinigung für Politikwissenschaft, Göttingen, 24/09/2024 - 27/09/2024]. More