Tausende befragt - nur fünf haben geantwortet
Wenn Studienanbieter also von Befragungen unter mehreren tausend Unternehmen sprechen, dann ist in vielen Fällen Vorsicht angebracht. So ist es eine beliebte Praxis im statistischen Graumarkt, nicht die Anzahl der Beobachtungen, sondern die Anzahl der Befragten anzugeben: "Eine Befragung unter xxxtausend deutschen Unternehmen hat ergeben, dass: ".. . . ." Bei genauerem Hinschauen erweist sich dann häufig, dass zwar mehrere Tausend Unternehmen befragt wurden, jedoch nur ein kleiner Teil dieser Unternehmen tatsächlich auch geantwortet hat. Diese Art der Ergebnispräsentation hat mit seriöser Statistik nichts zu tun.
Als weiteren Indikator für die Brauchbarkeit der Zahlen empfiehlt es sich, das Design der Befragung genauer unter die Lupe zu nehmen. Denn die Qualität der Aussagen ist nur so gut wie die Qualität der Befragten, die Repräsentativität der Stichprobe und die Befragungsmethodik selbst. Aufschluss über die Ergebnisse bietet die Beantwortung kritischer Fragen wie: Inwieweit sind die Befragten in der Lage, die gestellten Fragen zu beantworten? Inwieweit ist die Zusammensetzung der Stichprobe nach Merkmalen wie Unternehmensgröße und Branchenzusammensetzung tatsächlich repräsentativ für die zu treffenden Aussagen? Und inwieweit ist das Befragungsverfahren geeignet, die Qualität der Aussagen zu unterstützen?