Qualität von Marktforschungsinformationen richtig einschätzen

20.01.2023 | Artikel von Dr. Ottmar Franzen

Der technische Fortschritt der vergangenen 40 Jahre wird vor allem von der Computertechnik und der Digitalisierung getrieben. Eine Folge davon ist, dass es sehr einfach geworden ist, empirische Studien durchzuführen und die Ergebnisse zu publizieren. Oblag dies früher allein hochspezialisierten Forschungsinstituten und einem professionellen Verlagswesen, sind Hürden zur Generierung von Zahlen kaum noch vorhanden.

Mit im Internet frei verfügbaren Tools, wie Survey Monkey, kann jedermann in Eigenregie Umfragen durchführen und Forschung betreiben. Social-Media-Plattformen, wie Facebook, LinkedIn, Instagram oder Twitter erlauben die Veröffentlichung von Forschungsergebnissen mit zum Teil erstaunlichen Reichweiten und unabhängig von Verlagen oder professionellen Medienanbietern. Damit ist das frühere Monopol von Zeitungs- und Zeitschriftenverlagen oder von Radio- und TV-Sendern ein Stück weit gebrochen.

Hinzu kommt, dass professionelle Journalistinnen und Journalisten heutzutage kaum noch in der Lage sind, eigene Recherchen anzustellen oder das ihnen zur Publikation vorgelegte Material hinreichend auf Glaubwürdigkeit und Plausibilität zu überprüfen. Das hat zur Folge, dass auch fragwürdige Zahlen publiziert werden.

Inflation der Nutzer erfordert Bewusstsein für Datenqualität

Gerade bei den aktuell veränderten Umfeldbedingungen ist es wichtig, valide Informationen zu haben. Nur so kann man die richtigen Entscheidungen treffen und das Unternehmen für die Krise und für die Zukunft danach rüsten. Marktforschungsdaten sind damit längst „gängig“ geworden, sie werden von einer Vielzahl von Institutionen und Entscheidern genutzt. Aber diese Nutzung erfolgt nicht immer objektiv und im Allgemeininteresse.

Daher sollte jedes veröffentlichte Forschungsergebnis vor seiner Verwendung im Beratungsprozess kritisch geprüft und hinterfragt werden. Die Möglichkeiten der beabsichtigten oder unbeabsichtigten Manipulation von Daten sind vielfältig, sei es durch handwerkliche Fehler, wie etwa die Befragung einer nicht repräsentativen Stichprobe oder bewusst durch das Formulieren von tendenziösen Fragestellungen. Dabei kommt es darauf an, sich an den Qualitätskriterien der Marktforschung zu orientieren. Diese sind

• Objektivität
• Reliabilität
• Validität
• Aktualität

Objektivität bemisst sich daran, dass die Ergebnisse wertfrei, ohne eine beabsichtigte Tendenz ermittelt und verarbeitet werden. Man verletzt die Objektivitäts-Forderung, in dem man z.B. eine tendenziöse Frage stellt, die Probanden im Vorfeld der Befragung beeinflusst, oder für die Forschungsthematik relevante Zielgruppen erst gar nicht berücksichtigt. Man kann das Kriterium der Objektivität aber auch unbeabsichtigt verletzen, z.B. indem man eine durchaus objektiv formulierte Frage in einem beeinflussenden Kontext stellt. Noch plumper ist der Versuch, bereits die Frage so zu stellen, dass der Proband in eine bestimmte Richtung gelenkt oder gar verunsichert wird. Beispiele für tendenziöse oder verwirrende Fragestellungen sind

• Welche Probleme haben Sie mit dem Designteam? (Unterstellt, dass es Probleme gibt)
• War das Produkt leicht zu finden und haben Sie es gekauft? (Zwei Fragen in einer)
• Inwieweit hat das Produkt Ihnen geholfen, Ihre OKRs zu erreichen? (Verwendung von unbekannten Begriffen oder Fachjargon)
• Ich kaufe kaum Artikel online. Ja/Nein (Doppelte Verneinung)
• Wie war unser Service heute? Okay | Gut | Fantastisch | Unvergesslich | Umwerfend (Tendenziöse Skala)

Unter Reliabilität versteht man die Verlässlichkeit der Ergebnisse. Würde man die Studie unter den gleichen Bedingungen wiederholen, würde auch wieder das gleiche Ergebnis herauskommen. So ist es z.B. bei Zeitreihenmessungen wichtig, dass die Fragen im gleichen Wortlaut gestellt werden und immer auch im gleichen Kontext bleiben. Ansonsten sind die Ergebnisse nicht miteinander vergleichbar. Die Ergebnisse sind auch dann nicht reliabel, wenn unterschiedliche Zielpersonen befragt werden. Insofern muss die Auswahl der Zielpersonen immer nach dem gleichen Verfahren erfolgen.

Abb.1: Überblick Kritieren Marktforschung

Validität heißt Genauigkeit in der Messung. Trifft die formulierte Fragestellung wirklich den Kern der Sache? Sind in einer Umfrage alle relevanten Zielgruppen berücksichtigt worden und haben sie eine realistische Chance für die Teilnahme? Es gibt häufig Umfragen mit „Unternehmensentscheidern“. Aber wer sind diese Personen? Haben sie tatsächlich Entscheidungsbefugnisse? Und falls ja, gelten diese für Bereiche, die für die Umfrage auch relevant sind? Z.B. wird das Thema „Diversity“ in einer regionalen Sparkasse einen anderen Stellenwert haben als in einer internationalen Werbeagentur. Es kommt also darauf an, in welchen Branchen und bei welchen Zielpersonen man ein bestimmtes Thema adressiert.

Darüber hinaus wird vorausgesetzt, dass die Informationen aktuell sind. Aber auch hier lohnt sich ein kritisches Misstrauen. Zwischen der Erhebung von Daten und ihrer Veröffentlichung vergehen oftmals mehrere Monate. Sich schnell verändernden Phänomenen wird dabei nicht immer ausreichend Rechnung getragen. Und manche Ergebnisse geistern oft jahrelang durch die Presse, obwohl sie längt widerlegt oder als unbrauchbar bewertet wurden.

Mit einer einfachen Checkliste die Qualität von Daten prüfen

Noch nie war die Verfügbarkeit von Informationen so hoch wie heute. Und noch nie war es einfacher, Marktdaten mit Hilfe von Onlinebefragungen auch originär zu gewinnen. Dies alles hilft Kosten zu sparen und trotzdem die aktuellsten Informationen zu nutzen. Dabei liegt es in der Verantwortung von seriöser Unternehmensberatung, ihre Expertise ausschließlich auf verlässliche Daten zu stützen. Ein paar wenige Fragen helfen, ihre Qualität zu prüfen:

• Haben die Absender der Daten ein Eigeninteresse?
• Wie war die ursprüngliche Fragestellung?
• In welchem Kontext wurde gefragt?
• Wann war der Erhebungszeitraum?
• Welcher Personenkreis wurde befragt, ist er überhaupt relevant für das Thema?
• Wie wurde ausgewählt, ohne jeden Plan, zufällig oder nach bestimmten Kriterien?
• Wie viele Erhebungseinheiten (Befragte) stehen hinter den Zahlen?

Ein mögliches Eigeninteresse des Herausgebers steht an erster Stelle. Gerade Verbände und politische Organisationen untermauern ihre Forderungen mit mehr oder weniger belastbaren Zahlenwerken. Bei der Nutzung solcher Studien muss man immer die eigene Motivation des Herausgebers im Hinterkopf behalten. Niemand ist verpflichtet, alle Ergebnisse einer selbst finanzierten Studie zu veröffentlichen. Es ist legitim, nur solche Ergebnisse zu zeigen, die die eigenen Forderungen unterstützen und Gegenargumente zu verschweigen. Damit kommt einer verlässlichen Quellenangabe ein essentielles Gewicht zu.

Zusammenfassung

In der Unternehmensberatung spielen Daten aus Studien eine wichtige Rolle. Dabei liegt es in der ethischen Verantwortung der Consultants, nur belastbare und objektive Studienergebnisse zu verwenden. Erst wenn man selbst die Herkunft und den Kontext der Daten versteht und ihnen hundertprozentig vertraut, ist auf ihrer Basis eine fundierte Empfehlung möglich!
Studien aus Medien und Presse sind mit besonderer Vorsicht zu genießen. Hier geht es vor allem darum, mit auffälligen, reißerischen Zahlen Interesse beim Leser zu wecken und Reichweiten zu steigern!

Wissenschaftliche Studien haben diesbezüglich einen anderen, objektiveren Anspruch, ebenso Studien von öffentlich finanzierten Stellen, wie dem Statischen Bundesamt. Hier kann man in der Regel von einer höheren Seriosität und Sachkenntnis ausgehen. Aber auch diese Studien können handwerkliche Fehler aufweisen, d.h. ihre Objektivität, Reliabilität und Validität können ebenfalls eingeschränkt sein, weshalb sich immer ein kritischer Blick auf das Untersuchungsdesign lohnt.