Buch Falsch!

Eine Ex­perten­be­tra­ch­tung

Egal ob in medi­zinis­cher oder natur­wis­senschaftlicher Forschung, in Branchen­verbänden oder im Sport – Experten begegnen uns in nahezu allen Lebens­bere­ichen. Als Klienten suchen wir Rat bei lokalen Experten wie Ärzten, Anwälten oder Eheberatern. Aus dem Denken und den Meinungen all dieser Spezial­is­ten bildet sich ein brisanter, weil oft widersprüchlicher Expertenmix, der häufig in die Irre führt. Warum ist das so? Wenn wir das, was jemand sagt, gerne hören, sind wir eher bereit, es zu glauben. Menschen lieben positive Aussagen und einfache, umsetzbare Ratschläge. Werden diese in eine schöne Geschichte verpackt und sind universell anwendbar, lässt man sich mit großer Wahrschein­lichkeit überzeugen. Ganz egal, wie hoch der Wahrheits­ge­halt tatsächlich sein mag. Sind gleich mehrere Experten einer Meinung, schließen sich Laien vor­be­halt­los an. Doch es ist ein Irrglaube, dass viele gemeinsam die bessere Lösung für ein Problem finden. In Wahrheit verstärkt das Ergebnis einer Gruppe lediglich einen Effekt in eine Richtung. Und die kann genauso gut richtig wie falsch sein, wie schon der Philosoph Marquis de Condorcet bewies.

Warum Wis­senschaftler Schiffbruch erleiden

Während informelle Experten wie Sportprofis meist nicht auf gesichertes Daten­ma­te­r­ial zugreifen können oder Daten, die von ihren persönlichen Eindrücken abweichen, nicht berücksichtigen, haben Wis­senschaftler mit anderen Problemen zu kämpfen: Selbst Studien, die nach glaubwürdigen Kriterien verfasst wurden, fußen nicht selten auf fehler­haftem Daten­ma­te­r­ial. Mögen die Messergeb­nisse noch so ein­drucksvoll sein, letztlich sind die daraus gezogenen Schlüsse falsch. Betrachtet man die Messgröße, die einer Aussage zugrunde liegt, lässt sich mitunter feststellen, dass sie für das Ergebnis gar nicht relevant ist. Werden zudem so genannte Sur­ro­gat­pa­ra­me­ter verwendet, die das Gemessene ersetzen (z. B. soll eine Tu­morverkleinerung anzeigen, wie gut eine Kreb­s­be­hand­lung wirkt), sind irreführende Ergebnisse vor­pro­gram­miert. Un­ter­suchun­gen über men­schliches Verhalten mittels Sur­ro­gat­pa­ra­me­tern sind besonders anfällig für Falschaus­sagen. Doch weil in bestimmte Theorien zuhauf Forschungs­gelder investiert werden (Beispiel: Ein einzelnes Gen verursacht eine bestimmte Krankheit), halten Wis­senschaftler weiterhin daran fest. Durch Fehlmes­sun­gen, falsche Analysemeth­o­den, arglose Übertra­gun­gen von in Tierver­suchen gefundenen Effekten auf den Menschen und durch das Aus­sortieren unpassender Daten lassen sich Forschungsergeb­nisse ma­nip­ulieren. Hinzu kommt das Schubladen­prob­lem: Passen die Daten einer Studie nicht ins Konzept, bleiben sie unveröffentlicht. Oder man ändert im Nachhinein einfach den Forschungs­ge­gen­stand. Eine weitere Problematik stellt die Korrelation vieler einzelner Faktoren dar: Welcher ist der entschei­dende Faktor und worin genau besteht sein Einfluss? Häufig genug werden bei der Daten­in­ter­pre­ta­tion Ursache und Wirkung vertauscht.

Die Unzuverlässigkeit von Studien

Wie glaubwürdig eine wis­senschaftliche Studie ist, wird in der Regel von deren Form abhängig gemacht. So gelten Beobach­tungsstu­dien, die an einer kleinen Gruppe durchgeführt werden, als unzuverlässig. Breit angelegte epi­demi­ol­o­gis­che Studien dagegen genießen ein höheres Vertrauen, weil sie eine hohe Anzahl an Stichproben untersuchen, teilweise über einen langen Zeitraum. Doch die Ergebnisse sind meist bescheiden und schließen falsche Schlussfol­gerun­gen nicht aus. Math­e­ma­tis­che Un­ter­suchun­gen haben gezeigt, dass Meta­analy­sen über viele Einzel­stu­dien zwar zuverlässiger sind, doch auch sie fallen im Ergebnis nicht selten falsch aus. Ran­domisierte kon­trol­lierte Studien (RCT oder Dop­pel-Blind-Stu­dien), bei denen eine von zwei Gruppen ein Placebo erhält und weder Ver­suchsper­so­nen noch Durchführende wissen, welche, gelten in der Forschung als höchster Standard. Doch auch sie können falsche Ergebnisse liefern. Manchmal weisen RCT zudem nur geringe Effekte nach, weil Durch­schnittswerte aus höchst un­ter­schiedlichen Einzel­w­erten entstehen. Ein weiterer Verz­er­rungs­fak­tor sind Fi­nanzierun­gen durch die Industrie. Es ist erwiesen, dass solcherlei erzeugte Forschungsergeb­nisse deutlich positiver ausfallen als unabhängig erarbeitete. Zudem ist es üblich, dass Firmen im Nachhinein einen Wis­senschaftler als Gastautor einkaufen, um die Tendenz ihrer Studie zu ver­schleiern.

Frisierte Daten, positive Ergebnisse und hohe Wahrschein­lichkeiten

Schummeln, täuschen, ver­schleiern – Wis­senschaftler legen im Umgang mit den erhobenen Daten eine er­staunliche Kreativität an den Tag. Warum betrügen sogar angesehene Forscher die Öffentlichkeit und legen falsche Tatsachen vor? Eine Erklärung liegt im enormen Konkur­ren­z­druck, der im Wis­senschafts­be­trieb herrscht. Dieser fängt schon beim Gerangel um eine feste Stelle an und setzt sich beim Wettbewerb um Forschungs­gelder fort. Dabei gewinnt, wer die meisten Veröffentlichun­gen in renom­mierten Fachzeitschriften hat und am häufigsten zitiert wird. Wie aber erreichen Wis­senschaftler einen karrierefördernden Abdruck? Die Chancen stehen gut, wenn ein Artikel Neuland erschließt, nutzbrin­gend ist und positive Ergebnisse vorweist. Der let­zt­ge­nan­nte Faktor, die so genannte Pub­lika­tions­bias, führt dazu, dass Studien mit negativen Ergebnissen gar nicht erst angeboten werden.

„Als griffige kurze For­mulierung für Expertenrat würde ich Irrtum mit Lücken vorschlagen: Meist ist Expertenrat irreführend, aber es ist auch immer wieder mal etwas Nützliches dabei.“

Je neuer eine Idee, desto geringer ist die Wahrschein­lichkeit, dass sie korrekt ist. Forscher sind jedoch auf Pub­lika­tio­nen angewiesen, weshalb sie bewusst oder unbewusst eher auf ein erwartetes Ergebnis hinarbeiten, anstatt vorurteils­frei nach der Wahrheit zu suchen. Die Herausgeber wis­senschaftlicher Pub­lika­tio­nen scheinen mehr am Newswert einer Arbeit in­ter­essiert zu sein als an deren fachlicher Qualität. Zwar gibt es das Peer-Re­view-Ver­fahren, bei dem Gutachter ein­gere­ichte Artikel überprüfen, doch oft sind sie befangen und decken die Fehler nicht auf. Kaum jemand macht sich die Mühe, eine Studie zu wiederholen. Gewöhnlich erhält man dafür auch keine Gelder. Deshalb liegt die Überprüfungsquote medi­zinis­cher Studien bei unter 5 %. Das hat zur Folge, dass sich unwahre Ergebnisse über Jahre hinweg durchsetzen. Sta­tis­tis­che Berech­nun­gen hin­sichtlich der Signifikanz von Studien zeigen, dass jede dritte veröffentlichte Studie, die mit positiven Ergebnissen glänzt, falsch sein muss. Zieht man weitere Fehlerquellen in Betracht, muss man annehmen, dass sogar zwei Drittel aller veröffentlichten Artikel, die eine neue Theorie überprüfen, zu Unrecht deren Richtigkeit bestätigen.

Sinn und Unsinn von Busi­ness­ber­atern

Gestern Six Sigma, heute Prozes­sop­ti­mierung, morgen Lean-Man­age­ment: Ganze Heerscharen von Beratern fallen alljährlich über die Unternehmen her, um ihre neuesten Weisheiten an den Mann zu bringen. Flankiert werden die Methoden, mit denen man au­gen­schein­lich marode Firmen zu Goldeseln umkrempeln will, von unzähligen Regalmetern an Busi­nesslit­er­atur. Klar: Mit einer Buchveröffentlichung verschafft sich jeder Experte ein hohes Maß an Glaubwürdigkeit. Doch im besten Fall hat der Leser davon eine anregende Lektüre. So sind z. B. die Er­fol­gs­fak­toren eines Un­ternehmens wie Toyota zu vielschichtig, um sie mit allgemeingültigen Rezepten auf ein beliebiges anderes Unternehmen zu übertragen.

Massen­me­dien im Umgang mit Experten

Wir lassen unser Leben erheblich von Besten­lis­ten bee­in­flussen, die wir in den Medien finden, z. B. beim Autokauf, bei der Auswahl der Schule oder des passenden Wohnortes. Doch Zeitungen, Zeitschriften, Radio und Fernsehen in­ter­essiert der Wahrheits­ge­halt einer fachlichen Erkenntnis nur wenig. Stattdessen muss ein Bericht einfach, streitbar und un­ter­halt­sam sein, und er muss vor allem klare Antworten liefern. Über die Massen­me­dien ver­bre­it­etes Ex­perten­wis­sen führt deshalb oft zu irreführenden Aussagen. Schlechte Ratschläge sind die Folge, auch wenn sie von qual­i­fizierten Experten stammen. Zudem führen Urteilsschwäche bei der Präsentation von Studien und die Ide­al­isierung von Wis­senschaftlern dazu, dass Ergebnisse eher aufgemotzt als infrage gestellt werden. Würden Jour­nal­is­ten gegenüber Wis­senschaftlern das gleiche Misstrauen an den Tag legen wie gegenüber Politikern, wäre das ein großer Fortschritt. Studien, egal welcher Form, liefern niemals endgültige Beweise, und Forschung beinhaltet immer Un­sicher­heiten.

Ein weltweites Netz von Experten?

Das Internet bietet mit seinen sozialen Medien, Foren und Wikis und deren Bewertungs- und Kom­men­tar­funk­tio­nen geradezu ideale Vo­raus­set­zun­gen dafür, Wissen transparent allzeit und überall für jeden verfügbar zu machen. Auf dieser Basis entstand die Theorie der Weisheit der Massen, die von einem Netz weltweit verstreuter Mikroex­perten ausgeht. Die Praxis sieht leider anders aus. Dank Google können wir zwar zu nahezu jedem Thema eine unendliche Zahl von Suchergeb­nis­sen finden. Doch die meisten davon sind entweder unbedeutend oder falsch. Das liegt an Googles Suchal­go­rith­mus und an den Tricks vieler Web­site­be­treiber. Wer sich nicht pro­fes­sionell mit In­for­ma­tion­srecherche beschäftigt oder nicht genug Ausdauer und Erfahrung mitbringt, ertrinkt in der schieren In­for­ma­tions­flut. Vorge­bildete werden so immer gebildeter, während der Rest sich mit min­der­w­er­ti­gen Auskünften abfinden muss, weil ihm die Such­fer­tigkeiten fehlen. Be­w­er­tungsmech­a­nis­men, mit denen Nutzer einen Rat oder eine Meinung kom­men­tieren können, helfen anderen, die Glaubwürdigkeit einzuschätzen. Leider liefert aber nur ein ver­schwindend geringer Prozentsatz der Beteiligten Beiträge zu einem sozialen Netzwerk. Die große Masse schweigt.

Entlarven Sie falschen Expertenrat

Auf welche Aussage ist überhaupt noch Verlass? Ex­perten­mei­n­un­gen zu beurteilen ist ein schwieriges Unterfangen, über das kein Konsens herrscht. Unter ver­meintlichen Experten gibt es genug, die zumindest den Eindruck erwecken, aus­gewiesene Fachmänner zu sein. Doch die Beweisführung, die es braucht, um einen Dilettanten bloßzustellen, kann sehr schwierig sein. Wenn Sie eine ver­meintliche Ex­perten­mei­n­ung anhand der folgenden Merkmale untersuchen, fällt es Ihnen leichter, die Spreu vom Weizen zu trennen.

„Keine Studie, auch keine Folge von Studien, wird und jemals klipp und klar etwas beweisen.“

So erkennen Sie unglaubwürdigen Expertenrat:

• Seien Sie wachsam, wenn eine Studie den Anspruch auf Allgemeingültigkeit erhebt.
• Werden Sie stutzig bei Schlagzeilen wie „Kaf­feetrinken verlängert das Leben!“. Wir wünschen uns im Alltag umsetzbare Ratschläge. Diese lassen sich aber nur selten aus der Forschung ableiten, sondern sind meist von den Massen­me­dien inszeniert.
• Vorsicht ist auch geboten bei Studien, die lediglich durch Tierver­suche belegt sind.
• Finger weg von bahn­brechen­den Erken­nt­nis­sen: Neues muss sich erst noch beweisen.
• Fragen Sie sich, wer von den Ergebnissen profitiert. Mitunter hat die Industrie eine Studie beauftragt, die den eigenen Interessen dient. Doch auch staatlich finanzierte Forschung ist nicht immer frei.
• Provokante und eingängige Thesen sind schön und gut, aber noch lange kein Beweis.
• Denken Sie bei positiven Bewertungen und weitläufig übernommen Meinungen immer an Trit­tbret­tfahrer und Korruption.
• Auch bei der Beweisführung mittels breiter und exakter Studie können Messfehler und Schlamperei vorliegen.
• Ist ein Experte noch so qual­i­fiziert: Leis­tungs­druck kann zu Fälschungen verführen.
  

„Letzten Endes werden wir, glaube ich, keine definitive Punkteliste für Expertentum haben, jedenfalls keine allgemein anerkannte.“

So erkennen Sie vertrauenswürdigen Expertenrat:

• Negative Befunde sind oft unerwünscht und deshalb meist wahrhafter als positive.
• Alle Einschränkungen sowie abweichende Erken­nt­nisse werden genannt.
• Der durchgeführte Ansatz ist in eine nachvol­lziehbare Forschung­shis­to­rie eingebettet.
• Der Experte liefert eine praktische Bedeutung seiner Forschung und bewertet seine Ergebnisse selbst.
• Es bleibt genügend Raum für Zweifel und Skepsis.