1 Die Grundidee: Bestätigung und Widerlegung

Die Aussage „Alle Schwäne sind weiß“ lässt sich durch viele Beobachtungen weißer Schwäne nicht endgültig beweisen. Die nächste Beobachtung könnte ein schwarzer Schwan sein. Ein zuverlässig festgestellter schwarzer Schwan widerspricht dagegen der allgemeinen Aussage.

Das Beispiel verdeutlicht eine logische Asymmetrie: Endlich viele bestätigende Einzelfälle begründen kein ausnahmslos gültiges allgemeines Gesetz. Ein zutreffender Gegenfall kann einer solchen universellen Aussage widersprechen. In einer tatsächlichen Untersuchung muss allerdings auch geprüft werden, ob die Beobachtung zuverlässig ist und die verwendeten Begriffe zutreffen.

Induktion bezeichnet hier den Schluss von beobachteten Einzelfällen auf eine allgemeine Regel. Popper bestreitet, dass sich die Wahrheit allgemeiner Theorien auf diese Weise logisch rechtfertigen lässt. Deduktion geht den umgekehrten Weg: Aus einer Theorie werden, zusammen mit weiteren Annahmen, konkrete Vorhersagen abgeleitet. Diese Vorhersagen können anschließend geprüft werden.

Für eine Abschlussarbeit bedeutet das: Eine theoretisch begründete Hypothese ist der Ausgangspunkt der Untersuchung. Die Suche nach passenden Belegen ersetzt ihre kritische Prüfung nicht. Die Grundlagen dieses Verständnisses entwickelt Popper in Logik der Forschung und Conjectures and Refutations (Literatur).

Induktion im Schwan-Beispiel: Schwan 1 ist weiß, Schwan 2 ist weiß und auch Schwan 500 ist weiß. Daraus wird die Regel „Alle Schwäne sind weiß“ vorgeschlagen. Der Übergang ist logisch nicht zwingend: Die Beobachtungen lassen offen, ob irgendwo ein nicht weißer Schwan existiert. Das ist das Induktionsproblem. Es bedeutet nicht, dass Beobachtungen oder Mustererkennung nutzlos wären, sondern dass sie keine endgültige Rechtfertigung des allgemeinen Gesetzes liefern.

Deduktion im Schwan-Beispiel: Wenn alle Schwäne weiß sind und das beobachtete Tier ein Schwan ist, dann muss dieses Tier weiß sein. Die Vorhersage folgt aus der allgemeinen Aussage und der Zuordnung des Tieres.

Modus tollens: Die logische Form der Widerlegung lautet:

1. Wenn die Theorie T gilt, folgt die Vorhersage V.
2. V trifft nicht zu.
3. Also kann T in dieser Form nicht zutreffen.

In der Forschung ist der erste Schritt meist umfangreicher: Aus T und Hilfsannahmen A folgt V. Scheitert V, ist zunächst das gesamte Annahmenpaket T und A betroffen. Ob T, eine Hilfsannahme oder die Beobachtung selbst das Problem verursacht, braucht eine zusätzliche Prüfung. Diese Einschränkung wird in Abschnitt 8 erläutert.

Wissenschaftlicher Fortschritt entsteht für Popper durch Vermutungen, Kritik und Fehlerkorrektur. Theorien können kreativ vorgeschlagen werden; entscheidend ist, wie streng ihre Konsequenzen geprüft werden. Vorläufige Bewährung bezeichnet das Bestehen solcher Prüfungen, nicht die bloße Ansammlung leicht zu findender Bestätigungen.

2 Was macht eine Hypothese prüfbar?

Falsifizierbarkeit bedeutet, dass denkbare empirische Befunde mit einer Aussage unvereinbar wären. Falsifikation bezeichnet ihre Widerlegung. Eine falsifizierbare Aussage muss also nicht bereits widerlegt sein.

Nach Popper ist Falsifizierbarkeit ein Kriterium zur Abgrenzung empirischer Wissenschaft. Daraus folgt weder, dass jede falsifizierbare Theorie wahr ist, noch, dass nicht falsifizierbare Aussagen grundsätzlich bedeutungslos sind.

Für die Formulierung einer Hypothese helfen vier Fragen:

1. Was wird behauptet? Welche Größen stehen in welchem Zusammenhang?
2. Für wen und unter welchen Bedingungen gilt die Aussage? Zielgruppe, Situation und Zeitraum müssen erkennbar sein.
3. Wie wird gemessen? Die theoretischen Begriffe brauchen nachvollziehbare Operationalisierungen.
4. Was würde gegen die Vorhersage sprechen? Die Kriterien für die Auswertung sollten vor der Datenerhebung festgelegt werden.

Die Behauptung „Personalisierung ist gut für das Marketing“ bleibt zu unbestimmt. „Bei Bestandskunden erhöht eine persönlich adressierte Werbemail gegenüber einer allgemeinen Werbemail die Kaufquote innerhalb von sieben Tagen“ lässt sich wesentlich gezielter untersuchen.

Eine Hypothese wird nicht strenger geprüft, wenn jedes mögliche Ergebnis nachträglich als Bestätigung ausgelegt wird. Änderungen an einer Erklärung können sinnvoll sein, sollten aber begründet werden und neue prüfbare Vorhersagen ermöglichen.

Wissenschaft, Pseudowissenschaft und Dogmatismus

Popper kritisiert insbesondere den Umgang mit Aussagen, der Gegenbefunde durch nachträgliche Umdeutungen stets abwehrt. Seine Diskussion der Astrologie zielt auf vage Vorhersagen und die Immunisierung gegen Kritik. Der entscheidende Unterschied liegt dabei in der Prüfbarkeit und im Umgang mit Ergebnissen (Popper, 1963).

Das Kriterium ist kein automatisches Gütesiegel: Auch eine falsche Aussage kann wissenschaftlich prüfbar sein. Umgekehrt gehören ethische Bewertungen und viele metaphysische Fragen nicht zur empirischen Wissenschaft, ohne deshalb wertlos zu sein. Wissenschaftstheoretisch ist zudem umstritten, ob Falsifizierbarkeit allein eine ausreichende Abgrenzung liefert.

3 Einstein und Eddington: eine riskante Vorhersage

Einsteins Allgemeine Relativitätstheorie sagte eine Ablenkung von Licht im Gravitationsfeld der Sonne voraus. Für einen Lichtstrahl am Sonnenrand ergibt sich näherungsweise ein Winkel von 1,75 Bogensekunden. Eine klassische Rechnung mit einem Teilchenmodell des Lichts ergab dagegen etwa die Hälfte, 0,87 Bogensekunden. Der historische Vergleich bestand also nicht einfach aus „Ablenkung“ gegen „keine Ablenkung“.

Während der Sonnenfinsternis am 29. Mai 1919 fotografierten Expeditionen in Príncipe und Sobral Sterne nahe der verdeckten Sonne. Ihre scheinbaren Positionen wurden mit Vergleichsaufnahmen abgeglichen. Eddington berichtete später unter anderem Werte von etwa 1,61 und 1,98 Bogensekunden. Die Messungen waren mit Unsicherheit und instrumentellen Schwierigkeiten verbunden. Sie trafen Einsteins Wert nicht exakt; die als zuverlässig bewerteten Ergebnisse stützten aber seine Vorhersage (Eddington, 1920).

Für Popper war entscheidend, dass die Theorie eine konkrete Konsequenz hatte, die durch geeignete Beobachtungen hätte scheitern können. Die erfolgreiche Prüfung war eine Bewährung, kein endgültiger Beweis. Auch ein widersprechender Messwert hätte zunächst eine Prüfung der Beobachtungsbedingungen verlangt (Popper, 1963).

4 Popper und der Wiener Kreis

Im Umfeld des Wiener Kreises diskutierten unter anderem Rudolf Carnap und Moritz Schlick, wie wissenschaftliche Aussagen von Metaphysik abzugrenzen seien und worin ihr empirischer Sinn bestehe. Ein zentraler Gedanke war, den empirischen Gehalt einer Aussage mit ihren möglichen Beobachtungs- und Prüfbedingungen zu verbinden.

Verifikation und Bestätigung: Ein strenges Verifikationskriterium stößt bei allgemeinen Naturgesetzen auf das Induktionsproblem. Eine endliche Beobachtungsreihe kann ein ausnahmsloses Gesetz nicht endgültig feststellen. Die Positionen des logischen Empirismus entwickelten sich jedoch weiter und waren keineswegs einheitlich. Carnap behandelte ausdrücklich den Übergang von vollständiger Verifikation zu gradueller Bestätigung und Prüfbarkeit (Carnap, 1936/1937).

Poppers Gegenposition: Popper suchte vor allem ein Abgrenzungskriterium für empirische Wissenschaft, kein allgemeines Kriterium dafür, welche Aussagen sinnvoll sind. Eine Theorie soll an möglichen Gegenbefunden scheitern können. Metaphysische Ideen können nach seiner Auffassung auch dann anregend sein, wenn sie noch nicht empirisch prüfbar sind.

Historische Einordnung: Diese Diskussion ist vom späteren Positivismusstreit in der deutschen Soziologie zu unterscheiden. Dort standen sich in den 1960er-Jahren unter anderem Popper und Vertreter der Kritischen Theorie wie Theodor W. Adorno gegenüber. Poppers Vortrag Die Logik der Sozialwissenschaften gehört zu dieser späteren Debatte (Vortragstext).

Für die Lehre ergibt sich eine hilfreiche Unterscheidung: „Hat diese Aussage einen empirischen Sinn?“, „Ist sie wissenschaftlich prüfbar?“ und „Ist sie wahr?“ sind verschiedene Fragen.

5 Von der Theorie zum Test: ein Marketingbeispiel

Das folgende Beispiel ist fiktiv. Die Zahlen dienen der Erklärung und stammen nicht aus einer empirischen Studie.

Theoretische Überlegung: Eine persönliche Ansprache könnte die wahrgenommene Relevanz einer Werbemail erhöhen und dadurch Käufe begünstigen. Das ist zunächst eine mögliche Erklärung. Ein einfacher Vergleich der Kaufquoten prüft noch nicht, ob gerade die wahrgenommene Relevanz den Effekt vermittelt.

Forschungshypothese: Bei Bestandskunden erhöht eine persönlich adressierte Werbemail die Kaufquote innerhalb von sieben Tagen gegenüber einer allgemeinen Werbemail.

So wird daraus eine Untersuchung:

1. Zielgruppe festlegen: Bestandskunden mit gültiger Einwilligung für Werbemails.
2. Zufällig zuweisen: Eine Gruppe erhält die persönliche Ansprache, die andere die allgemeine Ansprache. Angebot, Versandzeitpunkt und übriger Inhalt sind gleich.
3. Ergebnis definieren: Für jede zugewiesene Person wird erfasst, ob innerhalb von sieben Tagen ein Kauf stattfindet. Der Nenner ist die Zahl der zugewiesenen Personen, nicht nur die Zahl der Personen, die die Mail öffnen.
4. Auswertung planen: Stichprobengröße, Ausschlussregeln, Testverfahren und Signifikanzniveau werden vorab festgelegt. Die Planung berücksichtigt auch die kleinste praktisch relevante Veränderung der Kaufquote.
5. Befund beurteilen: Neben dem p-Wert werden die Differenz der Kaufquoten und ein Konfidenzintervall berichtet. Die Aussagekraft hängt auch von der Durchführung und den Modellannahmen ab.

Angenommen, die persönliche Ansprache führt zu einer Kaufquote von 8 %, die allgemeine Ansprache zu 6 %. Die beobachtete Differenz beträgt 2 Prozentpunkte. Ob diese Differenz hinreichend präzise geschätzt ist, lässt sich aus den beiden Prozentwerten allein nicht beurteilen. Dafür werden unter anderem die Gruppengrößen benötigt.

Ein Befund in der vorhergesagten Richtung kann die Hypothese stützen. Er beweist weder den angenommenen Mechanismus noch, dass die Wirkung bei anderen Angeboten oder Zielgruppen genauso ausfällt. Ein präziser Befund in der Gegenrichtung stellt die Vorhersage für die untersuchten Bedingungen infrage. Ein unpräziser Befund nahe null kann dagegen offenlassen, ob ein relevanter Effekt besteht.

Hinweise zur Umsetzung stehen unter Forschungsmethoden und im Leitfaden wissenschaftliches Arbeiten.

6 Popper und statistische Hypothesentests

Poppers Ansatz und statistisches Testen teilen das Anliegen, Aussagen kritisch mit Daten zu konfrontieren. Ein Signifikanztest ist jedoch keine sichere logische Falsifikation. Statistische Modelle lassen Zufallsschwankungen zu; Testentscheidungen können falsch sein.

Fisher, Neyman und Pearson: Die statistischen Ansätze haben eine eigene Entwicklungsgeschichte. Fisher behandelte Signifikanztests in Statistical Methods for Research Workers von 1925. Neyman und Pearson formulierten eine Theorie von Testentscheidungen unter kontrollierten Fehlerrisiken; ein grundlegender Beitrag erschien 1933 (Originalbeitrag). Diese Arbeiten gingen der Veröffentlichung von Poppers Logik der Forschung voraus. Statistisches Testen lässt sich deshalb nicht einfach als historische Umsetzung von Poppers Philosophie darstellen.

Fisher betonte die Beurteilung der Daten unter einer Nullhypothese. Im Ansatz von Neyman und Pearson werden zusätzlich Alternativen sowie die langfristigen Fehlerrisiken eines Entscheidungsverfahrens berücksichtigt. In der Anwendung werden diese Traditionen häufig miteinander verbunden, obwohl sie unterschiedliche Schwerpunkte setzen.

Im Marketingbeispiel sei Δ die Differenz der Kaufwahrscheinlichkeiten zwischen persönlicher und allgemeiner Ansprache. Für die vorab festgelegte gerichtete Vorhersage können die statistischen Hypothesen lauten:

• H₀: Δ ≤ 0. Die persönliche Ansprache erhöht die Kaufwahrscheinlichkeit nicht.
• H₁: Δ > 0. Die persönliche Ansprache erhöht die Kaufwahrscheinlichkeit.

Die Wahl eines einseitigen Tests muss fachlich begründet und vor Kenntnis der Ergebnisse getroffen werden. Für eine ungerichtete Frage nach irgendeinem Unterschied wäre ein zweiseitiger Test mit H₀: Δ = 0 und H₁: Δ ≠ 0 passend.

Was bedeutet der p-Wert? Unter der Nullhypothese und den Annahmen des gewählten Tests bezeichnet er die Wahrscheinlichkeit, eine mindestens so extreme Teststatistik wie die beobachtete zu erhalten. Bei zusammengesetzten Nullhypothesen wird diese Wahrscheinlichkeit durch das jeweilige Testverfahren über die zulässigen Parameterwerte abgesichert.

Ein p-Wert ist keine Wahrscheinlichkeit dafür, dass H₀ wahr ist. Er misst auch nicht die Größe oder praktische Bedeutung eines Effekts. Die Interpretation erfordert den Untersuchungszusammenhang und eine transparente Darstellung der Auswertung (Wasserstein und Lazar, 2016).

Bei einem gültigen Test kontrolliert das Signifikanzniveau α die Wahrscheinlichkeit, eine zutreffende Nullhypothese zu verwerfen. Auch bei α = 0,05 ist eine einzelne Ablehnung deshalb keine sichere Widerlegung. Umgekehrt hängt das Übersehen eines vorhandenen Effekts unter anderem von der Stichprobengröße und der Effektgröße ab.

Für den Ergebnisteil: Besser als „Die Hypothese wurde bewiesen“ ist eine Formulierung wie „Die Ergebnisse stützen die gerichtete Hypothese unter den untersuchten Bedingungen“. Fehlt eine entsprechende statistische Absicherung, ist „Die Hypothese wurde durch diese Untersuchung nicht gestützt“ angemessen. Richtung, Effektgröße und Unsicherheit gehören zur Beurteilung dazu.

Die Verfahren zur praktischen Auswertung finden sich im Repetitorium, Kapitel 9.

7 Alpha-Fehler, Beta-Fehler und Teststärke

Eine statistische Entscheidung kann in zwei Richtungen falsch sein. Bezogen auf das Marketingbeispiel ergibt sich:

Das Signifikanzniveau begrenzt bei einem gültigen Test die Wahrscheinlichkeit eines Fehlers 1. Art. α = 0,05 bedeutet nicht, dass ein konkreter signifikanter Befund mit 5 % Wahrscheinlichkeit falsch ist. Die Aussage bezieht sich auf die Wiederholung des Verfahrens unter einer zutreffenden Nullhypothese.

Die Wahrscheinlichkeit eines Fehlers 2. Art hängt von einer bestimmten angenommenen Alternative ab. Die Teststärke oder Power beträgt 1 − β: Sie bezeichnet die Wahrscheinlichkeit, H₀ zu verwerfen, wenn dieser Effekt tatsächlich vorliegt. Bei einer Power von 80 % würde das geplante Verfahren unter genau dieser Alternative in etwa 80 von 100 Wiederholungen H₀ verwerfen. Power ist keine Wahrscheinlichkeit dafür, dass die Forschungshypothese wahr ist.

Für die Planung sind die praktisch relevante Effektgröße, Stichprobengröße, Streuung, Testverfahren und das gewählte α zusammen zu betrachten. Bei gleicher Stichprobengröße kann ein kleineres α die Power verringern. Eine ausreichend große Stichprobe erhöht häufig die Fähigkeit, einen vorgegebenen Effekt zu erkennen.

Ein nicht signifikanter Befund aus einer wenig aussagekräftigen Untersuchung ist deshalb kein belastbarer Nachweis, dass kein Effekt besteht. Ebenso ersetzt ein signifikanter Befund nicht die Beurteilung seiner Größe und Unsicherheit.

8 Grenzen des Falsifikationsansatzes

9 Replikationsproblematik und p-Hacking

Eine Vorhersage sollte sich mit neuen Daten erneut prüfen lassen. Reproduzierbarkeit bezeichnet hier die Wiederherstellung eines Ergebnisses mit denselben Daten und Analyseschritten; Replikation die erneute Untersuchung mit neuen Daten. Die Begriffe werden in verschiedenen Disziplinen teilweise anders verwendet.

Die Open Science Collaboration wiederholte 100 Untersuchungen aus drei psychologischen Fachzeitschriften. 97 % der Originalstudien hatten statistisch signifikante Ergebnisse, gegenüber 36 % der Wiederholungsstudien. Auch die Effektgrößen waren im Mittel kleiner. Diese Ergebnisse betreffen die untersuchte Auswahl und beweisen nicht, dass ein entsprechender Anteil aller psychologischen Befunde falsch ist (Open Science Collaboration, 2015).

Mehrere Mechanismen können zu einer solchen Diskrepanz beitragen:

• Publikationsbias: Signifikante oder überraschende Ergebnisse haben häufig bessere Veröffentlichungschancen. Nicht signifikante Ergebnisse können dadurch unterrepräsentiert sein.
• Geringe Teststärke: Kleine Stichproben führen zu unpräzisen Schätzungen. Unter den veröffentlichten signifikanten Ergebnissen können Effekte dann überschätzt werden.
• p-Hacking: Nicht offengelegte Änderungen an Ausschlüssen, Variablen, Modellen oder dem Zeitpunkt des Studienendes können die Wahrscheinlichkeit zufälliger signifikanter Ergebnisse erhöhen.
• Nachträgliche Hypothesenbildung: Eine erst nach Sichtung der Ergebnisse entwickelte Erklärung wird so dargestellt, als sei sie vorab vorhergesagt worden. Exploration ist sinnvoll, muss aber als solche erkennbar bleiben.

Simmons, Nelson und Simonsohn demonstrierten, wie nicht offengelegte Flexibilität bei Datenerhebung und Auswertung falsch positive Ergebnisse begünstigen kann (Originalbeitrag, 2011).

Die Replikationsproblematik ist keine zwangsläufige Folge von Poppers Philosophie und hat nicht nur eine Ursache. Auch eine erfolglose Replikation muss bezüglich Durchführung, Präzision und untersuchter Bedingungen beurteilt werden. Für eine kritisch rationale Arbeitsweise ist sie ein Anlass zur weiteren Prüfung.

10 Open Science und Registered Reports

Open Science umfasst Praktiken, mit denen Forschung nachvollziehbarer, zugänglicher und überprüfbarer wird. Sie unterstützen die kritische Prüfung von Aussagen, garantieren aber weder fehlerfreie Untersuchungen noch wahre Ergebnisse.

• Präregistrierung: Hypothesen und Auswertungsplan vor der Datenerhebung festhalten. Spätere Abweichungen und explorative Analysen werden kenntlich gemacht.
• Replikation: Eine Vorhersage mit neuen Daten erneut prüfen, gegebenenfalls unter veränderten Bedingungen.
• Nachvollziehbare Auswertung: Materialien, Analyseschritte und Code dokumentieren. Daten können geteilt werden, soweit Einwilligung, Datenschutz und andere Rechte dies erlauben.
• Registered Reports: Begutachtung von Fragestellung und Methode vor Kenntnis der Ergebnisse. Eine grundsätzliche Publikationszusage ist an die vereinbarten Bedingungen gebunden und hängt nicht davon ab, ob das Ergebnis signifikant wird (Center for Open Science).

So funktioniert ein Registered Report: Zunächst werden Forschungsfrage, Hypothesen, Studiendesign und Analyseplan begutachtet. Nach einer grundsätzlichen Annahme wird die Untersuchung entsprechend dem vereinbarten Plan durchgeführt. In einer zweiten Begutachtungsphase wird unter anderem geprüft, ob die Durchführung und Darstellung den Vereinbarungen entsprechen. Die Publikationsentscheidung soll damit weniger von der Richtung und Signifikanz der Ergebnisse abhängen.

Eine Präregistrierung ist keine automatische Publikationszusage. Sie dokumentiert zunächst einen Plan, etwa auf dem Open Science Framework. Registered Reports verbinden eine solche Planung mit der Begutachtung vor Kenntnis der Ergebnisse. Auch bei beiden Verfahren bleiben begründete Änderungen möglich, müssen aber transparent dargestellt werden.

Offene Daten erleichtern die Nachprüfung einer Auswertung; sie ersetzen keine Replikation mit einer neuen Stichprobe. Zudem folgt aus Open Science keine allgemeine Pflicht, sensible oder personenbezogene Rohdaten frei zugänglich zu machen. Nachvollziehbarkeit kann auch durch dokumentierte Analysen, anonymisierte Daten oder kontrollierten Datenzugang unterstützt werden.

Für die eigene Arbeit: Nicht nur fragen „Was spricht für meine Hypothese?“, sondern auch „Wie könnte meine Untersuchung zeigen, dass meine Vorhersage nicht trägt?“ Eine gute Arbeit dokumentiert die Prüfung so, dass andere ihre Schlussfolgerungen kritisch beurteilen können.

11 Bayesianische Statistik und das Basisratenproblem

Bayesianische Verfahren beschreiben, wie Daten eine Wahrscheinlichkeitsverteilung über unbekannte Parameter oder konkurrierende Modelle verändern. Die Aktualisierung folgt dem Satz von Bayes. Ein historischer Ausgangspunkt ist der von Richard Price veröffentlichte Beitrag von Thomas Bayes aus dem Jahr 1763 (Originaltext).

• Prior: Die vor der aktuellen Auswertung angesetzte Verteilung über Parameter oder Modelle. Sie kann Vorwissen abbilden, muss aber begründet und auf ihren Einfluss geprüft werden.
• Likelihood: Beschreibt, wie die beobachteten Daten unter verschiedenen Parameterwerten oder Modellen zustande kommen können.
• Posterior: Die nach Einbeziehung der Daten aktualisierte Verteilung.

Die Beziehung lässt sich kurz schreiben als Posterior ∝ Likelihood × Prior. Der Posterior wird so normiert, dass sich die Wahrscheinlichkeiten insgesamt zu eins ergeben.

Das Verhältnis zu Popper: Popper unterscheidet die Bewährung einer Theorie von der Behauptung, ihre Wahrheit werde durch Bestätigungen immer wahrscheinlicher. Bayesianische Modellwahrscheinlichkeiten verfolgen hier einen anderen Ansatz. Sie „retten“ oder ersetzen seine Philosophie nicht automatisch. Beide Perspektiven können jedoch zu sorgfältiger Modellprüfung und einer expliziten Darstellung der Annahmen anregen. Eine hohe Posterior-Wahrscheinlichkeit ist insbesondere kein Beweis, dass alle denkbaren Alternativen berücksichtigt wurden.

12 Künstliche Intelligenz und kritische Prüfung

Viele KI-Verfahren lernen statistische Muster aus Daten. Dieses Lernen kann als induktive Musterbildung beschrieben werden. Es liefert für sich genommen aber keinen endgültigen Beweis eines allgemeinen Gesetzes. Daraus folgt nicht, dass datenbasierte KI wissenschaftlich unbrauchbar oder pauschal das „Gegenteil von Popper“ wäre: Für den Falsifikationsansatz ist entscheidend, wie Aussagen geprüft werden, nicht ob ihre Entstehung durch Daten, Intuition oder ein Computerprogramm angeregt wurde.

KI-Systeme müssen auch nicht ausschließlich Korrelationen ohne fachliche Struktur auswerten. AlphaFold verbindet beispielsweise gelernte Informationen mit einer Architektur, die biologische und geometrische Zusammenhänge berücksichtigt. Die veröffentlichte Untersuchung prüfte Strukturvorhersagen anhand unabhängig bestimmter Proteinstrukturen (Jumper et al., 2021).

KI als Unterstützung bei Hypothesen und Tests

Übertragen auf wissenschaftliche Untersuchungen kann KI helfen, mögliche Erklärungen zu formulieren, geeignete Kandidaten für Experimente auszuwählen oder Vorhersagen systematisch mit Daten zu vergleichen. Solche Vorschläge brauchen anschließend fachlich begründete Prüfungen. Die folgenden Anforderungen ergeben sich aus dem Gedanken der kritischen Prüfbarkeit:

1. Vorhersagen festhalten: Das Modell und seine erwarteten Ergebnisse werden vor der Prüfung dokumentiert.
2. Unabhängige Daten verwenden: Die Prüfung erfolgt an Daten, die nicht für Training oder Modellwahl verwendet wurden. Wiederholte Anpassungen an denselben Testdaten schwächen deren Unabhängigkeit.
3. Aussagekräftige Bedingungen wählen: Vergleichsmodelle, Fehlermaße und relevante Zielgruppen werden vorab festgelegt. Auch Veränderungen der Anwendungssituation sollten untersucht werden.
4. Ergebnisse nachvollziehbar machen: Modellversion, Datenherkunft und Auswertung werden so dokumentiert, dass die Prüfung kritisch beurteilt werden kann.

Simulationen und ihre Grenzen: Viele simulierte Tests können Schwächen innerhalb eines Modells aufdecken. Eine Simulation erzeugt aber keine unabhängige Beobachtung der wirklichen Welt. Wenn sie auf denselben falschen Annahmen beruht wie die zu prüfende Erklärung, liefert auch eine sehr große Zahl von Simulationen keine belastbare empirische Absicherung.

Das Black-Box-Problem: Bei komplexen Modellen ist häufig schwer nachzuvollziehen, warum eine bestimmte Vorhersage entsteht. Das erschwert die Erklärung von Mechanismen und die Fehleranalyse. Empirisch prüfbare Vorhersagen bleiben dennoch möglich: Ein undurchsichtiges Modell kann an unabhängigen Daten scheitern. Fehlende Interpretierbarkeit macht ein Modell deshalb nicht automatisch unfalsifizierbar. Problematisch wird es, wenn die Bedingungen seiner Prüfung unklar bleiben oder jedes Scheitern nachträglich wegdefiniert wird.

Für eine Marketinganwendung lautet die praktische Frage beispielsweise: „Sagt dieses Modell die Kaufwahrscheinlichkeit für neue Kunden unter den festgelegten Bedingungen zuverlässig voraus?“ Die Prognosegüte und eine Erklärung der Ursachen des Kaufverhaltens sind dabei unterschiedliche Forschungsziele.

13 Fragen für Studium und wissenschaftliche Arbeiten

1. Warum können 1.000 weiße Schwäne die Aussage „Alle Schwäne sind weiß“ nicht endgültig beweisen?
2. Welche zusätzlichen Annahmen braucht eine empirische Vorhersage neben der Theorie selbst?
3. Warum ist Einsteins konkrete Vorhersage zur Lichtablenkung für Popper ein geeignetes Beispiel?
4. Worin unterscheiden sich das Verwerfen von H₀, die logische Widerlegung einer Aussage und die Bewährung einer Theorie?
5. Was bedeuten α, β und Power, und warum beweist ein nicht signifikantes Ergebnis nicht die Abwesenheit eines Effekts?
6. Welche Unterschiede bestehen zwischen Präregistrierung, offenen Daten und Registered Reports?
7. Warum beträgt die Wahrscheinlichkeit einer Erkrankung nach einem positiven Test im Beispiel nur rund 16,7 %?
8. Wie kann eine KI-Vorhersage kritisch geprüft werden, wenn der innere Rechenweg des Modells schwer interpretierbar ist?

Die Verbindung dieser Themen liegt in einer wissenschaftlichen Haltung: Erklärungen und Vorhersagen werden offengelegt, mit geeigneten Verfahren geprüft und bei problematischen Befunden überarbeitet. Weder statistische Signifikanz noch eine hohe Modellwahrscheinlichkeit oder eine leistungsfähige KI machen diese kritische Prüfung überflüssig.