Zum Inhalt
EMWEData Science

Die Löcher, die fehlen: Abraham Wald und der Survivorship Bias

· Matthias Wilhelm

Zweiter Weltkrieg. Bomber kehren von ihren Einsätzen zurück, viele mit Einschusslöchern an Rumpf und Tragflächen. Die naheliegende Idee: genau dort nachpanzern.

Der Statistiker Abraham Wald stellte eine andere Frage: Welche Flugzeuge fehlen in diesen Daten? Es sind die, die nicht zurückgekommen sind. Seine Schlussfolgerung: Wo die Rückkehrer kaum Treffer zeigen, etwa an den Triebwerken, war ein Treffer offenbar besonders gefährlich.

Schematische Draufsicht auf ein Flugzeug. Dunkle Punkte markieren Treffer an Tragflächen, Rumpf und Leitwerk. Triebwerke und Cockpit haben keine Treffer und sind rot als kritisch markiert. Überschrift: Die Löcher, die fehlen.

Wo die zurückgekehrten Flugzeuge keine Treffer zeigen, waren Treffer offenbar besonders gefährlich. Schematische Darstellung, keine Originaldaten.

So wird die Geschichte meist erzählt. Hinter ihr steht aber echte Mathematik – und genau die macht sie für heutige Datenprojekte interessant.

Wer war Abraham Wald?

Abraham Wald (1902–1950) war ein Mathematiker und Statistiker, der 1938 aus Wien in die USA emigrierte und an der Columbia University arbeitete. Im Zweiten Weltkrieg gehörte er der Statistical Research Group (SRG) an der Columbia University an, die im Auftrag des National Defense Research Committee der USA statistische Fragen bearbeitete.

1943 schrieb Wald dort eine Reihe von acht Memoranden mit dem Titel „A Method of Estimating Plane Vulnerability Based on Damage of Survivors“. Sie wurden lange nicht veröffentlicht. Das Center for Naval Analyses druckte sie 1980 nach. Laut Mangel und Samaniego (1984) wurden Walds Methoden im Zweiten Weltkrieg und später in Korea und Vietnam eingesetzt.

Das eigentliche Problem: Die Daten sind unvollständig

Für die zurückgekehrten Flugzeuge weiß man, wie oft und wo sie getroffen wurden. Für die abgeschossenen weiß man das nicht. Genau diese fehlenden Fälle sind aber die interessanten. Wald suchte deshalb nach einer Methode, aus den Daten der Überlebenden auf die Verwundbarkeit aller Flugzeuge zu schließen.

Schritt 1: Wie gefährlich ist ein Treffer?

Wald arbeitete mit wenigen bekannten Größen: Wie viele Flugzeuge flogen den Einsatz, und welcher Anteil aja_j kam mit genau jj Treffern zurück? Gesucht war die bedingte Wahrscheinlichkeit qjq_j, dass ein Flugzeug den jj-ten Treffer übersteht, wenn es die vorherigen überstanden hat.

Eine seiner Annahmen: Ein Flugzeug ohne Treffer kommt immer zurück. Daraus leitete er eine Grundgleichung ab:

∑j=1najq1⋅q2⋯qj=1−a0\sum_{j=1}^{n} \frac{a_j}{q_1 \cdot q_2 \cdots q_j} = 1 - a_0

Die Idee dahinter lässt sich ohne Formel erklären: Teilt man den Anteil der Rückkehrer mit jj Treffern durch die Wahrscheinlichkeit, jj Treffer zu überleben, schätzt man, wie viele Flugzeuge insgesamt jj Treffer bekommen haben – die abgeschossenen eingeschlossen. Zusammen müssen das alle getroffenen Flugzeuge sein. So werden die fehlenden Fälle rechnerisch sichtbar.

Schritt 2: Wo ist ein Treffer besonders gefährlich?

Im nächsten Schritt teilte Wald das Flugzeug in Bereiche auf, etwa Triebwerke, Rumpf und Treibstoffsystem. Er nahm an, dass Treffer voneinander unabhängig wirken. Für jeden Bereich ii braucht man zwei Anteile:

  • γ(i)\gamma(i): welcher Anteil der Treffer auf diesen Bereich zu erwarten ist, zum Beispiel aus Beschusstests oder nach Flächenanteil,
  • δ(i)\delta(i): welcher Anteil der Treffer an den zurückgekehrten Flugzeugen tatsächlich dort liegt.

Ist qq die durchschnittliche Wahrscheinlichkeit, einen Treffer zu überstehen, ergibt sich die Überlebenswahrscheinlichkeit für einen Treffer im Bereich ii als

P(U¨berleben∣Treffer in Bereich i)=q(i)=δ(i)⋅qγ(i)P(\text{Überleben} \mid \text{Treffer in Bereich } i) = q(i) = \frac{\delta(i) \cdot q}{\gamma(i)}

Das ist der Kern der Geschichte in einer Formel: Wären Treffer überall gleich gefährlich, fänden sich an den Rückkehrern ungefähr so viele Treffer pro Bereich, wie zu erwarten sind (δ(i)≈γ(i)\delta(i) \approx \gamma(i)). Finden sich in einem Bereich deutlich weniger Treffer als erwartet, dann sind die Flugzeuge mit Treffern dort häufiger nicht zurückgekommen. Wenige Treffer bei den Überlebenden bedeuten hohe Gefährlichkeit.

Ein Rechenbeispiel

Mangel und Samaniego rechnen Walds Methode mit einem ausdrücklich hypothetischen Datensatz durch, nicht mit Kriegsdaten. Darin machen die Triebwerke 26,9 % der Fläche aus, tragen aber nur 18,6 % der Treffer an den Rückkehrern. Bei einer durchschnittlichen Überlebenswahrscheinlichkeit pro Treffer von 0,851 ergibt sich:

q(Triebwerk)=0,186⋅0,8510,269≈0,59q(\text{Triebwerk}) = \frac{0{,}186 \cdot 0{,}851}{0{,}269} \approx 0{,}59

Ein Treffer am Triebwerk wird in diesem Beispiel also nur in rund 59 % der Fälle überlebt, ein Treffer am Rumpf dagegen in rund 94 %. Dort, wo die Überlebenden die wenigsten Spuren zeigen, liegt die größte Schwachstelle.

Mythos und Original

Illustration eines zweimotorigen Bombers in Draufsicht. Rote Punkte für Treffer verteilen sich auf Tragflächen, Rumpf und Höhenleitwerk; Triebwerke und Cockpit sind frei.

Die bekannte Darstellung ist eine spätere Illustration, nicht Walds Original. Sie zeigt ein hypothetisches Schadensmuster.

Illustration: Martin Grandjean (Vektor), McGeddon (Bild), US Air Force (Hit-Plot-Konzept), CC BY-SA 4.0, via Wikimedia Commons.

Die bekannte Grafik mit roten Punkten auf einem Flugzeug stammt nicht von Wald. Sie ist eine spätere Illustration aus den Jahren 2016 und 2021. Auch die zugespitzte Anekdote „Panzert dort, wo keine Löcher sind“ ist eine vereinfachte Erzählform. In seinen Memoranden ging es vor allem um Schätzverfahren: Gleichungen, Schranken, Näherungen und den Umgang mit Stichprobenfehlern. Die Panzerung war eine mögliche Anwendung der Ergebnisse.

Die Mathematik ist dabei die eigentlich spannende Leistung: Wald hat nicht nur bemerkt, dass Daten fehlen. Er hat eine Methode entwickelt, das Fehlen selbst als Information zu nutzen.

Was das für Unternehmensdaten bedeutet

Survivorship Bias entsteht immer dann, wenn eine Auswertung nur die Fälle sieht, die einen Filter überstanden haben. Die Daten sind dann nicht falsch, aber sie erzählen nur einen Teil der Geschichte.

Kundenanalysen

Wer nur aktive Kunden auswertet, sieht, was zufriedene Kunden gemeinsam haben, aber nicht, warum andere gegangen sind. Die Kündigungen und stillen Abwanderungen sind die „nicht zurückgekehrten Flugzeuge“.

Absatzplanung

Verkaufte Mengen zeigen nicht die echte Nachfrage. War ein Artikel nicht vorrätig, fehlt die verlorene Nachfrage in den Verkaufsdaten. Eine Planung, die nur auf Verkäufen beruht, unterschätzt genau die Artikel, bei denen Engpässe am meisten kosten.

Support und Reklamationen

Ticket-Auswertungen zeigen die Probleme, die jemand gemeldet hat. Kunden, die bei einem Fehler einfach aufgeben, tauchen dort nicht auf.

In allen drei Fällen ist die erste Frage dieselbe, die Wald gestellt hat: Welche Fälle fehlen in diesen Daten, und warum? Erst danach lohnt es sich zu rechnen. Manchmal sind die wichtigsten Daten nicht die offensichtlichen, sondern die, die gar nicht da sind.

Quellen

Fehlende Daten sind ein Signal.

Wenn in Ihren Auswertungen nur ankommt, was den Weg ins System geschafft hat, sehen Sie die Überlebenden. In der Demo zeigen wir, wo so ein Abbruch sichtbar wird. Im Prozess-Check prüfen wir, ob sich das bei Ihnen lohnt.

Erstgespräch buchen