CASE Gastbeitrag: Noten, warum Noten?

CASE startet heute mit „Noten, warum Noten?“ eine Gastbeitragsreihe auf SAATKORN. Ich finde das super, denn

a) unterstütze ich HR Startups sehr gern dabei, mehr Bekanntheit zu erlangen (hier mal mit Gastbeitrag und sonst in meiner HR Startup Serie oder im Podcast)

und b) finde ich, dass CASE eines der aktuell spannendsten HR Startups ist. Auch wenn Noten auf den ersten Blick nicht das heißeste Thema im Recruiting sind. Also, auf geht’s: 

Noten, warum Noten? – In vielen Unternehmen spielen Noten im Recruiting keine Rolle. Während die Aussagekraft von Noten tatsächlich beschränkt ist, gehen viele Informationen verloren, wenn Studienabschlüsse nicht richtig betrachtet werden, sagt CASE-Gründer Jan Bergerhoff und zeigt mit neuen Daten, was man anhand von vielen Jahren Studium über die Intelligenz und Persönlichkeit von Bewerber*innen lernen kann.

Wenn Personalentscheidungen gut sein müssen
Im letzten Jahr standen auch wir als Start-up erstmals vor der Aufgabe, gezielt gleiche mehrere neue Kolleg*innen für unser Team zu suchen. Der Hintergrund, wir hatten kurz zuvor eine zweiten Finanzierungsrunde abgeschlossen und eine Förderung für unser Forschungsprojekt FAIR gewonnen. Auf unsere Ausschreibung eines Machine Learning Engineers bekamen wir über 100 Bewerbungen: 100 Lebensläufe, 100 Biografien, unzählige Stärken, Schwächen, Schicksale.

Als kleines Unternehmen war es für uns extrem wichtig, die Position im ersten Schuss gut zu besetzen. Natürlich ist heute niemand (auch kein Computer) in der Lage auf Basis von Bewerbungsinformationen, die tatsächliche Performance einer Person perfekt vorherzusagen. Trotzdem kann man sich viel Ärger ersparen, wenn man wissenschaftliche Erkenntnisse in seinen Auswahlprozess einfließen lässt.

Sich die Forschung zu Nutze machen
Die zwei wesentlichen Ergebnisse der Forschung sind intuitiv sofort verstanden und wurden in einer Metastudie von Almlund et al. (2011) wie folgt zusammengefasst:

In 2 Sätzen: Erfolg im Beruf hängt stark mit der Intelligenz und der Persönlichkeit von Bewerber*innen zusammen. In Summe sind die Persönlichkeitsmerkmale des Big 5 Modells dabei ungefähr genauso wichtig wie Intelligenz, wobei die Gewissenhaftigkeit, das Merkmal, das die Präferenz dafür beschreibt „Dinge gut und richtig zu tun“, am wichtigsten erscheint.

Gut, dann testen wir
Nun wissen wir, was wir suchen. In erster Näherung sollen Bewerber*innen neben fachlichen Kriterien vor allem gewissenhaft und intelligent sein. Theoretisch wäre der zweite Schritt nun ganz einfach. Wir testen unsere Bewerber auf Gewissenhaftigkeit und Intelligenz und wählen aus. Aber wir haben über 100 Bewerbungen bekommen. Sofort stellen sich ein paar Fragen:

1. Sollen wir allen diesen Test schicken?
2. Was kosten 100 Testlizenzen oder wie wählen wir aus, wer den Test bekommt?
3. Wie lange müssen wir warten, bis genug Kandidat*innen den Test gemacht haben?
4. Wie viele Menschen schrecken wir damit ab?
5. Machen alle den Test selbst?
6. Wie gut sind die Tests?

Frage 1-5 können je nach Recruiting-Situation ein Problem darstellen, müssen sie aber nicht. Besonders Intelligenztests – zumindest mit einem Teil der Berwerber*innen – lohnen sich häufig. Hier ist der Markt voller guter Angebote, die Intelligenz recht zuverlässig messen. Bei Persönlichkeitstests ist das anders: Sie folgen entweder einem gut erforschten Format, erfragen die Zustimmung zu Statements wie „Pünktlichkeit ist mir wichtig“ oder „Ich werde leicht ärgerlich“ und werden im Bewerbungsprozess meist nicht ehrlich beantwortet. Oder sie verlassen die sauber erforschten Pfade und versuchen über Spiele oder statistische Korrekturen der gegebenen Antworten die Persönlichkeit zu schätzen. Letztere Methoden sind häufig so ungenau, dass Ihr Einsatz dem Bewerbungsprozess eher Rauschen hinzufügt als dieses abzubauen. Wie wollen Sie zuverlässig aus einem Spiel heraus schätzen, ob Ihnen im Alltag Pünktlichkeit wichtig ist?

Noten, warum Noten?
Zu den großen Vorteilen von Hochschulnoten zählt, dass Sie über einen langen Zeitraum unter Einsatz der eigenen Intelligenz und Persönlichkeit erworben werden und dass Sie zum Anfang der Bewerbung schon vorhanden sind. Das große Problem von Noten ist ihre fehlende Vergleichbarkeit. Allein in Deutschland vergeben über 480 Universitäten und Fachhochschulen rund 30.000 Abschlüsse und benoten so, wie es Ihnen angemessen erscheint: Das ist manchmal sehr gut (Durchschnittsnote Master Psychologie, Uni Heidelberg, 2018: 1,3) und manchmal eher schlecht (Durchschnittsnote Bachelor Maschinenbau, TU München, 2018: 2,7). Da Menschen dazu neigen Noten von Bewerber*innen im Kontext ihrer eigenen erreichten Noten zu bewerten, kann dies im Einzelfall zu absurden Ungerechtigkeiten führen. Auch die öffentliche Hand mit ihrer häufigen Vorgabe eines Prädikatsexamens (Note: 2,0 egal von wo) ist hier kein Vorbild.

Zurück zu unserer Stelle: Wie helfen uns nun also Noten bei der Besetzung unseres Machine Learning Engineers? Hier sind wir in besonderen Situation. Die Stelle, um die es sich handelt, soll nämlich helfen, den CASE Algorithmus zu verbessern. Der CASE Algorithmus nutzt über 300.000 amtliche Notenverteilungen und Rankings für Studienprogramme, die auf IQ- und Persönlichkeitstestergebnisse von über 350.000 Studierenden basieren, um Noten vergleichbarer zu machen. Damit ist es möglich aus der Note eben jene Charakteristika, die für den späteren Erfolg entscheidend sind, abzuleiten.

Die obere Grafik beschreibt, wie sich eine um eine Standardabweichung bessere Persönlichkeitseigenschaft (links) oder Intelligenz (rechts) auf den erwarteten CASE Score auswirkt. Es zeigt sich ein deutlicher Zusammenhang besonders zwischen den als entscheidend erachteten Werten Gewissenhaftigkeit und Intelligenz und dem von der Note abgeleiteten CASE Score.

Dies ist die theoretische Grundlage, auf der der CASE Score einen positiven Zusammenhang mit Job-Performance vorweist. Als Praktiker stellt sich mir jedoch die Frage: Wie viel mehr an Sicherheit bringt diese Methode wirklich? Und was passiert, wenn ich nur die Noten selbst betrachte? Um diese Fragen direkt zu beantworten, haben wir (Stand 08/2020) 14 Kundenstudien durchgeführt.

Die Grafik zeigt die Ergebnisse einer Kundenstudie zusammen mit Simon Kucher & Partners aus dem Jahr 2019. Es wurden 96 Consultants zu im Schnitt über 5 Zeitpunkten betrachtet und dabei untersucht, ob die Consultants das gewünschte Beförderungsziel erreicht haben. Die vertikale Achse zeigt die Wahrscheinlichkeit, dass eine Person rechtzeitig befördert wurde. Die horizontale Achse präsentiert (v.l.n.r.) die Note, die Position der Person in Ihrer lokalen Notenverteilung und den CASE Score. Während die Wahrscheinlichkeit pünktlich befördert zu werden mit der Note und der lokalen Position in der Notenverteilung fast gar nicht zusammenhängt, zeigt sich eine klare Verbindung zum CASE Score. Der CASE Score umfasst Werte von 1 bis 100, wobei kleinere CASE Scores besser sind. Kandidaten mit Spitzenleistung im Studium haben eine 90%ige Chance, dass Simon Kucher mit Ihnen zufrieden ist, bei schwächeren Ergebnissen ist es eher ein Münzwurf.

Dieses Ergebnis hat sich in Studien über verschiedene Branchen hinweg bestätigt und war auch bei der von uns besetzten Stelle sehr hilfreich. Wir haben uns am Ende für einen Kandidaten mit einem CASE Score von Top 15% und einigen weiteren vielversprechenden Lebenslaufmerkmalen entschieden. Noten und der CASE Score waren dabei nicht die einzigen Kriterien, aber sie haben für uns die Wahrscheinlichkeit, insgesamt richtig zu liegen, deutlich erhöht. So haben wir einen tollen neuen Kollegen gefunden.

Das CASE Team im Februar 2020 (vor COVID19), aber mit dem Kollegen aus dem Beispiel 😊

Wer jetzt mehr wissen möchte, der sollte sich die SAATKORN Podcast Episode mit Jan anhören: