Das Experiment
Wir haben 500 Pull Requests über 12 Projekte hinweg analysiert. Die Hälfte wurde ausschließlich von menschlichen Entwicklern reviewt. Die andere Hälfte wurde zuerst von unserem KI-Code-Review-Agenten geprüft und dann von einem Menschen.
Geschwindigkeit
KI-Reviews waren durchschnittlich in 4 Minuten abgeschlossen. Rein menschliche Reviews dauerten im Schnitt 2,3 Stunden. Die KI + Mensch-Kombination lag bei durchschnittlich 47 Minuten insgesamt, also 65% schneller als rein menschliches Review.
Konsistenz
Der KI-Agent erkannte Sicherheitslücken in 23% der PRs, die menschliche Reviewer übersehen hatten. Außerdem fand er 18% mehr Stil-Inkonsistenzen und Verstöße gegen Namenskonventionen.
Wo Menschen noch gewinnen
Feedback auf Architektur-Ebene. Verständnis des Business-Kontexts. Alternative Ansätze vorschlagen, die Domänenwissen erfordern. Menschen erkannten 31% der Probleme, die ein Verständnis des “Warum” hinter dem Code erfordern, nicht nur des “Was”.
Das Beste aus beiden Welten
Das Fazit: Weder KI noch menschliches Code Review allein ist optimal. Die Kombination aus KI für Geschwindigkeit, Konsistenz und Abdeckung, plus Mensch für Architektur und Kontext, lieferte die besten Ergebnisse mit deutlichem Abstand.