Bias in code review kost veel geld

Google noemt dit effect 'excess pushbacks' in het artikel 'The Pushback Effects of Race, Ethnicity, Gender, and Age in Code Review' in het ACM-vakblad Communications. Het bedrijf becijfert dat er elke dag zo'n 1000 uur extra verloren gaat aan het reageren op commentaar dat uit het review-proces komt. Dat komt neer op 4% van het totaal aantal uur dat besteed wordt aan software-ontwikkeling.

De onderzoekers schrijven: "Code review is in essentie een besluitvormingsproces, waarbij de code reviewers moeten beslissen of een code-aanpassing acceptabel is of niet. Dus, code review is gevoelig voor menselijke vooroordelen (bias)."

Vrouwelijke ontwikkelaars krijgen 21% meer pushbacks dan mannen, zwarte ontwikkelaars kregen er 54% meer dan witte ontwikkelaars, latino's ontvingen 15% meer commentaar dan witte ontwikkelaars en Aziatische ontwikkelaars liepen 42% meer kans nog een keer door hun code te moeten gaan dan witte ontwikkelaars. De onderzoekers waren er - onterecht - vanuit gegaan dat juist Aziatische ontwikkelaars minder pushbacks zouden krijgen dan witte ontwikkelaars omdat - generaliserend - Aziaten een hoge mate van nauwkeurigheid wordt toegedicht als het gaat om technische vaardigheden.

Anoniem of niet?

Bij Google moet elke codewijziging nagekeken worden door op zijn minst één andere ontwikkelaar. Meestal voeren teamgenoten die controle uit. Ontwikkelaars kunnen zelf een code reviewer uitzoeken of de code review tool genaamd Critique een reviewer laten toewijzen. Critique geeft namen en foto's van de ontwikkelaars en code reviewers met het idee dat ze elkaar zo ook beter leren kennen.

Maar Google wil nu ook kijken of anonimiseren van deelnemers het codereviewproces efficiënter gaat maken doordat er minder excess pushbacks plaatsvinden. Een potentieel probleem is wel dat reviewer en ontwikkelaar elkaar niet even kunnen opzoeken om een lastig probleem door te spreken.