Hvilken liga er bedst?

Hvilken liga er bedst?

Dette arbejde er skrevet i samarbejde med Madeline Gall.

Mens scouting til nogle sportsgrene er ligetil (college football → NFL), kan scouting til NHL være en mere besværlig proces. Med spillere fra over 45+ internationale ishockeyligaer, hver med sine egne regler og vanskeligheder, hvordan kan man så vurdere kvaliteten af en spillers præstationer på passende vis? Det er ikke let at foretage sammenligninger mellem ligaer; 18 point for en 18-årig, der spiller mod andre 18-årige i en mindre liga, bør ikke tillægges samme værdi som 18 point for en 18-årig, der spiller mod veteraner i NHL.

Der har været andre forsøg på at tage højde for dette, herunder spilleroversættelsesvariabler, som f.eks. Rob Vollmans hockeyoversættelsesfaktorer og Gabriel Desjardins NHL Equivalency Ratings (NHLe). Desjardin’s NHLe har tidligere taget fat på spørgsmålet om sammenligning og forudsigelse af spillerpræstationer for League-to-NHL-overgange (flytning fra en anden liga til NHL). Den var god til en hurtig, generel sammenligning og har bestemt sine fordele (nem og hurtig at beregne), men der er nogle ulemper ved metoden. Til at begynde med kontrollerede den ikke nødvendigvis for holdkvalitet, position og alder. Oversættelsesfaktorerne er beregnet ved hjælp af statistikker fra spillere, der har spillet mindst 20 kampe i den pågældende liga, før de spillede mindst 20 kampe i NHL. Det betyder, at der er en masse værdifulde data om disse mellemliggende overgange, som ikke bliver brugt.

I dette projekt introducerer vi en ny metode til at sammenligne og fremskrive spillerpræstationer på tværs af ligaer ved hjælp af en justeret z-score-metrik, der vil tage højde for disse ulemper. Denne metrik kontrollerer for faktorer som alder, liga, sæson og position, der påvirker en spillers P/PG-metrik, og den kan anvendes på enhver liga af interesse. Denne nye metrik er nødvendig, da der er mange karakteristika, der varierer fra liga til liga. På grund af de forskellige spillestile og modstandernes sværhedsgrad findes der ikke en ensartet måleenhed til at foretage sammenlignelige vurderinger af spillernes præstationer for ishockeyligaer i hele verden. Andre faktorer som f.eks. målmandsstyrke, straffeprocenter og rinkdimensioner er også inkonsekvente på tværs af internationale ligaer. Der kan opstå scenarier, hvor spillere med samme styrke kan synes at have tilsyneladende forskellige præstationer.

Et sådant eksempel på dette ville være Thomas Harley og Ville Heinola fra den seneste 2019-draft. Begge er spillere fra forskellige ligaer, der spiller mod forskellige modstandere og præsterer vidt forskellige tal, men alligevel blev de vurderet til at være nogenlunde ens. Harley, en amerikanskfødt forsvarsspiller, der spiller i den canadiske juniorishockeyliga, spiller i øjeblikket med Mississauga Steelheads i Ontario Hockey League. Han blev draftet 18. samlet af Dallas Stars i første runde af NHL Entry Draft 2019. Heinola på den anden side er en finsk professionel ishockeyforsvarer, der i øjeblikket spiller for Lukko i Liiga på lån som prospect for Winnipeg Jets i National Hockey League. Han blev rangeret som en af de bedste internationale skøjteløbere, der er kvalificeret til 2019 NHL Entry Draft. Heinola blev draftet 20. samlet af Jets. Hvordan endte disse to spillere med at blive vurderet af deres respektive hold? Sandsynligvis med noget, der ligner vores metrik i tillæg til scoutinginformation.

For vores metrik blev vi inspireret af ikke kun de tidligere tilgange som NHLe, men også den seneste bølge af Elo. Elo er en metode til beregning af spillernes relative færdighedsniveau i nulsumsspil. Selv om Elo oprindeligt blev skabt i forbindelse med måling af skakspillerbedømmelser, kan det også anvendes i forskellige andre scenarier som f.eks. professionel sport. Hvis du vil læse mere og se eksempler på Elo inden for sport, kan du finde en vejledning fra 538 her. Elo er blot en specifik model for parvise sammenligningsmodeller. Vi vil gennemgå den proces, hvor vi skabte vores parrede sammenligning/Elo-model.

Til at begynde med brugte vi et datasæt, der indeholdt omkring 300.000 observationer fra spillerinformationer (navn, position, liga, fødselsdag osv.) og spillerstatistikker (spillede kampe, mål, assists osv.), der var tilgængelige, skrabet fra eliteprospects.com. Et af de første problemer, vi stødte på, var, hvilken slags responsvariabel vi kunne oprette for at sammenligne spillerstatistikker, der kontrollerer for alder, ligastyrke, position osv. Spillerpræstationer er blevet beregnet i stor udstrækning inden for NHL; der findes forskellige målinger såsom WAR, GAR, Corsi osv. Dataindsamlingen er dog ikke ens i alle ligaer. Nogle ligaer var ikke så proaktive med hensyn til at spore statistikker som hits og blokeringer som andre, hvilket betød, at vi kun kunne bruge variabler, der var allestedsnærværende i alle ligaer, som faktorer i vores regression.

Da vi skabte den nye responsvariabel, ønskede vi at omdanne point pr. kamp på en måde, der tog højde for alder, sæson, position og liga. Det første skridt var at tage logaritmen af point pr. kamp plus en. Denne transformation havde en mere normal fordeling, mens rå point pr. kamp var meget højre skævt fordelt. Selv om logtransformationen hjalp til at få dataene til at fremstå mere normalt fordelt, tog logpoint pr. kamp stadig ikke højde for de ovennævnte variabler. Vi besluttede, at vi for at tage højde for sådanne variabler ville oprette en z-score for hver spillers logpoint pr. kamp. Det første skridt var at beregne middelværdien og standardafvigelsen for hver gruppe af position, sæson, liga og alder. Derefter blev der beregnet en z-score for hver spillerobservation ved hjælp af den middelværdi og standardafvigelse, der vedrørte de variabler, som vi kontrollerede for. Således var z-score af logaritmen af point pr. kamp plus et vores endelige responsvariabel. Z-scorerne viste sig at være endnu mere normalfordelte end logpoint pr. kamp, og z-scorerne for grupper som f.eks. forsvarsspillere og angribere var også normalfordelte.
Skabelse af den parrede sammenligningsmodel, som minder meget om en Elo-model. Til at begynde med opbygger vi et sammenligningsdataframe. Vi opretter parvis spiller-liga-sæsoner for hver spiller, så der er et lille dataframe med alle parvise sammenligninger for de ligaer, som de har spillet i. Det betyder, at hvis en spiller har spillet i K ligaer, så vil denne spiller have K-valg-2 par af spiller-liga-sæsoner. Dernæst eliminerer vi alle par, der har den samme liga, samt par, der er længere end én sæson fra hinanden, og beregner en resultatvariabel. Denne variabel kan enten være kontinuerlig eller binær, afhængigt af den anvendte regression. Det er vigtigt at forstå, at den “sværere” liga at spille i faktisk vil have en lavere resultatvariabel. Dette er baseret på den antagelse, at sværere ligaer har bedre forsvarsspillere og målmænd, hvilket gør det sværere at score.

Spillernavn	Liga	Sæson	Z- Score
Kris Letang	QMJHL	2006-07	1.829
Kris Letang	NHL	2006-07	1.158
Kris Letang	AHL	2007-08	1.557

Efter opbygningen af den parrede sammenligningsmodel blev der anvendt forskellige typer regressioner til at beregne koefficienterne. Vi fokuserede på at bruge en selvfremstillet logistisk model, Bradley Terry-modellen (ved hjælp af BTm-pakken i R), som begge skabte binære udfald, samt en Ordinary Least Squares-regression, som skabte et kontinuerligt udfald. For at evaluere, hvilken regression der fungerede til at skabe de mest præcise resultater, opdelte vi først de parrede data 70/30 for trænings- og testprøver. Derefter forudsagde vi sandsynligheden for en sejr for alle ligaer baseret på den justerede point pr. kamp Z-score. Der blev fastsat en tærskel for “at vinde”; hvis sandsynligheden var større end tærsklen, var det forudsagte resultat = 1. I modsat fald var den = 0. Derefter blev de forudsagte resultater sammenlignet med de faktiske resultater for at beregne forudsigelsesnøjagtigheden for hver model. Resultaterne er vist i nedenstående tabel.

Når vores forskellige modelleringsmetoder var blevet oprettet, kunne vi bruge styrkekoefficienterne fra modellerne til at skabe en rangordning af ligaer bestemt efter deres styrke. Det var ikke overraskende, at for hvert år fra 2008 til 2018 og for de samlede styrkekoefficienter, at National Hockey League anses for at være den stærkeste liga. Den anden liga, der konsekvent blev betragtet som den næstbedste, var verdensmesterskaberne, hvilket giver god mening, da det er de bedste spillere fra forskellige lande, der konkurrerer, og denne turnering består af mange spillere, der spiller i NHL. Hvis man blot ser på ligaerne, var AHL, KHL, SHL og DEL konsekvent nogle af de stærkeste ligaer med over 45 hold. Den endelige rangering af de 10 bedste ligaer var NHL, VM, juniorverdensmesterskaber, KHL, SHL, AHL, USDP, U18-juniorverdensmesterskaber, DEL og NLA. Nogle af de ligaer, der måske har været en overraskelse, var juniorhockeyligaerne eller USDP. Disse ligaer optrådte højere på vores rangliste, fordi vi tog højde for alder i vores model. Dette gjorde det muligt at basere styrken på spillernes kvalitet i stedet for på spillernes alder. Hver af de tre modeller, vi skabte, havde lignende placeringer med kun små afvigelser.

Efter at have genereret en rangordning af ligaer baseret på vores justerede point pr. kamp, var det næste skridt at se, hvordan disse rangordninger var sammenlignet med at bruge point pr. kamp alene. Når vi kun brugte point pr. kamp, bemærkede vi, at der skete tre ting med ligaernes styrkekoefficienter. For ligaer, der havde en højere styrkekoefficient, var der en tendens til, at disse ligaer stadig var de stærkeste ligaer for justerede point pr. kamp. For ligaer, der lå i midten af alle ligaerne, var deres styrkekoefficienter for rå point pr. kamp meget lig deres justerede point pr. kamp-styrkekoefficienter. Endelig havde de ligaer med de laveste styrkekoefficienter for rå point pr. kamp dårligere styrkekoefficienter for justerede point pr. kamp. De eneste ligaer med lavere styrkekoefficienter, hvis styrkekoefficienter blev forbedret med justerede point pr. kamp, var ligaer med unge spillere. Denne tendens gør sig gældende for juniorverdensmesterskaberne for både U20 og U18 og for United States High School, Minnesota-ligaen. For Minnesota high school-ligaen blev den betragtet som langt den dårligste liga, når man brugte rå point pr. kamp som responsvariabel, men ved at bruge justerede point pr. kamp klarer denne liga sig bedre end 10 andre ligaer, hvoraf mange er professionelle ligaer. Dette gav os mulighed for at se yderligere på manglerne ved point pr. kamp som en forudsigelse af ligastyrke og fremhævede også, hvor vigtigt det er at tage højde for alder, når man bestemmer ligastyrke.

Styrkekoefficienter for hver liga for rå P/GP vs. justeret P/GP: Denne graf viser styrkekoefficienterne for hver liga for de to forskellige responsvariabler. Styrkekoefficienterne blev beregnet ved hjælp af den samme modelleringsmetode.

Som nævnt ovenfor var det nødvendigt at skabe et nyt estimat for spillerpræstationer, fordi eksisterende forudsigere som f.eks. point pr. kamp er skævvredet på grund af alder, ligastyrke, holdstyrke og årstal. Oprettelse af percentiler for spillertyper gør det muligt at sammenligne et prospekt med andre spillere, der ligner hinanden, hvilket giver mulighed for en mere præcis forudsigelse. Percentilen for log P/GP og den valgte metode er meget nyttig, fordi den gør det muligt at forudsige en given spillers præstationer i en hvilken som helst af de over 45 ligaer. Med så mange ligaer er det ikke garanteret, at en spiller ville være blevet udtaget fra den pågældende liga til NHL, men uden modelmetoden er det ikke nødvendigt for at kunne foretage en præcis forudsigelse.

For eksempel var Jake Geuntzels justerede point pr. kamp i 2017-2018-sæsonen for Pittsburgh Penguins 0,94. Ved at bruge dette justerede point pr. kamp kan vi forudsige hans justerede point pr. kamp i enhver anden liga. Nedenfor har vi vist nogle af de mere almindelige ligaer og Jake Geuntzels forudsagte justerede point pr. kamp i hver af disse ligaer. Til sammenligning havde Jake Guentzel i 2016-2017 en justeret point per kamp på 2,30 i AHL. Vores forudsagte justerede point pr. kamp på 2 er ret tæt på.

Vores metode til at forudsige en spillers justerede point pr. kamp for at bestemme, hvordan en spiller kan præstere i en given liga, er en simpel beregning ud fra vores styrkekoefficienter i fra den tidligere beskrevne modelleringsproces. For at sammenligne to ligaer skal deres styrkekoefficienter trækkes fra hinanden. Læg derefter denne værdi til de justerede point pr. kamp eller z-score for den liga, som spilleren har registreret data i. Summen af z-scoren og forskellen mellem styrkekoefficienterne giver de justerede point pr. kamp for en hvilken som helst anden given liga.

Det er ikke kun nyttigt at forudsige en enkelt spillers præstationer til scoutingformål, men styrkekoefficienterne giver også oplysninger om ligastyrken. Koefficienterne tager højde for alder, sæson, position og liga. Dette kan give en talentspejder mulighed for at investere flere ressourcer i en ungdomsliga, som måske er overskygget. Dette skyldes, at alder i høj grad er afgørende for point pr. kamp, men når der tages højde for alle andre forvirrende variabler, var der nogle ungdomsligaer, der samlet set havde en langt bedre ligastyrke end nogle professionelle ligaer.

Disse begreber har også anvendelse i det virkelige liv. I månederne op til 2016-draften har der været diskussioner om, hvem Columbus Blue Jackets ville udtage med det tredje samlede valg. De fleste scouts havde vurderet Jesse Puljujarvi, en finsk forward, til at være konsensusvalget, men fansene blev chokerede over at høre, at CBJ i stedet valgte Pierre-Luc Dubois, en canadisk centerman. Et hurtigt kig på tallene vil dog afsløre, at denne beslutning ikke burde komme som en overraskelse. Mens han spillede i den professionelle ishockeyliga Liiga, scorede Puljujarvi imponerende 28 point i 50 regulære sæsonkampe, og han blev rangeret som den femte bedste blandt Liiga-spillere under 20 år. Dubois spillede derimod i en mindre ishockeyliga, men sluttede ikke desto mindre på tredjepladsen i QMJHL-scoringen med 99 point i 62 kampe. Ved hjælp af koefficienterne kan vi beregne deres justerede P/GP i NHL til sammenligning, og vi kan konstatere, at Dubois fører Puljujarvi statistisk set. Dette ville naturligvis ikke være det eneste, som scouts ville overveje, når de drafter, Dubois’ formidable størrelse og fysik spillede helt sikkert også en rolle i deres beslutning, men man kan antage, at Blue Jackets havde et bedre billede af, hvordan hver spiller stod i forhold til den anden, da de valgte Dubois frem for Puljujarvi.

En anden anvendelse ud over spiller-til-spiller-sammenligninger ville være liga-til-league-sammenligninger. Hvis vi vender tilbage til eksemplet med Harley vs. Heinola, kan vi evaluere deres respektive ligaer med andre ligaer med lignende status. I stedet for at sammenligne NHL med OHL, hvor kontrasten er åbenlys, kan man foretage mere nuancerede vurderinger ved at sammenligne OHL med andre nordamerikanske mindre ligaer. Af nedenstående grafer kan vi se, at OHL faktisk er den stærkeste liga i NA’s mindre ligaer, mens Liiga er en middelmådig rangeret liga sammenlignet med andre professionelle ligaer.

OHL i forhold til andre NA-juniorligaer: Denne graf viser styrkekoefficienterne for alle nordamerikanske juniorligaer, med OHL fremhævet med grønt.

Liiga versus andre professionelle ishockeyligaer: Denne graf viser styrkekoefficienterne for alle professionelle ishockeyligaer i hele verden, med Liiga fremhævet med lyseblå farve.

Med den justerede point pr. kamp spillermetrikken kontrolleres der ikke kun forvirrende variabler som en spillers alder, position, liga og sæson, hvilket kan ændre udsigten til en given spillers værdi. De anvendte modelleringsteknikker gør det muligt at sammenligne spillere fra ishockeyligaer over hele verden og ikke kun fra de fremtrædende store ligaer. Dette giver holdene mulighed for at forudsige, hvordan en given spiller kan præstere i deres liga i forhold til lignende spillere, hvilket tidligere blev gjort ved at bruge en skæv estimator. Den justerede point pr. kamp-metrik giver mulighed for en mere holistisk tilgang til evaluering af spillere og giver en vej til spillere, der måske tidligere er blevet overset eller er blevet overset i udkanten. Der er mange anvendelsesmuligheder allerede nu blot ved at bruge de justerede point pr. kamp, men andre typer data kan også bruges, f.eks. scout-ranglister eller forventede mål osv. Med mere detaljerede data i fremtiden på tværs af alle ligaer kan denne metode også blive yderligere forbedret.

Forskningen i denne artikel blev også præsenteret på CBJHAC20 af Katerina Wu. Du kan finde slides her.

Følg os på Twitter @kattaqueue og @madelinejgall!