Which League is Best?

Which League is Best?

Questo lavoro è co-autore con Madeline Gall.

Mentre lo scouting per alcuni sport è semplice (college football → NFL), lo scouting per la NHL può essere un processo più arduo. Con giocatori provenienti da più di 45 leghe internazionali di hockey su ghiaccio, ognuna con i propri regolamenti e difficoltà, come si può valutare adeguatamente la qualità delle prestazioni di un giocatore? I paragoni tra leghe non sono facili da fare; 18 punti per un diciottenne che gioca contro altri diciottenni in una lega minore non dovrebbe essere attribuito lo stesso valore di 18 punti per un diciottenne che gioca contro i veterani della NHL.

Ci sono stati altri tentativi di tenere conto di questo, comprese le variabili di traduzione dei giocatori, come quella dei fattori di traduzione dell’hockey di Rob Vollman, e gli NHL Equivalency Ratings (NHLe) di Gabriel Desjardin. L’NHLe di Desjardin ha precedentemente affrontato il problema di comparare e prevedere le prestazioni dei giocatori per le transizioni da campionato a NHL (passando da un’altra lega alla NHL). Era ottimo per un confronto veloce e generale e certamente ha i suoi vantaggi (facile e veloce da calcolare), ma ci sono alcuni svantaggi nel suo metodo. Per cominciare, non controlla necessariamente la qualità della squadra, la posizione e l’età. I fattori di traslazione sono calcolati usando le statistiche dei giocatori che hanno giocato almeno 20 partite in una data lega prima di giocarne almeno 20 in NHL. Questo significa che ci sono un sacco di dati preziosi su queste transizioni intermedie che non vengono utilizzati.

In questo progetto, introduciamo un nuovo metodo per confrontare e proiettare le prestazioni dei giocatori tra le leghe utilizzando una metrica z-score aggiustata che tiene conto di questi inconvenienti. Questa metrica controlla fattori come l’età, la lega, la stagione e la posizione che influenzano la metrica P/PG di un giocatore, e potrebbe essere applicata a qualsiasi lega di interesse. Questa nuova metrica è necessaria perché ci sono molte caratteristiche che variano da campionato a campionato. A causa dei diversi stili di gioco e della difficoltà degli avversari, non c’è una metrica coerente per fare valutazioni comparabili delle prestazioni dei giocatori nelle leghe di hockey di tutto il mondo. Anche altri fattori come la forza del portiere, i tassi di penalità e le dimensioni della pista sono incoerenti tra le leghe internazionali. Potrebbero verificarsi scenari in cui giocatori di forza simile potrebbero sembrare avere prestazioni apparentemente diverse.

Un esempio di questo sarebbe Thomas Harley e Ville Heinola del più recente draft 2019. Entrambi sono giocatori provenienti da campionati diversi che giocano contro avversari diversi e mettono su numeri enormemente diversi, eppure sono stati valutati approssimativamente allo stesso modo. Harley, un difensore di origine americana che gioca nella lega canadese di hockey su ghiaccio junior, attualmente gioca con i Mississauga Steelheads nella Ontario Hockey League. È stato draftato al 18° posto dai Dallas Stars nel primo turno dell’Entry Draft NHL 2019. Heinola invece è un difensore finlandese professionista di hockey su ghiaccio che attualmente gioca per il Lukko in Liiga in prestito come prospetto per i Winnipeg Jets della National Hockey League. È stato classificato come uno dei migliori pattinatori internazionali eleggibili per l’Entry Draft NHL 2019. Heinola è stato draftato al 20° posto dai Jets. Come sono stati valutati questi due giocatori dalle rispettive squadre? Probabilmente con qualcosa di simile alla nostra metrica oltre alle informazioni di scouting.

Per la nostra metrica, siamo stati ispirati non solo dai precedenti approcci come NHLe, ma anche dalla recente ondata di Elo. Elo è un metodo per calcolare i livelli di abilità relativa dei giocatori in giochi a somma zero. Anche se inizialmente creato nel contesto per misurare le valutazioni dei giocatori di scacchi, Elo può essere applicato anche in vari altri scenari, come gli sport professionali. Per saperne di più e vedere esempi di Elo nello sport, un tutorial di 538 può essere trovato qui. Elo è semplicemente un modello specifico per il modello di confronto a coppie. Per iniziare, abbiamo usato un set di dati che conteneva circa 300.000 osservazioni dalle informazioni sui giocatori (nome, posizione, campionato, compleanno, ecc) e dalle statistiche dei giocatori (partite giocate, gol, assist, ecc) che erano disponibili, raschiate da eliteprospects.com. Uno dei primi problemi in cui ci siamo imbattuti è stato quale tipo di variabile di risposta avremmo potuto creare per confrontare le statistiche dei giocatori, controllando l’età, la forza del campionato, la posizione, ecc. Le prestazioni dei giocatori sono state calcolate ampiamente all’interno della NHL; ci sono varie misurazioni come WAR, GAR, Corsi, ecc. Tuttavia, la raccolta dei dati non è uguale in tutte le leghe. Alcune leghe non sono state così proattive nel tracciare statistiche come colpi e blocchi come altre, il che significa che abbiamo potuto utilizzare solo le variabili che erano onnipresenti in tutte le leghe come fattori all’interno della nostra regressione.

Quando abbiamo creato la nuova variabile di risposta, abbiamo voluto trasformare i punti per partita in un modo che tenesse conto di età, stagione, posizione e campionato. Il primo passo è stato prendere il log dei punti per partita più uno. Questa trasformazione aveva una distribuzione più normale, mentre i punti grezzi per partita erano molto asimmetrici. Anche se la trasformazione log ha aiutato i dati a sembrare più normalmente distribuiti, il log dei punti per partita non ha ancora tenuto conto delle variabili elencate sopra. Abbiamo deciso che per tenere conto di tali variabili, avremmo creato uno z-score per i punti log di ogni giocatore per partita. Il primo passo è stato quello di calcolare la media e la deviazione standard per ogni gruppo di posizione, stagione, campionato ed età. Poi è stato calcolato uno z-score per ogni osservazione del giocatore usando la media e la deviazione standard che apparteneva alle variabili che stavamo controllando. Così, lo z-score del log dei punti per partita più uno era la nostra variabile di risposta finale. Gli z-scores sembravano essere ancora più normalmente distribuiti del log dei punti per partita, e gli z-scores per gruppi come i difensori e gli attaccanti erano anch’essi normalmente distribuiti.
Creazione del modello di confronto a coppie, che è molto simile a un modello Elo. Per iniziare, costruiamo un dataframe di confronto. Creiamo coppie di stagioni giocatore-campionato per ogni giocatore, in modo che ci sia un piccolo dataframe di tutti i confronti a coppie per i campionati in cui hanno giocato. Questo significa che se un giocatore ha giocato in K campionati, allora quel giocatore avrà K-choose-2 coppie di giocatori-stagioni. Successivamente, eliminiamo tutte le coppie che hanno lo stesso campionato, così come le coppie che sono più distanti di una stagione, e calcoliamo una variabile di risultato. Questa variabile può essere continua o binaria, a seconda della regressione utilizzata. È importante capire che la lega “più difficile” in cui giocare avrebbe in realtà una variabile di risultato inferiore. Questo si basa sul presupposto che le leghe più difficili hanno difensori e portieri migliori, rendendo più difficile segnare.

Nome del giocatore	Lega	Stagione	Z- Score
Kris Letang	QMJHL	2006-07	1.829
Kris Letang	NHL	2006-07	1.158
Kris Letang	AHL	2007-08	1.557

Dopo aver costruito il modello di confronto a coppie, sono stati utilizzati diversi tipi di regressione per calcolare i coefficienti. Ci siamo concentrati sull’utilizzo di un modello logistico autocostruito, il modello Bradley Terry (utilizzando il pacchetto BTm in R), entrambi i quali hanno creato risultati binari, così come una regressione Ordinaria ai minimi quadrati, che ha creato un risultato continuo. Per valutare quale regressione ha funzionato per creare i risultati più accurati, abbiamo prima diviso i dati accoppiati 70/30 per i campioni di allenamento e di prova. Abbiamo poi previsto la probabilità di vittoria per tutti i campionati, sulla base dello Z-score aggiustato di punti per partita. È stata fissata una soglia per la “vittoria”; se la probabilità era superiore alla soglia, allora il risultato previsto era = 1. Altrimenti, era = 0. Altrimenti, era = 0. Da lì, i risultati previsti sono stati confrontati con i risultati effettivi per calcolare la precisione di previsione per ogni modello. I risultati sono mostrati nella seguente tabella.

Dopo aver creato i nostri diversi metodi di modellazione, siamo stati in grado di utilizzare i coefficienti di forza dei modelli per creare una classifica delle leghe determinata dalla loro forza. Non è stata una sorpresa che per ogni anno dal 2008 al 2018, e per i coefficienti di forza complessivi, la National Hockey League sia considerata la lega più forte. L’altra lega che è stata costantemente considerata la seconda migliore è stata il Campionato del Mondo, il che ha senso in quanto si tratta dei migliori giocatori di diversi paesi in competizione, e questo torneo è composto da molti giocatori che giocano nella NHL. Semplicemente guardando le leghe, la AHL, la KHL, la SHL e la DEL erano costantemente alcune delle leghe più forti di 45 squadre. La classifica finale delle prime 10 leghe era NHL, Campionato del Mondo, Campionato Mondiale Junior, KHL, SHL, AHL, USDP, Campionato Mondiale Junior U18, DEL e NLA. Alcune delle leghe che possono essere state una sorpresa erano le leghe di hockey junior, o la USDP. Queste leghe sono apparse più alte nella nostra classifica perché abbiamo tenuto conto dell’età nel nostro modello. Questo ha permesso di basare la forza sulla qualità dei giocatori piuttosto che sulla loro età. Ognuno dei tre modelli che abbiamo creato ha avuto classifiche simili con solo lievi deviazioni.

Dopo aver generato una classifica delle leghe basata sui nostri punti aggiustati per partita, il passo successivo è stato quello di vedere come queste classifiche si confrontano con l’utilizzo dei soli punti per partita. Quando si usano solo i punti per partita abbiamo notato che sono successe tre cose ai coefficienti di forza delle leghe. Per le leghe che avevano un coefficiente di forza più alto, quelle leghe tendevano ad essere ancora le più forti per i punti aggiustati per partita. Per le leghe che erano nel livello medio di tutte le leghe, i loro coefficienti di forza per i punti grezzi per partita erano molto simili ai loro coefficienti di forza per punti aggiustati per partita. Infine, le leghe con i coefficienti di forza più bassi per i punti grezzi per partita avevano coefficienti di forza peggiori per i punti aggiustati per partita. Le sole leghe che avevano coefficienti di forza più bassi che avevano coefficienti di forza migliorati dai punti aggiustati per partita erano leghe che avevano giocatori giovani. Questa tendenza si verifica per i Campionati Mondiali Juniores sia per U20 e U18, e per gli Stati Uniti High School, lega del Minnesota. Per la lega delle scuole superiori del Minnesota, era considerata di gran lunga la peggiore lega quando si usavano i punti grezzi per partita come variabile di risposta, ma usando i punti aggiustati per partita, questa lega ha prestazioni migliori di altre 10 leghe, molte delle quali sono leghe professionali. Questo ci ha permesso di vedere ulteriormente i difetti dei punti per partita come predittore della forza della lega, e ha anche evidenziato quanto sia importante tenere conto dell’età quando si determina la forza della lega.

Coefficienti di forza per ogni lega per P/GP grezzo vs P/GP aggiustato: Questo grafico mostra i coefficienti di forza per ogni lega per le due diverse variabili di risposta. I coefficienti di forza sono stati calcolati utilizzando lo stesso metodo di modellazione.

Come menzionato sopra, è stato necessario creare una nuova stima per le prestazioni dei giocatori perché i predittori esistenti come i punti per partita sono distorti a causa dell’età, della forza della lega, della forza della squadra e dell’anno. La creazione di percentili per i tipi di giocatori permette di confrontare un prospetto con altri giocatori simili permettendo una previsione più accurata. Il percentile del log P/GP e il nostro metodo scelto è molto utile perché permette una previsione di qualsiasi performance di un dato giocatore in una qualsiasi delle 45+ leghe. Con così tante leghe, non è garantito che un giocatore sarebbe stato draftato da quella lega alla NHL, ma senza il metodo del modello, questo non è necessario per fare una previsione accurata.

Per esempio, i punti aggiustati per partita di Jake Geuntzel nella stagione 2017-2018 per i Pittsburgh Penguins erano .94. Usando questo punto aggiustato per partita, possiamo prevedere i suoi punti aggiustati per partita in qualsiasi altra lega. Qui sotto abbiamo alcune delle leghe più comuni visualizzate e la previsione di Jake Guentzel di punti aggiustati per partita in ciascuna di queste leghe. Per confronto, nel 2016-2017 Jake Guentzel ha avuto una media punti per partita di 2.30 in AHL. La nostra previsione di punti aggiustati per partita di 2 è piuttosto vicina.

Il nostro metodo nel predire i punti aggiustati di un giocatore per partita per determinare come un giocatore può esibirsi in una data lega è un semplice calcolo dai nostri coefficienti di forza nel processo di modellazione descritto in precedenza. Per confrontare due leghe qualsiasi, sottrarre i loro coefficienti di forza l’uno dall’altro. Poi aggiungi questo valore ai punti aggiustati per partita o punteggio z della lega in cui il giocatore ha registrato dati. La somma del punteggio z e della differenza del coefficiente di forza darà i punti aggiustati per partita per qualsiasi altra lega data.

Non solo è utile prevedere le prestazioni di un singolo giocatore per scopi di scouting, ma i coefficienti di forza forniscono informazioni sulla forza della lega. I coefficienti tengono conto dell’età, della stagione, della posizione e della lega. Questo potrebbe permettere a uno scout di investire più risorse in una lega giovanile che potrebbe essere messa in ombra. Questo perché l’età è un grande fattore determinante per i punti per partita, ma quando si tiene conto di tutte le altre variabili di confondimento, ci sono alcune leghe giovanili che nel complesso hanno una forza di lega molto migliore di alcune leghe professionali.

Questi concetti hanno anche applicazioni nella vita reale. Durante i mesi precedenti al draft 2016, ci sono state discussioni su chi i Columbus Blue Jackets avrebbero scelto con la terza scelta assoluta. La maggior parte degli scout aveva valutato Jesse Puljujarvi, un attaccante finlandese, per essere la scelta di consenso, ma i fan sono rimasti scioccati nel sentire che i CBJ hanno invece scelto Pierre-Luc Dubois, un centravanti canadese. Tuttavia, un rapido sguardo ai numeri rivelerà che questa decisione non dovrebbe essere una sorpresa. Mentre giocava nella lega professionale di hockey Liiga, Puljujarvi ha segnato un impressionante 28 punti in 50 partite di stagione regolare, e si è classificato quinto tra i giocatori Liiga sotto i 20 anni. Dubois d’altra parte ha giocato in una lega minore di hockey, ma è comunque arrivato terzo nel punteggio della QMJHL con 99 punti in 62 partite. Usando i coefficienti, possiamo calcolare il loro P/GP aggiustato in NHL per un confronto, e troviamo che Dubois conduce Puljujarvi da un punto di vista statistico. Ovviamente questa non sarebbe l’unica cosa che gli scout prenderebbero in considerazione al momento del draft, le formidabili dimensioni e la fisicità di Dubois hanno sicuramente giocato un ruolo nella loro decisione, ma si potrebbe supporre che i Blue Jackets avessero un quadro migliore di come ogni giocatore impilato contro l’altro quando hanno scelto Dubois su Puljujarvi.

Un’altra applicazione oltre ai paragoni giocatore-giocatore potrebbe essere il confronto da campionato a campionato. Tornando all’esempio di Harley vs Heinola, possiamo valutare le loro rispettive leghe con altre leghe di status simile. Invece di paragonare la NHL alla OHL, dove il contrasto è ovvio, valutazioni più sfumate possono essere fatte confrontando la OHL con altre leghe minori del Nord America. Dai grafici qui sotto, possiamo vedere che la OHL è effettivamente la lega più forte nelle leghe minori NA, mentre la Liiga è una lega di medio livello rispetto alle altre leghe professionali.

OHL contro altre leghe minori NA: Questo grafico mostra i coefficienti di forza per tutte le leghe junior del Nord America, con la OHL evidenziata in verde.

Liiga contro altre leghe di hockey professionistico: Questo grafico mostra i coefficienti di forza per tutte le leghe professionistiche di hockey nel mondo, con la Liiga evidenziata in azzurro.

Con la metrica dei punti aggiustati per gioco del giocatore, non solo sono controllate le variabili di confondimento come l’età di un giocatore, la posizione, la lega e la stagione, che possono cambiare la prospettiva sul valore di ogni dato giocatore. Le tecniche di modellazione utilizzate permettono di confrontare i giocatori delle leghe di hockey di tutto il mondo, non solo le leghe maggiori più importanti. Questo dà alle squadre la possibilità di prevedere come un dato giocatore possa esibirsi nella loro lega rispetto a giocatori simili, cosa che prima veniva fatta usando uno stimatore distorto. La metrica dei punti aggiustati per partita permette un approccio più olistico per la valutazione dei giocatori, e fornisce un percorso per i giocatori che possono essere stati precedentemente trascurati o ai margini. Ci sono molte applicazioni già semplicemente usando i punti aggiustati per gioco, ma anche altri tipi di dati possono essere usati, come le classifiche degli scout o gli obiettivi previsti, ecc. Con dati più dettagliati in futuro in tutte le leghe, questo metodo può anche essere ulteriormente migliorato.

La ricerca in questo articolo è stata presentata anche al CBJHAC20 da Katerina Wu. Potete trovare le slide qui.

Seguiteci su Twitter @kattaqueue e @madelinejgall!