Qual é a Melhor Liga?

Qual é a Melhor Liga?

Este trabalho é co-autoria com Madeline Gall.

Embora o scouting para alguns desportos seja simples (futebol universitário → NFL), o scouting para a NHL pode ser um processo mais árduo. Com jogadores de mais de 45 ligas internacionais de hóquei no gelo, cada uma com seus próprios regulamentos e dificuldades, como se pode avaliar adequadamente a qualidade do desempenho de um jogador? Comparações entre ligas não são facilmente feitas; 18 pontos para um jogador de 18 anos jogando contra outros de 18 anos em uma liga menor não deve ser atribuído o mesmo valor que 18 pontos para um jogador de 18 anos jogando contra veteranos na NHL.

Existiram outras tentativas para explicar isto, incluindo variáveis de tradução de jogadores, como a dos factores de tradução de hóquei de Rob Vollman, e a Classificação de Equivalência de NHL (NHL Equivalency Ratings) de Gabriel Desjardin. A NHLe de Desjardin abordou anteriormente a questão de comparar e prever o desempenho dos jogadores para as transições de liga para NHL (passando de outra liga para a NHL). Foi ótimo para uma comparação rápida e geral e certamente tem suas vantagens (fácil e rápido de calcular), mas há alguns inconvenientes em seu método. Para começar, ele não necessariamente controlava a qualidade, posição e idade da equipe. Os factores de tradução são calculados utilizando estatísticas de jogadores que tenham jogado pelo menos 20 jogos na liga em causa antes de jogarem pelo menos 20 na NHL. Isso significa que há muitos dados valiosos sobre essas transições que não estão sendo usados.

Neste projeto, introduzimos um novo método para comparar e projetar o desempenho dos jogadores entre ligas usando uma métrica de z-score ajustada que explicaria esses inconvenientes. Essa métrica controla fatores como idade, liga, temporada e posição que afetam a métrica P/PG de um jogador, e poderia ser aplicada a qualquer liga de interesse. Esta nova métrica é necessária, uma vez que existem muitas características que variam de liga para liga. Devido aos diferentes estilos de jogo e dificuldade do adversário, não existe uma métrica consistente para fazer avaliações comparáveis do desempenho dos jogadores nas ligas de hóquei em todo o mundo. Outros factores como a força do guarda-redes, as taxas de penalização e as dimensões do ringue também são inconsistentes em ligas internacionais. Cenários podem ocorrer em que jogadores de força semelhante possam parecer ter desempenhos aparentemente diferentes.

Um exemplo disso seria Thomas Harley e Ville Heinola, do mais recente rascunho de 2019. Ambos são jogadores de ligas diferentes jogando contra adversários diferentes e colocando números muito diferentes, mas foram valorizados para serem aproximadamente os mesmos. Harley, um defensor nascido nos Estados Unidos que joga na liga canadense junior de hóquei no gelo, está atualmente jogando com os Mississauga Steelheads na Ontario Hockey League. Ele foi convocado pela 18ª edição geral do Dallas Stars na primeira rodada do Draft de Inscrição da NHL de 2019. Heinola, por outro lado, é um defensor profissional finlandês de hóquei no gelo que joga actualmente pelo Lukko em Liiga, por empréstimo, como perspectiva para os Winnipeg Jets da Liga Nacional de Hóquei. Ele foi classificado como um dos melhores patinadores internacionais elegíveis para o Draft de Entrada da NHL de 2019. Heinola foi elaborado pela 20ª edição geral pelos Jets. Como esses dois jogadores acabaram sendo avaliados por suas respectivas equipes? Provavelmente com algo semelhante à nossa métrica, além de informações de scouting.

Para a nossa métrica, fomos inspirados não só pelas abordagens anteriores como a NHLe, mas também pelo recente surto de Elo. Elo é um método para calcular os níveis relativos de habilidade dos jogadores em jogos de soma zero. Embora inicialmente criado no contexto para medir as classificações dos jogadores de xadrez, o Elo também pode ser aplicado em vários outros cenários, como esportes profissionais. Para ler mais e ver exemplos do Elo nos esportes, um tutorial de 538 pode ser encontrado aqui. O Elo é simplesmente um modelo específico para modelos de comparação de pares. Vamos percorrer o processo no qual criamos nosso modelo de comparação emparelhado/Elo.

Para começar, usamos um conjunto de dados que continha cerca de 300.000 observações das informações do jogador (nome, posição, liga, aniversário, etc) e estatísticas do jogador (jogos jogados, gols, assistências, etc) que estavam disponíveis, raspadas do eliteprospects.com. Um dos primeiros problemas que encontramos foi que tipo de variável de resposta poderíamos criar para comparar as estatísticas dos jogadores, controlando por idade, força na liga, posição, etc. O desempenho dos jogadores foi calculado extensivamente dentro da NHL; existem várias medidas como WAR, GAR, Corsi, etc. No entanto, a recolha de dados não é igual em todas as ligas. Algumas ligas não foram tão proativas em rastrear estatísticas como hits e blocos como outras, o que significa que só podíamos utilizar variáveis que eram onipresentes em todas as ligas como fatores dentro da nossa regressão.

Ao criar a nova variável de resposta, nós queríamos transformar ponto por jogo de uma forma que contabilizasse a idade, época, posição e liga. O primeiro passo foi fazer o log de pontos por jogo mais um. Esta transformação tinha uma distribuição mais normal, enquanto que os pontos por jogo eram muito distorcidos. Embora a transformação do log tenha ajudado a distribuir os dados de forma mais normal, os pontos de log por jogo ainda não contabilizavam as variáveis listadas acima. Decidimos que, para contabilizar tais variáveis, iríamos criar um z-score para os log points de cada jogador por jogo. O primeiro passo era calcular a média e o desvio padrão para cada grupo de posição, época, liga e idade. Depois foi calculado um z-score para cada observação dos jogadores usando a média e o desvio padrão que pertenciam às variáveis que estávamos a controlar. Assim, o z-score do log de pontos por jogo mais um foi a nossa variável de resposta final. As z-scores pareciam ser ainda mais normalmente distribuídas do que os pontos de log por jogo, e as z-scores para grupos como defesas e atacantes também eram normalmente distribuídas.
Criando o modelo de comparação de pares, que é muito semelhante a um modelo Elo. Para começar, nós construímos um dataframe de comparação. Criamos pares de temporadas de campeonato para cada jogador, para que haja um pequeno quadro de dados de todas as comparações de pares para as ligas em que eles jogaram. Isto significa que se um jogador jogou nas ligas K, então esse jogador terá K-choose-2 pares de temporadas de jogador-liga. Em seguida, eliminamos quaisquer pares que tenham a mesma liga, assim como pares que estejam mais de uma temporada separados, e calculamos uma variável de resultado. Esta variável pode ser contínua ou binária, dependendo da regressão utilizada. É importante entender que a liga mais “difícil” de jogar teria na verdade uma variável de resultado menor. Isto é baseado no pressuposto de que as ligas mais difíceis têm melhores defesas e guarda-redes, tornando mais difícil a pontuação.

Nome do jogador	Liga	Season	Z- Pontuação
Kris Letang	QMJHL	2006-07	1.829
Kris Letang	NHL	2006-07	1.158
Kris Letang	AHL	2007-08	1.557

>

Após a construção do modelo de comparação emparelhada, diferentes tipos de regressões foram utilizados para calcular os coeficientes. Focamos no uso de um modelo logístico auto-fabricado, o modelo Bradley Terry (usando o pacote BTm em R), ambos que criaram resultados binários, bem como uma regressão Ordinary Least Squares, que criou um resultado contínuo. Para avaliar qual regressão funcionou para criar os resultados mais precisos, primeiro dividimos os dados emparelhados 70/30 para treinamento e amostras de teste. Em seguida, previmos a probabilidade de uma vitória para todas as ligas, com base nos pontos ajustados por Z-score de jogo. Foi definido um limiar para “ganhar”; se a probabilidade era maior que o limiar, então o resultado previsto era = 1. Caso contrário, era = 0. A partir daí, os resultados previstos foram comparados com os resultados reais para calcular a precisão da previsão para cada modelo. Os resultados são mostrados na tabela abaixo.

Após a criação dos nossos diferentes métodos de modelagem, pudemos usar os coeficientes de força dos modelos para criar um ranking de ligas determinado pela sua força. Não foi surpresa que para cada ano de 2008 até 2018, e para os coeficientes de força geral, a Liga Nacional de Hóquei seja considerada a liga mais forte. A outra liga que foi constantemente considerada a segunda melhor foi o Campeonato do Mundo, o que faz sentido, uma vez que estes são os melhores jogadores de diferentes países a competir, e este torneio é composto por muitos jogadores que jogam na NHL. Simplesmente olhando para as ligas, a AHL, KHL, SHL e DEL foram consistentemente algumas das ligas mais fortes de 45 mais equipes. A classificação final dos 10 melhores campeonatos foi a NHL, Campeonato Mundial, Campeonato Mundial Júnior, KHL, SHL, AHL, USDP, Campeonato Mundial Júnior U18, DEL e NLA. Algumas das ligas que podem ter sido uma surpresa foram as ligas juniores de hóquei, ou o USDP. Essas ligas apareceram mais altas no nosso ranking porque nós contabilizamos a idade no nosso modelo. Isso permitiu que a força fosse baseada na qualidade dos jogadores e não na idade dos jogadores. Cada um dos três modelos que criámos tinha rankings semelhantes com apenas ligeiros desvios.

Após gerar um ranking de ligas baseado em nossos pontos ajustados por jogo, o próximo passo foi ver como esses rankings se comparam ao uso de apenas pontos por jogo. Ao usar apenas pontos por jogo percebemos que três coisas aconteceram com os coeficientes de força das ligas. Para as ligas que tinham um coeficiente de força maior, essas ligas tendiam a ser ainda as ligas mais fortes para os pontos ajustados por jogo. Para as ligas que estavam no nível médio de todas as ligas, os seus coeficientes de força para pontos brutos por jogo eram muito semelhantes aos seus coeficientes de força ajustados por jogo. Finalmente, as ligas com os menores coeficientes de força para pontos brutos por jogo tinham coeficientes de força piores para pontos ajustados por jogo. As únicas ligas com menores coeficientes de força que tiveram coeficientes de força melhores com pontos ajustados por jogo foram as ligas que tiveram jogadores jovens. Esta tendência acontece no Campeonato Mundial de Juniores tanto para os Sub-20 como para os Sub-18, e na Liga do Liceu dos Estados Unidos, no Minnesota. Para a liga de liceu do Minnesota, foi considerada a pior liga de longe quando se utilizavam pontos brutos por jogo como variável de resposta, mas ao utilizar pontos ajustados por jogo, esta liga tem um desempenho melhor que outras 10 ligas, muitas das quais são ligas profissionais. Isto permitiu-nos ver mais além as falhas com pontos por jogo como um preditor da força da liga, e também destacou como é importante ter em conta a idade ao determinar a força da liga.

Coeficientes de Força para Cada Liga para P/GP Bruto vs P/GP Ajustado: Este gráfico mostra os coeficientes de força para cada liga para as duas variáveis de resposta diferentes. Os coeficientes de força foram calculados usando o mesmo método de modelagem.

Como mencionado acima, uma nova estimativa para o desempenho do jogador precisava ser criada porque os preditores existentes, como pontos por jogo, são tendenciosos devido à idade, força da liga, força da equipa e do ano. A criação de percentis para tipos de jogadores permite que uma perspectiva seja comparada com a de outros jogadores semelhantes, permitindo uma previsão mais precisa. O percentil de log P/GP e o nosso método escolhido é muito útil porque permite uma previsão do desempenho de qualquer jogador em qualquer uma das mais de 45 ligas. Com tantas ligas, não é garantido que um jogador teria sido recrutado dessa liga para a NHL, mas sem o método de modelo, isso não é necessário para fazer uma previsão precisa.

Por exemplo, os pontos ajustados de Jake Geuntzel por jogo na temporada 2017-2018 para os Pittsburgh Penguins foram .94. Usando este ponto ajustado por jogo, podemos prever os seus pontos ajustados por jogo em qualquer outra liga. Abaixo temos algumas das ligas mais comuns exibidas e os pontos ajustados previstos por jogo de Jake Guentzel em cada uma dessas ligas. Para comparação, em 2016-2017 Jake Guentzel teve um ajuste de pontos por jogo de 2,30 na AHL. A nossa previsão de pontos ajustados por jogo de 2 é bastante próxima.

Nosso método de prever os pontos ajustados de um jogador por jogo para determinar como um jogador pode se sair em qualquer liga é um cálculo simples a partir dos nossos coeficientes de força no processo de modelagem descrito anteriormente. Para comparar duas ligas quaisquer, subtraia os seus coeficientes de força uma da outra. Depois acrescente este valor aos pontos ajustados por jogo ou z de pontuação da liga em que o jogador registou os dados. A soma da pontuação z e da diferença do coeficiente de força dará os pontos ajustados por jogo para qualquer outra liga.

Não se prevê apenas o desempenho de um único jogador útil para fins de scouting, mas os coeficientes de força fornecem informações sobre a força da liga. Os coeficientes são relativos à idade, época, posição e liga. Isto pode permitir que um olheiro invista mais recursos em uma liga jovem que pode ser ofuscada. Isto porque a idade é uma grande determinação de pontos por jogo, mas ao contabilizar todas as outras variáveis confusas, havia algumas ligas juvenis que, no geral, tinham uma força de liga muito melhor do que algumas ligas profissionais.

Estes conceitos também têm aplicações na vida real. Durante os meses que antecederam o rascunho de 2016, houve discussões sobre quem seria o Colombo Blue Jackets com a terceira escolha geral. A maioria dos olheiros tinha valorizado Jesse Puljujarvi, um avançado finlandês, para ser a escolha consensual, mas os fãs ficaram chocados ao saber que o CBJ escolheu Pierre-Luc Dubois, um centenário canadiano em vez de Pierre-Luc Dubois. No entanto, uma rápida olhada nos números revelará que esta decisão não deve ser uma surpresa. Enquanto jogava na liga profissional de hóquei Liiga, Puljujarvi marcou impressionantes 28 pontos em 50 jogos da temporada regular e ficou em quinto lugar entre os jogadores do Liiga com menos de 20 anos de idade. Dubois, por outro lado, jogou numa liga menor de hóquei, mas terminou em terceiro lugar no QMJHL com 99 pontos em 62 jogos. Usando os coeficientes, podemos calcular o seu P/GP ajustado na NHL para comparação, e descobrimos que Dubois lidera Puljujarvi de um ponto de vista estatístico. Obviamente, esta não seria a única coisa que os olheiros considerariam ao elaborar, o tamanho formidável e a fisicalidade de Dubois definitivamente também desempenhou um papel na sua decisão, mas pode-se assumir que os Casacos Azuis tinham uma melhor imagem de como cada jogador se acumulou contra o outro ao escolher Dubois em vez de Puljujarvi.

Outra aplicação além das comparações jogador-a-jogador seriam comparações liga a liga. Voltando ao exemplo de Harley vs Heinola, podemos avaliar suas respectivas ligas com outras ligas de status similar. Em vez de comparar a NHL com a OHL, onde o contraste é óbvio, podem ser feitas avaliações mais nuances comparando a OHL com outras ligas menores norte-americanas. Dos gráficos abaixo, podemos ver que a OHL é realmente a liga mais forte das ligas menores de NA, enquanto que o Liiga é uma liga média em relação a outras ligas profissionais.

OHL versus outras ligas juniores de NA: Este gráfico mostra os coeficientes de força para todas as ligas júnior norte-americanas, com a OHL destacada em verde.

Liiga versus outras ligas de hóquei profissional: Este gráfico mostra os coeficientes de força para todas as ligas de hóquei profissional de todo o mundo, com o Liiga destacado em azul claro.

Com os pontos ajustados por métrica do jogador, não só se confundem variáveis como a idade, posição, liga e época de um jogador, que podem mudar a perspectiva do valor de qualquer jogador. As técnicas de modelagem utilizadas permitem a comparação entre jogadores de ligas de hóquei de todo o mundo, e não apenas das ligas principais de destaque. Isto dá às equipas a capacidade de prever o desempenho de qualquer jogador na sua liga em relação a jogadores semelhantes, o que anteriormente era feito através de um estimador tendencioso. A métrica ajustada de pontos por jogo permite uma abordagem mais holística para avaliar os jogadores, e fornece um caminho para os jogadores que podem ter sido anteriormente negligenciados ou marginalizados. Existem muitas aplicações já simplesmente usando os pontos ajustados por jogo, mas outros tipos de dados também podem ser usados, como rankings de olheiros ou objetivos esperados, etc. Com dados mais detalhados no futuro em todas as ligas, este método também pode ser melhorado.

A pesquisa neste artigo também foi apresentada no CBJHAC20 por Katerina Wu. Você pode encontrar os slides aqui.

Siga-nos no Twitter @kattaqueue e @madelinejgall!