Calibração de modelo em aprendizado de máquina: um conceito importante, mas imperceptível

Índice

• Introdução
• O conceito por trás da calibração do modelo
• Algumas aplicações em tempo real de calibração de modelos
• Conclusão
• Referências

Introdução

Calibração - Embora seja um dos conceitos mais importantes no aprendizado de máquina, não é falado o suficiente entre os entusiastas iniciantes no espaço AI/ML. A calibração nos diz o quanto podemos confiar em uma previsão de modelo, especialmente em modelos de classificação. Ter uma boa compreensão da calibração é uma necessidade para a interpretação significativa das saídas numéricas dos classificadores de aprendizado de máquina. Neste artigo, discutiremos a teoria por trás da calibração do modelo de aprendizado de máquina e sua importância por meio de alguns exemplos simples da vida real.

O conceito por trás da calibração do modelo

Um modelo de aprendizado de máquina é calibrado se produz probabilidades calibradas. Mais especificamente, as probabilidades são calibradas onde uma previsão de uma classe com confiança p está correta 100*p por cento do tempo

Parece complicado?

Vamos entender através de um exemplo simples:

Consideremos que precisamos construir um modelo de aprendizado de máquina para prever se vai chover ou não em um determinado dia. Como existem apenas 2 resultados possíveis - “Chuva” e “Sem chuva”, podemos considerar isso como um modelo de classificação binária.

Aqui, “Rain” é uma classe positiva que é representada como 1 e “No Rain” é uma classe negativa que é representada como 0.

Se a previsão do modelo para um determinado dia for 1 então podemos considerar que é esperado que o dia seja chuvoso.

Da mesma forma, se a previsão do modelo para um determinado dia for 0, podemos considerar que ele espera que o dia não seja chuvoso.

Em tempo real, os modelos de aprendizado de máquina geralmente representam a previsão como um vetor numérico que representa alguns valores de probabilidade.

Portanto, não é necessário obter sempre um valor de 0 ou 1. Normalmente, se o valor previsto for maior ou igual a 0,5, então é considerado 1 e se o valor previsto for menor que 0,5, é considerado 0. .

Por exemplo, se a previsão do modelo para um determinado dia for 0,66, podemos considerá-la como 1. Da mesma forma, se a previsão do modelo para um determinado dia for 0,24, podemos considerá-la como 0.

Vamos supor que nosso modelo previu o resultado para os próximos 10 dias como este:

Podemos ver que se o valor da probabilidade for maior ou igual a 0,5 então a previsão é “Chuva”.

Da mesma forma, podemos ver que, se o valor da probabilidade for menor que 0,5, a previsão é “Sem chuva”.

Agora, a questão estatística é -

“Os valores de probabilidade são valores de probabilidade reais para o resultado?”

Em outras palavras, se estou tendo um valor de probabilidade de 0,8, isso significa que há 80% de chance de que o dia esteja chuvoso?

Se eu estou tendo um valor de probabilidade de 0,2, isso significa que há 20% de chance de que o dia esteja chuvoso?

Estatisticamente, se estou afirmando que meu modelo está calibrado, a resposta deve ser “Sim”.

Os valores de probabilidade não devem ser meros valores limite para decidir a classe de saída. Em vez disso, deve representar a probabilidade real do resultado.

Aqui, o Dia 1 tem um valor de probabilidade de 0,81, mas o Dia 10 tem um valor de probabilidade de apenas 0,76. Isso significa que, embora haja chance de chuva em ambos os dias, o dia 1 tem uma chance 5% maior do que o dia 10 de chover. Isso mostra a força da previsão probabilística do resultado. Um bom estatístico inferirá muitos padrões de um grande número de resultados semelhantes a este se tiver um modelo como este.

Vamos ver como os estatísticos estão interpretando a calibração do modelo de forma gráfica.

Considere um gráfico como este com os valores de 0 a 1 divididos igualmente no eixo X.

Agora, em cada balde, plote o resultado de acordo com seus valores de probabilidade.

Por exemplo,

Nos intervalos 0,6-0,8, temos 4 pontos de dados - Dia 4, Dia 8, Dia 9 e Dia 10.

Da mesma forma, podemos seguir o mesmo procedimento para todos os outros baldes-

Até agora, plotamos apenas valores previstos.

Como nossa classe positiva é “Chuva”, vamos diferenciar os valores em cada balde cujo valor real é “Chuva”.

Agora, encontre a fração de classe positiva em cada balde:

Quando esse estágio for alcançado, apenas plote esses valores fracionários como uma linha ao longo do eixo Y.

A linha não está em uma estrutura linear adequada. Isso significa que nosso modelo não está bem calibrado. O gráfico de um modelo bem calibrado ficaria assim:

Idealmente, um modelo bem calibrado espera a probabilidade de “Chuva” em torno de 40%-60% no 3º balde (0,4-0,6). No entanto, nosso modelo está dando apenas 30% de probabilidade de um resultado ser a “Chuva”. Este é um desvio significativo. Esses tipos de desvio também podem ser vistos em outros baldes.

Alguns estatísticos usam a área entre a curva calibrada e a curva de probabilidade do modelo para avaliar o desempenho do modelo. Quando a área se tornar menor, o desempenho será maior, pois a curva do modelo estará mais próxima de uma curva calibrada.

Algumas aplicações em tempo real de calibração de modelos em aprendizado de máquina

Existem muitos cenários em tempo real nos quais os usuários finais de aplicativos de ML dependem da calibração do modelo para uma tomada de decisão eficaz e perspicaz, como:

1. Vamos considerar que estamos construindo um modelo baseado em classificação para uma plataforma de comércio eletrônico. Se um modelo for bem calibrado, seus valores de probabilidade podem ser confiáveis para fins de recomendação. Por exemplo, o modelo diz que há 80% de chance de que o usuário goste do Produto A e 65% de chance de que o usuário goste do Produto B. Portanto, podemos recomendar o Produto A ao usuário como primeira preferência e o Produto B como a segunda preferência.

   
   

2. No caso de ensaios clínicos, considere que alguns médicos estão desenvolvendo medicamentos. Se o modelo está prevendo que 2 medicamentos são muito eficazes para o tratamento - Medicamento A e Medicamento B. Agora, os médicos devem escolher a melhor opção disponível na lista, pois não podem correr riscos, pois este é um estudo altamente arriscado que lida com vida humana. Se o modelo está dando um valor de probabilidade de 95% para o Medicamento A e 90% para o Medicamento B, então os médicos irão obviamente prosseguir com o Medicamento A.
   

Conclusão

Neste artigo, examinamos a base teórica da calibração do modelo e discutimos a importância de entender se um classificador está calibrado ou não por meio de alguns exemplos simples da vida real. Construir a “Confiabilidade” para modelos de machine learning costuma ser um desafio maior para os pesquisadores do que desenvolvê-la ou implantá-la nos servidores. A calibração do modelo é extremamente valiosa nos casos em que a probabilidade prevista é de interesse. Dá uma visão ou compreensão da incerteza na previsão do modelo e, por sua vez, a confiabilidade do modelo a ser entendida pelo usuário final, especialmente em aplicações críticas.

Espero que este artigo tenha ajudado você a obter um prefácio para este conceito e entender sua criticidade. Você pode consultar os materiais mencionados na seção de referência para obter uma compreensão aprofundada do mesmo.

Referências

1. Calibração - Wikipédia
2. Gebel, Martin (2009). Calibração multivariada de escores de classificadores no espaço de probabilidade (PDF) (tese de doutorado). A Universidade de Dortmund.
3. UM Garczarek " Arquivado em 23/11/2004 na Wayback Machine ," Regras de Classificação em Espaços de Partição Padronizados, Dissertação, Universität Dortmund, 2002
4. . Hastie e R. Tibshirani, "Classificação por acoplamento pairwise. In: MI Jordan, MJ Kearns e SA Solla (eds.), Advances in Neural Information Processing Systems, volume 10, Cambridge, MIT Press, 1998.