Pour la plupart des algorithmes et méthodes que nous appliquerons ultérieurement, les données évolutives sont essentielles. Ces algorithmes s'appuient sur des calculs (tels que les distances ou les variances) qui sont sensibles à l'échelle des caractéristiques.

En dessous est un exemple de la projection de nos données sur deux caractéristiques: duration_ms et tempo. Le parcours gauche affiche les données originales; le côté droit affiche le résultat après l'application de deux échelles - PowerTransformer et MinMaxScaler:

Réduction de la dimension avec PCA

La prochaine étape est l'analyse des composants principaux (PCA), qui réduit le nombre de fonctionnalités tout en conservant les informations les plus importantes.

Parlant figurativement, PCA trouve des projections – comme allumer un phare sur un objet 3D pour créer une ombre 2D. Le phare est positionné de sorte que l'ombre (projection) conserve autant de détails que possible sur l'objet d'origine.

Nous allons essayer différents nombres de composants et comparer les résultats. Dans notre cas, nous allons tester 10 options. Voici un exemple de la projection de chansons sur deux composants principaux:

K signifie cluster

K-Means est un algorithme de clustering populaire qui regroupe les données en un nombre prédéfini de clusters (k).

Parfois, nous avons des contraintes commerciales. Notre ensemble de données comprend environ 5 000 chansons. Typiquement, les playlists sur les services de streaming contiennent entre 20 et 250 chansons.

Le score de silhouette aide à évaluer la qualité du regroupement en mesurant à quel point chaque point de données s'intègre dans son regroupement attribué par rapport aux autres.Un score de silhouette plus élevé (plus proche de 1) signifie que les regroupements sont bien définis et clairement séparés.

Meilleure combinaison de paramètres

Avec tant de degrés de liberté, comment pouvons-nous trouver la meilleure combinaison de paramètres? La réponse est la simulation.Je peux essayer différentes combinaisons – scalers, nombre de composants PCA et nombre de clusters – et choisir celle qui fonctionne le mieux. Dans mon cas, il y avait 935 candidats possibles.

Cette parcelle montre des scores de silhouette (x-axe) pour différentes combinaisons de composants PCA (représentés par la taille du cercle), des échelles (couleur) et le nombre de clusters (y-axe).Pour simplifier le choix, nous devrions nous concentrer sur les options dans la zone supérieure droite, comme ceci:

La première combinaison significative avec le score de silhouette le plus élevé utilise l'échelleur MinMax, 2 composants principaux et 6 clusters.

Résultat de cluster initial

Comme mentionné précédemment, j'ai incorporé les données Last.fm avec des informations de genre pour nos artistes. C'est le moment idéal pour l'appliquer à notre ensemble de données en tant que critère de validation utile. J'ai sélectionné les 5 genres les plus populaires de ce groupe de données, le reste étant regroupé sous « autre ».

En revenant à notre combinaison de performances les plus élevées, nous sommes maintenant prêts à comparer les clusters obtenus en utilisant les étiquettes de genre.

Si vous vous souvenez, j’ai mentionné dans la déclaration du problème que l’un de mes objectifs était de distinguer le death metal de la musique classique – honnêtement, c’était un exemple aléatoire.Mais étonnamment, ce critère fonctionne assez bien pour cette configuration de clustering particulière.Regardez de plus près: les clusters 0 et 4 sont composés d’environ la moitié de la musique classique, sans presque aucun death metal, tandis que les clusters 2 et 3 sont le contraire, représentant fortement le death metal.Un début prometteur!

Cela dit, nous observons toujours un mélange de genres dans de nombreux clusters, dont certains ne sont pas compatibles sur le plan musical.

En fin de compte, l'objectif est de trouver une solution de regroupement qui soit à la fois statistiquement robuste et pratiquement significative pour votre cas d'utilisation spécifique.

Cluster avec validation externe

Dans cette section, nous allons utiliser plus largement les informations de genre. Ces données agissent comme nos « étiquettes idéales » pour valider la qualité du regroupement. Bien sûr, ce n’est pas un critère parfait ou l’approche la plus sophistiquée pour la création de playlists – mais pour moi personnellement, en tant que fan de musique, cela fonctionne bien. Par exemple, je préfère souvent écouter de la musique spécifique au genre: le hip-hop pour la motivation, le rock aux fêtes ou le classique pendant le travail.

Tentons-nous répondre à une telle question: Pourrions-nous séparer la musique par genre en utilisant uniquement des caractéristiques telles que la danse, l'énergie, le tempo, etc.?

Information mutuelle normalisée (NMI)

Normalised Mutual Information (NMI) mesure la similitude entre deux clusters. Il note entre 0 et 1, où:

• 0 signifie qu'il n'y a pas de superposition entre les attributions de cluster et les étiquettes vraies.
• 1 signifie une correspondance parfaite avec la vérité fondamentale.

1 1

Avant de commencer à trouver la meilleure configuration de clustering à l'aide de NMI, évaluons-la sur une configuration familière - celle que nous avons identifiée plus tôt: MinMaxScaler, 2 composants PCA et 6 clusters.

Nous voyons que le score NMI pour n=6 est significativement plus élevé que pour n=2 (0.29 vs. 0.18).n = 6 > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > >

Ceci est déjà une grande amélioration.Nous voyons maintenant le death metal bien isolé en deux groupes et toute la musique classique regroupée en un seul.

Pour référence, voici une comparaison des scores NMI dans différentes configurations de clustering:

Le score NMI le plus élevé indique le meilleur regroupement axé sur le genre. Ce résultat est très attendu – en utilisant les données de validation, nous pouvons améliorer considérablement notre regroupement de musique.

Conclusion

Dans ce projet, j'ai exploré comment l'apprentissage automatique peut aider à regrouper des pistes musicales en clusters significatifs en utilisant uniquement des fonctionnalités audio. À partir de techniques d'apprentissage non supervisées de base telles que l'échelle, PCA et K-Means, j'ai validé les résultats en utilisant des données de genre du monde réel de Last.fm.

Tandis que les scores de silhouette ont contribué à optimiser la cohérence interne, la validation externe à travers l'alignement de genre a offert une meilleure compréhension de la qualité pratique des clusters.

Ce n'est qu'un point de départ.Les améliorations futures incluraient l'exploration de techniques avancées telles que UMAP et HDBSCAN pour améliorer le regroupement et l'utilisation de SHAP pour une meilleure interprétation.

Avec ces outils, nous pouvons nous rapprocher de la construction de systèmes de playlist intelligents et musicalement significatifs.

En fin de compte, l'apprentissage automatique peut certainement compléter la guérison humaine.Pour l'instant, il offre un moyen évolutif d'organiser et d'explorer de vastes bibliothèques de musique.