Offres de stage, de thèses et d’emploi

PhD positions, 2021-24

Stages de recherche 2021 en informatique musicale




Stages de recherche 2021 en informatique musicale


Stage de recherche (M1 ou M2) : Trouver les notes musicales influentes à l’aide des réseaux de neurones Transformers

Contexte

Les techniques modernes en apprentissage automatique, notamment autour des réseaux de neurones, suscitent de nombreuses recherches dans les domaines de la modélisation du langage naturel (Natural Language Processing) d’une part et de l’informatique musicale (Music Information Research) d’autre part. Ces recherches ont de multiples applications allant de l’analyse de corpus textuels/musicaux à la génération automatique de texte/musique.

Parmi les multiples types de réseaux de neurones utilisés dans ces disciplines, les transformers [1] ont fourni des résultats prometteurs en modélisation du langage, par exemple pour la conception de systèmes de questions-réponses [2]. Ils ont été par la suite adapté en MIR pour la génération automatique de musique [3]. Le fonctionnement des transformers repose sur le principe d’attention, qui incite un modèle, lors de son entraînement, à comparer l’“importance” des termes successifs dans une séquence. Dans une phrase textuelle, comme dans une phrase musicale, la présence de certains éléments a en effet plus de poids que d’autres pour le sens global de la phrase. C’est le cas de la négation en texte (le simple mot “pas” inverse à lui seul le sens de la phrase). C’est aussi le cas en musique tonale des notes fondamentales et réelles des accords qui sont le signe de progressions harmoniques sous-jacentes, ou encore à une échelle plus fine des notes modulantes qui annoncent une transition vers une nouvelle tonalité.

Objectifs

Malgré leur performance, les réseaux de neurones profonds sont souvent critiqués pour leur opacité qui complique l’identification des abstractions qu’a re-constitué le modèle au cours de son entraînement et qui lui permettent de prendre des décisions correctes. Ce projet exploratoire a pour but d’étudier le fonctionnement d’un Transformer entraîné sur des corpus de musique de différents styles. L’idée est d’analyser les représentations internes au modèle, afin d’extraire les éléments du langage musical sur lesquels a tendance à se focaliser le mécanisme d’attention et de les comparer avec des règles issues de la théorie musicale. Il s’agira pour cela d’analyser les poids des matrices des unités d’attention qu’a appris le modèle afin d’identifier les éléments musicaux (généralement des notes) qui ont le plus d’influence sur les autres au sein d’une séquence.

Des premières expériences seront menés sur les modèles pré-entrainés mis à disposition par le projet Magenta. On généralisera l’expérience dans un second temps sur des modèles entrainés sur différents corpus auquel l’équipe Algomus a accès notamment les quatuors à cordes classiques (Haydn, Mozart et Beethoven), des pièces pour piano seul et des tablatures pour guitare dans le style pop/rock.

Profil recherché

Master d’informatique, avec compétences en IA/science des données. Connaissances et pratique musicales souhaitées, idéalement avec des connaissances en harmonie et/ou en analyse.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l'étranger. L'équipe est également en contact avec des entreprises travaillant sur des sujets connexes.

Références

  • [1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998–6008, 2017.
  • [2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert : Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv :1810.04805, 2018.
  • [3] Cheng-Zhi Anna Huang, Ashish Vaswani, Jakob Uszkoreit, Ian Simon, Curtis Hawthorne, Noam Shazeer, Andrew M Dai, Matthew D Hoffman, Monica Dinculescu, and Douglas Eck. Music transformer : Generating music with long-term structure. In International Conference on Learning Representations, 2018.

Stage de recherche (M1) : Vers l’indexation de motifs mélodiques et harmoniques

L'équipe d’informatique musicale Algomus, du laboratoire CRIStAL (UMR CNRS 9189, Université de Lille), s’intéresse à l’analyse informatique de partitions musicales. L'équipe TIBS (LITIS, Université de Rouen) travaille en bioinformatique, et plus généralement est spécialiste d’algorithmique du texte et de structures d’indexation.

Contexte

La musique est faite de répétitions et de contrastes. Les “motifs musicaux” sont très présents dans de nombreux styles de musique occidentale tonale (baroque, classique, romantique, jazz, pop…).

Un motif peut être vu comme une mélodie (suite de notes), mais de meilleures modélisations relient le motif aux harmonies sous-jacentes [Lerdhal 1988, Jansen 2013]. Aujourd’hui, des méthodes basées sur l’apprentissage permettent d’apprendre ce qu’est un motif musical. Ces méthodes ne permettent cependant pas de faire des requêtes rapides comparant un motif avec des corpus de potentiellement des millions de données. Des heuristiques à base de graines ont déjà été proposées pour des requêtes simplifées [Martin 2012]. Du côté de l’algorithmique du texte, ces vingt dernières années ont vu l'émergence de nombreux modèles pour indexer et rechercher efficacement des séquences symboliques, y compris approchées, notamment par des structures à base de transformée de Burrows-Wheeler (BWT) [Adjeroh 2008].

Objectifs

Le but de ce stage est de concevoir, implémenter et tester une structure d’indexation adaptée aux motifs musicaux dans des partitions symboliques. Après une phase de bibliographie sur l’indexation et sur les motifs musicaux, le stagiaire pourra par exemple chercher à adapter la BWT pour rechercher des motifs décrits à la fois par la mélodie et l’harmonie. On veillera à la complexité en temps et en mémoire des solutions proposées, et on cherchera idéalement à permettre des recherches approchées dans des temps compatibles avec une utilisation réelle.

Les algorithmes d’indexation et de recherche de motifs proposés seront implémentés et testés sur un corpus musical qui sera à définir, que ce soit en musique baroque/classique/romantique ou en musique jazz ou pop, et les résultats seront discutés avec des musiciens avec qui l'équipe collabore.

Profil recherché

Master d’informatique théorique, algorithmique, complexité, structures d’indexation. Connaissances et pratique musicales souhaitées, idéalement avec des connaissances en harmonie et/ou en analyse.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets connexes en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l'étranger. L'équipe est également en contact avec des entreprises travaillant sur des sujets connexes.

Références

Anciennes offres


Stage de recherche (M1/M2) : Modèles pour l’analyse de l'écriture symphonique

L'équipe d’informatique musicale Algomus, du laboratoire CRIStAL (UMR CNRS 9189, Université de Lille), en collaboration avec le MIS (UPJV, Amiens) s’intéresse à l’analyse informatique de partitions musicales.

Contexte

L’orchestration est l’art d'écrire de la musique pour un ensemble d’instruments. Elle va bien plus loin qu’une instrumentation qui serait une simple répartition des voix. Que ce soit dans les musiques dites classiques ou dans d’autres répertoires comme dans la musique de film, l’orchestration se nourrit des possibilités musicales de chaque instrument, de celles de leur pupitre, et du “son” de l’orchestre tout entier [1]. L'écriture de contrastes orchestraux porte à la fois sur les instruments utilisés et sur ce qu’ils jouent chacun.

En informatique musicale, des travaux de ces dernières années ont proposé des pistes vers l’orchestration automatique [3] et la reconstruction de spectres audio, mais aucun ne s’est attaché aux caractéristiques de cette écriture. Informatiquement (et musicalement), les défis de l’analyse et de la génération de l'écriture orchestrale viennent de la richesse des combinaisons instrumentales possibles, demandant, pour modéliser cette écriture, des connaissances ou des corpus conséquents. Peut-on envisager des nouveaux outils favorisant la co-créativité du musicien et de la machine, et même du mélomane, lorsqu’ils écoutent, analysent ou composent de la musique symphonique ?

Objectifs

Ce stage explorera des premières pistes pour l’analyse systématique de partitions orchestrales avec des méthodes informatiques issues de l’apprentissage machine. Le but est d’illustrer et de complémenter les connaissances sur l’orchestration et sur son lien à l’harmonie tonale et à la forme et de concevoir à des outils pour l’analyse et la co-création de musique orchestrale.

Concrètement, la·le stagiaire étudiera une bibliographie sur l’orchestration, l’informatique musicale et les modèles d’apprentissage profonds pour la musique, notamment autour des auto-encodeurs et des espaces latents [2,4]. Elle·il s’attaquera aux points suivants:

  • Identifier et enrichir un corpus de partitions orchestrales tonales, qu’elles soient classiques, (post-)romantiques ou contemporaines;

  • Modéliser finement l’annotation et l’analyse de l'écriture orchestrale tonale, en étendant les représentations informatiques de l’harmonie, de la texture [5] et en modélisant l’orchestration suivant la forme;

  • Concevoir, implémenter et évaluer un modèle de l'écriture orchestrale, possiblement basé sur des auto-encodeurs

Profil recherché

Master d’informatique, avec compétences en IA/science des données. Pratique musicale et compétences en théorie musicale fortement souhaitées (analyse, harmonie et idéalement orchestration).

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l'étranger. Ce stage pourrait ainsi être le prélude d’une thèse sur l’analyse de l’orchestration ainsi que sur la co-création de musique symphonique, en collaboration avec des théoriciens de la musique, des compositeurs actuels, notamment de musique pour l’image, et/ou des classes d’orchestration. L'équipe est également en contact avec des entreprises travaillant sur des sujets connexes.

Références


Stage de recherche (M2) : Modélisation de techniques de jeu dans les tablatures de guitare

Contexte

Ce stage s’inscrit dans le cadre d’une collaboration entre l’équipe Algomus (Université de Lille, CRIStAL) et la société Arobas Music. L’équipe d’informatique musicale Algomus s’intéresse à l’analyse informatique de partitions musicales. La société lilloise Arobas Music développe le logiciel Guitar Pro dédié à la saisie et à la consultation de tablatures de guitare, et plus généralement de partitions musicales. Plus de 10 millions de musiciens l’utilisent régulièrement pour l’apprentissage, la transcription ou la composition. La société s’intéresse à l’ajout de nouvelles fonctionnalités pour assister de manière intelligente le processus d’écriture et de composition de l’utilisateur. Arobas Music produit également la base de données mySongBook réunissant plus de 2000 tablatures de haute qualité.

Objectifs

Outre les informations de position sur le manche, les tablatures de guitare se distinguent des partitions traditionnelles de par la présence d’annotations de mode de jeu spécifiques à la guitare. Les plus populaires de ces effets sont les notes tirées (ou bends), les hammer on / pull off, les notes glissées (slides), les notes étouffées (Palm Mute), les cordes laissées en résonance (let ring). Ce modes de jeu augmentent l’expressivité d’une performance et contribuent à affirmer le style musical associé à la tablature. Leur apparition est souvent liée aux contextes mélodiques, harmoniques et rythmiques. Par exemple, les notes tirées (bends) semblent apparaître plus fréquemment lors d’un changement de contour mélodique (comme quand la mélodie se met à descendre alors qu’elle montait depuis plusieurs notes). Toutefois aucune étude systématique n’a à ce jour été menée dans ce domaine.

De par sa taille et sa variété, le corpus mySongBook permet une étude approfondie de ces modes de jeu et de leur lien avec le contexte musical à travers différents styles. Prédire les modes de jeux peut à la fois améliorer la compréhension de ces effets ainsi que l’aide à la composition de tablatures.

Ce stage vise à élaborer des modèles capables de prédire l’occurrence de modes de jeux dans les tablatures de guitare à l’aide de méthodes issues de l’apprentissage automatique. La·le stagiaire évaluera pour cela différents types de modèles, notamment dans la familles des réseaux de neurones récurrents et des Transformers. Une attention particulière sera portée sur la représentation des données et l’identification de descripteurs pertinents (feature engineering) pour la prédiction.

Profil recherché

Master d’informatique, avec compétences en IA/science des données. Connaissances et pratique musicales souhaitées, idéalement pratique de la guitare avec des connaissances en harmonie et/ou en analyse.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l'étranger.

Références

  • Cournut, J., Bigo, L., Giraud, M., & Martin, N. (2020). Encodages de tablatures pour l’analyse de musique pour guitare. In Journées d’Informatique Musicale, 2020.
  • McVicar, Matt, Satoru Fukayama, and Masataka Goto. “AutoGuitarTab: Computer-aided composition of rhythm and lead guitar parts in the tablature space.” IEEE/ACM Transactions on Audio, Speech, and Language Processing 23.7 : 1105-1117, 2015.
  • Chen, Yu-Hua, et al. “Automatic Composition of Guitar Tabs by Transformers and Groove Modeling.” International Society of Music Information Retrieval, 2020.

Stage de recherche (M2) : Modélisation de la texture pianistique

Contexte

La majorité des approches pour la modélisation informatique de partitions musicales, basées sur des règles ou des méthodes d’apprentissage, considèrent des données atomiques tels que les notes et les symboles d’accord comme éléments constituants. À plus haut niveau, la musique peut se caractériser par sa « texture » : les solos, accompagnements, homorythmies, imitations, etc. sont des procédés texturaux auxquels le compositeur a recours lors de l'écriture d’une pièce. La combinaison des voix, et leur complémentarité induite par ces différentes textures, jouent un grand rôle dans notre perception de la musique. Des études précédentes ont formellement modélisé la texture pour quatuor à cordes.

Objectifs

Ce stage vise à élaborer des outils pour l’analyse de la texture dans des répertoires de musique pour piano seul. L’analyse de la texture d’une partition comprend deux étapes que sont la recherche des éléments texturaux prépondérants sans connaissance à priori, puis leur détection au cours de la pièce.

Une première partie du travail consistera en une réflexion sur le principe de texture dans un répertoire pour piano ainsi que sa modélisation, en s’appuyant sur les travaux en séparation de voix et en découverte non supervisée de motifs. Cette partie du travail pourra s’effectuer en collaboration avec des musicologues avec lesquels l'équipe Algomus est en lien. Elle aura pour but de constituer une typologie texturale représentative du répertoire choisi et pourra comprendre une phase d’annotation manuelle en vue de l’application d’algorithmes d’apprentissage. Dans un second temps, le travail consistera à élaborer des méthodes pour la détection d'éléments texturaux conformément à la typologie proposée, en concevant, adaptant et évaluant des algorithmes d’apprentissage supervisé.

Profil recherché

Master d’informatique, avec compétences en IA/science des données. Connaissances et pratique musicales souhaitées, idéalement pratique du piano avec des connaissances en harmonie et/ou en analyse.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l'étranger. L'équipe est également en contact avec des entreprises travaillant sur des sujets connexes.

Références

  • M. Giraud, F. Levé et al., Towards Modeling Texture in Symbolic Data, ISMIR 2014
  • F. Levé, M. Rigaudière, F. Doé, Vers une analyse informatique des textures dans le quatuor classique, EuroMAC 2017
  • M.A. Trimmer, Texture and Sonata Form in the late string chamber music of Haydn and Mozart, PhD diss, 1981

Post-doctoral position, 2021-22


Postdoctoral position, 2021-2022 – Computer music analysis and machine learning

Algomus – Algorithmic Musicology – is a research team in Digital Humanities, supported by the CRIStAL computer science lab (CNRS, Université Lille), and with strong links with UPJV and Université de Rouen. Our research is in Musical Information Retrieval (MIR), more precisely in Computational Music Analysis. Collaborating with music theorists, we focus on symbolic scores of tonal music – such as in baroque, classical, romantic, jazz, pop, and dance repertoires.

We aim at modeling, analyzing, visualizing [a], and generating music, for music theorists, musicians, music teachers, music lovers, and everyone. We combine musicological knowledge and computer science methods in text algorithmics, data mining, and machine learning. We are interested in designing explainable algorithmic and AI methods, trying to model what makes music and providing people with tools to help them to understand music.

Open postdoctoral position

The Algomus team is seeking to recruit a 12-months post-doc position on Music Information Retrieval in the CRIStAL lab (Lille, France), starting in April or May 2021. The candidate should have defended a PhD in MIR (or have a PhD defense scheduled in the next months), preferably working on symbolic scores and with some background both in AI and in musicology. We particularly welcome applications from women and under-represented groups in music and computer science research.

Throughout the last years, the Algomus team worked on high-level structures such as fugue [1] and sonata form [2], using and improving common MIR and AI techniques on harmony and tonality [3, 4], but also on melodic patterns, texture, and polyphony. The team works in computational musical analysis but also on music co-creativity [b], on corpora [c] such as string quartets, keyboard music, and nowadays orchestral scores and jazz/pop guitar tablatures.

Candidates are welcome to propose a research project in the spirit of the team, typically associated with a musical corpus, in which they feel strongly interested.

References