Job offers / Offres de visites, stages, thèses et emploi

Current offers: https://www.algomus.fr/jobs

Archive

2025 (archive)

2025 post-doc position on co-creativity (K. Déguernel): Lifelong learning for co-creative music generation (closed) .

2025 Internship positions will be available (2-6 months), this year including the following themes:

• Co-creativity, Machine learning: Curiosity-Driven Adaptive AI for Co-Creative Music Generation (K. Déguernel, F. Berthaut (MINT)) (closed)
• Music analysis / Harpsichord: Modeling basso continuo realization on the harpsichord (M. Giraud, Y. Teytaut) (closed)
• Corpus / Web development: Création générique de corpus musicaux sur la plateforme web Dezrann (E. Leguy, M. Giraud) (closed)
• Video Game Music / Corpus / Music Perception, Loop perception in Video Game Music: corpus constitution and experimental study (Y. Teytaut, C. Canonne (IRCAM), F. Levé) (closed)
• Pedagogy / Music training: Génération d’exercices pour l’apprentissage du solfège (M. Giraud, with Solfy) (closed)
• Pedagogy / Difficulty modeling / Guitar: Suggestion personnalisée de parcours pédagogiques pour l’apprentissage de la guitare (A. D’Hooge, M. Giraud, with Guitar Social Club) (closed)

Médiation scientifique 2025/26. Étudiant·es en médiation pour un atelier d’informatique musicale (ouvert)

Stages 2025 de recherche et/ou développement en informatique musicale

• Final year of Master’s degree internship
• Duration: 4-6 months, with legal “gratification” (550€-600€/month)
• Location: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons); partial remote work is possible
• Supervisors and contacts: Ken Déguernel (CR CNRS) & Florent Berthaut (MCF Univ. Lille)
• Applications closed

I. Context

Recent advancements in Human-AI co-creative systems, especially within Mixed Initiative Co-Creative (MICC) frameworks, have begun to reshape musical creation, enabling new processes and interactions [1-2]. However, current systems often fall short in adapting to users over time, typically requiring unilateral adaptation — either through the user learning to operate the AI or the system being manually updated by an engineer-musician [3-4]. This internship will focus on laying the foundation for curiosity-driven learning [5] within MICC musicking [6], equipping the AI with mechanisms for adaptive, long-term engagement in creative processes [7-8].

This project sits at the intersection of several key areas, primarily Music Information Retrieval (MIR), Lifelong Learning for Long-Term Human-AI Interaction, and New Interfaces for Musical Expression (NIME). Together, these fields provide a foundation for implementing and exploring AI-driven curiosity in musical settings, ultimately facilitating expressive, intuitive engagement between musicians and adaptive AI systems.

This internship takes place in the scope of the National Research Agency project MICCDroP led by Ken Déguernel, and is part of a collaboration between the Algomus and MINT teams at CRIStAL.

II. Objective

The goal of this internship is to explore and implement curiosity-driven learning mechanisms in an AI music generation model, laying a groundwork for sustained adaptive interactions within a co-creative musical setting. This will involve:

1. Implementing basic curiosity-driven algorithms to encourage the AI to explore its generative space.

2. Testing and refining these algorithms to balance novelty and musical coherence in generated outputs.

3. Conducting preliminary user interaction tests to assess how the AI’s adaptive behavior aligns with user preferences, guiding future refinement.

III. Internship Work Plan

The internship will be structured in three phases, allowing for iterative development and experimentation within a manageable scope for a 4 to 6-month project.

Phase 1: Research and Model Familiarization

The intern will begin by conducting a literature review focused on music generation, music interaction, curiosity-driven learning and novelty search methods. They will then become familiar with the technical tools and frameworks relevant to this project, and gain hands-on experience with existing music generation models. During this phase, the intern will implement a basic curiosity-driven mechanism, such as novelty search or diversity maximization, within an AI-based music generation model.

Phase 2: Implementing and Testing Curiosity-Driven Learning

Building on Phase 1, the intern will now extend the model by refining curiosity-driven exploration methods, specifically focusing on maximizing novelty in generated music. The intern will develop simple evaluation metrics—such as novelty scores and coherence scores—to quantitatively measure the model’s performance.

Phase 3: User Interaction Testing and Analysis

In the final phase, the intern will design a basic interactive setup, allowing musicians to experiment with and provide feedback on the curiosity-driven AI model. They will conduct initial testing sessions, collecting qualitative insights on how well the AI’s outputs align with user creativity and aesthetic preferences, thereby evaluating its effectiveness in a co-creative context. Following these sessions, the intern will analyze the data to assess how curiosity-driven adaptation affects user engagement and identify areas for potential improvements in personalization and co-creative alignment.

IV. Learning Outcomes for the Intern

This project will give the intern foundational experience in adaptive AI, curiosity-driven learning, and interactive system design for music. They will also gain practical experience in music generation, user interaction testing, and iterative model refinement, key competencies for further research in the field. Opportunities to pursue a Ph.D. in our lab on this topic will be strongly considered.

Qualifications

Needed:

• Last year of Master’s in Computer Science, Artificial Intelligence, or Music Computing
• Strong background in Machine Learning

Preferred:

• Experience with music programming languages (Max/MSP, PureData…)
• Personal musical practice

References

• [1] Jordanous (2017). Co-creativity and perceptions of computational agents in co-creativity. International Conference on Computational Creativity.
• [2] Herremans et al. (2017). A functional taxonomy of music generation systems. ACM Computing Surveys, 50(5).
• [3] Nika et al. (2017). DYCI2 agents: merging the ‘free’, ‘reactive’ and ‘scenario-based’ music generation paradigms. International Computer Music Conference.
• [4] Lewis (2021). Co-creation: Early steps and future prospects. *Artisticiel/Cyber-Improvisations.
• [5] Colas et al. (2020). Language as a cognitive tool to imagine goals in curiosity driven exploration. NeurIPS.
• [6] Small, C. (1998). Musicking: The meanings of performing and listening. Wesleyan University Press.
• [7] Parisi et al. (2019). Continual lifelong learning with neural networks: A review. Neural networks, 113.
• [8] Scurto et al. (2021). Designing deep reinforcement learning for human parameter exploration. ACM Transactions on Computer-Human Interaction, 28(1).

• Stage M1/M2 2025, avec gratification (550€-600€/mois), 4-6 mois
• Thèmes : informatique musicale, jeux vidéo, perception
• Lieu : Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons); Télétravail partiel possible
• Encadrement et contacts: Yann Teytaut (CRIStAL), Clément Canonne (IRCAM), Florence Levé (MIS + CRIStAL)
• Annonce et liens: https://www.algomus.fr/jobs/#loop
• Applications closed

Context

Video Game Music (VGM) refers to the musical genre associated with soundtracks accompanying interactive game-plays with the aim to deepen immersion within virtual worlds and enhance the player’s overall gaming experience [Gibbons24].

Back in the 70s-80s, early game soundtracks were limited by hardware constraints, and relied on chiptune melodies that became iconic through their memorable and repetitive structure [Collins08]. Following the progress in computer music and music technology, VGM has evolved to intricate compositions that now play a crucial role in intensifying emotions and supporting storytelling via true orchestral scores or even original songs [Phillips14].

Today, from its presence on audio streaming platforms, to specialized training courses in musical conservatories, as well as CD/vinyl releases and themed concerts, VGM fully contributes to the broader cultural landscape, showcasing the unique capabilities of interactive media, and has therefore become a concrete area of study in digital humanities [Lipscomb04; Kamp16]. Yet, it remains only marginally explored in the Music Information Retrieval (MIR) community.

Additionally, one of the key features of VGM is its “seamless loop” structure: most VGM is composed in repeating patterns, or loops, designed to repeat continuously and as subtly as possible so that the listener hardly notices the transition [Margulis13]. However, exploring whether listeners are actually sensitive to the “seam” in looping remains an unexplored research area.

The purpose of this internship is thus twofold. On one hand, it aims to provide the MIR community with a resource for analyzing VGM by creating a representative VGM corpus with structural annotations. On the other hand, it seeks to study participants’ ability to accurately predict the looping point in VGM based on the constituted database.

Related works and objectives

While there already exist several VGM datasets, these offer only a partial view of the diverse audio landscape in modern video games. Indeed, available corpora lack sufficient diversity as they may (1) provide solely MIDI data (e.g., VGMIDI, Lakh MIDI); (2) be focused on one specific game (e.g., GameSound) or aesthetic (e.g., NES-MDB); or (3) include non-official arrangements instead of original works (e.g., VGMix Archive, VGMIDI). As a result, they fall short in representing the full spectrum of game audio, particularly the high-quality recordings of recent orchestral and/or pop/rock soundtracks.

In order to bridge this gap, the first part of this internship will be dedicated to reflect on and identify relevant factors (e.g., video game genres, years, stations, etc.) to build both a diverse and representative VGM database (about 100 pieces). The corpus will then be annotated in terms of structural patterns, following conventions established on other music structure datasets [Smith11].

Finally, experimental studies will be conducted, aiming at assessing the extent to which listeners are sensitive to the “loop-based” nature of most VGM, by contrasting, first, several types of VGM relying on various compositional techniques, and, second, a passive (listening only) vs an interactive (listening while playing the game, or a proxy) reception.

Organization

During the course of this internship, the candidate will be incited to understand and get familiar with Video Game Music (VGM), study and discover proximity literature on this genre (i.e., ludomusicology) and existing datasets, reflect on and identify relevant factors to constitute a dedicated dataset, annotate the structural patterns, and conduct experimental studies from a perception perspective.

Environment: The intern will be integrated in the Algorithmic Musicology (Algomus) Team at the CRIStAL Lab of the University of Lille, and will profit from the team knowledge on both music digital humanities and Music Information Retrieval. The annotated corpus could notably be integrated in the Dezrann platform [Giraud18]. For both the theoretical framework and perceptual studies, the intern will also benefit from the expertise of IRCAM’s Musical Practices Analysis (APM) Team.

Desired profile:

• Master of Research (M2) in either computer science, (audio) signal processing or computational musicology;
• interest in video game music and musical structure;
• previous experience in musical algorithmics or perception would be appreciated but is not necessary.

Bibliography

• [Gibbons24] Gibbons, William et Grimshaw-Aagaard, Mark (ed.). The Oxford Handbook of Video Game Music and Sound. Oxford University Press, 2024.
• [Collins08] Collins, Karen. Game sound: an introduction to the history, theory, and practice of video game music and sound design, MIT Press, 2008.
• [Lipscomb04] Lipscomb, Scott D. and Zehnder, Sean M. Immersion in the virtual environment: The effect of a musical score on the video gaming experience. Journal of Physiological Anthropology and Applied Human Science, vol. 23, no 6, p. 337-343, 2004.
• [Kamp16] Kamp, Michiel, Summers, Tim, Sweeney, Mark, et al. Ludomusicology: Approaches to video game music. Intersections: Canadian Journal of Music/Revue Canadienne de Musique, vol. 36, no 2, p. 117-124, 2016.
• [Collins07] Collins, Karen. In the loop: Creativity and constraint in 8-bit video game audio. Twentieth-century music, 2007, vol. 4, no 2, p. 209-227, 2007
• [Margulis13] Margulis, Elizabeth Hellmuth. On repeat: How music plays the mind. Oxford University Press, 2013.
• [Smith11] Smith, Jordan Bennett Louis, Burgoyne, John Ashley, Fujinaga, Ichiro, et al. Design and creation of a large-scale database of structural annotations. In : ISMIR 2011, p. 555-560, 2011.
• [Giraud18] Giraud, Mathieu, Groult, Richard, et Leguy, Emmanuel. Dezrann, a web framework to share music analysis. In : TENOR 2018, pp. 104-110. 2018
• VGMIDI - https://github.com/lucasnfe/VGMIDI
• VGMix Archive - https://vgmixarchive.com/
• Lakh MIDI - https://colinraffel.com/projects/lmd/
• GameSound - https://michaeliantorno.com/gamesound/
• NES-MDB - https://github.com/chrisdonahue/nesmdb

• Stage M1/M2 2025, avec gratification (550€-600€/mois), environ 4/5 mois (M1/M2)
• Thèmes: prédiction de difficulté, informatique musicale
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail partiel possible.
• Encadrement et contacts: Mathieu Giraud, Alexandre D’Hooge
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures fermées

Contexte

Ce stage s’inscrit dans le cadre d’une collaboration entre l’équipe Algomus (Université de Lille, CRIStAL) et la start-up Guitar Social Club (GSC). L’équipe d’informatique musicale Algomus s’intéresse à la modélisation informatique de la musique, que ce soit des partitions, des tablatures ou encore, dans le cadre de ce stage, des données sur l’apprentissage de la musique. La start-up GSC a été incubée à la Plaine Images à Lille et développe une application pour faciliter l’apprentissage de la guitare pour la musique pop/rock, à travers des suggestions automatiques de chansons et exercices.

La collaboration entre l’équipe Algomus et GSC consiste au développement d’un modèle pour suggérer à l’utilisatrice les prochains morceaux à travailler à partir de ses souhaits et de son niveau actuel. L’application est déjà disponible en version bêta et le déploiement complet est prévu courant 2025.

Objectifs

De nombreux facteurs influencent la difficulté d’une partition ou d’une tablature [1, 2, 3], comme par exemple, pour la guitare, la complexité du placement des doigts dans une position d’accord. Fort des données d’analyse fournies par GSC, l’algorithme permet déjà des suggestions satisfaisantes pour un niveau donné. En revanche, ces suggestions sont pour le moment dénuées d’intention pédagogique. Les suggestions sont pertinentes pour aider les guitaristes à apprendre de nouvelles chansons à leur niveau, mais elles ne garantissent pas une progression sur le moyen/long terme telles que celles que peut concevoir un professeur de guitare. Le but du stage est ainsi de concevoir un chemin pédagogique qui pourrait être vu, plus généralement, comme un graphe de progression.

La première étape du stage consistera en la lecture de l’état de l’art sur l’analyse de difficulté musicale (par exemple [1, 2, 3]) et l’étude du principe de l’application GSC [4] afin de se familiariser avec le contexte de ce projet. Dans un second temps, la lecture d’articles sur les systèmes de recommandation [5] et la construction de parcours pédagogiques [6] sera nécessaire. Le stage consistera notamment en l’élaboration de parcours pédagogiques test élaborés en collaboration avec GSC, ainsi que le traitement de données d’utilisation réelles.

Profil recherché

Master d’informatique, avec compétences en programmation, algorithmique, graphes, apprentissage machine. Connaissances et pratique musicales appréciées (notamment en guitare).

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet via une thèse CIFRE avec l’entreprise Guitar Social Club. De plus, il existe d’autres possibilités sur d’autres sujets proches en informatique musicale, que ce soit dans à CRIStAL ou bien dans notre réseau de collaborateurs académiques ou industriels en France et à l’étranger.

Références

• [1] Vélez Vásquez, M. A., Baelemans, M., Driedger, J., Zuidema, W., & Burgoyne, J. A. (2023). Quantifying the Ease of Playing Song Chords on the Guitar.
• [2] Ramoneda, P., Jeong, D., Valero-Mas, J. J., Serra, X. (2023). Predicting Performance Difficulty from Piano Sheet Music Images.
• [3] Rodriguez, R. C., Marone, V. (2021). Guitar Learning, Pedagogy, and Technology: A Historical Outline.
• [4] D’Hooge, A., Giraud M., Abbou, Y., Guillemain, G. Suggestions Pédagogiques Personnalisées pour la Guitare.
• [5] Hafsa, M., Wattebled, P., Jacques, J., Jourdan, L. A Multi-Objective E-learning Recommender System at Mandarine Academy.
• [6] Siren, A., Tzerpos, V. Automatic Learning Path Creation Using OER: A Systematic Literature Mapping.

• Stage L3/M1/M2 2025, avec gratification (550€-600€/mois), 3 à 5 mois
• Ouverture du stage soumise à obtention d’un financement interne à l’Université de Lille (en cours, janvier 2025)
• Thèmes: informatique musicale, pédagogie, solfège, mélodie, rythme
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail partiel possible.
• Encadrement et contacts: Anicet Bart, Solfy, Mathieu Giraud, Algomus
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures ouvertes. Mail et CV à envoyer aux encadrants.

Contexte

Solfy est une startup EdTech innovante qui développe une application ludique d’apprentissage du solfège. Basée à La Plaine Images (Tourcoing), l’écosystème numérique dédié aux industries créatives, nous sommes convaincus que la meilleure façon d’apprendre c’est en s’amusant. Rejoindre Solfy, c’est intégrer une équipe passionnée au service de l’éveil et l’apprentissage musical.

Algomus est l’équipe d’informatique musicale du laboratoire CRIStAL, à l’Université de Lille. L’équipe étudie la modélisation de haut-niveau, l’analyse et la génération co-créative de musique, et enfin l’interaction avec les partitions et d’autres données musicales. Elle collabore avec des musicien·nes, des enseignant·es, des artistes et des entreprises sur des sujets liant musique et technologie.

Solfy propose, dans son application, des exercices de lecture générés à partir de modèles probabilistes. Le but du stage est d’améliorer la génération de ces contenus (lecture de notes avec rythmes) pour qu’ils soient à la fois pédagogiques et musicaux. On cherchera en particulier à obtenir une certaine cohérence mélodique, harmonique, rythmique, tout en fixant des critères de difficulté (notes, figures rythmiques).

Concrètement, le stage commencera par un état de l’art en informatique musicale, plus particulièrement en estimation de difficulté et en génération de mélodies, ainsi qu’avec des échanges avec Solfy et des professeurs de musique pour mieux modéliser les enjeux. Il sera aussi pertinent de consulter un ensemble de méthodes de formation musicale.

Le stage proposera ensuite de nouvelles méthodes de génération et/ou de filtrage de mélodies, et testera ces méthodes par un prototype. En cas de succès, certaines de ces méthodes pourraient être reprises dans l’application, et il pourrait être possible de mener une analyse sur les réussites d’élèves travaillant avec l’application.

Profil recherché

Licence ou master d’informatique, compétences en programmation, et algorithmique. Connaissances et pratique musicales appréciées.

Débouchés

D’autres possibilités de stages les prochaines années sont envisageables sur des sujets proches en informatique musicale, dans notre réseau de collaborateurs académiques ou industriels en France et à l’étranger. Pour un M2, des opportunités de poursuite en thèse à CRIStAL pourraient aussi être envisagées sur ce sujet via une thèse CIFRE avec l’entreprise Solfy.

Références, ressources

• XXX Biblio
• Solfy: application élève, application enseignant

• Stage M1/M2 2025, avec gratification (550€-600€/mois), de 3 à 5 mois
• Thèmes: informatique musciale, manipulation de données, développement web back (et/ou full stack) agile, Node.js, TypeScript
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail partiel possible
• Encadrement et contacts: Emmanuel Leguy et Mathieu Giraud (CRIStAL)
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures fermées

Contexte et objectifs

L’équipe Algomus développe Dezrann, une application web fullstack open-source (TypeScript, Vue.js, node.js) pour lire et annoter des partitions musicales. L’annotation se fait en ajoutant des étiquettes (labels), éléments graphiques sur la partition, pour décrire par exemple la structure, l’harmonie, le rythme, la mélodie ou la texture.

Dezrann est utilisée d’un côté par des classes de collèges pour découvrir activement la musique, et de l’autre, par des musicologues annotant des corpus. C’est un véritable service permettant d’accéder à plusieurs centaines de pièces musicales. Aujourd’hui plus de dix corpus musicaux sont ainsi disponibles, produits par l’équipe comme par des collaborateurs internationaux.

Travail à effectuer

Afin de rendre la plateforme utilisable plus largement, des fonctionnalités back sont nécessaires pour avoir une plus grande souplesse dans la gestion des corpus et des utilisatrices et utilisateurs.

• L’objectif premier est d’avoir une meilleure solution reproductible pour gérer la création de pièces/corpus, via une API robuste, permettant d’être utilisée aussi bien par des scripts externes que par une interface web développée avec Vue.js.

• Un objectif secondaire pourrait être d’améliorer la gestion des profils d’utilisatrices et d’utilisateurs, en particulier pour la gestion de leurs pièces et des permissions.

Développement en TypeScript/node.js, et possiblement Python, dans un cadre de développement agile (conception, tests, intégration continue, documentation) et reproductible. Le ou la stagiaire sera aussi en contact avec nos utilisateurs, français et étrangers, notamment avec les classes du secondaire de la région utilisant Dezrann. Elle ou il participera enfin aux projets de médiation montés par l’équipe.

Références

• Garczynski et al., Modeling and Editing Cross-Modal Synchronization on a Label Web Canvas, MEC 2022, https://hal.science/hal-03583179

• Balke et al., Bridging the Gap: Enriching YouTube Videos with Jazz Music Annotations, 2018 https://www.frontiersin.org/articles/10.3389/fdigh.2018.00001/full

• Weiss et al., Schubert Winterreise Dataset: A Multimodal Scenario for Music Analysis, 2021 https://dl.acm.org/doi/10.1145/3429743

Médiation scientifique 2025/26. Étudiant·es en médiation pour un atelier d’informatique musicale (fermé)

2024 (archive)

2024 Internship positions are available (2-6 months), this year be around the following themes:

• Co-creativity / AI / machine learning : Continual learning for co-creativity (K. Déguernel + Scool) (closed)
• Music formal modeling, Analyse, modélisation et génération d’hymnes ‘Sacred Harp’ (M. Giraud, K. Déguernel) (closed)
• Guitar / Music modeling: Prédiction personnalisée de la difficulté d’apprentissage à la guitare (A. d’Hooge, M. Giraud) (closed)
• Rap / Music modeling / AI, Modélisation de toplines de rap pour l’apprentissage en musique (M. Giraud, K. Déguernel, with WorkInMusic) (closed)
• Corpus / Web development / Data analysis: Écouter, voir et analyser Schubert et du Jazz (C. Ballester, E. Leguy, M. Giraud) (closed)
• HCI/IHM / Co-improvisation, Analyser et rendre intelligible la co-improvisation musicale humain-IA à l’aide d’augmentations visuelles (F. Berthaut, Mint, M. Giraud, K. Déguernel) (closed)

Permanent position (French required, with French qualification). Un poste de MdC en section 27 est publié dans le cadre de la session synchronisée de recrutement EC 2024:

• Université de Lille, 27MCF235 “Interaction, humanités numériques”, Algomus est une des équipes prioritaires (closed)

PhD positions, 2024-27

• Co-creativity, Machine learning: Lifelong learning for mixed initiative musical co-creativity, K. Déguernel, M. Giraud (closed) (deadline April 22)
• Harmony, Modeling: Modeling and semi-automatic generation of musical arrangements to foster ensemble music practice, M. Giraud, F. Levé (closed) (deadline April 22)

Stages 2024 de recherche et/ou développement en informatique musicale

• Stage de recherche M1/M2 (minimum 4 mois)
• Paid internship 2023, 4 months minimum.
• Place: Lille (CRIStAL, CNRS, Université de Lille)
• Supervisor and contact: Ken Déguernel (CR CNRS) ken.deguernel@univ-lille.fr

Context and objectives

Current Mixed Initiative Co-Creative systems have opened new avenues for music generation fostering novel creative process and modes of interactions [1,2]. However, these systems lack the ability for long-term adaptation between user and machine. Our goal is to apply state-of-the-art continual learning [3,4] for machine learning based music generation models [5,6]. In particular, this internship will focus on supervised reinforcement learning method based on user feedback [7]. For instance, systems such as folk-rnn [5] or tradformer [6] could be used as a baseline on which the continual learning methods will be applied. These systems both used an already defined dataset based on the website thesession.org.

This internship takes place in the scope of a collaboration between the Algomus and Scool teams at CRIStAL, providing the student with an environment with both expertise in reinforcement learning and computer music.

Tasks

• Bibliography and familiarisation with a music generation systems such as folk-rnn,
• Implementation of user feedback based reinforcement learning to improve the personalisation of the studied music generation system,
• Evaluation of the system.

Qualifications

Needed

• Master’s student in Computer Science, Artificial Intelligence, or Music Computing,
• Strong background in machine learning, with experience with neural nerwork based systems,
• Good programming skills and experience with libraries like PyTorch.

Preferred

• Musical practice and familiarity with music theory.

References

[1] Jordanous (2017). Co-creativity and perceptions of computational agents in co-creativity. International Conference on Computational Creativity.
[2] Lin et al. (2023). Beyond prompts: Exploring the design space of Mixed-Initiative Co-Creativity Systems. International Conference on Computational Creativity.
[3] Parisi et al. (2019). Continual lifelong learning with neural networks: A review. Neural networks, 113.
[4] Irfan et al. (2022). Personalised socially assistive robot for cardiac rehabilitation: Critical reflections on long-term interactions in the real world. User Modeling and User-Adapted Interaction.
[5] Sturm et al. (2016). Music transcription modelling and composition using deep learning. arXiv:1604.08723.
[6] Casini & Sturm (2022). Tradformer: A transformer model of traditional music transcriptions. International Joint Conference on Artificial Intelligence.
[7] Scurto et al. (2021). Designing deep reinforcement learning for human parameter exploration. ACM Transactions on Computer-Human Interaction, 28(1).

• Stage M1/M2 2024, avec gratification, de 3 à 5 mois, en collaboration avec l’entrerpise WiM
• Thèmes: rythme, prosodie, rap, informatique musicale, apprentissage automatique
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail partiel possible.
• Encadrement et contacts: Mathieu Giraud, Ken Déguernel
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures ouvertes

La musique contribue aux apprentissages. Work In Music (WiM) est une application novatrice qui permet aux lycéens d’explorer le programme scolaire tout en étant immergés dans la musique. Des rythmes entraînants sont associés à chaque notion clé, favorisant ainsi la mémorisation et rendant l’apprentissage plus ludique.

WiM propose des contenus de divers styles musicaux, notamment le rap. Bien que le travail humain demeure essentiel et souhaitable pour garantir la qualité de ces contenus, il est tout aussi intéressant d’explorer des approches co-créatives qui combinent l’expertise et la créativité humaines avec des algorithmes [1].

Ce stage se concentre ainsi sur l’analyse, la modélisation et la génération de toplines, la partie vocale d’une chanson rap en mettant l’accent sur son rythme et ses intonations à partir d’un texte structuré. Plus précisément, le/la stagiaire aura l’opportunité de :

• Effectuer une revue des approches en informatique musicale et en musicologie sur la prosodie et le rap.
• Constituer un corpus composé de plusieurs dizaines d’exemples de prosodie et de mélodies structurées
• Proposer une modélisation de ces toplines, notamment par des structures arborescentes
• Élaborer et tester un premier modèle de génération

La génération pourrait combiner des éléments formels, procéduraux, et un apprentissage automatique s’appuyant sur le corpus élaboré ou d’autres données telles que MCFlow [3].

Profil recherché

Master d’informatique, compétences en modélisation et/ou en apprentissage/IA. Connaissances et pratique musicales appréciées, en particulier en rap.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit à CRIStAL ou bien dans notre réseau de collaborateurs académiques ou industriels en France et à l’étranger. En particulier, une thèse CIFRE avec l’entreprise WiM pourrait être envisagée.

References

• [1] Huang, AI Song Contest: Human-AI Co-Creation in Songwriting, ISMIR 2020
• [2] Adams, On the Metrical Techniques of Flow in Rap Music, Music Theory Online 15(5), 2009
• [3] Condit-Schultz, MCFlow: A Digital Corpus of Rap Transcriptions, Empirical Musicology Review, 11(2), 2017
• [4] Ohriner, Analysing the pitch content of the rapping voice Journal of New Music Research, 48(5), 2019

• Stage L3/M1/M2 2024, avec gratification, environ 3 mois (L3) à 4/5 mois (M1/M2)
• Thèmes: prédiction de difficulté, informatique musicale
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail partiel possible.
• Encadrement et contacts: Mathieu Giraud, Alexandre D’Hooge
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures ouvertes

Contexte

Ce stage s’inscrit dans le cadre d’une collaboration entre l’équipe Algomus (Université de Lille, CRIStAL) et la start-up Guitar Social Club (GSC). L’équipe d’informatique musicale Algomus s’intéresse à la modélisation informatique de la musique, que ce soit des partitions, des tablatures ou encore, dans le cadre de ce stage, des données sur l’apprentissage de la musique. La start-up GSC a été incubée à la Plaine Images à Lille et développe une application pour faciliter l’apprentissage de la guitare, à travers des suggestions automatiques de chansons et exercices.

La collaboration entre l’équipe Algomus et GSC consiste au développement d’un modèle pour suggérer à l’utilisatrice les prochains morceaux à travailler à partir de ses souhaits et de son niveau actuel. Une première version de cet algorithme est déployée dans la version beta de l’application, sortie en décembre 2023.

Objectifs

De nombreux facteurs influencent la difficulté d’une partition ou d’une tablature [1, 2, 3], comme par exemple, pour la guitare, la complexité du placement des doigts dans une position. L’objectif de ce stage est d’exploiter la littérature existante afin de concevoir et d’étendre un algorithme de prédiction de difficulté plus robuste, généraliste, et adapté au parcours de l’apprenant.

La première étape consistera à prendre connaissance de la littérature existante en analyse de la difficulté musicale (par exemple [1, 2]) et en particulier de reproduire les analyses de [1]. Le stage essaiera d’étendre ces modèles, que ce soit par la prise en compte d’autres facteurs ou par l’ajout de personnalisation à la prédiction de difficulté.

Pour un stage de Master, selon les données disponibles, une perpective pourrait être d’utiliser la solution développée pour entraîner un modèle prédictif. Une attention particulière sera portée au coût environnemental d’un tel modèle, ainsi que son explicabilité, et à l’inclusivité et la diversité des résultats générés.

Profil recherché

Licence/Master d’informatique, avec compétences en programmation et algorithmes de régression. Connaissances et pratique musicales appréciées (notamment en guitare), mais pas nécessaires.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans à CRIStAL ou bien dans notre réseau de collaborateurs académiques ou industriels en France et à l’étranger.

Références

• [1] Vélez Vásquez, M. A., Baelemans, M., Driedger, J., Zuidema, W., & Burgoyne, J. A. (2023). Quantifying the Ease of Playing Song Chords on the Guitar.
• [2] Ramoneda, P., Jeong, D., Valero-Mas, J. J., Serra, X. (2023). Predicting Performance Difficulty from Piano Sheet Music Images.
• [3] Rodriguez, R. C., Marone, V. (2021). Guitar Learning, Pedagogy, and Technology: A Historical Outline.

• Stage L3/M1/M2 2024, avec gratification, de 2 à 5 mois
• Thèmes: informatique musciale, manipulation de données, développement web agile, TypeScript, Vue.js, initiation à l’algorithmique musicale et à l’IA
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail partiel possible
• Encadrement et contacts: Charles Ballester, Emmanuel Leguy et Mathieu Giraud (CRIStAL)
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures fermées

Contexte et objectifs

L’équipe Algomus développe Dezrann, une application web fullstack open-source (TypeScript, Vue.js, node.js) pour lire et annoter des partitions musicales. L’annotation se fait en ajoutant des étiquettes (labels), éléments graphiques sur la partition, pour décrire par exemple la structure, l’harmonie, le rythme, la mélodie ou la texture.

Dezrann est utilisée d’un côté par des classes de collèges pour découvrir activement la musique, et de l’autre, par des musicologues annotant des corpus. C’est un véritable service permettant d’accéder à plusieurs centaines de pièces musicales.

Plusieurs équipes de recherche dans le monde ont produit les dernières années des corpus ”multimodaux”, comme par example le Schubert Winterreise Dataset (SWD) et le Weiner Jazz Database (WJD). Ces corpus contiennent des partitions (images ou symboliques), des fichiers audio, mais aussi des annotations comme par exemple des accords ou de la structure. Ces projets ont parfois des visualisations mais qui ne sont pas aussi commodes que celles proposées par Dezrann.

Travail à effectuer

• Intégrer ou améliorer l’intégration à Dezrann de deux corpus publiés par d’autres équipes, dont au moins un nouveau corpus. À titre d’exemple, en 2022/23 un projet avait travaillé sur le Schubert Winterreise Dataset et la Weimar Jazz Database.

• Contribuer à quelques fonctionnalités sur le front de Dezrann pour améliorer la plateforme

• Selon le temps disponiblee, réaliser une première étude d’analyse et/ou de génération d’informatique musicale en s’appuyant sur les corpus intégrés et en mettant en oeuvres des méthodes simples algorithmiques et/ou IA.

Développement en TypeScript/Vue.js, et possiblement Python, dans un cadre de développement agile (conception, tests, intégration continue, documentation) et reproductible. Le ou la stagiaire sera aussi en contact avec nos utilisateurs, français et étrangers, notamment avec les classes du secondaire de la région utilisant Dezrann. Elle ou il participera enfin aux projets de médiation montés par l’équipe.

Références

• Garczynski et al., Modeling and Editing Cross-Modal Synchronization on a Label Web Canvas, MEC 2022, https://hal.science/hal-03583179

• Balke et al., Bridging the Gap: Enriching YouTube Videos with Jazz Music Annotations, 2018 https://www.frontiersin.org/articles/10.3389/fdigh.2018.00001/full

• Weiss et al., Schubert Winterreise Dataset: A Multimodal Scenario for Music Analysis, 2021 https://dl.acm.org/doi/10.1145/3429743

2023 (archive)

Médiation scientifique. Étudiant·es en médiation pour un atelier d’informatique musicale (closed)

Two 12-month post-doc positions

• MIR, Neonatalogy: Computational generation and selection of musical stimuli for premature children (closed)
• (French required) La guitare dans les musiques actuelles : études des pratiques de composition (closed)

Internship positions are available (2-6 months), this year be around the following themes:

• Metadata / Web: Cartographie des tags musicaux sur Bandcamp (K. Déguernel) (closed)
• Corpus / Web development / Data analysis: Écouter, voir et analyser Schubert et du Jazz (C. Ballester, E. Leguy, M. Giraud) (closed)
• MIR / Carbon footprint: Évaluation du coût carbone de l’intelligence artificielle en informatique musicale (M. Giraud) (closed)

Stages 2023 de recherche et/ou développement en informatique musicale

• Stage 2023, avec gratification, de 3 à 5 mois en informatique musicale et technologie web
• Lieu: Lille (CRIStAL, CNRS, Université de Lille, à Villeneuve d’Ascq), télétravail également possible selon l’évolution de la situation
• Encadrant et contacts : Ken Déguernel (CR CNRS, CRIStAL, Université de Lille),
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures ouvertes

L’équipe d’informatique musicale Algomus, du laboratoire CRIStAL (UMR CNRS 9189, Université de Lille), en collaboration avec le MIS (UPJV, Amiens) s’intéresse à l’analyse informatique de partitions musicales.

Contexte et objectifs

Bandcamp est un site de vente et de streaming pour artistes indépendants. Les artistes utilisent des tags pour identifier eux-mêmes les genres musicaux qui décrivent leur musique. La classification par genre musicaux est un problème complexe car mal défini et subjectif. La classification automatique est cependant très utilisées dans le domaine de la Music Information Retrieval (MIR) pour la recherche mais aussi dans l’industrie (notamment par les plateformes de ventes et de streaming (Spotify, Youtube, Apple Music, etc.)

Nous souhaitons à obtenir une meilleure compréhension de comment les artistes utilisent les tags sur Bandcamp pour définir leur musique. Nous nous intéressons donc plutôt à une tâche de musicologie computationnelle descriptive de la pratique des artistes.

Travail à effectuer

• Récupération automatique des tags et des metadata sur Bandcamp par data crawling
• Création d’une cartographie relationnelles entre tags
• Création d’une application web permettant de naviguer la cartographie

Profil recherché

Master d’informatique avec des compétences en théorie des graphes et technologies web. Pratique musicale appréciée mais non obligatoire.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l’étranger. L’équipe est également en contact avec des entreprises travaillant sur des sujets connexes.

Références

• [1] Vitos, B. (2021). Dance Librarian: Sonic Explorations of the Bandcamp Underground. DanceCult 13:1.
• [2] Haworth, C., & Born, G. (2022). Music and intermediality after the internet: aesthetics, materialities and social forms. Music and Digital Media, 378.
• [3] Sturm, B. L. (2017). The “horse” inside: Seeking causes behind the behaviors of music content analysis systems. Computers in Entertainment (CIE), 14(2), 1-32.

• Stage 2023, avec gratification, de 2 à 4 mois en informatique musicale et apprentissage automatique
• Lieu: Lille (CRIStAL, CNRS, Université de Lille, à Villeneuve d’Ascq), télétravail également possible selon l’évolution de la situation
• Encadrant et contacts : Mathieu Giraud (DR CNRS, CRIStAL, Université de Lille),
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures ouvertes

L’équipe d’informatique musicale Algomus, du laboratoire CRIStAL (UMR CNRS 9189, Université de Lille), en collaboration avec le MIS (UPJV, Amiens) s’intéresse à l’analyse informatique de partitions musicales.

Contexte et objectifs

Comme dans de nombreux domaines, l’apprentissage automatique est présent dans beaucoup de travaux en informatique musicale, que ce soit en analyse ou en génération de musique [1].

Ces travaux s’appuient sur des corpus de plus en plus conséquents, qu’ils soient audio, de partitions ou d’autres représentations symboliques, et/ou de métadonnées, et des modèles de plus en plus complexes, en particulier GAN et auto-encodeurs variationnels.

Il y a heureusement une prise de conscience de l’empreinte écologique croissante du numérique en général et de l’IA en particulier [2, 3, 4]. Cependant, en informatique musicale, très peu de travaux sont explicites sur le calcul nécessaire à l’apprentissage de ces modèles, même si par ailleurs on trouve de plus en plus d’études sur l’IA et carbone [5, 6].

Ce stage fera un premier bilan du coût en calcul, et idéalement du coût carbone, des recherches en MIR utilisant l’intelligence artificielle. Il passera par une revue systématique des articles publiés dans une ou deux conférences majeures de la dernière année.

Le stage pourra en particulier regarder quels modèles sont les plus consommateurs et/ou économes et quel effort les équipes cherchent (ou pas) à faire dans ce domaine.

Profil recherché

Master d’informatique et/ou master lié à l’environnement, avec dans les deux cas compétences en IA/science des données. Pratique musicale appréciée mais non obligatoire.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l’étranger. L’équipe est également en contact avec des entreprises travaillant sur des sujets connexes.

Références

• [1] J. P. Briot, G. Hadjeres, F. Pachet, Deep Learning Techniques for Music Generation - A Survey, 2019, https://arxiv.org/abs/1709.01620
• [2] https://www.greenit.fr/empreinte-environnementale-du-numerique-mondial/
• [3] Un séminaire avec des liens et documents
• [4] Payal Dhar, The carbon impact of artificial intelligence, 2020, https://www.nature.com/articles/s42256-020-0219-9
• [5] Anne-Laure Ligozat, Sasha Luccioni, 2021, A Practical Guide to Quantifying Carbon Emissions for Machine Learning researchers and practitioners https://hal.archives-ouvertes.fr/hal-03376391/
• [6] Lasse F. Wolff Anthony et al., Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models, 2020, https://arxiv.org/abs/2007.03051

2022 (archive)

Permanent positions (session synchronisée Galaxie 2022, 31 mars) (closed)

• Poste en section 27 au CRIStAL, avec un profil recherche contenant “informatique musicale, corpus, co-créativité”: 27 MCF 0035
• En dehors d’Algomus, poste en section 18 au CEAC / département Arts, profil recherche “musique et nouvelles technologies”: 18 MCF 0016

PhD positions, 2022-25

• NLP + Music: Natural Language Processing approaches in the musical domain (with the Magnet team, M. Tommasi, L. Bigo, M. Keller) (closed)

Ingénieur·e développement web Vue fullstack, rendu/synchro partitions musicales, CollabScore (CDD 18 mois) (closed)

Internship positions are available (2-6 months), this year be around the following themes:

• Music + Neonatology: Vers un corpus de musique pour les grands prématurés (F. Levé) (closed)
• Bass guitar: Génération d’accompagnements à la guitare basse (L. Bigo, N. Martin) (closed)
• NLP + Music: Pré-entraînement de modèles séquentiels musicaux (L. Bigo, M. Keller) (closed)
• Web development: Dezrann, un réseau social pour l’annotation de musique (E. Leguy, M. Giraud) (closed)

Stages 2022 de recherche et/ou développement en informatique musicale

• Stage L3/M1/M2 2022, avec gratification, de 2 à 5 mois
• Thèmes: informatique musicale, santé
• Lieu: Amiens, Laboratoire MIS, UPJV télétravail également possible selon l’évolution de la situation
• Encadrement et contact: Florence Levé (UPJV)
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures closes

Contexte

Ce stage est proposé dans le cadre d’une collaboration avec le GRAMFC (Groupe de Recherche sur l’Analyse Multimodale de la Fonction Cérébrale), visant à évaluer l’impact de l’exposition des bébés nés très prématurément (à partir de 28 semaines d’âge gestationnel) à des interventions musicales adaptées sur leur développement neural et comportemental, en particulier concernant leur compréhension des mécanismes du langage et de la musique.

L’enjeu de la mission est de proposer un corpus de musique adapté aux grands prématurés, afin que les morceaux sélectionnés soient diffusés/joués dans le service de soin intensif de néonatologie du Centre Hospitalier Universitaire d’Amiens quotidiennement. Il s’agit de proposer un corpus de taille conséquente assurant une diversité musicale (a minima rythmique, mélodique, texturale, voire harmonique), tout en s’adaptant aux capacités auditives des bébés prématurés, qui ne leur permettent pas d’écouter tout type de musique, certains sons ou fréquences pouvant les agresser ou les stresser.

Les tâches réalisées seront, en particulier:

• Bibliographie (méthodologie de constitution de corpus multi-modaux, contraintes physiologiques et liées à la diffusion de musique en soin intensif)
• Choix/constitution d’un corpus de départ
• Développement de descripteurs permettant de sélectionner (automatiquement) les partitions selon certaines caractéristiques musicales (notamment rythmiques, explorant les métriques binaires et ternaires)
• Évaluation de la diversité des partitions du corpus grâce à des descripteurs adaptés
• Proposition d’une métrique permettant d’évaluer l’acceptabilité d’une partition
• Proposition d’une méthode d’extraction/simplification permettant de respecter les contraintes tout en maintenant la diversité

A priori, la majorité de l’étude sera réalisée sur des musiques représentées sous forme symbolique (encodage de la partition : MIDI, MusicXML, …), qui semblent plus adaptées pour développer les descripteurs requis. Une connaissance des principes audio sera appréciée, qui permettra d’évaluer la piste du filtrage à partir de formes d’onde.

Profil recherché

Études d’informatique, avec compétences musicales et intérêt pour les sciences cognitives

Débouchés

Des opportunités de poursuite en stage et/ou thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit à Amiens ou bien dans notre réseau de collaborateurs en France et à l’étranger.

Références

• Cirelli, L. K., Spinelli, C., Nozaradan, S., & Trainor, L. J. (2016). Measuring Neural Entrainment to Beat and Meter in Infants: Effects of Music Background. Frontiers in neuroscience, 10, 229. doi:10.3389/fnins.2016.00229

• Haslbeck, F. B., et al. (2020). Creative music therapy to promote brain function and brain structure in preterm infants: A randomized controlled pilot study. NeuroImage: Clinical, 25, 102171. doi:10.1016/j.nicl.2020.102171

• van der Heijden, M. J., Oliai Araghi, S., Jeekel, J., Reiss, I. K. M., Hunink, M. M., & van Dijk, M. (2016). Do hospitalized premature infants benefit from music interventions? A systematic review of randomized controlled trials. PloS one, 11(9). doi:10.1371/journal.pone.0161848

• Foroushani, S.M., Herman, C.A., Wiseman, C.A. et al. Evaluating physiologic outcomes of music interventions in the neonatal intensive care unit: a systematic review. J Perinatol 40, 1770–1779 (2020). doi:10.1038/s41372-020-0756-4

• Stage M1/M2 2022, avec gratification, de 4 à 6 mois
• Thèmes: apprentissage machine, informatique musicale
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail également possible selon l’évolution de la situation
• Encadrement et contacts: Louis Bigo (CRIStAL), Nicolas Martin (Arobas Music)
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures fermées

Contexte

Ce stage s’inscrit dans le cadre d’une collaboration entre l’équipe Algomus (Université de Lille, CRIStAL) et la société Arobas Music. L’équipe d’informatique musicale Algomus s’intéresse à la modélisation informatique de partitions musicales. La société lilloise Arobas Music développe le logiciel Guitar Pro dédié à la saisie et à la consultation de tablatures de guitare, et plus généralement de partitions musicales. Plus de 10 millions de musiciens l’utilisent régulièrement pour l’apprentissage, la transcription ou la composition. La société s’intéresse à l’ajout de nouvelles fonctionnalités pour assister de manière intelligente le processus d’écriture et de composition de l’utilisateur.

Le corpus mySongBook (MSB), produit et maintenu par la société Arobas Music, comprend plus de 2500 pièces, majoritairement dans le style pop/rock, encodées symboliquement sous la forme de fichiers au format Guitar Pro. Les fichiers Guitar Pro consistent en un alignement de plusieurs parties, chacune associée à un instrument, indiquant le contenu musical joué par cet instrument. Comme fréquemment dans le style pop/rock, une grande partie de ces pièces comprend une partie de guitare basse alignée à une ou plusieurs parties de guitares.

Objectifs

La première tâche de ce stage consistera à entrainer un modèle à prédire le contenu d’une partie de guitare basse étant donné la (les) parties(s) de guitare avec laquelle la partie de basse est alignée. On s’inspirera en premier lieu de méthodes issues de la traduction automatique de séquences (Neural Machine Translation) où un modèle dit Sequence To Sequence (LSTM ou Transformer) est entraîné à produire une séquence de sortie pour toute séquence donnée en entrée. Différentes expériences seront menées et comparées en faisant varier l’architecture du modèle, l’uniformité stylistique du corpus d’apprentissage, la représentation et la résolution des données.

Dans une seconde partie, on étudiera le potentiel d’utilisation de ce type de modèles comme outil dans un contexte d’écriture ou de composition musicale. On étudiera en particulier les possibilités de contrôle du modèle au cours de la génération, permettant à l’utilisateur d’influer sur certains paramètres comme le style ou l’originalité de la séquence produite.

Profil recherché

Master d’informatique, avec compétences en programmation et apprentissage automatique. Connaissances et pratique musicales souhaitées, idéalement pratique de la guitare/basse et une familiarité avec les tablatures.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l’étranger.

Références

• Makris, D., Agres, K. R., & Herremans, D. (2021). Generating lead sheets with affect: A novel conditional seq2seq framework.
• Grachten, M., Lattner, S., & Deruty, E. (2020). BassNet: A Variational Gated Autoencoder for Conditional Generation of Bass Guitar Tracks with Learned Interactive Control.
• Ren, Y., He, J., Tan, X., Qin, T., Zhao, Z., & Liu, T. Y. (2020, October). Popmag: Pop music accompaniment generation.
• McVicar, M., Fukayama, S., & Goto, M. (2015). AutoGuitarTab: Computer-aided composition of rhythm and lead guitar parts in the tablature space.

• Stage M1/M2 2022, avec gratification, de 3 à 6 mois
• Thèmes: apprentissage automatique, NLP, informatique musicale
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail également possible selon l’évolution de la situation
• Encadrement et contacts: Louis Bigo (CRIStAL), Mikaela Keller (CRIStAL, Inria)
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures ouvertes

Contexte

Les techniques modernes en apprentissage automatique, notamment autour des réseaux de neurones, suscitent de nombreuses recherches dans les domaines du traitement automatique du langage naturel (Natural Language Processing) d’une part et du traitement automatique des données musicales (Music Information Retrieval) d’autre part. Ces recherches ont de multiples applications allant de l’analyse de corpus textuels/musicaux à la génération automatique de texte/musique.

Parmis les différents types de réseaux de neurones, les modèles Sequence To Sequence dédiés à la transformation de séquences, ont permis d’important progrès en NLP dans des tâches de traduction automatique ou de question-réponse. C’est le cas des transformers [1], dont le fonctionnement repose sur le principe de self-attention, qui incite un modèle, lors de son entraînement, à mesurer les relations mutuelles entre les termes composant une séquence, par exemple une séquence de caractères ou de mots. L’aspect séquentiel de la musique a suscité une variété d’initiatives consistant à entraîner des transformers sur des données musicales symboliques (par exemple des séquences de notes issues de fichiers MIDI), qui ont permis d’important progrès en génération, harmonisation et analyse automatique de musique [3].

Le principe d’apprentissage par transfert consiste à entraîner un modèle pour une tâche cible, en partant d’un modèle entraîné en amont sur une tâche plus abstraite (phase dite de pré-entraînement), et pour laquelle on dispose d’un plus grand nombre de données. Par exemple, un modèle entraîné à reconnaître des images de camion gagnera à être entraîné en partant d’un modèle entraîné au préalable à reconnaître des véhicules plutôt qu’à partir de zéro.

Le traitement de données séquentielles, par exemple pour l’entraînement d’un modèle, pose la question de la découpe des séquences en éléments atomiques (ou tokenization). En langage naturel par exemple, une phrase peut être vue comme un séquence de caractères, une séquence de mots, de groupes de mots, ou toute segmentation intermédiaire qui fait sens. La question de la découpe se pose particulièrement en musique, où le contexte et les relations entre les différentes notes jouent un rôle fondamental.

Objectifs

Inspirés par le pré-entraînement de modèles Sequence To Sequence en NLP, ce projet consiste à expérimenter différentes stratégies de découpe des séquences de données musicales pour le pré-entraînement de modèles musicaux. Des tâches cibles en MIR (détection de fin de phrase musicales ou encore détection de tonalité) associées à des corpus annotés permettront d’évaluer la performance des modèles pré-entraînés.

Outre les différentes stratégies de découpe, on pourra expérimenter différents corpus de fichiers musicaux pour le pré-apprentissage : le corpus MAESTRO, issu d’enregistrements de performances, ainsi qu’un regroupement de fichiers fichiers MIDI issus de partitions musicales. Le recours comparatif à ces deux corpus permettra d’évaluer l’impact de l’interprétation musicale (présente uniquement dans le corpus MAESTRO) sur la qualité du pré-entraînement.

Profil recherché

Master d’informatique, avec compétences en programmation et apprentissage automatique.

Débouchés

Des opportunités de poursuite en thèse pourraient être envisagées sur ce sujet ou sur d’autres sujets proches en informatique musicale, que ce soit dans l’un des laboratoires des encadrants ou bien dans notre réseau de collaborateurs en France et à l’étranger.

Références

• Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017.
• Huang, Cheng-Zhi Anna, et al. “Music transformer.”
• Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.”
• Wang, Ziyu, and Gus Xia. “Musebert: pre-training of music representation for music understanding and controllable generation.”
• Fradet, Nathan, et al. “MidiTok: A Python Package for MIDI File Tokenization.”

• Stage L3/M1/M2 2022, avec gratification, de 2 à 5 mois
• Thèmes: développement web agile, TypeScript, Vue.js, informatique musicale
• Lieu: Lille (Villeneuve d’Ascq, Laboratoire CRIStAL, métro 4 Cantons), télétravail également possible selon l’évolution de la situation
• Encadrement et contacts: Emmanuel Leguy et Mathieu Giraud (CRIStAL)
• Annonce et liens: https://www.algomus.fr/jobs
• Candidatures closes

L’équipe Algomus développe Dezrann, une application web fullstack open-source (TypeScript, Vue.js, node.js) pour lire et annoter des partitions musicales. L’annotation se fait en ajoutant des étiquettes (labels), éléments graphiques sur la partition, pour décrire par exemple la structure, l’harmonie, le rythme, la mélodie ou la texture. Si Soundcloud permet d’écouter un morceau de musique et d’y laisser ses impressions, Dezrann donne accès avec bien plus de finesse au contenu musical, forme d’onde ou partition.

Dezrann est utilisée d’un côté par des classes de collèges pour découvrir activement la musique, et de l’autre, par des musicologues annotant des corpus. C’est un véritable service permettant d’accéder à plusieurs centaines de pièces musicales. Certaines de ces pièces ne sont accessibles que par des utilisteurs possédant un compte. Ce projet a donc pour objectif de faciliter la communication entre les différents utilisateurs pour faire de l’application un véritable espace collaboratif d’analyse musicale, où chacun·e peut proposer et partager une analyse.

Dans un cadre de développement agile (conception, tests, intégration continue, documentation), le ou la stagiaire travaillera ainsi sur la conception, l’implémentation et le test de l’espace de travail et de gestion des pièces et d’analyses d’un utilisateur, pour permettre notamment:

• le partage de l’analyse à un ou plusieurs collaborateurs, ou bien au puvlic, en lecture voire en écriture
• la proposition d’une nouvelle version d’une analyse existante
• la modification l’analyse d’un collaborateur
• la publication d’une analyse

Le ou la stagiaire sera aussi en contact avec nos utilisateurs, français et étrangers, notamment avec les classes du secondaire de la région utilisant Dezrann. Elle ou il participera enfin aux projets de médiation montés par l’équipe.

2021 (archive)

PhD positions, 2021-24

• Modeling musical texture for computer-aided analysis and composition (closed) (texture, algorithms, machine learning), Amiens (and Lille)
• Indexing melodic and harmonic patterns (closed) (harmony, text algorithmics), Lille (and Rouen)
• Modeling symphonic writing (closed) (orchestration, machine learning), Lille (and Amiens)

Médiation scientifique, 2021-2022

• Étudiant·es en médiation pour un atelier d’informatique musicale (closed)

Stages de recherche 2021 en informatique musicale

• Notes influentes et réseaux Transformers (apprentissage machine, NLP), Lille (closed)
• Indexation, mélodies et harmonies (algorithmique du texte), Rouen ou Lille (closed)
• Écriture symphonique (apprentissage machine, orchestration), Lille ou Amiens (closed)
• Techniques de jeu pour la guitare (apprentissage machine, guitare), Lille (closed)
• Texture pianistique (modélisation, apprentissage, piano), Amiens ou Lille (closed)