Research ProposalPDF Available

Semiotic Time Units as the foundation for Computer-aided Improvisation systems

Authors:
Projet de thèse
Les Unités Sémiotiques Temporelles comme fondement de systèmes
d'improvisation assistée par ordinateur
Résumé
Dans la pratique de l'improvisation « libre », l'absence de référent (grille harmonique, mélodie) est
palliée par l'émergence de dynamiques qui s'expliquent par la coordination des musiciens autour de
points focaux.
Postulant que les Unités Sémiotiques Temporelles (UST), en tant que catégories de segments
musicaux qui acquièrent une signification au travers de leur organisation temporelle, pourraient
constituer des tels points focaux, il s'agira de concevoir un système d'improvisation assistée par
ordinateur s'appuyant sur les UST pour proposer des directions innovantes aux musiciens.
Ce système serait ouvert à diverses esthétiques sous réserve qu'elles partagent la même approche
phénoménologique de la musique.
La recherche reprendra les principes généraux d'architecture et les objectifs des live algorithms et
s'interrogera sur la façon dont un système couplé, c'est à dire largement piloté par ses propres
routines génératives, peut affirmer son leadership tout en contribuant de façon efficace aux
directions proposées par les musiciens.
Mots clés
Improvisation assistée par ordinateur, Composition assistée par ordinateur, Machine learning,
Sémiotique, Formes musicales, Systèmes complexes, live algorithms.
Plan de recherches
La première année1 sera consacrée à terminer l'état de l'art sur les systèmes d'improvisation et de
composition assistés par ordinateur (puis mettre en place une veille technologique permanente sur le
sujet), recueillir des témoignages de compositeurs sur l'utilisation des UST dans des systèmes de
composition, rechercher une modélisation des UST adaptée aux besoins de la recherche.
Suivant en cela l’exemple de Collins [COL01], nous prendrons en compte dès le début de la
recherche la nécessité d'évaluer le système proposé et proposerons une ou plusieurs méthodologies
d'évaluation. En particulier, des musiciens adeptes de l'improvisation libre pourront être associés au
projet et amenés à faire l'expérience des prototypes successifs. Compte tenu de la pratique de ce
type d'improvisation qui existe dans les conservatoires afin développer l'écoute des étudiants (voir
[SAV01]), des contacts avec des enseignants pédagogues et/ou des étudiants sont également
envisagés.
La deuxième année sera concentrée sur la conception du système : structuration des connaissances,
modélisation des productions (écriture), organisation de l'écoute (segmentation, analyse).
La troisième année sera consacrée à la réalisation d'un ou deux prototypes sous la forme
d'instruments hybrides (et/ou de pièces mixtes) visant à valider le concept au contact des musiciens
associés au projet, itérer le processus et généraliser en fonction des résultats obtenus.
1 Années ETP (Equivalent Temps Plein)
Projet de thèse
Dans la seconde moitié du XXème siècle s'est développée une pratique de l'improvisation, dite
« libre » qui prétend s'affranchir de tout référent (grille harmonique, extrait de partition, stimulus
audio-visuel...) préalable à la performance. Cette pratique concerne aussi bien le mouvement du
« free jazz » que les musiques improvisées se revendiquant d'esthétiques contemporaines ayant en
commun le rejet de la tonalité comme principe organisateur (musique acousmatique, spectrale, post-
sérielle, ou « concrète instrumentale») [DEA01].
L'analyse des phénomènes cognitifs à l'oeuvre dans l'improvisation libre montre que les
dynamiques, notamment formelles, qui émergent lors de tels exercices peuvent s'expliquer par la
coordination des musiciens autour d'évènements saillants et de points focaux, la qualité d'une
improvisation dépendant précisément de la capacité des musiciens à découvrir, générer ou faire
émerger ces points focaux [CAN01].
De nombreux compositeurs contemporains, de Trevor Wishart à François Bayle, ont dans leurs
œuvres comme dans leurs écrits cherché à identifier des catégories perceptives dans les structures
temporelles [GRA01]. Dans leur lignée, les compositeurs du MIM2 ont mis en commun leur
expérience musicale pour constituer des regroupements à partir d'un répertoire de figures
temporelles en fonction de l'effet sonore produit dans le cadre d'une écoute globale. Les classes
d'équivalence ainsi constituées sont nommées les Unités Sémiotiques Temporelles (UST).
La description morphologique des UST a donné lieu ensuite à des travaux de modélisation mettant
en valeur les profils temporels des UST avec un vocabulaire plus normalisé que celui du MIM : les
Modèles Temporels Paramétrés (MTP) intégrent des éléments semi-quantitatifs (notions de
variables pertinentes, de profilèmes, etc.) et permettent donc d'envisager une synthèse à partir d'un
corpus de sons [BOO01]. UST et MTP ont fait l'objet de travaux de validation sur le plan cognitif
auprès d'un public de musiciens et de non-musiciens [FRE01].
Issues d'une démarche analytique, les UST ont pu servir également de fondement à des systèmes de
composition : la pluralité des horizons temporels sur lesquels se déploient les différentes UST
permet notamment de concevoir leur articulation sous une forme hiérarchique et la construction de
grandes formes [DIS01]; en revanche, comme c'est le cas pour tout processus temporel identifiable
par l'auditeur et générant donc une attente chez celui-ci, la mise en œuvre d'une UST requiert de
pouvoir s'écarter de sa définition stricte sous peine de trivialité [FRE01].
Du fait de leur capacité à créer du signifiant à partir de l'agencement temporel de structures
musicales, les UST pourraient aussi constituer des points focaux pertinents pour l'improvisation
libre.
La contribution de cette thèse serait de proposer un cadre conceptuel d'improvisation assistée par
ordinateur s'appuyant sur les UST, ouvert à des esthétiques diverses à condition qu'elles s'inscrivent
dans une approche phénoménologique – c'est à dire, considérant l’ensemble du phénomène musical
en tant qu’entité indissociable et non les entités discrètes que sont les notes comme les principaux
paramètres structurels de la musique.
Reprenant le formalisme des live algorithms [BLA01], il s'agit de concevoir un système
s'approchant de la performance humaine dans un contexte d'improvisation, présentant une
architecture modulaire articulant typiquement autour d'un module de stockage des connaissances et
de raisonnement f, un module d'écoute et d'analyse P ainsi qu'un module de production et de
synthèse Q. Les qualités attendues d'un tel système sont : l'autonomie, l'innovation, la participation
et le leadership.
Young et Bown [YOU01] identifient quatre classes de comportements possibles pour ce type de
2 Laboratoire Musique et Informatique de Marseille
système : l'asservissement (shadowing), le mimétisme (mirroring), le couplage et la négociation. La
recherche porterait sur un système couplé, c'est à dire largement piloté par ses propres routines
génératives, mais acceptant d'être perturbé par l'information venant des musiciens.
Réaliser un état de l'art des systèmes d'improvisation assistés par ordinateur est un exercice délicat
dans la mesure beaucoup de systèmes ont été réalisés sans publication scientifique ; mais la
plupart des systèmes sont concentrés sur l'improvisation idiomatique - jazz, musique tonale ou
modale (voir [ROW01],[LEV01] ou [BLA02]).
Parmi ceux qui ont connu des développements intéressant l'improvisation libre et qui
s'affranchissent de l'approche structuraliste et du paradigme du MIDI, figurent les systèmes fondés
sur la réinjection stylistique comme Omax, dont les productions sont fondées sur un comportement
mimétique. Omax assoit son leadership notamment grâce à sa capacité à accumuler des
connaissances sur des échelles temporelles dépassant le cadre d'une performance et faire aux
musiciens des propositions de directions en s'appuyant sur cette mémoire.
Si un algorithme d'apprentissage statistique se trouve au cœur d'Omax [ASS01], les modules de
structuration des connaissances et de raisonnement (f) de nombreux systèmes d'improvisation ont
été conçus en s'inspirant de l'observation des mécanismes naturels à l'oeuvre dans l'évolution
(algorithmes génétiques), les comportements collectifs animaux (swarms) ou les réseaux neuronaux
[BLA02]. Ces systèmes présentent une grande capacité d'innovation, souvent au détriment de la
lisibilité des directions qu'ils prennent, ce qui peut pénaliser leur capacité à interagir en profondeur
avec les musiciens.
L'incorporation, dans la conception du système, de modèles paramétriques temporels correspondant
aux UST permettrait à celui-ci de proposer des directions innovantes au(x) musicien(s) tout en les
rendant suffisamment intelligibles, afin que ceux-ci puissent se positionner soit en accompagnement
(actant le leadership du système) soit en rupture de la proposition faite par le système, parvenant
ainsi à une véritable interaction bi-directionnelle.
Une des difficultés rencontrées dans les systèmes couplés est que leur leadership tend à s'imposer au
détriment de la perception que les musiciens peuvent avoir de leur caractère participatif - le système
devenant « têtu » ou « autiste » [BLA02]. Le module d'analyse (P) devrait idéalement fournir au
système les représentations nécessaires pour lui permettre de décider si les musiciens adhèrent à une
direction (UST) qu'il propose ou si eux-mêmes ont proposé une direction différente à laquelle il est
prié d'adhérer. Nous nous appuierons sur les avancées considérables réalisées dans le champ du
Music Information Retrieval en matière de segmentation et d'analyse typo-morphologique en temps
réel (voir par exemple[LAM01] ou [CAS01]) pour concevoir ce module d'analyse.
Bibliographie
COL01 : Nick Collins, Automatic composition of electroacoustic art music utilizing machine listening,
Computer music journal, pp 8-23, 2012
SAV01 : Alain Savouret. Introduction à un solfège de l'audible: l'improvisation libre comme outil pratique.
Symétrie, 2010
DEA01: Roger Dean, Hyperimprovisation: Computer-interactive Sound Improvisation, 2003
CAN01: Clement Canonne, thèse de doctorat, L'improvisation collective libre : de l'exigence de
coordination a la recherche de points focaux : cadre théorique, analyses, expérimentations, Universite Jean
Monnet - Saint-Etienne, 2010
GRA01: Marta Grabocz, Quelques processus archétypiques - ou unités sémiotiques temporelles - dans les
écrits et les oeuvres de compositeurs contemporains, in E. Rix, M. Formosa (eds) Vers une sémiotique
générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques Temporelles, nouvel outil
d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions Delatour France, 2008
BOO01: Philippe Bootz, Xavier Hautbois, Les Motifs Temporels Paramétrés, in E. Rix, M. Formosa (eds)
Vers une sémiotique générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques
Temporelles, nouvel outil d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions
Delatour France, 2008
HAU01 : Aline Frey, Xavier Hautbois, Philippe Bootz, Charles Tijus, An experimental validation of
Temporal Semiotic Units and Parameterized Time Motifs, Musicae Scientiae, Vol 18 (1), pp. 98-123, 2014
FRE01: Marcel Frémiot et Lucie Prod'homme, Composer en UST, expériences au MIM, in E. Rix, M.
Formosa (eds) Vers une sémiotique générale du temps dans les arts, Actes du colloque "les Unités
Sémiotiques Temporelles, nouvel outil d'analyse musicale : théories et applications" (Marseille, dec. 2005),
Editions Delatour France, 2008
DIS01: Jean-Louis Di Santo, Composer avec les UST, in E. Rix, M. Formosa (eds) Vers une sémiotique
générale du temps dans les arts, Actes du colloque "les Unités Sémiotiques Temporelles, nouvel outil
d'analyse musicale : théories et applications" (Marseille, dec. 2005), Editions Delatour France, 2008
BLA01: Tim Blackwell et Michael Young, Live Algorithms, Society for the study of artificial intelligence
and simulation of behaviour quarterly, 2005
YOU01: Michael Young, Oliver Bown, Clap-along : a negociation strategy for creative musical interaction
with computational systems, Proceedings of the first international conference on computational creativity,
2010
ROW01: Robert Rowe, Interactive Music Systems : Machine Listening and Composing, 1993
LEV01: Benjamin Levy, thèse de doctorat, Principes et architectures pour un système interactif et
agnostique dédié à l’improvisation musicale, Université Pierre et Marie Curie, 2013
BLA02: Tim Blackwell, Oliver Bown, Michael Young, Live Algorithms : towards autonomous computer
improvisers, in McCormack J., d’Inverno M. (eds) Computers and Creativity, Springer, Berlin, Heidelberg,
2012
ASS01: Gérard Assayag, Georges Bloch, Marc Chemillier, Improvisation et réinjection stylistiques. Le feed-
back dans la création musicale contemporaine, Rencontres musicales pluri-disciplinaires, Lyon, 2006
LAM01: Norbert Schnell, Marco Antonio Suarez-Cifuentes, Jean-Philippe Lambert, First Steps in Relaxed
Real-Time Typo-MorphologicalAudio Analysis/Synthesis, Sound and Music Computing, Barcelone, 2010
CAS01: Michael A. Casey, Acoustic Lexemes for Organizing Internet Audio, Contemporary Music Review,
2005
CAN01 : Lola D. Cañamero, Designing emotions for activity selection in Autonomous Agents, in Emotions
in Humans and artefacts , ed. R. Trappl, P. Petta, S. Payr, MIT Press, 2002
Jean-François DUCHER
15 rue du Temple
75004 PARIS
Nov. 2017
ResearchGate has not been able to resolve any citations for this publication.
Chapter
A Live Algorithm is an autonomous machine that interacts with musicians in an improvised setting. This chapter outlines perspectives on Live Algorithm research, offering a high level view for the general reader, as well as more detailed and specialist analysis. The study of Live Algorithms is multi-disciplinary in nature, requiring insights from (at least) Music Technology, Artificial Intelligence, Cognitive Science, Musicology and Performance Studies. Some of the most important issues from these fields are considered. A modular decomposition and an associated set of wiring diagrams is offered as a practical and conceptual tool. Technical, behavioural, social and cultural contexts are considered, and some signposts for future Live Algorithm research are suggested. © Springer-Verlag Berlin Heidelberg 2012. All rights are reserved.
Article
This paper advocates a "bottom-up" philosophy for the design of emotional systems for autonomous agents that is guided by functional concerns, and considers the particular case of designing emotions as mechanisms for action selection. The concrete realization of these ideas implies that the design process must start with an analysis of the requirements that the features of the environment, the characteristics of the action-selection task, and the agent architecture impose on the emotional system. This is particularly important if we see emotions as mechanisms that aim at modifying or maintaining the relation of the agent with its (external and internal) environment (rather than modifying the environment itself) in order to preserve the agent's goals. Emotions can then be selected and designed according to the roles they play with respect to this relation. 1 Introduction Autonomous agents are embodied, natural or artificial systems in permanent interaction with dynamic, unpr...
Acoustic Lexemes for Organizing Internet Audio
CAS01: Michael A. Casey, Acoustic Lexemes for Organizing Internet Audio, Contemporary Music Review, 2005