No full-text available
To read the full-text of this research,
you can request a copy directly from the author.
Ecriture du son, du temps et de l'espace dans l'interaction entre instruments et dispositifs numériques synchrones
Abstract
Cette recherche vise à étudier l’intégration contemporaine, dans la composition et la performance, des outils technologiques et artistiques correspondant à l’état de l’art en matière d’interaction temps-réel entre production instrumentale, production numérique du son et production de formes spatio-temporelles dans le lieu d’écoute. On souhaite notamment étudier comment cette intégration pourra constituer en retour une nouvelle modalité de l’écriture où fusionnent en cohérence une écriture du son, une écriture du temps et une écriture de l’espace informées par la technologie.Les paradigmes informatiques pour la gestion du temps et de l'interaction, les outils de synchronisation de processus, l'analyse de flux sonores et gestuels, le contrôle des paramètres à partir du son instrumental, la recherche sur la question du timbre instrumental et de ses descripteurs numériques et l’interaction interprète-ordinateur forment les éléments clefs de cette recherche.L’idée principale de ce travail est centrée sur l’interaction en temps réel avec des dispositifs informatiques avancés, dans le cadre d’une écriture particulièrement virtuose, avec des aspects spécifiques de construction temporelle et spatiale, cette situation hybride influençant en retour la nature de l’écriture elle-même. Les différents thèmes relatifs à cette exploration, tels que l’écriture du son, du temps et de l’espace, sont le point de départ pour décliner et développer, selon la nature des diverses productions envisagées, les liens possibles avec d’autres disciplines artistiques.
Since the advent of real-time computer music environments, composers have increasingly incorporated DSP analysis, synthesis, and processing algorithms in their creative practices. Those processes became part of interactive systems that use real-time computational tools in musical compositions that explore diverse techniques to generate, spatialize, and process instrumental/vocal sounds. Parallel to the development of these tools and the expansion of DSP methods, new techniques focused on sound/musical information extraction became part of the tools available for music composition. In this context, this article discusses the creative use of Machine Listening and Musical Information Retrieval techniques applied in the composition of live-electronics works. By pointing out some practical applications and creative approaches, we aim to circumscribe, in a general way, the strategies for employing Machine Listening and Music Information Retrieval techniques observed in a set of live-electronics pieces, categorizing four compositional approaches, namely: mapping, triggering, scoring, and procedural paradigms of application of machine listening techniques in the context of live-electronics music compositions.
Since the advent of real-time computer music environments, composers have increasingly incorporated DSP analysis, synthesis, and processing algorithms in their creative practices. Those processes became part of interactive systems that use real-time computational tools in musical compositions that explore diverse techniques to generate, spatialize, and process instrumental/vocal sounds. Parallel to the development of these tools and the expansion of DSP methods, new techniques focused on sound/musical information extraction became part of the tools available for music composition. In this context, this article discusses the creative use of Machine Listening and Musical Information Retrieval techniques applied in the composition of live-electronics works. By pointing out some practical applications and creative approaches, we aim to circumscribe, in a general way, the strategies for employing Machine Listening and Music Information Retrieval techniques observed in a set of live-electronics pieces, categorizing four compositional approaches, namely: mapping, triggering, scoring, and procedural paradigms of application of machine listening techniques in the context of live-electronics music compositions.
The present work consists of a study about compositional strategies in the use of Machine Listening (ML) and Music Information Retrieval (MIR) techniques applied to live-electronic music, proposing a technical, contextual, and creative study. The research starts from a theoretical foundation that seeks to discuss and contextualize the emergence and development of the ML and MIR as interdisciplinary research fields, as well as approaches concepts related to interactive musical systems, interactive music and emphlive-electronics. The theoretical foundation also extends to the review of a set of techniques, processes, and tools, aiming to elucidate the main concepts in the implementation of ML/MIR methods. Subsequently, the investigative study covers some general observations about the main characteristics of musical writing in interactive music/live-electronics associated with the use of the studied tools. With that, we point out some practical applications and compositional approaches in a set of pieces from the repertoire. Finally, the last part of the work discusses the creative process of a composition for acoustic guitar and live-electronics, approaching particular strategies for employing ML/MIR techniques.
This article presents some tools and methods to carry out transcriptions of electroacoustic music. It introduces the relationship between sound analysis and image or drawing at the birth of electroacoustic music and explains the interest of creating transcriptions. The article contains a proposed framework, based on several years of practice, which links musical analysis to transcription, sound analysis and representation. The different parts of a transcription are then detailed and methods are proposed to create annotations with reference to various examples I have created since the late 1990s.
The last section presents the EAnalysis package, devel- oped with Simon Emmerson and Leigh Landy at Leicester’s De Montfort University, in order to create a tool for analyzing, transcribing and representing electroacoustic music. It introduces the interface, the architecture and the transcription features of this piece of software in rela- tion to other technologies.
L'objet sonore n'existe pas sans la notion phénoménologique d'écoute réduite. Elle même est le corollaire de cette démarche concrète initiée par Pierre Schaeffer qui ne cesse, depuis les débuts de la musique électroacoustique, de guider l'oreille des compositeurs. Schaeffer propose de classer les objets dans une typologie afin de les analyser. Ainsi une terminologie très élaborée se met en place dès les années 50 pour aboutir en 1966, dans Traité des objets musicaux, à une caractérisation de l'objet qui se veut la plus précise possible. Deux compositeurs s'inspirent directement de la démarche de Schaeffer afin d'ouvrir la notion d'objet sonore sur d'autres horizons. Outre atlantique, Murray Schafer initie le fait sonore et son paysage sonore. François Bayle quant à lui explore l'espace acousmatique avec l'image-de-son.
The emergence of cognitive sciences is considered one of the major cultural events at the end of the twentieth century. Because philosophers, linguistics, psychologists, neurologists and researchers in animal behavior and physicians and informaticians have benefited from the scientific and technological advantages and have developed many researchers that enable the growing understanding of the mental performance of human being and have revealed some of the keys of its relationship with the world.
This dictionary, which came at the suitable time, conciliated between the obsession of definition and the spirit of encyclopedic synthesis. With its 280 terms, it explained the basic concepts such as work, learning, attention, classification, knowledge, social awareness, development, emotion, memory, cognition, thinking and perception…etc. Due to the clarity and the accuracy of this dictionary, it will be a working tool and a reference for researchers, teachers, students and experienced in this science, even if they are not specialists, are aware of the need to understand the meaning and the directions of essential researches which bet on the future of philosophy and the humanities and social sciences.
RÉSUMÉ. Cette article étudie l'anticipation musicale comme un élément de conception pour des applications temps réel en d'informatique musicale. Modélisation anticipative est présenté comme un principe de conception pour modéliser des systèmes artificiels. Nous proposons des modèles anticipatifs concernant trois préoccupations principales de l'attente musicale : quoi attendre? comment attendre? quand attendre? Chaque sujet est abordé en appelant une littéra-ture varié en géométrie de l'information, apprentissage actif et automatique, et synchronisation des flux en temps réel pour des signaux musicaux. La conception anticipative est la facture com-mune entre toutes ces propositions avec les prémices de réduire la complexité computationnelle de modélisation pour des problèmes complexes dans l'informatique musicale. ABSTRACT. This paper studies musical anticipation as a design element for realtime computer music applications. Anticipatory modeling is presented as a design principle for modeling artificial systems. We propose anticipatory models and applications concerning three main pre-occupations of expectation : What to expect? How to expect? and When to expect? Each question is addressed within different literatures such as information geometry, active and on-line learning, and stream synchronisation in realtime and for music signals. The anticipatory design concept is common in all propositions with the premise of reducing the structural and computational complexity for complex problems in computer music. MOTS-CLÉS : Informatique musicale, modélisation anticipative, géométrie de l'information, ap-prentissage automatique, suivi de partition, programmation synchrone.
Cette thèse examine les notions de temps réel et de temps différé telles qu'on les rencontre en informatique musicale et dans la musique contemporaine. La première partie commence par une approche historique, montrant la concomitance de leur apparition avec l'essor de l'informatique au début des années 60. Puis elle développe une critique du cloisonnement du temps réel et du temps différé en tant que catégories dichotomiques, à partir de définitions du seuil de latence qui sont incompatibles entre elles. Elle formalise enfin une représentation alternative : un axe " latentiel ", qui intègre temps réel et temps différé. Cette représentation est illustrée par trois analyses axiales, utilisant un logiciel d'aide au classement relatif et subjectif. À la suite de cette réflexion théorique, la seconde partie présente cinq collaborations musicales dans lesquelles j'ai réalisé la partie informatique avec Max/MSP : CBox avec le compositeur Mario Lorenzo, sur un projet d'exploration des possibilités de la circularité ; Mimi et Rose amère avec l'altiste Stéphanie Réthoré, sur un projet d'alto augmenté pour l'improvisation ; FeedItBack et Iviv avec le compositeur Santiago Quintáns, principalement sur la pièce In Vivo / In Vitro, pour caisse claire augmentée ; a2m, Loterie, Emzed et Nappe avec le compositeur Mauricio Meza, sur la pièce Woes-war-sollichwer-den, pour clarinette, public, et ordinateur ; Plugiscope, Ifso, et Ultraviolette avec le clarinettiste et compositeur Iván Solano, sur un premier projet pour voix, un deuxième pour clarinette basse, et un troisième pour percussion. La thèse s'achève avec une brève réflexion sur le réalisateur en informatique musicale.
Spectrum matching of musical instrument tones is a fundamental problem in computer music. Two methods are presented for determining near-optimal parameters for the synthesis of harmonic musical instrument or voice sounds using the addition of several fixed wavetables with time-varying weights. The overall objective is to find wavetable spectra and associated amplitude envelopes which together provide a close fit to an original time-varying spectrum. Techniques used for determining the wavetable spectra include a genetic algorithm (GA) and principal components analysis (PCA). In one study a GA was used to select spectra from the original signal at various time points. In another study PCA was used to obtain a set of orthogonal basis spectra for the wavetables. In both cases, least-squares solution is utilized to determine the associated amplitude envelopes. Both methods provide solutions which converge gracefully to the original as the number of tables is increased, but three to five wavetables frequently yield a good replica of the original sound. For the three instruments we analyzed, a trumpet, a guitar, and a tenor voice, the GA method seemed to offer the best results, especially when less than four wavetables were used. Comparative results using the methods are discussed and illustrated.
A digital computer was used to generate four channels of information, which are recorded on a tape recorder. The computer program provides control over the apparent location and movement of a synthesized sound in an illusory acoustical space. The method controls the distribution and amplitude of direct and reverberant signals between the loudspeakers to provide the angular and distance information and introduces a Doppler shift to enhance velocity information.
Interactive systems are throughly scrutinized in the lengthy article. Of particular interest to the author are the question of space and sound projection, interpretation of electronic sounds and the relationship between performer and technology.
We present a methodology for the real time alignment of music signals using sequential Monte Carlo inference techniques. The alignment problem is formulated as the state tracking of a dynamical system, and differs from traditional Hidden Markov Model Dynamic Time Warping based systems in that the hidden state is continuous rather than discrete. The major contribution of this paper is addressing both problems of audio-to-score and audio-to-audio alignment within the same framework in a real time setting. Performances of the proposed methodology on both problems are then evaluated and discussed.
L'interprétation automatique de gestes basée sur la vision par ordinateur offre de nouvelles possibilités d'interaction avec l'ordinateur, plus naturelles et intuitives qu'avec les périphériques classiques. Cependant, le canal gestuel est un moyen de communication particulièrement riche et la main un objet articulé complexe. Ainsi, l'interaction homme-machine gestuelle constitue un axe de recherche particulièrement actif avec un potentiel applicatif important.
Dans ce contexte, notre travail a consisté à remplacer le fonctionnement d'un écran tactile par un système de vision stéréoscopique avec deux caméras. Ainsi, le problème fondamental a consisté à suivre, en temps réel, le mouvement de la main et des doigts à partir de leurs projections dans les images, avant d'en reconnaître la posture. Les contraintes industrielles qui ont guidé nos travaux nous ont orienté vers une approche par apparence, avec des hypothèses réduites afin que le système soit peu contraignant pour l'utilisateur. Les différentes étapes abordées concernent la détection de la main basée sur la couleur de peau, l'extraction de caractéristiques invariantes, la comparaison de descripteurs de forme pour la reconnaissance de postures 2D, et le suivi 3D du mouvement des doigts et de la main avec un modèle squelettique. Les algorithmes ont été évalués à l'aide d'une base originale de vidéos stéréoscopiques, montrant l'amélioration notable des solutions proposées. La robustesse du système a également été confrontée aux conditions réelles d'une démonstration publique.
This paper describes how MAX has been extended on the NeXT to do signal as well as control computations. Since MAX as a control environment has already been described elsewhere, here we will offer only an outline of its control aspect as background for the description of its signal processing extensions.
Si les questions du temps, du matériau, de la forme et de leurs relations sont des questions centrales pour les compositeurs, il importe de se demander si la vieille dichotomie entre forme et matériau n’est pas à repenser en regard des nouveaux dispositifs susceptibles d’amener une appréhension à la fois plus fine et plus globale des diverses dimensions temporelles. Dans le cas plus précis de la musique mixte, la question que nous étudions est la suivante : dans quelle mesure l’existence d’un continuum entre les notions de forme et de matériau est-elle liée à la composition consciente d’entrelacs temporels ?Cette question implique l’utilisation de paradigmes capables de nous faire appréhender les nombreuses composantes qui font l’identité d’un matériau ou d’une forme, et de nous faire percevoir les liens qu’elles entretiennent mutuellement. Notre travail s’articule autour de deux axes complémentaires. Le premier traite de la nécessité d’organiser des espaces compositionnels permettant de rendre plus poreuse la frontière érigée entre les notions de forme et de matériau. Nous étudions à cet effet une représentation spatiale du matériau basée sur des structures topologiques. Le second nous amène à voir comment le langage synchrone Antescofo peut nous permettre de concevoir une musique mixte singularisée par les divers types d’écriture qu’il sous-entend et les nouveaux paradigmes qu’il est susceptibles d’engendrer. La composition des temps multiples liés par l’écriture, par des processus temporels propres aux paradigmes du temps réel, ainsi que par la prise en considération des temps liés à la performance, est abordée sous un angle résolument relationnel.
Gesture has become ubiquitous as an input modality in computer system, using multi-touch interfaces, cameras, or inertial measurement units. Whereas gesture control often necessitates the visual modality as a feedback mechanism, sound feedback has been significantly less explored. Nevertheless, sound can provide both discrete and continuous feedback on the gestures and the results of their action. We present here a system that significantly simplify and speedup the design of continuous sonification. Our approach is based on the concept of mapping by demonstration. This methodology enables designers to create motion-sound relationships intuitively, avoiding complex programming that is usually required in common approaches. Our system relies on multimodal machine learning techniques combined with hybrid sound synthesis. We believe that the system we describe opens new directions in the design of continuous motion-sound interactions. We developed prototypes related to different fields: performing arts, gaming, and sound-guided rehabilitation.
238p. Contributeurs : Yves André, Gérard Berry, Antoine Bonnet, Nicolas Donin, Laurent Feneyrou, Patrick Flandrin, Jean-Louis Giavitto, Philippe Manoury, François Nicolas, Thierry Paul, François Regnault, Pierre-André Valade, Hugues Vinet
The author briefly describes his Duet for one pianist, which is probably the earliest instance of live interaction between performer and computer entirely within the realm of acoustic sounds. However the main point of the article is to draw attention upon problems related to real-time. Not only does the use of real-time systems bring limitations and difficulties for the durability of the music, but one may even argue that the concept of real-time concerns primarily performance and may be of little relevance to musical composition.
A procedure is described for the automatic extraction of the various pitch percepts which may be simultaneously evoked by complex tonal stimuli. The procedure is based on the theory of virtual pitch, and in particular on the principle that the whole pitch percept is dependent both on analytic listening (yielding spectral pitch), and on holistic perception (yielding virtual pitch). The more or less ambiguous pitch percept governed by these two pitch modes is described by two pitch patterns: the spectral-pitch pattern, and the virtual-pitch pattern. Each of these patterns consists of a number of pitch (height) values, and associated weights, which account for the relative prominence of every individual pitch. The spectral-pitch pattern is constructed by spectral analysis, extraction of tonal components, evaluation of masking effects (masking and pitch shifts), and weighting according to the principle of spectral dominance. The virtual-pitch pattern is obtained from the spectral-pitch pattern by an advanced algorithm of subharmonic coincidence assessment. The procedure is based on a previous algorithm for calculating virtual pitch and can be regarded as a generalized and advanced version thereof.
The relationship between speech and gesture was analyzed in four experiments that compared the initiation time of manual movements in single gestural tasks and in dual verbal–gestural tasks. Likewise, vocal onset time was compared in single oral and in dual tasks. The findings of the study of Levelt et al. (1985) on deictic expressions were replicated. Performance of a concurrent task delayed the vocal onset time but not the gestural initiation time. Interference in the initiation of the vocal response did not diminish with a precueing procedure that facilitated response preparation. In conclusion, support is provided for the assumption of competition for shared resources by the gestural and speech production systems. These systems are also assumed to interact beyond the moment at which responses are selected.
An overview of the SuperCollider language in correlation to the computer music generation is presented. SuperCollider is a dynamically typed, single-inheritance, single-argument dispatch, garbage-collected, object-oriented language similar to Smalltalk. The instrument functions in SuperCollider can generate the network of unit generators using the full algorithmic capability of the language.
An attempt is made to explain the operation of the phase vocoder in terms accessible to musicians. The explanation relies heavily on the familiar concepts of sine waves, filters, and additive synthesis, and employs a minimum of mathematics. It is hoped that this tutorial will lay the groundwork for widespread use of the phase vocoder, both as a tool for sound analysis and modification, and as a catalyst for continued musical exploration.
An outline of an approach to computer composition in which software design and compositional design form a feedback loop based on the “acquisition” of the composer's own knowledge. The feedback loop in knowledge acquisition and implementation is seen as a way of avoiding the risk of falling prey to outmoded compositional models, such as those of instrumental music, which are often used in contemporary computer music composition.
The development of Western music in the twentieth century is dominated by an historic bifurcation in musical language: tonality with its metrically organized harmonic and melodic relationships has continued to be the vernacular language, absorbed unconsciously from birth, while the other fork, in its most recent guise, is represented by spectro-morphology2. Spectromorphology is an approach to sound materials and musical structures which concentrates on the spectrum of available pitches and their shaping in time. In embracing the total framework of pitch and time it implies that the vernacular language is confined to a small area of the musical universe. Developments such as atonality, total serialism, the expansion of percussion instruments, and the advent of electroacoustic media, all contribute to the recognition of the inherent musicality in all sounds. But it is sound recording, electronic technology, and most recently the computer, which have opened up a musical exploration not previously possible. Spectro-morphology is a way of perceiving and conceiving these new values resulting from a chain of influences which has accelerated since the turn of the century. As such it is an heir to Western musical tradition which at the same time changes musical criteria and demands new perceptions.
Thesis (Ph. D.)--Massachusetts Institute of Technology, Program in Media Arts & Sciences, 1997. Includes bibliographical references (p. 143-145). by Eric Métois. Ph.D.
installation audiovisuelle créée en collaboration avec l'artiste plasticienne Félicie d'Estienne d
- I Microgroove
Microgroove I (2015), installation audiovisuelle créée en collaboration avec l'artiste
plasticienne Félicie d'Estienne d'Orves au CENTQUATRE, Paris, dans le cadre de la Biennale
internationale des arts numériques NEMO : Prosopopées, quand les objets prennent vie (du 5
décembre 2015-31 janvier 2016).
spectacle audiovisuel en collaboration avec la plasticienne Félicie d'Estienne d'Orves, réalisation informatique musicale José Miguel Fernández
- Octaédrite
Octaédrite (2016), spectacle audiovisuel en collaboration avec la plasticienne Félicie
d'Estienne d'Orves, réalisation informatique musicale José Miguel Fernández.
pour piano, captation gestuelle, transducteurs et électronique en temps réel
- Philiris
Philiris (2016), pour piano, captation gestuelle, transducteurs et électronique en temps réel.
) pour percussions, captation gestuelle, transducteurs et électronique en temps réel
- Taygeta
Taygeta (2017) pour percussions, captation gestuelle, transducteurs et électronique en temps
réel.
pour piano, captation gestuelle, transducteurs et électronique en temps réel
- Liphyra
Liphyra (2018), pour piano, captation gestuelle, transducteurs et électronique en temps réel.
Le concert du soir, Le concert de l'après-midi), à la Fondation Louis Vuitton, Rai-RadioTelevisione Italiana, Radio3Suite, Radio Nationale Slovène, Radio Suisse Romande
• Participations à des émissions radiophoniques sur France Musique (Alla
Breve/Création Mondiale, Le concert du soir, Le concert de l'après-midi), à la
Fondation Louis Vuitton, Rai-RadioTelevisione Italiana, Radio3Suite, Radio Nationale
Slovène, Radio Suisse Romande, ABC Classic FM, de 2014 à 2018.
Musiques, arts, technologies -pour une approche critique
- Enrique Bibliographie Barbanti Roberto
- Carmen Lynch
- Makis Pardo
- Solomos
Bibliographie
Barbanti Roberto, Enrique Lynch, Carmen Pardo et Makis Solomos (2004). Musiques, arts,
technologies -pour une approche critique. Paris: L'Harmattan.
«L'oeuvre de François-Bernard Mâche : la Nature en surface et en profondeur
- Georges Bériachvili
Bériachvili, Georges (2013). «L'oeuvre de François-Bernard Mâche : la Nature en surface et en
profondeur». Communication présentée au colloque Musique et écologies du son. Projets
théoriques et pratiques pour une écoute du monde, Université Paris 8.
Spatialisation et écriture de l'espace, des pionniers à Emmanuel Nunes
- Alain Bioteau
Bioteau, Alain (2013) «Spatialisation et écriture de l'espace, des pionniers à Emmanuel
Nunes». In: Théories de la composition musicale au XXe siècle. Lyon: Symétrie
Recherche, pp. 1337-1366.
«Musique/espace». Lien, revue d'esthétique musicale «L'Espace du son II
- Pierre Boulez
- Nattiez Jean-Jacques
Boulez, Pierre et Nattiez Jean-Jacques (1991). «Musique/espace». Lien, revue d'esthétique
musicale «L'Espace du son II», pp. 115-116.
Influences du matériau sonore sur l'écriture du temps dans l'oeuvre mixte de Jean-Claude Risset. Mémoire pour l'obtention du Master Musique et Musicologie
Buffet, François (2006). Influences du matériau sonore sur l'écriture du temps dans l'oeuvre
mixte de Jean-Claude Risset. Mémoire pour l'obtention du Master Musique et
Musicologie, Université Paris Sorbonne (Paris IV).
«Instrumental gesture and musical composition
- Claude Cadoz
Cadoz, Claude (1988). «Instrumental gesture and musical composition». In: Proceedings
International Computer Music Conference (ICMC'88), pp. 1-12.