Home

Projet Sample Orchestrator Rapport final

1. Template based estimation of time varying tempo EURASIP Journal on Advances in Signal Processing 2007 Special Issue on Music Information Retrieval Based on Signal Processing Article ID 67215 14 pages PeetersISMIR2005 Peeters G 2005 Rhythm Classification using spectral rhythm patterns Proc of ISMIR London UK PeetersISMIR2006 Peeters G 2006 Chroma based estimation of musical key from audio signal analysis Proc of ISMIR Victoria Canada SORdeliverableM10 Projet Sample Orchestrator D livrable M10 Premiers prototypes fonctionnels Octobre 2007 SORdeliverableM18 Projet Sample Orchestrator D livrable M18 Rapport interne d avancement SP2 Juin 2008 SORdeliverableM22 Projet Sample Orchestrator D livrable M22 Modules d indexationfinaux Octobre 2008 SORminutes1 Sample Orchestrator Project Minutes of the 1st SP2 Meeting Ircam 23rd Aout 2007 3 07 09 24 137 Projet Sample Orchestrator rapport final 1 3 6 SP2 4 Description des sons environnementaux 1 3 6 1 D SP2 4 1 Validation de descripteurs audio pour les sons environnementaux Responsable Ircam PDS Objectifs Le cadre de cette t che est d amorcer la reflexion sur une transposition extension de la notion de descripteurs psychoacoustiques telle qu elle est d velopp e pour les sons musicaux a un ensemble de sons environnementaux qualifies par nature de non musicaux L objectif est donc d une part de g n
2. t remodel enti rement Cette amelioration de l architecture du mod le graphique est bas e sur trois espaces de coordonn s model world device coordinate spaces et des transformations affines ou mapping non lin aires entre espaces Cette architecture permet une int gration facile de fonctionnalit s de zoom amp pan et un nouveau mode tile de mosaiques form s par la subdivision de l affichage selon un ou deux descripteurs cat goriels 1 3 9 6 Mod lisation de la continuation de boucles rythmiques Des recherches sur la mod lisation du comportement temporel d un corpus de sons et de ses transitions a t effectu Schwarz08a bas es sur une distance dite de continuation a partir du corpus Cette distance exprime les comportements temporels inh rents au corpus et peut tre appliqu e pour guider la synth se par navigation dans un espace de descripteurs tel qu offre CataRT cf SP3 4 Variation interactive de boucles rythmiques ces recherches ont t effectu s au sein de l application CataRT et ont r sult dans des parties de la librairie DistLib et des nouvelles fonctionnalites de CataRT Une valuation de lefficacit de l effet de continuation a t effectu e pour estimer l influence des param tres Sur un corpus de 78 boucles de batterie une boucle cible a t resynth tis e avec une adaptation des param tres manuelle Par rapport la synth se sans 3 07 09 42 137 Projet Sample Orchestrator ra
3. O 9060223 74175372725 La Figure 46 indique les fichiers de configuration et de modele SVM a utiliser pour chaque taxonomie taxonomy IrcamDescriptor config file IrcamClassifier model file Causal config causal txt causal 3 10 2008 model svm Causal small config causal small txt causal small 3 10 2008 model svm Onomat config onomat txt onomat 3 10 2008 model svm Figure 46 Fichiers de configuration et de mod le SVM pour les trois taxonomies 2 1 2 2 Description et classification morphologiques L objectif de cette t che tait de caract riser automatiquement les sons en fonction de leur profil dynamique selon les classes stable train d impulsions d croissant impulsif roulement et croissant issus des exp riences psychoacoustiques r alis es cf 2 1 4 2 Les arbres de classification binaires obtenus pour la classification des profils dynamiques ont t int gr s comme mod les suppl mentaire dans IrcamClassifier Ainsi l utilisation de IrcamDescriptor et IrcamClassifier pour la classification morphologique est la m me que pour la classification statistique en utilisant les fichiers appropri s de configuration et de mod le montr s en Figure 47 IrcamClassifier produit la sortie suivante avec la meilleure classe best class Ascending 1 taxonomy IrcamDescriptor config file IrcamClassifier model file dynamic profiles config dynmorph txt dynmorph 3 10 2008 model dyn
4. Recherche navigation et composition interactive fond e sur des bases de sons Les r sultats r alis s par le projet SampleOrchestrator d taill s dans les sections suivantes s organisent autour du d veloppement de CataRT comme application prototype pour experimenter des paradigmes de recherche et creation sonore par navigation dans des grandes collections sonores ainsi que des modules biblioth ques de fonctions et sous 3 07 09 87 137 Projet Sample Orchestrator rapport final syst mes qui ont t d velopp s et test s dans CataRT mais qui sont int grables et utilisables dans d autres applications Les points suivants ont t d velopp s Librarie DistLib 1 3 9 2 contenant des algorithmes de recherche efficaces dans des grandes collections de donn es notamment par arbres de recherche binaires kD Trees Librarie VisLib pour le support de la visualisation de donn es multidimensionnelles 1 3 9 2 en utilisant des m thodes de r duction de dimensionnalit tel que multi dimensional scaling MDS et principal component analysis PCA avec l int gration de poids par dimension Avancement de l architecture et des fonctionnalit s de CataRT comme mod le d une application de navigation dans des grandes bases sonores et de sa documentation 1 3 9 4 Nouvelle approches la visualisation pour la recherche de sons et la navigation dans des grandes collections sonores 1 3 9 5 Version standalone
5. Tout d abord un tat de l art sur les logiciels et mat riel utilis s dans ces milieux t r alis Une liste de 14 produits ayant tant jug s repr sentatifs d une utilisation typique a ainsi t s lectionn e Pour chaque produit une analyse des types d utilisations ainsi que leurs points positifs et n gatifs a ensuite t r alis e Nous avons galement test en d tail certaines de ces applications qui nous semblaient tre les plus proches de Sample Orchestrator en terme de concept afin de noter les bonnes id es d ergonomie En g n ral chaque produit est tr s orient vers une palette sonore tr s sp cifique ce qui peut laisser entendre qu une place pour une application plus transversale comme Sample Orchestrator est disponible 3 07 09 58 137 Projet Sample Orchestrator rapport final Une fois cette ligne directrice d finie une analyse pr cise des pr requis n cessaires a la realisation de ce projet a t mise en uvre aid en partie par l tat de l art et notre propre experience du domaine D un point de vue technique il est n cessaire que cette application puisse fonctionner sous forme de plug in des principales stations de travail digitales du marche permettant une utilisation rapide et ais e dans un environnement ou les acteurs ont souvent des emplois du temps tres charges Le support multi canal est devenu egalement indispensable dans le cadre de la cr ation sonore au cin ma ou d installation
6. l utilisateur d adapter les param tres de l estimation de la FO en choisissant l instrument analyse et en plus par manipulation d un curseur glissant de supprimer les parties de la fr quence fondamentale peu fiable Les nouveaux pr r glages par instruments ont suscit l int r t de la soci t MakeMusic aux tats Unis qui a achet une licence de la biblioth que permettant l utilisation des pr r glages et aussi des nouveaux moyens de qualification de la p riodicit permettant d am liorer la segmentation des sons en notes 2 2 1 6 R organisation des modules d analyse La reorganisation des modules d analyse permet l estimation de plusieurs descripteurs spectraux partir d une seule FFT Elle a t finalis e dans la version 2 93 4 de SuperVP La resynthese a partir d analyse permettant les transformations dans le module de synth se a t finalis e dans la version 2 97 8 de SuperVP 3 07 09 93 137 Projet Sample Orchestrator rapport final 2 2 1 7 Am lioration du remixage des composantes La livraison finale consiste dans en une publication dans une revue ZivanovicO8a et un nouveau mode de remixage des composantes qui permet la creation du r siduel pour chaque pic spectral en temps r el dans le vocodeur de phase La fonctionnalit est accessible a partir de la version 2 96 6 de SuperVP 2 2 1 8 D tection pr servation et synth se de modulations Les fonctionnalit s d velopp es ont t implemente en Matl
7. prototype environnement OpenMusic de contr le de l orchestration articulant la sp cification de cibles concr tes la cr ation de cibles abstraites le param trage et le lancement du moteur de r solution d orchestrations le choix des solutions Interaction musicale architecture client serveur L int gration du moteur Orchid e en relation avec un environnement compositionnel est con ue sur le mod le d une architecture client serveur Le serveur ou moteur de r solution int gre les aspects calculatoires du syst me Il communique avec une ou plusieurs interfaces clientes en relation un environnement ou un processus compositionnel donn Cette communication se d cline selon deux perspectives compl mentaires sp cification du probl me et navigation dans l espace de solutions La sp cification du probl me d orchestration comprend elle m me trois aspects principaux 1 la composition orchestrale c est dire l ensemble des variables du probleme instruments disponibles et configuration de l orchestre et des valeurs pouvant tre prises par ces variables 2 une cible d crivant de fa on plus ou moins abstraite le r sultat que l on souhaite obtenir 3 des filtres et contraintes symboliques qui expriment des caract ristiques souhait es ou impos es dans la r solution du probl me et les solutions propos es contraintes harmoniques sur les modes de jeux etc Un client Orchid e communicant avec le moteur de
8. t int gr s avec la transposition utilisant les mod les sinusoidaux L utilisation des param tres sinusoidaux nous a permis des r ductions du temps de calcul pour le mode pr servation de la forme d onde Ces travaux ont t finalis s en mai 2009 Laroche Dolson 99 Laroche J Dolson M New phase vocoder techniques for real time pitch shifting chorusing harmonizing and other exotic audio modifications Journal of the AES 47 11 pp 928 936 1999 Rodet92b Freed A Rodet X Depalle P Synthesis and Control of Hundreds of Sinusoidal Partials on a Desktop Computer without Custom Hardware International Conference on Signal Processing Applications amp Technology ICSPAT 1992 Roebel08a Roebel A Frequency Slope Estimation and Its Application to Parameter Estimation for Non Stationary Sinusoids Computer Music Journal 32 2 pp 68 79 2008 1 4 1 4 Traitement avec une taille de fen tre variable La taille de la fen tre d analyse est le param tre fondamental qui d termine la qualit obtenue pour toutes les analyses et ou traitements spectraux Dans la majorit des cas les algorithmes pour la transformation de sons travaillent aujourd hui avec une r solution temps fr quence fixe et donn e par l utilisateur La r solution peut varier en fonction de la fr quence ondelettes mais elle ne peut pas varier au cours du temps pour s adapter aux propri t s locales du signal Dans le cadre de ce sous pr
9. Liquid 3 Rushes Liquid 4 Solid metal 4 Scratching Solid metal 5 Solid paper 5 Squeaking Solid paper Solid wood Figure 5 Taxonomies finales Exp riences d valuation finales L objectif de ces exp riences tait de trouver la m thode de classification et ses param tres optimaux pour les trois mod les de classification deux pour la taxonomie causale compl te et r duite et un pour la taxonomie d onomatop es Le d tail de la m thode est d crit dans le d livrable SP2 M22 Pour toutes les m thodes test es les descripteurs ont t calcul s partir de l impl mentation C de ircamdescriptor Pour la m thode SVM l impl mentaiton libsvm4 a t choisie en raison de sa flexibilit son efficacit elle est impl ment e en C et accessible par Matlab comme ensemble de fichiers mex sa bonne documentation and sa politique de licence adapt e Parmi les diff rentes definitions la soft margin SVM aussi appel C SVM a t utilis e Ce mod le utilise un param tre de co t C pour les p nalit s de mauvaise classification et am liore la g n ralit Le noyau choisi est RBF Radial Basis Function qui a l avantage de n tre contr l que par un param tre y Les param tres de mod les optimiser taient les suivants e Pour les mod les Gaussiens unimodaux Nombre de descripteurs de 1 40 presence absence de ALD L optimisation tait exhaustive e Pour les GMM Nombre de descrip
10. Nous sommes en train d laborer un instrument futuriste et nous aimerions vous poser quelques questions afin de mieux cibler les attentes de nos utilisateurs Nous vous remercions par avance du temps que vous voudrez bien nous consacrer L quipe developpement SONS amp INSTRUMENTS VIRTUELS T l 04 43 38 51 G0 Fax 01 43 38 541 50 Mard Vendredi gt 10h30 13h 14h 19h Samedi gt 11h 13h 14h 18h 0 NOUVEAU Fab Four r Projet Sample Orchestrator rapport final Parle biais d entretiens avec des acteurs types des diff rents march s vis s par l application r sultant du projet Sample Orchestrator Le sondage port principalement sur les attentes des utilisateurs en terme de design d usage et de fonctionnalit s recherch es avec des questions d ordre g n ral La disponibilit de question ouverte permis d obtenir galement un avis plus personnel des personnes interrog es et des id es int ressantes et envisageables Les principales attentes des personnes ayant r pondu aux sondages se sont port es sur la qualit sonore du produit ainsi que sur sa facilit d utilisation Les entretiens ont port sur des aspects beaucoup plus pragmatiques et sp cifiques concernant la cr ation sonore et ont permis une discussion sur les propositions que nous avions d j envisag es pour r soudre certains probl mes que rencontrent fr quemment les personnes interview es L aus
11. Paris France 2008 article soumis Misdariis N Minard A Susini P Lemaitre G McAdams S Parizet E Environmental sound perception meta description and modeling based on independant primary studies EURASIP Journal on Audio Speech and Music Processing special issue on Scalable Audio Content Analysis SACA juillet 2009 R f rences bibliographiques associ es Caroll70 Carroll J Chang J Analysis of individual differences in multidimensional scaling via an n way generalization of Eckart Young decomposition Psychometrica 35 283 319 1970 Grey77 Grey J M Multidimensional perceptual scaling of musical timbres J Acoust Soc Am Vol 61 No 5 May 1977 Krimphoff94a Krimphoff J McAdams S Winsberg S Caract risation du timbre des sons complexes II Analyses acoustiques et quantification psychophysique Journal de Physique Vol 4 1994 Krumhansl89 Krumhansl C L Why is musical timbre so hard to understand in S Nielzen amp O Olsson Eds Structure and Perception of Electroacoustic Sound and Music pp 43 53 Elsevier Excerpta Medica 846 1989 LemaitreO7a Lemaitre G Susini P Winsberg S Leinturier B McAdams S The sound quality of car horns a psychoacoustical study of timbre Acta Acoustica 93 457 468 2007 McAdams95a McAdams S Winsberg S Donnadieu S De Soete G Krimphoff J Perceptual scaling of synthesized musical timbres commo
12. Une tude exp rimentale est donc men e sur la base des hypoth ses r sultant du SP2 5 1 taxonomie causale Exp rience L exp rience consiste en une identification de la cause physique du son c est dire du type d action physique qui l a produit ind pendamment de l objet de sa forme et du mat riau qui le constitue selon les deux niveaux de description repr sent s sur la Figure 54 1 niveau jaune 2 niveau bleu Le test est r alis aupr s de 20 participants 9 hommes 11 3 07 09 33 137 Projet Sample Orchestrator rapport final femmes au moyen d une interface graphique de classification orient e psiExp Smith95 donnant acces s quentiellement aux 2 niveaux de la taxonomie voir Figure 23 Principalement pour des raisons de temps de passation le corpus d tude utilis est un sous ensemble du corpus de travail issu du SP2 5 1 SOR database structured il est constitu de 213 sons respectant au mieux les distributions initiales 33 Liquide li 92 Solide so 49 Gaz ga 10 Electrique el 12 Electronique sy 17 Machine mo jwindow 0 Liquide Solide Electrique Electronique Machine Re ecouter Cliquez sur le type de cause physique du son jwindow 0 Liquide Chute dans liquide Ecoulement Goutte Re ecouter Cliquez sur le type de cause physique du son Annuler Figure 23 Interface pour exp rience de classification orient e psiExp Description du 1 niveau
13. Une application d outil d aide a orchestration d velopp e par l Ircam et int gr e dans son environnement logiciel d aide a la composition OpenMusic et r pondant aux besoins tant de compositeurs experts en composition mais en attente d outils stimulant leur cr ativit que de compositeurs non exp riment s s appuyant sur les connaissances musicales int gr es pour les assister dans leur travail d orchestration Ces recherches et d veloppements font l objet de confrontations tant en amont explicitation et analyse des besoins qu en aval retour d usage selon des m thodologies et protocoles formalis s afin de garantir leur ad quation aux utilisations vis es 3 07 09 7 137 Projet Sample Orchestrator rapport final 1 1 3 Organisation Structure du consortium Le projet associe l IRCAM coordinateur laboratoire de recherche et institution de production musicale contemporaine et l industriel Univers sons L Ircam a t en charge de la coordination du projet et des recherches sur l analyse et le traitement des signaux sonores quipe Analyse synth se Ircam AnaSyn sur la perception et le design sonores quipe Perception et design sonores Ircam PDS sur l informatique musicale les outils d aide la composition et le d veloppement de l application d aide l orchestration quipe Representations musicales Ircam RepMus et sur application musicales interactives quipe Interactions musicales tem
14. celui ci de d crire le son par des processus au travers desquels les descriptions sonores sont construites et transform es dans une dualit contr l e entre les aspect compositionnels plus ou moins abstraits et la cr ation des signaux num riques concrets Ainsi les outils de programmation visuelle permettent de d crire le son suivant diff rents niveaux d abstraction d pendant d outils et de processus utilis s ou d velopp s par le compositeur Les structures de description sonore d velopp es dans des syst mes de contr le de la synth se comme OMChroma en sont un bon exemple int grant des notions statiques et comportementales des repr sentations sonores et permettant expansion et calcul dynamiques de ces repr sentations partir de sp cifications symboliques Cependant afin de limiter la part de programmation et pour favoriser une exploration interactive du potentiel sonore une interface d di e la sp cification des cibles sonores a t d velopp e dans OM int grant repr sentation graphique spectrale ditable manuellement et processus de traitements modulaires issus notament des outuils de composition h rit s du syst me OMChroma et applicables sur cette repr sentation g n ration de composantes spectrales filtrages etc Cette interface a ainsi pour objectif de permettre au compositeur de d terminer une cible sous forme d un spectre complexe dans une d marche compositionnelle exp rimentale et interactive q
15. interaction avec le moteur d orchestration La premi re a t int gr e au prototype initial d orchestration en MatLab et concerne principalement l exploration et la navigation dans l espace des solutions Les suivantes ont t r alis s dans Max MSP et dans OpenMusic comme clients de l application finale AAA Symbolic Features Options Options Explore Bbc l ord Al5 nt alf Options Options DSUS LAS DE al oi Current Group 1N Spectral Envelopes x G 014 Curent Group 0 22 Crivaria 612 meria 02 f 1 Target Spactra y Envelope f amp vos 0 18 x LE 01 0 06 Lt 4 r gt r gt dW b F k L un m moi j Spread 0 0 00 1000 1590 2000 2868 3000 MPs Free e Navigation dans l espace des solutions prototype MatLab OM Orchid e une biblioth que dans OpenMusic Le description de la version finale de l interface cliente OM Orchid e constitue l un des r sultats finaux du projet et est donn e au 2 4 2 1 6 9 SP4 7 tests validation Objectifs tests de validation avec les compositeurs diverses phases du projet Dur e r partie sur la dur e du projet Tout au long du projet nous avons b n fici de l expertise d un groupe de compositeurs qui ont r guli rement donn du feed back sur les prototypes pr sent s Toutes les d cisions strat giques en termes d architecture et d ergonomie ont tenu compte de ce retour d usage Yan Maresz Philippe Schoell
16. n ral cf Figure 15 se reporter respectivement a McAdams98c Susini04b LemaitreO7a et Parizet06 pour la d finition et la formulation des descripteurs correspondants chacune des tudes a A Habitacles voiture B Unit s climatisation C Klaxons D Porti res auto Corpus A1 16 sons 3 4000 tr min B 19 sons de convecteurs C 22 sons avertisseurs D 12 sons porti re A2 14 sons 5 3500 tr min 4 synth ses CLASCAL CLASCAL CLASCAL INDSCAL R sultats 3 dim sp cif 1 class B 3 dim sp cif 5 class C 3dim sp cif 6 class D 3 dim 2 dim sp cif 1 class Descripteurs A1 RAPh nh A B dim 1 RAPh nh A C dim 1 rugosite D dim 1 CGS CGSERB B dim 2 CGSnh B C dim 2 CGS Gamm D dim 2 nettet dec BF B dim 3 Sonie Zwicker C dim 3 dev DOM io RAPh nh A CGS C Figure 15 M ta analyse du timbre tableau r capitulatif Problematique A partir de ces r sultats le travail consiste en une m ta analyse du timbre d un sous ensemble de sons environnementaux repr sent par l union des corpus de chacune des 3 07 09 25 137 Projet Sample Orchestrator rapport final tudes de r f rence L hypoth se de d part est celle d une organisation a deux niveaux cf Figure 16 pour illustration un niveau cat goriel discret repr sent par des grandes classes d v nements sonores correspondant chacune un type de source et une ca
17. n ration l objectif est ici de constituer de nouveaux instruments de musique combinant sons pr enregistr s caracteristiques pre calculees de ces sons et traitements temps reel modules par le jeu et par ces caracteristiques outil d aide a l orchestration trouvant sur la base de la mod lisation de connaissances musicales g n ralement empiriques de la part de compositeurs les meilleures combinaisons de sons en vue de l obtention de l effet musical recherch fusion s paration r orchestration a partir de sons existants etc Le projet est rendu possible travers la collaboration de deux partenaires llrcam coordinateur centre de recherche la pointe des travaux au niveau international en indexation et traitement du signal audio et outils de composition avanc s mais aussi lieu d accueil et de collaboration avec de nombreux compositeurs du monde entier et de d veloppement et de diffusion de logiciels musicaux de pointe dans le cadre du Forum Ircam 1500 utilisateurs essentiellement musiciens professionnels dans le monde La soci t Univers Sons diteur de logiciels et bases de donn es orient es sons et instruments qui est le leader et pionnier dans le domaine des instruments virtuels a base de dechantillonnage avanc La soci t a con u le moteur UVI Engine 3 07 09 4 137 Projet Sample Orchestrator rapport final technologie licenci e par les plus grandes soci t s sp cialis es dans
18. notamment l impossibilit d activer les options fast math et SSE ensemble nous avons achet le compilateur C d Intel pour les compilations sous Windows 1 4 1 3 Transposition en domaine spectral L implementation de la transposition en domaine fr quentiel a t une t che beaucoup plus lourde que prevu Une premiere implementation qui a ete basee sur les propositions de Dolson et Laroche Laroche Dolson 99 a t finalis e en M10 Cette implementation n a pas 3 07 09 45 137 Projet Sample Orchestrator rapport final encore donn une qualit de transformation suffisante A l ch ance M18 et en int grant les modes de transformation d di s la pr servation de la forme d onde et des transitoires nous avons pu obtenir une qualit tr s proche de l algorithme traditionnel Malheureusement comme nous avons expliqu dans le rapport pr c dant le nouvel algorithme est moins robuste par rapport la distance des trames de synth se qui ne doit pas d passer une sixi me de la taille de la fen tre contre une troisi me de la taille de la fen tre pour l algorithme traditionnel Ce probl me est d au fait que le d placement des pics change le rangement entre les bins dans les trames voisines de sorte que la base du calcul des phases modifi es qui est utilis e dans le vocodeur de phase est alt r Nous avons alors cherch renforcer la coherence de l algorithme en estimant les param tres sinusoidaux po
19. on unique et ind pendante une caract ristique particuli re de la solution On parle alors de g nes s exprimant dans l espace des d cisions pour le compositeur c est la partition et l volution de la population se fait au moyen d op rateurs g n tiques qui agissent sur un ou plusieurs g nes d une configuration existante pour en engendrer une nouvelle dont certaines caract ristiques seront communes avec la ou les configuration s parente s Les configurations sont repr sent es par un vecteur de couples variable valeur o chaque variable est associ e un instrument de l orchestre et dont les valeurs sont l ensemble des sons possibles pour cet instrument Cet ensemble d pend la fois du probl me courant et de la connaissance instrumentale globale du syst me Cette repr sentation assure qu en l absence de contraintes autres que celles li es l effectif orchestral toute solution instanciee al atoirement est jouable par l orchestre Les op rateurs g n tiques employes sont le croisement uniforme uniform crossover et la mutation par modification al atoire d un seul g ne En pr sence de contraintes la probabilit de mutation est inversement proportionnelle la difficult du probl me Impl mentation code Matlab Date de r alisation mars 2008 1 6 5 2 D SP4 3 3 Module recherche locale Responsable Ircam RepMus Fonctionnalit s r alis es En plus des contraintes li es l
20. pendante du signal Deux transformations des modulations ont t s lectionn es pour une tude pr cise La premi re est li e au changement de la fr quence de modulation de fa on ind pendante de la dur e du son Dans cette direction nous esp rons pouvoir tablir une m thode qui servira comme moyen pour la modification de la fr quence des modulations pour les segments s lectionn s sans avoir un impact sur la dur e de ces segments La deuxi me est li e l amplitude de la modulation qui servira pouvoir augmenter r duire ou annul les modulations Ces deux m thodes sont d abord utilis es pour le cas du vibrato qui nous semble plus important et plus difficile Le premier pas pour les deux modifications du vibrato est la s paration du geste de base de la fr quence fondamentale m lodie des changements ornementaux modulations Puisque le vibrato est consid r comme un effet p riodique nous supposons que cet effet peut tre caract ris par une fr quence fondamentale des changements de la fr quence fondamentale du signal Nous appelons cette fr quence fondamentale du changement de la fr quence fondamentale le F0 Il est connu que la valeur de FO est normalement situ e autour de 6Hz En raison du fait que cette modulation est quasi p riodique nous attendons un certain nombre des partiels en relation frequentielle peu pr s harmonique avec FO Pour accomplir la s paration entre m lodie et modulation nous a
21. que Juce o SDIF Sound Descriptor Interchange Format o MIDI standard files o Formats XML d analyses sonores et formats texte Classe d acc s pour la cr ation et gestion d un conteneur multipiste o Cr ation des pistes o Param trage et arrangement de pistes o Gestion des acc s multiples et concurrents aux donn es Classe d acc s pour l interaction avec une piste d un containeur o Gestion de connexions persistantes a une piste sp cifi e par index nom ou type o Ensemble de m thodes d acc s aux donn es suivant diff rents paradigmes o Gestion des acc s multiples et concurrents aux donn es Rename Load 2a Ve J Params Rename MIDI Learn import audio import sdif import midi number of frames 67 sample rate O ircam NS Centre juxtaposed LS Pompidou olime Figure 63 Prototype d interface int grant la premi re version de la biblioth que MuBu dans un plugin AudioUnit La biblioth que est enti rement bas e sur des biblioth ques multi plateformes de d veloppement C STL Boost MatMTL Easdif et Juce envisageant l utilisation sur Mac OS X Windows et Linux Elle a t test e sous Mac OS X pendant l laboration et d monstration des applications du SP3 ainsi que sous Mac OS X et Windows dans d autres prototypes d applications qui n ont pas t diffus s http www rawmaterialsoftware com juce 3 07 09 100 137 Projet Sample Orchestrator rap
22. 07 09 89 137 Projet Sample Orchestrator rapport final 2 1 7 3 Librarie DistLib Algorithmes de recherche efficaces dans des grandes collections de donn es multidimensionnelles La librairie DistLib integre les algorithmes de recherche efficaces dans des grandes collections de donn es multidimensionnelles par arbre kD Tree Elle est crite en C portable et disponible pour Mac universal binary et Windows Les mesures des performances de l algorithme de recherche dans des donn es multidimensionnelles par arbre binaire KD Tree sont pr sent es comme le temps de CPU en millisecondes que le processus consomme pour la recherche de r vecteurs de dimension d tir es au hasard dans des donn es de taille n c est a dire une matrice n d de n lignes de vecteurs elements a dimension d egalement tirees au hasard pour chaque nouvelle valeur de n Les diagrammes de mesures en haut montrent en abscisse le temps logarithmique pour la recherche de r 10 points par l algorithme kD Tree en secondes pour diff rents tailles n Le temps lin aire de construction de l arbre de recherche est affich en bas gauche La figure en bas droite montre l influence exponentielle de la dimensionnalit d Par contre le temps de recherche pour un point le plus long pour n 10 et d 10 est seulement de 2 2 ms sur un processeur 2 53 GHz Intel Core 2 Ces mesures ont t prises dans Max MSP en retirant le temps mesure sans que l algorithme de recherche s
23. 13 25 6 GMM Y Diag cov 77 67 4 97 32 2 76 56 6 20 35 5 GMM Spher cov 79 31 0 00 19 9 76 92 0 00 12 9 GMM Y Spher cov 76 24 2 47 35 8 74 55 5 27 39 9 ew ream reion ere avira enesree aa o 3 07 09 17 137 Projet Sample Orchestrator rapport final Onomat 5 classes Classif LDA Options Max ACC best par Max FMSR best par singu ACC FMSR larities Gauss 68 34 3 89 26 62 02 6 79 19 Gauss Y 68 45 3 40 29 64 69 6 30 26 GMM Full cov 71 43 1 19 37 2 65 05 3 43 37 2 GMM Y Full cov 69 01 2 72 37 1 65 29 7 96 40 4 GMM Diag cov 68 80 3 39 22 9 64 55 10 12 27 8 GMM Y Diag cov 68 47 2 53 35 3 65 20 8 82 36 7 GMM Spher cov 65 79 0 00 39 5 62 14 0 00 39 5 Spher cov 69 82 3 32 40 9 65 54 6 25 40 9 Figure 6 Ensemble de r sultats des exp riences d apprentissage maximum average accuracy ACC en and F measure F variance Les Figure 43 Figure 44 et Figure 45 pr sent es p 81 dans la partie relative aux r sultats scientifiques donnent les matrices de confusion obtenues pour les param tres optimaux Les mod les de SVM finalement livr s ont t entra n s en utilisant la base de donn es compl te sans partitionnement entre entra nement et test avec les param tres optimaux obtenus pendant les test Les pr cisions obtenues de cette mani re ont t proches de 90 pour les 3 taxonomies Il doit cep
24. 1PCN _PerceptualSpectralSpread 1 6 1PSP PerceptualSpectralSkewness 1 6 1PSK _PerceptualSpectralKurtosis 1 6 PKU PerceptualSpectralSlope 1 6 1PSL PerceptualSpectralVariation 3 07 09 79 137 Projet Sample Orchestrator rapport final Loudness RelativeSpecificLoudness Sharpness Spread SpectralFlatness SpectralCrest MFCC DMFCC DDMFCC Figure 41 Descripteurs calcul s avec leur signature SDIF Usage of the ircamdescriptor tool Mise part la bibioth que plusieurs executables ont t r alis s pour le test des fonctions Dans le cas de IrcamDescriptor ligne de commande la syntaxe d utilisation de l ex cutable est la suivante ircamd scriptor SoOundiilecair CONLCLJ ERE V La sortie est un fichier SDIF appel soundfile aif descr sdif contenant les descripteurs L option v s lectionne le mode verbose dans lequel les noms et valeurs des descripteurs sont affich s Tous les parametres d analyse et de s lection individuelle des descripteurs sont definis dans un fichier texte de configuration et pass s en deuxi me argument Les r glages de config txt sont divises en trois groupes le premier de header Parameters concerne les param tres g n raux d analyse comme les longueurs de fen tres de pas d incr mentation d analyse de param tres d extraction fO etc Les r glages de header StandardDescriptors concernent les descripteurs instantan s d crits en Figure
25. 2 sous la forme d un corpus classifi et valid perceptivement afin de tester les m thodes de classification automatique Les r sultats issus des exp riences r alis s permettent d aboutir aux conclusions suivantes d une part le mod le de taxonomie causale issue des travaux de Gaver93 et Houix07b semble bien adapt la base de donn es de travail ce qui renforce sa validit et sa repr sentativit d autre part l objectif fix peut tre atteint g n rer un corpus de sons classifi et valid d un point de vue perceptif afin d alimenter les proc dures de classification automatique d velopp e dans SP2 2 Pour cela une s lection des sons en fonction de la r partition des r ponses est effectu e au 1 niveau de description et aboutit dans un premier temps un corpus de 186 sons 30 Liquide 83 Solide 38 Gaz 7 Electrique 13 Electronique 15 Machine Dans un second temps pour des raisons de nombre d l ments n cessaires a la validation des classificateurs automatiques un r quilibrage des classes est effectu et aboutit in fine a une base de travail livr e a SP2 2 de 245 sons 30 Liquide 83 Solide 38 Gaz 35 Electrique 31 Electronique 28 Machine 2 1 6 SP2 6 Caract risation s mantique des sons environnementaux 2 1 6 1 D SP2 6 1 Description s mantique des sons Responsable Ircam PDS Les r sultats de cette t che sont d crits au 1 3 8 1 2 1 7 SP2 7
26. 2009 Tardieu07a Tardieu D Carpentier G Rodet X Computer Aided Orchestration Based on Probabilistic Instruments Models And Genetic Exploration ICMC 07 Copenhagen Denmark 2007 Tardieu07b Tardieu D Rodet X An Instrument Timbre Model For Computer Aided Orchestration WASPAA New Paltz NY 2007 Tardieu07c D Tardieu G Peeters X Rodet An Instrument Timbre Model For Computer Aided Orchestration IEEE Workshop on Applications of Signal Processing to Audio and Acoustics WASPAA New Paltz New York 2007 Tardieu08b Tardieu D Carpentier G Peeters G Instrument sound description and modelisation in the context of computer aided orchestration Acoustics 08 2008 3 1 4 S minaires et workshops scientifiques 3 1 4 1 Orchestration G Carpentier CDCSolver Un algorithme de resolution de contraintes dans un systeme d orchestration assistee par ordinateur Seminaire du groupe de travail Musique Contraintes et Interaction AFIM Vannes France janvier 2008 Pr sentation au colloque La complexit dans les arts et la science 12 juin 2009 Ircam Centre Pompidou Pr sentations S minaire Recherche et Creation Ircam Pr sentation S minaire Arts Institut des Sciences Complexes Paris lle de France 2009 3 1 4 2 Synthese par corpus Workshop MnM et CataRT aux Journ es d Informatique Musicale JIM au GMEA a Albi 27 mars 2008 S minaire R amp D sur la synth se par corpus temps reel ave
27. 4 9 Mod le gaussien Mod lisation gaussienne multivari e unimodale Mod le de melange de gaussiennes GMM Se base sur l algorithme d apprentissage E M Expectation Maximization initialis par une segmentation par k Means Arbre binaire de r duction entropique BERT K plus proches voisins KNN Support Vector Machines SVM Le module de classification comprend un environnement complet de validation crois e et appelle un module d valuation calculant les mesures de pr cision de classification classification accuracy recall precision et F Measure ainsi que la matrice de confusion Premi res exp riences d valuation Dans les phases initiales du projet deux cycles d exp riences ont t men es D abord de mani re pr liminaire pour valider les principes de conception de base puis un ensemble d exp riences plus d taill es et formalis es bas es sur une validation crois e qui ont fourni une vue d ensemble plus r aliste de la performance Nous nous concentrerons ici sur les exp riences finales d valuation tout en rappelant quelques conclusions importantes issues de ces exp riences initiales la confirmation de faisabilit d une classification par mat riaux autour de 6 classes et la sup riorit des m thodes gaussienne et GMM sur kNN et BERT qui ont t depuis cart es SVM n tait pas encore impl ment 3 07 09 15 137 Projet Sample Orchestrator rapport final la sup
28. 41 Ceux de header EnergyDescriptors concernent l enveloppe d nergie 1EEV qui est habituellement calcul e avec une r solution temporelle plus lev e que les autres descripteurs instantan s et les mod lisations temporelles associ es cf Figure 3 La plupart des param tres du fichier se comprennent d eux m mes Les d tails des autres param tres sont donn s dans le rapport technique WP2 M22 2 1 2 SP2 2 Module d indexation automatique 2 1 2 1 Classification automatique Ce module de classification automatique prend en entr e un fichier son et produit en sortie un nom de classe et un ensemble de probabilit s pour chaque classe L apprentissage a ete entra n sur les 3 taxonomies issues des exp riences psychoacoustiques cf 2 1 5 2 qui sont rappelees ci apres Pr cision de choix 14 29 20 00 20 00 al atoire 124 Nom des classes et Electrical 66 1 Electrical 66 1 Buzzing nombre de fichiers Fire 64 2 Gas 135 2 Crackling Gas 135 3 Liquid 269 3 Rushes Liquid 269 4 Solid metal 192 4 Scratching Solid metal 192 5 Solid paper 67 5 Squeaking Solid paper 67 Solid wood 103 Figure 42 Taxonomies finales 3 07 09 80 137 Projet Sample Orchestrator rapport final Les matrices de confusion obtenues pour les parametres optimaux issus du processus de test d apprentissage sont donn es ci apr s en Figure 43 Figure 44 et Figure 45 Les valeurs dans les
29. 5 1 D finition d un corpus repr sentatif et s lection des classes pertinentes Responsable Ircam PDS L objectif de cette t che tait de produire a partir d un ensemble de sons fournis par Univers Sons a une corpus de sons de r f rence pour tous les travaux de description et d analyse automatique Cette t che a permis d aboutir un corpus structur et utile pour la suite du travail SOR database structured compos de 402 sons d ploy s sur 3 niveaux de classification voir Figure 54 Excitation m canique Liquide Solide Gaz 5 sous classes Excitation articficielle Electrique 10 sous classes 4 sous classes Electronique Machine 3 07 09 86 137 Projet Sample Orchestrator rapport final Re e cause cause Cause a c ause sie i e al se cause cause cause Cause Causg cause cause cause cause LOUS cause cause Sx i a j y os Eve co Am ne cause COUSE ce cause cause cause Cause eS oe Ga Excitation artificielle E gt j LE cause cause es Etctronique machine Figure 54 Corpus sonore repr sentatif Univers Sons Taxonomie d usage vs structure interne du niveau Evenementiel 2 1 5 2 D SP2 5 2 Organisation des classes pertinentes Responsable Ircam PDS L objectif global de cette t che tait de fournir des l ments d int gration pour le SP2
30. 75302958 98 406662 Hybrif sitar wav 0 753024757 2 7114923 189 259766 introducing wav 0 724790871 3 31376648 90 2763824 hendrix bend wav 0 715088665 1 92731893 62 6482277 selma wav 0 667397261 2 73433924 65 8181076 selma wav 0 667397261 2 73433924 65 8181076 bitches sonar wav 0 654310644 1 92810988 99 9457474 1 BITCHES SO L wav 0 645553768 2 39912081 100 122108 OO7FLUTE L wav 0 598936498 3 19267416 39 4867821 weather report quiet mood loop wav 0 556965768 2 33578014 81 6876144 weather report quiet mood loop wav 0 556965768 2 33578014 81 6876144 fadeviolon wav 0 523681223 1 93402934 120 124733 star trek end voice wav 0 516084313 1 56578267 117 540833 foxy intro wav 0 431113213 2 87057734 121 916382 Class Str Machine Violin C4 aif 0 405372918 4 72132254 86 6528015 vibra wav 0 365204901 2 97888112 49 6774902 METALLIC SWE wav 0 364180475 1 80710447 174 087509 metallic sweep sound wav 0 364180475 1 80710447 174 087509 Class Str Machine Violin E4 aif 0 358532935 4 98513126 30 4306927 Grace aux descripteurs par exemple brillance intensite percussivite il est egalement possible de trier les sons de mani re qualitative selon une dimension privil gi e m me sans conna tre la signification pr cise des valeurs calcul es Les tests menes nous ont permis de constater que ce genre de criteres permettait d acc l rer la recherche de certaines cat gories de sons notamment lorsque les informations textuelles ne sont pas disponibles Les cymb
31. Burred09 J J Burred A R bel T Sikora Polyphonic Musical Instrument Recognition Based on a Dynamic Model of the Spectral Envelope IEEE International Conference on Acoustics Speech and Signal Processing ICASSP Taipei Taiwan 2009 Carpentier06a Carpentier G Tardieu D Assayag G Rodet X Saint James E IMITATIVE AND GENERATIVE ORCHESTRATIONS USING PRE ANALYSED SOUNDS DATABASES SMC 06 Marseille 2006 pp 115 122 Einbond09 Einbond Aaron Schwarz Diemo Bresson Jean Corpus Based Transcription as an Approach to the Compositional Control of Timbre International Computer Music Conference ICMC Montreal QC 2009 Jacquemin07 Jacquemin Christian Ajaj Rami Cahen Roland Ollivier Yoann Schwarz Diemo Plumage Design d une interface 3D pour le parcours d chantillons sonores granularis s Conf rence Francophone sur l Interaction Homme Machine IHM Paris Novembre 2007 3 07 09 127 137 Projet Sample Orchestrator rapport final Minard08a Minard A Susini P Misdariis N Lemaitre G McAdams S Parizet E Environmental sound description comparison and generalization of 4 timbre studies Computer Human Interface conference Sonic Interaction Design workshop Florence Italie 2008 Minard08b Minard A Susini P Misdariis N Lemaitre G McAdams S Parizet E Two level description of environmental sounds comparison and generalization of 4 timbre studies Acoustics 0
32. Figure 47 Fichiers de configuration et de mod le pour la classification morphologique de profils dynamiques 2 1 2 3 Recherche par similarite L objectif de cette t che tait d laborer une mesure de similarit entre sons partir de leurs r sultats de classification Deux fichiers de mod les ont t fournis causal r duit et onomatop es contenant les donn es n cessaires la transformation par ALD pour r duire la dimensionnalit des descripteurs 2D L utilisation pour produire les indices d un fichier est le m me que pour la classification extraction des descripteurs avec IrcamDescriptor avec le m me fichier de configuration et utilisation de IrcamClassifier avec le fichier de mod le appropri cf noms en Figure 48 taxonomy IrcamDescriptor config file IrcamClassifier model file Causal small config similarity txt causal small 3 10 2008 similarity svm Onomat config similarity txt onomat 3 10 2008 similarity svm Figure 48 Fichiers de configuration et de mod le pour la similarit dans un espace de dimensionnalit r duite par ALD 2 1 3 SP2 3 Module d extraction de descripteurs audio pour les boucles Responsable Ircam AnaSyn L objectif de cette t che tait de caract riser les chantillons de boucles selon deux aspects principaux le rythme tempo structure m trique et la tonalit Les biblioth ques C pr existantes IrcamBeat et IrcamKeyMode ont t adapt es ce
33. J 0 Pa t f X T PA a A A A A A Vo c q Wp 20 75 C c 6 Wo 0 5 c Wa 0 25 x D 5 W 0 7 7 7 4 Context Size 16 16 44 137 Projet Sample Orchestrator rapport final 1 4 Analyse et traitement audio 1 4 1 SP3 1 Moteur d analyse et de transformations sonores temps r el Responsable Ircam AnaSyn L objectif des travaux pr sent s dans cette section est le d veloppement d une biblioth que d analyse et traitement du son pour toutes les plateformes cibl es plus pr cis ment pour Windows et MacOSX En partant de la biblioth que SuperVP de IRCAM qui permet les transformations et analyses des sons nous avions propos plusieurs sujets visant am liorer ou tendre les fonctions existantes Dans la suite nous discutons les diff rents points qui ont t tudi s et commentons les r sultats obtenus 1 4 1 2 Module de base La livraison des biblioth ques existantes avec les fonctionnalit s de d part a t souhait e par le partenaire Univers Sons afin de pouvoir faire des tests initiaux des fonctionnalit s existantes Ce en vue de permettre de localiser rapidement les probl mes fondamentaux du design de la biblioth que et aussi faciliter les tests des nouvelles structures qui sont tablir pour l application finale La cr ation de la biblioth que pour le syst me MacOSX a t effectu e sans probl me et nous avons pu d livrer la biblioth que dynamique comme
34. Knowledge idbmake 222 dbgetfields 226 message dbgetfields 226 Desktop dbfields txt FDesktop Orchidee DBhmni orchides Home tior ordinario dbgetqueryfields 227 message dbgetqueryfields 227 Desktop dbquerytields bxt dbupdate 224 id 6 wtes F dbgettieldvatuetst 228 message mstrument l dbgetlieldvatueist 228 message note Desktop indices txt dbgetfieldvatuekst 228 Desktopr inst txt instrument Desktop indices txt dbsave 225 Desktop database idbquery 230 Desktop indices txt stringMute SP S instrument Va Vn string 1 dbload 225 Desxtop database mat idbquery 231 Desktop indices txt family Trombones brassMute C HIN note C1 C2 C3 C4 dbreset 978 idbgetfieldvatwes 232 Desktop uris txt uri Desktop indices txt dbanalyzesamples 226 dbgetfieldvatues 231 Desktop partials txt parialsMeanAmpltude Desktop indices txt Desktop Orchidee DB sounds gregoire Desktop Orchidee DBixmwy dbupdate 227 Desktop Orchidee DB xnw Orchestra Session bomen te setorchestra 460 Va Vn Va Vc setorchestra 460 Fl TTba BTba Vn CIBb BCIBb CIEb TpC Vc ASax Filters Target Search setcmeria 645 partiaisMeanAmplitude spectralCentrot Figure 70 Interface cliente de test en Max MSP 2 4 1 Serveur d orchestration Orchid e Connaissance instrumentale La base de donn es instrumentales utilis e dans le prototype de th se comptait 11 instruments pour 4763 chantillons Elle a t tendue 22 instrume
35. L orchestration est consid r e ici comme lart de manipuler le timbre d un orchestre par l assemblage des timbres des diff rents instruments Nous avons propos la formulation suivante du probl me de l orchestration assist e par ordinateur trouver les combinaisons de sons instrumentaux dont le timbre se rapproche le plus possible d un timbre cible fournit par le compositeur Cette cible est sp cifi e sous forme de son enregistre Les connaissances du systeme sur le timbre des instruments doivent tre extraites de bases d chantillons Cette formulation pose un ensemble de questions li es la description et a la modelisation des sons musicaux a la perception de ces sons et au contexte particulier quest l orchestre La discussion de ces questions nous a conduit a consid rer l orchestration assist e par ordinateur comme un probl me d optimisation multicrit res probabiliste o les crit res sont les diff rents descripteurs du son La premi re tape est donc de d finir un ensemble de descripteurs du signal sonore qui permette de d crire le timbre des instruments de l orchestre Ces descripteurs doivent tre li s la perception du timbre Cet ensemble permet de d crire le contenu sinuso dal du son la forme du r siduel non sinusoidal l enveloppe spectrale la modulation et la forme temporelle de l nergie Pour chaque descripteur nous avons propos une formule d addition qui permet d estimer le descripteur d une combinaison pa
36. client serveur a t retenue Cette organisation permet d encapsuler l int rieur d un serveur autonome les t ches d analyse et de calcul ainsi que l ensemble de la connaissance instrumentale En revanche la conception d interfaces pour la construction et l analyse de cibles ainsi que la navigation dans les espaces de solutions sont laiss es la discr tion des environnements clients Est d crite sur la Figure 71 l architecture du serveur Celui ci est compos de deux objets principaux A gauche la connaissance instrumentale objet Knowledge provient d une banque d chantillons sonores associ e une banque de m tadonn es sous forme de fichiers XML Une proc dure de mise jour permet de convertir l ensemble de ces fichiers en un objet interne unique contenant unedescription symbolique et timbrale des sons Cette description interne d pend uniquement du type d information contenue dans les fichiers XML de m tadonn es L objet Knowledge comprend en outre des m thodes de requ te permettant d en interroger rapidement le contenu 3 07 09 116 137 Projet Sample Orchestrator rapport final ainsi que des m thodes permettant de pr dire les descripteurs d une combinaison d chantillons et le les comparer aux descripteurs de la cible Sound Info Attributes Features Queries FeaturePredictors PerceptualDissimilarities XML TXT File Figure 71 Architecture du serveur d orchestration A droite le
37. de tests informels ont t effectu s pour d montrer la possibilit d indexer une base de donn es pour la recherche par similarit l aide de l outil de classification IrcamClassifier Celui ci permet de produire les mesures de similarit selon m thodes diff rentes reposant toutes deux sur la connaissance des classes statistiques consid r es causale causale r duite onomatop es calcul des similarit s partir des probabilit s des classes obtenues apr s classification L inconv nient est que la d finition de similarite d pend d un mod le de classification particulier similarite sur un ensemble r duit de descripteurs les coordonn es de similarit sont obtenues par une transformation de l espace des descripteurs vers un espace de dimensionnalite r duite par ALD par exemple en deux dimensions Pour les taxonomies causal r duit et onomat cela donne les plans de similarit pr sent s en Figure 10 et Figure 11 Cela est notamment utilis dans l application CataRT 3 07 09 20 137 Projet Sample Orchestrator rapport final Electrical Gas Liquid Solid Metal Solid Paper DIM 2 9 06 3 04 9 02 9 5 98 56 96 56 94 56 92 56 9 DIM 1 Figure 10 Plan de similarit par ALD pour la base causale r duite Le carr plein vers le centre est un exemple de requ te et les points avec des tours carr s correspondent aux 20 plus proches voisins distance euclidienne 16 44 Buzzing 16
38. des sons environnementaux En s appuyant donc essentiellement sur les travaux originaux de Gaver Gaver93 et ceux plus r cents accomplis dans le cadre du projet europ en CLOSED Closed par Houix amp al Houix07a Houix07b cette phase a eu deux actions e conform ment aux conclusions de Houix07b galement abord es dans SP2 6 distinguer les diff rents niveaux de similarit des sons selon le type d information contenu dans le signal sonore et per u par l auditeur principalement Acoustique Ev nementiel Causal ou S mantique en effectuant certaines associations notamment Evenement Materiau et Acoustique S quence on aboutit donc un red coupage de la base comme suit 36 crit res evenementiels 7 crit res de acoustiques et 4 crit res s mantiques voir Figure 22 Clicks soft clicks divers objets switches belt metronome clap clock Springs divers ressorts Hit punches kick pauke Fizzing soda cans Humming moteurs snare roll 3 07 09 32 137 Projet Sample Orchestrator rapport final Squeaks Long gasp balloons door firework Short bird squeals Tinkles gt s quentiels coins chimes Vibrating gt s quentiels motors pumps Waters liquids Large riffs seas lakes Small bottle drops soft streams Whir air conditionners freezer microwave sea flood Woosh whip wipes Metal divers impacts d objet de d
39. descripteurs Elle permet de proc der une analyse en fondamentale multiple afin de filtrer la base pour hauteurs Ce filtrage s ajoute a un filtrage par instruments induit par la sp cification d un orchestre dans une interface ad hoc Une derni re interface permet d explorer l ensemble des solutions retourn es par l algorithme e Ce prototype utilise un algorithme d exploration exhaustif uni objectif La distance optimiser est calcul e par agr gation hi rarchique des distances selon chaque descripteur Impl mentation e Code Matlab e Interfaces graphiques Matlab R sultats Performances e Le prototype permet de trouver des orchestrations pour de petits orchestres Des exp rimentations avec un compositeur ont permis d imiter avec succes le son d un instrument donn avec un petit groupe d instruments e Le prototype permet galement d valuer le type et le degr d interaction avec l utilisateur 1 6 3 SP4 3 Mod lisation de la recherche combinatoire Objectifs etude des m thodes de recherche et d optimisation combinatoire ada ptees au probl me de l orchestration Responsable Ircam RepMus 1 6 3 2 D SP4 3 1 module sac a dos Responsable Ircam RepMus Objet recherche de mixtures instrumentales solutions de l orchestration par la technique de sac a dos multi objectifs Description fonctionnelle e La connaissance instrumentale est r duite a une base de donn es instrumentales r duite compr
40. distance entre une combinaison et la cible ont ete propos es Le but de ces m thodes est de donner une estimation de la similarit per ue entre la cible et la combinaison elles sont donc bas es sur des tudes de perception des sons et sur des principes d acoustique Ces m thodes d velopp es en Matlab sont en partie utilis es dans le prototype 1 SP4 2 1 6 2 SP4 2 Prototype experimental d orchestration 1 Objectifs donner aux experts musicaux un stade pr coce du projet un prototype de moteur d orchestration pour recueillir leur feed back Partenaire quipe responsable analyse synth se repr sentations musicales 3 07 09 65 137 Projet Sample Orchestrator rapport final 1 6 2 2 D SP4 2 1 prototype 1 d aide a l orchestration Responsable Ircam AnaSyn et Ircam RepMus Objet donner aux experts musicaux a un stade pr coce du projet un prototype de moteur d orchestration pour recueillir leur feedback Description fonctionnelle e La connaissance instrumentale est r duite a une base de donn es instrumentales r duite comprenant environ 5000 chantillons La base se limite aux sons harmoniques entretenus et Sans variations temporelles e La description retenue se limite deux descripteurs spectraux les partiels les plus importants et le centroide spectral e Une interface graphique permet de construire une cible a orchestrer a partir d un son pr enregistr d extraire et d diter ses
41. e IrcamDescriptor La version finale se presente sous forme d une biblioth que C qui a initialement t d velopp e sous la forme d un code Matlab issu d autres projets qui impl mente l ensemble des 54 descripteurs 166 si l on consid re chaque dimension comme un descripteur distinct d crits dans Peeters04 Les principaux travaux r alis s ont ainsi consist en la d finition d un ensemble complet et coh rent de descripteurs une criture complete du code C selon une nouvelle architecture optimis e une impl mentation compl te comme format de sortie du standard SDIF co d velopp par plusieurs laboratoires de recherche dans le monde sp cialis s dans les technologies audio et utilise comme format de fichier pour stocker notamment sous forme binaire tous types d analyses audio index es sur le temps 1 3 2 2 D finition d un ensemble coh rent et complet de descripteurs La liste complete des descripteurs calcul s avec leur type SDIF est donn e la Figure 41 p 80 Ils comprennent des descripteurs instantan s et des descripteurs temporels resultant d un calcul sur un intervalle de temps donne de descripteurs instantan s L impl mentation initiale de ircamdescriptor et de son quivalent C tait con ue au d part pour une t che de classification d chantillons instrumentaux jouant des notes isol es en general ce type de signaux ont un comportement bien maitrise variations lentes e
42. entr e un fichier son et produit en sortie un nom de classe et un ensemble de probabilit s pour chaque classe L effort dans le cadre du projet s est concentr sur les sons environnementaux bruitages La classification est supervis e la taxonomie de classes est pr d finie et la conception du syst me repose sur une phase d apprentissage utilisant une base de sons annotee manuellement Il a ete decide au cours de l ex cution du projet de ne pas rendre accessible l apprentissage a l utilisateur final du logiciel de classification ing nieur du son musicien L apprentissage est ainsi effectu enti rement en utilisant l outil Matlab ircamclassifier ne pas confondre avec l outil C de m me nom et sa biblioth que associ e qui ne fait que la classification qui stocke le mod le soit sous la forme d un fichier SDIF sp cifique soit d un fichier texte Ces fichiers sont alors lus par l outil C avec les valeurs de descripteurs du fichier son pour l assignation d un label et le calcul des probabilit s 3 07 09 14 137 Projet Sample Orchestrator rapport final Vue d ensemble du processus d apprentissage Le module d apprentissage en Matlab se base sur le classificateur issu du projet CUIDADO comme d crit dans Peeters03 Les sous modules de l apprentissage sont les suivants 1 Pr traitement Comporte les tapes suivantes 1 Normalisation des descripteurs bas e sur l intervalle Inter quartile nter Quarti
43. es de sons enregistr s et un algorithme de selection d unit s qui choisit les segments de la base de donn es qui conviennent le mieux pour la s quence musicale que l on souhaite synth tiser par concat nation SCHWARZO0 a SCHWARZO c La s lection est fond e sur les caract ristiques de l enregistrement qui sont obtenues par analyse du signal et correspondent par exemple la hauteur l nergie ou au spectre Les m thodes de synth se musicale habituelles sont 3 07 09 38 137 Projet Sample Orchestrator rapport final fond es sur un mod le du signal sonore mais il est tr s difficile d tablir un mod le qui preserverait la totalit des d tails et de la finesse du son En revanche la synth se concat native qui utilise des enregistrements r els preserve ces d tails La mise en uvre en temps r el de cette nouvelle approche de la synth se sonore par le syst me CataRT permet une exploration interactive d une base sonore et une composition granulaire cibl e par des caract ristiques sonores pr cises et permet aux compositeurs et musiciens d atteindre de nouvelles sonorit s et aux designers sonore de rapidement explorer un corpus sonore constitu par un grand nombre d enregistrements Le syst me modulaire CataRT SCHWARZO7b I Schwarz08a de synth se concat native par corpus interactive en temps r el est impl ment dans Max MSP avec les extensions FTM Gabor et MnM CataRT est utilis dans des contextes m
44. et la rugosit et la richesse spectrale pour les sons pseudo instrumentaux se reporter a Minard0O8a pour plus de d tails sur la d finition et la formulation de ces diff rents descripteurs 3 07 09 83 137 Projet Sample Orchestrator rapport final Figure 49 M ta analyse r sultats Exp rience 1 Les donn es de la seconde exp rience ont permis de valider perceptivement un corpus largi d finissant le mod le a 3 classes pr c demment tabli l analyse par moyenne et cart type sur l ensemble des participants du nombre de sons plac s dans chaque classe permet d aboutir a une base de 124 sons 47 Impact 50 Moteur 27 pseudo Instrument et donc 26 sons rebut s cf Figure 50 IMPACT INSTRUM MOTOR Figure 50 M ta analyse r sultats Exp rience 2 2 1 4 2 D SP2 4 2 Descripteurs audio de type morphologique pour les sons environnementaux Responsable Ircam PDS L objectif de cette t che tait de caract riser des description de sons environnementaux en termes de profils morphologiques Les exp riences effectu es sont d crites au 1 3 6 2 Les r sultats concernant les profils m lodiques se sont av r s non concluants En effet la premi re experience classification libre trac na pas permis d obtenir des classes m lodiques stables L une des causes de cette impasse est certainement chercher dans 3 07 09 84 137 Projet Sample Orchestrator rapport final les sons eux m mes
45. granulaire synchrone Parametres de contr le de la synth se valeurs moyennes instantan es et amplitudes de variations al atoires pour chaque param tre Position dans le fichier source Fr quence ou p riode de grains Param tres de dur e de grains avant et apr s la position Transposition ou re chantillonnage de grains Niveau sonore de grains o Param tres de fen trage type et dur es du d but et de la fin Param tres de contr le de la lecture par un ensemble de param tres o Position de d but et de fin de lecture o Vitesse de lecture o Mode de lecture lecture simple ou en boucle Param tres de contr le pour la synth se granulaire synchrone o Variation al atoire de la phase dans les segments non voises o Amplification attenuation dans les segments non vois s o Recouvrement overlap des grains dans les segments non vois s O O O 3 07 09 53 137 Projet Sample Orchestrator rapport final Au niveau le plus bas de l impl mentation le moteur re synthetise des grains avec un schema simple de param trage et de fen trage par sa position de d but dans le fichier source onset time son dur e duration et les dur es d attaque attack et de d clin release TT duration Or release Figure 31 Parametrage de grains de bas niveau Pour pouvoir synchroniser pr cis ment les grains dans d autres modes que la synth se granulaire simple dans l interfac
46. les sons comme montr dans la figure suivante 2 1 7 5 D veloppement de l architecture et des fonctionnalit s de CataRT L am lioration de l architecture de CataRT permettait une meilleure modularit afin d int grer plus simplement des nouvelles fonctionnalit s Le syst me modulaire est distribu en forme de patch Max MSP avec extensions FTM amp Co sous License GPL Notamment le nouveau mod le du syst me graphique de CataRT qui est organis dans 3 couches de coordon es les descripteurs les coordonn es de pr sentation et les coordonn es de sortie permet une d finition plus ais et flexible des diff rents transformations entre les couches qui r alisent par exemple la r duction de dimensionnalit la normalisation la juxtaposition de sous espaces ou l agrandissement zoom D autres extensions de l interface interactive de navigation entre chantillons et de synth se par corpus sont l int gration des classes description recherche et navigation le contr le de la selection par un son cible fichier son MIDI et une documentation tendue tutoriaux mode d emploi 2 1 7 6 Visualisation Le mode tile permet la comparaison de deux descripteurs axes x et y selon des appartenances une ou deux cat gories classes issu de la classification automatique ou groupes de sons d finis par l utilisateur La figure gauche montre la vue d ensemble en mode mosaique tile En appuyant sur la touche T l utilisateur
47. mantique Objet lieu fonction hi rarchie liens transversaux Figure 26 Synth se des diff rents type de description d un son liens transversaux synonymie antonymie hyponymie m ronymie Plus pr cis ment le principe du r seau s mantique Wordnet repose sur la repr sentation d un concept comme d une part un ensemble de synonymes et d antonymes relations lexicales et d autre part un ensemble d hyponymes hyperonymes et de m ronymes holonymes relations s mantiques Un son donn pourra donc avoir plusieurs types de description associ s et en fonction de ceux ci appara tra dans les organisations correspondantes au milieu de voisins directs diff rents d une organisation lautre Une illustration de cette construction et de sa repr sentation sous Treebolic Treebolic Cano04 est donn e avec le mot step dans la Figure 27 3 07 09 37 137 Projet Sample Orchestrator rapport final Figure 27 Representation du r seau s mantique associ step sous Treebolic R f rences bibliographiques associ es Cano04 Cano P Koppenberger M Herrera P Celma O Sound Effect Taxonomy Management in Production Environments proceedings of 25th International AES Conference London UK 2004 http audioclas iua upf edu Closed Closing The Loop of Sound Evaluation and Design projet europ en FP6 NEST PATH No 29085 2006 2009 http closed ircam fr Houix0
48. multinomial logit in MATLAB http Awww sfu ca swoodcoc software software html 2002 1 3 6 2 D SP2 4 2 Descripteurs audio de type morphologique pour les sons environnementaux Responsable Ircam PDS Objectifs Les profils morphologiques ont pour but de d crire de mani re pertinente l volution de certains param tres du son au cours du temps et de proposer une structure d indexation et de classification prenant en compte ces volutions En d autres termes cette tude vise essentiellement trois objectifs i la d finition de classes de profils morphologiques adapt es aux sons environnementaux ii la conception d un formalisme pour la description de ces profils par exemple sous forme symbolique iii impl mentation d un mod le de calcul de ces descripteurs temporels En outre on s int ressera ici plus particuli rement aux profils dynamiques volution de l intensit sonore et aux profils m lodiques Etat de l art La premi re tape du travail a consist int grer les pr c dents travaux effectu s dans le domaine notamment ceux r alis s dans le cadre du projet Ecrins D une part un formalisme de description a t propose Deruty01d partir d une l analyse phenom nologique des sons de l environnement Des crit res ont t identifi s profil dynamique profil m lodique attaque espace texture etc et ont servi de base la construction d une biblioth que de sons prototypes illustra
49. musicale post production son production multim dia et de jeux design sonore composition musicale etc en leur faisant b n ficier de gains de productivit efficacit personnalisation encapsulation de connaissances sp cifiques et de nouveaux potentiels de cr ativit 1 1 2 Objectifs scientifiques et industriels 1 1 2 1 Objectifs scientifiques Le projet int gre des objectifs scientifiques et technologiques relevant de comp tences pluridisciplinaires et d passant l tat de l art actuel formalisation de descriptions de haut niveau pour les sons isol s et en particulier les sons non instrumentaux cognition sonore et musicale psychologie exp rimentale ing nierie des connaissances musicales extraction automatique de diff rentes formes de description de corpus sonores partir des signaux indexation et analyse des signaux audionumeriques apprentissage automatique o classification automatique par apprentissage de cat gories d finies par l utilisateur partir d exemples de sons prototypes o extraction de descripteurs caract ristiques des chantillons en vue de la mise en uvre de mesures de similarit combinant de multiples crit res destin s la r alisation de fonctions de recherche d chantillons par l exemple nouveaux traitements audio par le contenu analyse et traitement du signal audionumerique application de methodes de synthese concatenative a des corpus non vocaux et mise e
50. n cessaire afin d avoir une base de donn es cons quente lors de la sortie du produit et galement d offrir une transition simplifi e pour des utilisateurs de logiciels concurrents Un soin particulier t apport la compatibilit avec les deux plateformes support es Mac Windows ainsi que les passerelle vers les diff rents formats de plugins VST AU 3 07 09 61 137 Projet Sample Orchestrator rapport final MAS RTAS L interaction entre l interface graphique et le moteur audio a t renforc e afin d offrir un syst me flexible de contr le des param tres du moteur audio et de faciliter le d veloppement des interfaces utilisateurs relativement nombreuses 1 5 4 Prototype d interface de recherche Une partie importante du projet Sample Orchestrator consiste a trouver rapidement et efficacement un mat riel sonore pour servir de base a une creation Plusieurs modeles et strategies de recherches ont ainsi ete envisages du plus simple comme la recherche textuelle au plus complique dans le cas de la recherche interactive par contenu Dans le second cas il s agissait bien entendu de d finir des crit res pertinents quant a la perception et permettant de discriminer ais ment les sons La mise en forme de cette recherche et des r sultats t galement au c ur des diff rents tests mis en uvre afin d offrir la meilleure exp rience utilisateur Le premier prototype avait pour but de valider les choix technique
51. par nature environnementaux donc ne poss dant pas de hauteurs bien d finies d o la difficult des participants classer les sons selon des crit res m lodiques Les r sultats concernant les profils dynamiques sont plus tangibles Les donn es de l exp rience 1 sont trait s par une analyse de cluster m thode average qui permet d extraire 6 classes dynamiques pour les sons environnementaux stable train d impulsions d croissant impulsif roulement et croissant voir Figure 51 Roulement Train D croissant Croissant d Impulsions ee ee CSC Figure 51 Descripteurs morphologiques cat gorisation libre r sultats analyse de cluster L exp rience 2 confirme en premier lieu la configuration de classification moyenne obtenue a l tape pr c dente le moyenne des jugements varie entre 6 5 et 8 5 carts type entre 1 et 2 5 Elle permet galement de formaliser pour chacune de ces classes des elements de symbolisme voir Figure 53 bas s sur une analyse des trac s individuels voir Figure 52 3 07 09 85 137 Projet Sample Orchestrator rapport final Figure 52 Descripteurs morphologiques classes moyennes r sultats individuels Train a Stable d impulsions D croissant Impulsif Roulement Croissant Figure 53 Descripteurs morphologiques classes moyennes symboles 2 1 5 SP2 5 Classification des sons environnementaux 2 1 5 1 D SP2
52. peuvent tre optionnellement mis profit par le moteur d orchestration pour contraindre la recherche ou pour varier le type de synth se lui m me de mani re contr ler certains des descripteurs utilis s pour la recherche notamment les partiels significatifs Impl mentation code Common Lisp Date de r alisation Mai 2008 se Initial Chord Nb Harmonics 4 Stretch eo AA jj nq E i Final Spectra Filter Test Sound t t Epal 100 209 300 400 500 600 702 800 999 tin Mb tif Figure 40 Editeur de cibles dans OpenMusic 3 07 09 73 137 Projet Sample Orchestrator rapport final 1 6 8 SP4 6 environnement OM de contr le de l orchestration Note partir de SP4 6 une prolongation a t accord e au projet Nous avons profit de cette prolongation pour d cider d une architecture optimale en vue de l utilisation concrete en production musicale du syst me d orchestration Dans cette perspective le moteur d orchestration Orchid e devient un serveur communicant avec ses clients gr ce au protocole OSC Open Sound Control L application OpenMusic devient ainsi un client d orchestration OM Orchid e D autres clients sont prototyp s partir d autres plates formes logicielles e g Max MSP Objectifs interface g n rale OpenMusic de contr le de l orchestration 1 6 8 1 D SP4 6 1 interface de contr le de l orchestration 10 2008 Objet
53. production multim dia idem l illustration sonore la gestion de bases de donn es audio extra musicales dans diff rents domaines professionnels simulation zoologie etc La banalisation des banques sonores destination des m dias num riques et plus g n ralement leur transfert du support CDROM et CD Audio initial vers des formats semi propri taires a favoris l mergence de produits de lecture de ces banques Le principe de l instrument virtuel s av re tre le plus adapt bien que souffrant encore de nombreuses lacunes la fois dans le mode de gestion mais aussi travers l analyse et l dition de son contenu Dans ce contexte la pointe des technologies de gestion des m dias sonores base d chantillons on retrouve les acteurs marquant de ce secteur Native Instruments Spectrasonics Synful VSL IK Multimedia Mark Of The Unicorn Symbolic Sound Le projet Sample Orchestrator vise le d veloppement d un outil de 3eme g n ration G n ration 1 le CD audio ROM G n ration 2 Les premiers instruments virtuels de gestion de donn es audio comblant le foss constat entre les besoins utilisateurs et la technologie disponible sur le march Le projet Sample Orchestrator se destine a plusieurs types d op rateurs via des outils adaptables et personnalisables selon les pratiques en vigueur au sein de chaque corporation volution du mode de gestion orchestral d passant le cadre classique d
54. raliser la notion d espace de timbre a des mod les hybrides cat goriels continus et d autre part de proposer des outils de pr diction notamment de classification automatique adapt s ces nouvelles repr sentations afin d apporter des r ponses aux n cessit s de description et de taxonomie de ce type de sons Etat de l art Ce travail s appuie en premier lieu sur les travaux de r f rence dans le domaine du timbre musical Grey77 Krumhansl89 Krimphoff94a McAdams95a et plus sp cifiquement sur quatre tudes du timbre de sons du quotidien A habitacles de voiture McAdams98c B unit s de climatisation Susini04b C klaxons LemaitreO 7a et D porti res automobile Parizet06 Ces quatre tudes ont t notamment choisies pour la m thodologie commune qu elles d roulent et qui autorise la comparaison des r sultats la d marche comporte les l ments principaux suivants G n ration du corpus incluant notamment pr classification et galisation en sonie Exp rience de dissimilarit jugement de la dissemblance entre deux sons Analyse multidimensionnelle MDS CLASCAL Winsberg93 ou INDSCAL Caroll70 aboutissant aux axes perceptifs de l espace de timbre Correlation de ces axes avec des descripteurs acoustiques et psychoacoustiques Les donn es propres a chaque etude qui servent de donn es d entr e au travail en question peuvent tre synth tis es dans un tableau g
55. rapport a la m trique ainsi que la structure rythmique a plus long terme comme descripteurs Cadars07 Cadars S Mod lisation temporelle et synth se concatenative de boucles rythmiques Rapport de Stage DEA ATIAM septembre 2007 Schwarz08 Schwarz D Cadars S Schnell N What Next Continuation in Real Time Corpus Based Concatenative Synthesis Proceedings of the International Computer Music Conference ICMC Belfast UK ao t 2008 1 4 5 SP3 5 Transformations morphologiques interactives Responsable Ircam IMTR Apr s la premi re phase de prototypage du projet les travaux dans le cadre des sous projets SP3 1 SP3 5 ont t focalis s sur le d veloppement d un ensemble coh rent de composants logiciels factorisant au maximum les fonctionnalit s requises par les applications vis s En cons quence les diff rentes applications r alis es dans le cadre de ces sous projets s appuient sur les m mes composants logiciels d velopp s dans SP3 ainsi que des composants d velopp s dans SP2 3 07 09 56 137 Projet Sample Orchestrator rapport final 1 4 5 2 Bibliotheque MuBu L outil qui a ete tait initialement planifi pour la repr sentation et modification des descripteurs sonores et de la segmentation uniquement dans le cadre de SP3 5 a t d velopp en tant que conteneur de sons d cris et annot s sous forme d une biblioth que C La biblioth que MuBu a finalement aussi servi pour la r
56. rhythmdescription gt L algorithme Ircambeat est d crit dans PeetersEurasip2007 et repose sur l algorithme donn en Figure 12 audio mono 11 025 Hz Onset detection Tempo detection Instantaneous periodicity Reassigned spectrogram Middle ear attenuation filter FM ACF Combined DFT FM ACF z j Threshold 50d8 Tempo states Tempo Meter Beat subdivisi Low Pass Filter er Deat Subalvision High Pass Filter Diff Viterbi decoding Half VWwave Rectification Beat marking PSOLA based marking Figure 12 Algorithme de calcul de ircambeat La description harmonique est fournie par ircamkeymode qui donne la tonalit moyenne C Db D Eb le mode moyen majeur mineur et un pattern harmonique qui fournit les probabilit s de chaque tonalit mode Les r sultats sont fournis sous forme de fichier XML dont un exemple est donn ci apr s lt xml version 1 0 gt lt harmonicdescription gt lt media gt lt media gt lt description gt lt key gt Eb lt key gt 3 07 09 22 137 Projet Sample Orchestrator rapport final lt mode gt min lt mode gt lt harmonicpattern gt lt harmonicpattern gt lt description gt lt harmonicdescription gt L algorithme utilis pour Ircamkeymode est d crit dans PeetersISMIR2006 et pr sent en Figure 13 Pre processing Tuning Spectrum FFT Mapping to pitch notes Smoothing over time Mapping tahroma Krumhans Temper
57. riorit de GMM sur les mod les gaussiens unimodaux la faisabilit d une classification statistique reposant sur des labels d onomatop es et l importance de l valuation de la complexit du mod le nombre de clusters gaussiens type de la matrice de covariance Les meilleurs pr cisions de classification obtenues en utilisant la methode GMM etaient de 72 38 pour la base de donn es a 6 classes de mat riaux et de 70 74 pour la base de 5 classes d onomatop es Redefinition des taxonomies Les taxonomies de mat riaux et onomatop es cit es plus haut taient d finies comme un sous ensemble de la taxonomie de 46 classes d exemples fournie par Univers sons qui n tait pas adapt e un apprentissage statistique du fait du grand nombre de classes des populations non quilibr es d chantillons prototypes et de crit res ambigus Sur la base des travaux de l quipe PDS cf 1 3 7 p 31 les taxonomies ont t red finies Le d tail des crit res de cette red finition est donn dans le d livrable SP2 M22 Les taxonomies finales sont list es en Figure 5 Tous les chantillons utilis s sont issus des bases de donn es commerciales de bruitages Hollywood Edge Blue Box Soundideas and Soundscan a EN a a r duite Nbre de classes de classes Pr cision de choix 14 20 S E 20 E al atoire Nom des classes Electrical 1 Electrical 1 Buzzing nombre de fichiers Fire 2 Gas 2 Crackling Gas 3
58. serveur d une part sur la connaissance instrumentale dont il dispose d autre part sur l ensemble de solution pour le probl me courant Les messages de sp cification de probl me permettent de sp cifier un orchestre un son cible un ensemble de param tres d analyse ainsi qu un ensemble de filtres permettant de restreindre le domaine de recherche Les messages de calcul d clenchent des processus d analyse ou de recherche combinatoire Enfin les messages d erreur permettent de signaler une faute de syntaxe ou une impossibilit d ex cution Ils font par ailleurs remonter vers l interface client toute erreur interne survenue au sein du serveur afin d en faciliter le d bogage Mise jour du prototype Une partie du protocole de communication introduit la section pr c dente a t impl ment e dans le prototype d orchestration d velopp au cours de la th se Il existe donc d sormais une version serveur de ce prototype enti rement contr lable l aide de messages OSC Il est notamment possible depuis une interface client d interroger le serveur quant aux instruments disponibles dans sa banque de donn es de sp cifier la composition de l orchestre de sp cifier un fichier son timbre cible analyser ainsi qu un certain nombre de param tres d analyse d extraire les descripteurs d un son cible de restreindre l espace de recherche un ensemble de hauteurs donn de lancer l algorithme de recherch
59. simplifi de CataRT servant de d monstrateur Mod lisation de la continuation de boucles rythmiques 1 3 9 6 voir aussi SP3 4 Variation interactive de boucles rythmiques ces recherches ont t effectu s au sein de l application CataRT et ont r sult dans des parties de la librairie DistLib et des nouvelles fonctionnalit s de CataRT 2 1 7 1 D SP2 7 3 Application et modules finaux de navigation et synth se par corpus Responsable Ircam IMTR 2 1 7 2 Application d monstrateur SOREX SampleOrchestrator Sound Explorer La version standalone simplifi e SOREX SOR SoundExplorer sert de d monstrateur et int gre les nouvelles fonctionnalit s dans CataRT d velopp es en libraries et autres modules Ce d monstrateur tourne sous Max MSP ou comme application ind pendante Il met en ceuvre la scalabilite de la recherche et synthese pour des grands corpus par s lection d unit s optimise utilisant un index multidimensionnel kD Tree la lecture des sons directement du disque l optimisation et acc l ration de la visualisation pour la recherche de sons par zoom amp pan et l int gration des descripteurs cat gorielles classes taxonomie et morphologiques dans la representation avec un nouveau mode de visualisation par pavage tile 3 07 09 88 137 Projet Sample Orchestrator rapport final QAO SOR explorer O X Axis On Deser segmentation Range 364 227 gt 1976 98 i Y Axis On 0 Jimport limit
60. symborque Trois heuristiques pour trouver des solutions pertinentes dans lefront de Pareto lorsque ce dernier ne contient pas la solution th orique KA heuristiqueHA est obtenue par classement du front selon la norme de Tchebychef induite Ke heuristiqueHe par minimisation de la norme euclidienne et Ks heuristique Hs par minimisationde la distance symbolique Nous avons presente alors un algorithme evolutionnaire permettant de d couvrir en un temps raisonnable un ensemble de solutions optimales S appuyant sur la prediction des proprietes acoustiques des alliages instrumentaux cette methode propose des solutions d orchestration en fonction de crit res perceptifs et encourage ainsi la d couverte de m langes de timbres auxquels le savoir et l exp rience n auraient pas n cessairement conduit En outre la recherche peut tre a tout moment orient e dans une direction privil gi e 3 07 09 134 137 Projet Sample Orchestrator rapport final art harm B6 p b c Types de mutation dans une population de mixtures instrumentales monophonique contraint monophonique libre __v 1 0 random v 1 0 random _ _Sup riorit 18 40 2 04 Pseudo dominance 84 25 15 75 _ Convergence 83 44 16 56 Diversit 69 12 84 25 nn Sup riont 56 00 000 27 00 00 Pseudo domance 98 40 1 60 89 40 10 60 Convergence 95 20 480 98 00 2 00 Diversi
61. temps de calcul et en espace de stockage 2 3 2 3 Filtres de recherche classique Channels v 2 Type v wavl Les filtres de recherche traditionnels par accumulation de crit res ont t impl ment s avec le souci de rester le plus proche possible des outils et habitudes preexistants en terme de recherche en ce qui concerne l interface afin de familiariser les utilisateurs avec des m taphores et des repr sentations d j connues On trouve ce type de filtres couramment dans le Finder de MaxOSx dans les clients mails tels qu Outlook ou Thunderbird 2 3 2 4 Recherche interactive par tags J bitches H elass aone Jlea Jet er mocas loop machine metallic mood s Selma 227 Lenses ater J sraresrevoner sm J smooth JC so soner soutie JC PCene 21082 Violin weather L affichage sous forme de nuages de mots cl s rendu populaire par son usage sur internet notamment sur les blogs et autres sites communautaires a l avantage de communiquer une vue la fois riche et synth tique des r sultats dans un espace visuel compact De plus cette visualisation fournit une statistique globale de l ensemble des sons disponibles dans la base qu il n est pas possible d avoir lorsque l on affiche des r sultats dans un ordre s quentiel comme c est le cas dans le cas de la liste ou du mur de sons L interface permet d ajouter successivement les mots cl s aux autres crit res de recherche et se rafra chi
62. 0710447 0 364180475 SubHit wav wav subhit G m 156 117599 1 96122956 0 302011222 REVERSE HEND wav wav reverse hend Bm 151 684692 2 72096586 0 289964408 FemaleVoice A4 wav wav femalevoice a4 Dm 144 223648 2 38992286 0 230470389 crackmentPiano wav wav crackmentpiano F M 139 569931 2 03211164 0 200920954 CRACKMENTP R wav wav crackmentp r FHM 139 457809 2 03316784 0 196019679 foxy intro wav wav foxy intro Bm 121 916382 2 87057734 0 431113213 fadeviolon wav wav fadeviolon DM 120 124733 1 93402934 0 523681223 star trek end voice wav wav end star trek voice C M 117 540833 1 56578267 0 516084313 SPOOKYTIBE R wav wav spookytibe r D M 114 453529 212299895 0 181662306 spookyTibetan wav wav spookytibetan D M 113 449944 2 3870244 0 105864026 GUITARE SM L wav wav guitare sm D m 106 027534 2 19550538 0 858341873 acousmatik wav wav acousmatik D m 102 198921 3 42066836 0 154564723 KlangGuitare wav wav klangguitare DM 100 696449 1 59332967 1 BITCHES SO L wav wav bitches so l EM 100 122108 2 39912081 0 645553768 bitches sonar wav Wav bitches sonar EM 99 9457474 1 92810988 0 654310644 high end wav wav high end FM 98 406662 3 75302958 0 756576717 high sound wav wav sound high EM 97 7220612 2 39116812 0 297668636 mysterious wav wav mysterious FM 90 7878036 3 17789364 1 introducing wav wav introducing EM 90 2763824 3 31376648 0 724790871 sanky pythonE4 wav Wav sanky pythone4 EM 90 1443405 4 35199404 0 774283171 Class Str Machine Violin C4 aif aif class s
63. 180 2 314 5 373 1 385 7 235 5 35 7 SK _ 110 2 188 3 318 9 374 6 Figure 19 R gression logistique s lection du mod le le mod le retenu est valid sur la base d apprentissage des 124 83 207 sons pr c demment constitu e selon une m thodologie couramment utilis e 1 R estimation du mod le coefficients sur 70 du corpus 2 Calcul de l erreur sur les 30 restants 3 07 09 27 137 Projet Sample Orchestrator rapport final 3 Op ration effectu e 100 fois avec s lection al atoire Les r sultats donnent globalement 5 d erreurs de pr diction en moyenne cf Figure 20 Minimum recall number Minimum recall percentage 90 5 Maximum recall number Maximum recall percentage x Recall number standard deviation Mean recall number T Mean recall percentage 95 9 Main recall percentage interval 93 8 97 9 Figure 20 R gression logistique validation du mod le Publications dans le cadre du projet Sample Orchestrator Minard08a Minard A Susini P Misdariis N Lemaitre G McAdams S Parizet E Environmental sound description comparison and generalization of 4 timbre studies Computer Human Interface conference Sonic Interaction Design workshop Florence Italy 2008 Minard08b Minard A Susini P Misdariis N Lemaitre G McAdams S Parizet E Two level description of environmental sounds comparison and generalization of 4 timbre studies Acoustics 08
64. 45 Crackling Rushes scratching squeaking 16 46 16 47 16 48 DIM 2 16 49 16 5 16 51 16 52 23 37 23 36 23 39 23 34 23 39 23 92 23 31 DIM 1 Figure 17 Plan de similarit par ALD pour la base causale r duite m me visualisation des r sultats de recherche que pour la figure pr c dente 1 3 4 SP2 3 Module d extraction de descripteurs audio pour les boucles Responsable Ircam Anasyn Les boucles sont d crites selon deux points de vue le contenu rythmique et harmonique Le contenu rythmique est d crit par ircambeat qui fournit le tempo moyen bpm la m trique moyenne either 22 pour les mesures 2 4 et 4 4 23 pour les mesures 3 4 ou 32 pour les 3 07 09 21 137 Projet Sample Orchestrator rapport final mesures 6 8 un indice de p riodicit un indice de percussivite et un pattern rythmique a 18 dimensions d crivant l nergie pr sente aux diff rentes subdivisions et multiples de la pulsation PeetersISMIR2005 L algorithme fournit ses r sultats sous forme de fichier XML dont un exemple est donne ci apres lt xml version 1 0 gt lt rhythmdescription gt lt media gt lt media gt lt description gt lt bpm gt 141 0437920374 lt bpm gt lt meter gt 22 0000000000 lt meter gt lt percussivity gt 2 7931836821 lt percussivity gt lt periodicity gt 0 9905488875 lt periodicity gt lt rhythmpattern gt lt rhythmpattern gt lt description gt lt
65. 7a Houix O Lemaitre G Misdariis N Susini P Franinovic K Hug D Otten J Scott J Visell Y Devallez D Fontana F Papetti S Polotti P Rocchesso D Everyday sound classification Part 1 Sound perception interaction and synthesis Deliberable 4 1 of the CLOSED project 2007 http closed ircam fr uploads media closed deliverable 4 1 public pdf Houix07b Houix O Lemaitre G Misdariis N Susini P Everyday sound classification Part 2 Experimental classification of everyday sounds Deliberable 4 1 of the CLOSED project 2007 http closed ircam fr uploads media closed deliverable 4 1 part2 public pdf Wordnet Miller G A Base de donn es lexicales http wordnet princeton edu Treebolic Bou B Application Web pour Wordnet http jws champo ac toulouse fr 8080 wordnet treebolic 1 3 8 2 D SP2 6 2 Description s mantique des classes Responsable Ircam PDS L objectif de cette tache etait d effectuer un travail exploratoire sur les descripteurs permettant de d crire d un point de vue s mantique les sons type de mat riau mouvement Faute de temps cette partie na pu tre mise en oeuvre dans le cadre du projet elle na donc produit aucune connaissance et a fortiori aucun r sultat significatif dans ce domaine 1 3 9 SP2 7 Recherche navigation et composition interactive fond e sur des bases de sons La synth se concatenative par corpus utilise une base de donn
66. 8 Paris France 2008 Peeters08 G Peeters and E Deruty Automatic morphological description of sounds Proc Acoustics 08 Paris France Juin 2008 Schnell09 Schnell N Robel A Schwarz D Peeters G Borghesi R MuBu amp Friends Assembling Tools for Content Based Real Time Interactive Audio Processing in Max MSP Proceedings of the International Computer Music Conference ICMC Montreal Canada ao t 2009 Schwarz07b Schwarz D Britton S Cahen R Goepfer T Musical Applications of Real Time Corpus Based Concatenative Synthesis Proceedings of the International Computer Music Conference ICMC Copenhagen Denmark ao t 2007 Schwarz08a Schwarz D Cahen R Britton S Principles and Applications of Interactive Corpus Based Concatenative Synthesis Journ es d Informatique Musicale JIM GMEA Albi France mars 2008 SchwarzO8c Schwarz D Cadars S Schnell N What Next Continuation in Real Time Corpus Based Concatenative Synthesis Proceedings of the International Computer Music Conference ICMC Belfast UK ao t 2008 Schwarz09a Schwarz Diemo Schnell Norbert Gulluni Sebastien Scalability in Content Based Navigation of Sound Databases International Computer Music Conference ICMC Montreal Ao t 2009 SchwarzO9b Schwarz Diemo Schnell Norbert Sound Search by Content Based Navigation in Large Databases Sound and Music Computing SMC Porto Juillet
67. ATE 1SIS NAlIIdaion se rites anal de tnt a ns 75 120510 SP4 ADDICAUIONMNAlO esses fect Dee RS ae A nn EC dent 76 1 6 11 Orchestration musicale dynamique ccsseccccneeeecsueeecsaueeessuaeessnenessaueeesaneeessaeneessnenessaes 76 1202122 BIDIHOOQVADING asics ne na RAT scene 17 3 07 09 2 137 2 RESULTATS SCIENTIFIQUES ET TECHNOLOGIQUES cccceeceeceeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeneeees 79 2 1 INDEXATION AUDIO ET NAVIGATION PAR LE CONTENU c sccccesceceececeeceeseeeeeeceseceseuseesesessesensneeees 79 2 1 1 SP2 1 Module d extraction de descripteurs audio pour les samples 79 2 1 2 SP2 2 Module d indexation automatique VV 80 2 1 3 SP2 3 Module d extraction de descripteurs audio pour les boucles 82 2 1 4 SP2 4 Description des SONS environnementaux 83 2 1 5 SP2 5 Classification des sons environnementaux 86 2 1 6 SP2 6 Caract risation s mantique des sons environnementaux 87 2 1 7 SP2 7 Recherche navigation et composition interactive fond e sur des bases de sons 87 22 ANALYSE ET TRAITEMENT AUDIO SSSR en a ne en ns sd 93 2 2 1 SP3 1 Moteur d analyse et de transformations sonores temps r el 93 2 2 2 SP3 2 Moteur de synth se granulaire temps r el 94 2 2 3 SP3 3 Synth se granulaire bas e sur les descripteurs sonores 95 2 2 4 SP3 4 Variation interactive de boucles rythmiques c cscccccseeeccs
68. IMTR L application finale integre les composantes suivantes Le moteur de synthese granulaire ZsaZsa SP3 2 Le module de s lection d unit KdTree SP2 7 Le conteneur de sons d crits et annot s MuBu SP3 5 De plus les exemples de synth se granulaire bas e sur les descripteurs pour Max MSP utilisent le module logiciel ircamdescriptor SP2 1 pour l extraction de descripteurs des fichier son 3 07 09 95 137 Projet Sample Orchestrator rapport final moteur de synth se granulaire ZsaZsa selection d unit s KdTree extraction conteneur de sons segmentation d crits et annot s IRCAM descriptors beat MuBu Figure 58 Ensemble de modules pour la synth se granulaire bas e sur les descripteurs sonores Pour la r alisation de l application dans Max MSP les biblioth ques Zsazsa et KdTree ont ete int gr es dans un module Max MSP sor descr qui acc de aux fichiers audio et descripteurs audio charge dans le module Max MSP sor mubu voir SP3 5 plus bas Deux modes de synthese ont ete realises dans cette application Synthese contr l e par des valeurs cibles de descripteurs Synthese crois e approximant les propri t s d un fichier son par des grains d un autre Musaicing Le premier mode consiste a piloter la synth se granulaire d un son source par les descripteurs sonores prealablement extraits descriptor values granular parameters period 1 head 1 tail 1 random variations att
69. Lib L algorithme proc de en trois phases 1 Initialisation Un echantillon arbitraire de R a V N points est plac l aide d un mod le masse ressort complet afin de commencer avec un placement convenable 2 Interpolation Les points restants sont plac s autour de leur plus proche voisin dans les donn es 3 Iteration Tous les points sont arrang s l aide d un mod le masse ressort r duit qui ne garde que N ob liens vers les plus proches voisins dans l espace d affichage et n liens sont choisis arbitrairement chaque it ration afin de faire suivre la forme globale Le choix de N amp COMME consequence que chaque iteration dans la phase d initialisation est lin aire puisque un system complet prend O n2 samp O N En utilisant notre kD tree 3 07 09 40 137 Projet Sample Orchestrator rapport final nous pouvons r duire la complexit de la phase d interpolation a O NIogN Les iterations finales sont sublin aires avec un nombre constant nn de liens valuer et quelques iterations seulement suffisent pour la convergence Nous avons ajout au mod le masse ressort une force de repulsion qui sert d j l am lioration de la visualisation voir plus bas 1 3 9 4 Avancement de l architecture et des fonctionnalit s de CataRT CataRT est un mod le d une application de navigation dans des espaces sonores et un cadre de test pour des nouveaux paradigmes de visualisation et recherche dans des gra
70. PPM ChordSea i Analyse Target Data Synthesis 3 ili Figure 75 Interface SoundTarget dans OM Orchid e sp cification de cibles abstraites L interface d dition de l objet soundtarget propose des repr sentations symboliques et spectrales de ces diff rents l ments et permet l utilisateur de les modifier manuellement ajouter supprimer changer la hauteur ou l intensit des notes et ou des partiels les valeurs des param tres fonctionnels etc et finalement de synth tiser le son correspondant afin d obtenir un aper u sonore de la cible sp cifi e Cet objet int gre galement des modalit s d instanciation permettant l utilisateur de d finir les diff rents modules de filtrages et de traitement g n ration de donn es spectrales soit partir d une biblioth que de modules pr d finis soit partir de modules programm s ventuellement sous forme de programme visuel dans OM Selected Note Spectr G predefined filter predefined filter predefined filter L E E co C E make spec env make spec env make spec env f SS a LISP list 100 200 300 400 500 600 700 800 900 LE Synthesis Eg SOUNDTARGET object Figure 76 G n ration d un objet SoundTarget partir de donn es symboliques accord filtres dans OpenMusic 3 07 09 124 137 Projet Sample Orchestrator rapport final Une caract ristique originale de cette interface compar e a un d
71. Sur la base de cette nouvelle organisation nous avons pu cr er l interface analyses multiples pour la biblioth que SuperVP qui permet alors les analyses DFT enveloppe spectrale fr quence fondamentale fr quence de coupure vois e non vois e et d tection des marques des d buts de notes sans avoir a dupliquer les DFT 3 07 09 48 137 Projet Sample Orchestrator rapport final Les avantages de la nouvelle organisation interne ont ete d j valoris s dans le cadre d un projet industriel de nouveau avec la societe MakeMusic qui nous a sollicites pour creer une bibliotheque de nettoyage des sons d accompagnements afin de pourvoir r duire les erreurs de l estimation de la fr quence fondamentale dans leur produit de formation pour les instrumentistes Grace a la r organisation effectu e nous avons pu cr er une biblioth que qui effectuait d abord la transform e de Fourier puis ins rait un nouveau plug in pour la suppression des sons d accompagnements et apres effectuait soit une analyse de la fr quence fondamentale soit une resynthese du signal nettoy Suivant les demandes fortes du partenaire Univers Sons qui a consid r que la r duction du temps de calcul serait l un des objectifs prioritaires pour l utilisation du moteur dans leurs produits nous nous sommes concentr s sur la finalisation d un module de synth se a partir de pre analyses qui semblait avoir le plus grandes potentiel pour la reduction du temps de calcul Ce modu
72. TIN moyenne pond r e de segments de pente d enveloppe pendant la phase d attaque C est une approximation lin aire de l enveloppe d attaque e Temporal decrease 1TDE exposant d une approximation exponentielle d croissante de l enveloppe pendant la phase de maintien estim e par une r gression lin aire du logarithme de l une des enveloppes temporelles possibles e Effective duration 1EFD temps pendant lequel l enveloppe est plus sup rieure a un seuil relatif de 40 3 07 09 18 137 Projet Sample Orchestrator rapport final La Figure 7 montre un exemple d approximation des segments AR de l enveloppe et la dur e effective d un son montant descendant dans ce cas bas sur l enveloppe d nergie totale 0 0 2 0 44 0 6 t08 1 1 2 1 4 1 6 18 2 Figure 7 Approximation par morceaux de l enveloppe temporelle pour la description morphologique de profils dynamiques Mod le de classification pour les profils dynamiques Le probl me de classification morphologique est plus simple que les t ches de classification statistique causale onomatop es pr sent es dans la section pr c dente Comme seulement trois crit res sont pr sents et qu ils ont un lien s mantique direct avec les d finitions des classes il ny a pas besoin de transformations a grande chelle de descripteurs de s lection de descripteurs et d estimation de densit s ou de param tres de mod le La classification peut tre directement implant e so
73. Using the R nyi Entropies IEEE Trans on Information Tech 47 4 1391 1410 2001 Lukin Todd 06 Lukin A Todd J Adaptative Time Frequency Resolution for Analysis and Processing of Audio AES Convention paper 6717 2006 Jones Baraniuk 94 Jones D L Baraniuk R G A simple scheme for adapting time frequency representations IEEE Trans on Signal Processing 42 12 pp 3530 3535 1994 Boudard07a Boudard L Adaptation des tailles de fen tre pour les repr sentations temps frequences rapport de stage Ircam 2007 1 4 1 5 Am lioration qualification du FO pour le contr le Extraction de la fr quence fondamentale La biblioth que pour l estimation de la fr quence fondamentale utilis e dans le moteur de calcul SuperVP a t valu e a plusieurs reprises et les param tres ont t adapt s de sorte que pour le cas g n ral o la source sonore l instrument n est pas connue nous obtenons les meilleurs r sultats Puisque les instruments de musique ont des caract ristiques spectrales assez variables il est vident que la connaissance de l instrument nous permettrait de choisir des param tres sp cialement adapt s Puisque l algorithme de l estimation FO utilis est bas sur une comparaison pond r e de plusieurs crit res d valuation des FO hypoth tiques il est facilement imaginable de cr er des param tres adapt s aux instruments Pour r aliser ce projet nous avons cr une petite collectio
74. a connaissance Avant l import la conformit de chaque fichier XML avec un patron de description metadata template est v rifi e L homog n it de la connaissance est ainsi garantie Ajout de descripteurs L ajout de nouveaux descripteurs se fait en quatre tapes 1 ajout des nouveaux champs et des valeurs correspondantes dans les fichiers XML de description 2 mise jour du patron de description metadata template D mise jour de l objet knowledge de la meme mani re que pour l ajout d chantillons 4 implementation dans la toolbox features des m thodes permettant d agr ger et de comparer les descripteurs nouvellement ajout s ainsi que de d duire les descripteurs des hauteurs microtoniques a partir du demi ton ik le plus proche Lors d utilisation d Orchid e les crit res d optimisation sont choisis parmi les descripteurs pr sents dans l objet knowledge et pour lesquels les m thodes de d agr gation de comparaison et de transposition microtonique sont impl ment s dans la toolbox features Coop ration avec OpenMusic Un protocole de communication bas sur un ensemble de messages OSC a t d fini en collaboration avec Jean Bresson Depuis le 1er mars 2009 ce protocole s est enrichi de nouvelles fonctionnalit s et d finit aujourd hui une API haut niveau pour le controle d Orchid e Une sp cification d taill e de ce protocole est disponible dans la documentation finale d Orchid e qui est distribu e
75. ab La version finale permet la s paration de la modulation fr quentielle et du geste lent m lodie de la fr quence fondamentale d un son et la suppression de toutes les modulations induites par le vibrato La segmentation doit tre fait par l utilisateur 2 2 2 SP3 2 Moteur de synth se granulaire temps r el Responsable Ircam IMTR Le moteur de synth se granulaire a t r alis sous forme d une biblioth que C sous le nom ZsaZsa La bibliotheque a ete integree dans Max MSP et dans une application prototype r alis par Univers Sons Le moteur a t int gr dans plusieurs modules prototypes r alis s par l Ircam et par Univers Sons Module Max MSP de synthese granulaire asynchrone Module Max MSP de synth se granulaire synchrone Module Max MSP de synth se granulaire bas sur des descripteurs voir SP3 3 Module Max MSP de transformation de boucles rythmiques voir SP3 4 Prototype de l chantillonneur SP4 3 07 09 94 137 Projet Sample Orchestrator rapport final ZSazSa test ZSaZzsa high precision granular synthesis engine position O begin 1000 end 1200 speed 1 loop 1 begin 0 end 2000 speed 1 loop 1 a set coucou zsazsa doesn t support arguments yet Figure 57 Int gration dans environnement Max MSP 4 6 d un module de synth se granulaire bas sur le moteur ZsaZsa 2 2 3 SP3 3 Synthese granulaire bas e sur les descripteurs sonores Responsable Ircam
76. ack 1 positionvar 1 0 release 1 periodvar 1 resamplingvar 1 level 1 0 levelvar 1 0 descriptor weights prepend weights source import source import source P audio file audio descriptors import audio 1 import sdif 1 sor mubu source Figure 59 Application Max MSP 5 de synth se granulaire bas e sur les descripteurs contr l e par des valeurs de descripteurs 3 07 09 96 137 Projet Sample Orchestrator rapport final Pour le deuxieme mode les valeurs de descripteurs et leur evolution temporelle sont d termin es par l analyse d un son cible selon le m me ensemble de descripteurs que la source Ce deuxi me mode permet aussi la r alisation d une forme de morphing SP3 5 en jouant sur les niveaux de la synth se granulaire du son cible et le r sultat de la synth se des grains du son source s lectionn en approximant le timbre du son cible avec des grains s lectionn s du fichier source Dans cette application l utilisation des descripteurs du timbre e g MFCC coefficient MEL s impose granular parameters period 1 0 playing parameters head 1 f position 1_ 0 tail 1 P 0 i random variations speed 1 0 attack 1 0 5 positionvar 1 0 speedabs 1 0 release 1 0 periodvar 1 0 begin 1 0 resampling 1 0 1 resamplingvar 1 0 end 1 0 level 1 0 7 levelvar 1 0 loop 1 back and forth descriptor w
77. act risant les diff rents aspects du contenu sonore des sons Ces descripteurs sont utilis s pour le calcul des fonctions suivantes d indexation de plus haut niveau et une partie d entre eux est directement utilisable dans l interface de navigation offerte a l utilisateur Classification automatique d chantillons partir de jeux de classes pr d finis le syst me par analyse du fichier son affecte une classe a tout nouvel chantillon Les travaux men s a cet effet ont comport plusieurs tapes constitution d un corpus de sons repr sentatifs de sons dits d environnement c est dire de bruitages fournis par Univers sons et tudes en psychologie de l audition visant caract riser les classes pertinentes partir de sons 1 3 6 1 3 7 1 3 8 Une fois les classes d finies les travaux de recherche ont port sur la mise en uvre de fonctions de classification automatique partir des descripteurs audio 1 3 3 Les trois principaux jeux de classes pour lesquels des fonctions d indexation automatique ont t d velopp s ont concern o La description causale des sons c est dire de l origine de leur production Une description sous forme d onomatop es La description morphologique des sons sur la base des theories de Pierre Schaeffer Recherche par similarit partir d un son de depart donne par l utilisateur rechercher les sons les plus proches selon une mesure de similarit sono
78. ait pertinent Les r sultats permettront principalement d obtenir des l ments de symbolisme correspondant aux classes identifi es afin d associer a terme un symbole chacune d elle Cette tape est r alis e avec 19 participants 12 hommes 5 femmes tous experts dans le domaine de la musique et du son musiciens ing nieurs du son personnes travaillant r guli rement dans des environnements audionum riques etc Elle est effectu e au moyen d une interface temps r el Max MSP reli e une tablette WACOM permettant de jouer les sons et recueillir les donn es morphologiques voir Figure 21 La proc dure ne concerne que les profils dynamiques Les r sultats obtenus sont donn s au 2 1 4 2 Perspectives Concernant les profils dynamiques les perspectives peuvent tre les suivantes court terme affiner la proposition de symboles bas s sur le trac des participants et identifier les pr dicteurs efficaces de ces 6 classes moyen terme envisager une troisi me exp rience permettant de valider les l ments symboliques tablis sur un corpus sonore largi Concernant les profils m lodiques il faut avant tout s interroger sur la pertinence d appliquer une telle notion au cas de sons environnementaux et le cas ch ant adapter la m thodologie exp rimentale afin d obtenir des r sultats comparables a ceux obtenus pour les profils dynamiques R f rences bibliographiques associ es Deruty01d Deru
79. ales et charleston par exemple se regroupent avec de fortes valeurs de brillance alors qu l oppos on trouve assez naturellement des sons de basses beaucoup plus ronds 3 07 09 106 137 Projet Sample Orchestrator rapport final 2 3 2 7 Import et Analyse La partie import de nos propres banques de sons ainsi que des banque de sons personnelles constitu es par les utilisateurs nous paraissaient primordiale De plus il tait important que l import et l annotation des sons grace la nomenclature des dossiers et noms de fichiers tr s rigoureuse dans le cas de nos propres banques de sons puisse se faire de mani re automatis e Les librairies d indexation de l Ircam IrcamBeat IrcamKeyMode IrcamDescriptor ont galement t int gr es afin de permettre l acc s aux informations telles que le tempo la tonalit la brillance etc 2 3 3 Prototype chantillonneur 2 3 3 1 De Sample Orchestrator a MachFive 3 Parmi les logiciels utilisant le moteur UVI figure le sampler MachFive d velopp par les quipes d Univers Sons Le projet Sample Orchestrator a t envisag dans un premier temps comme un prototype permettant d explorer de nouvelles voies dans le domaine du sampling Au cours du projet II nous a semble naturel de tout d abord rapprocher puis rassembler ces deux applications pour finalement n en faire plus qu une ce qui conf re a l application finale de Sample Orchestrator un fort potentiel de diffusion comme
80. alisation des prototypes et des applications dans les sous projets SP3 2 SP3 3 et SP3 4 Le d tail des fonctions de MuBu est d crit au 2 2 5 p 98 Dans la derni re p riode du projet l int gration Max MSP de la biblioth que a t finalis e Les d pendances de la biblioth que ont t r duites aux biblioth ques standard sa stabilit dans des environnements multi t ches a t assur e et la performance des acces aux donn es a t am lior e Schnell09 Schnell N Robel A Schwarz D Peeters G Borghesi R MuBu amp Friends Assembling Tools for Content Based Real Time Interactive Audio Processing in Max MSP Proceedings of the International Computer Music Conference ICMC Montreal CA aout 2009 1 4 5 3 Morphing sonore et transformations temporelles interactives Dans la premiere periode du projet le prototype d une application de morphing sonore a ete r alis et pr sent voir D SP3 5 1 en M10 Ce prototype int gre d j la transformation temporelle avec l change et l interpolation des propri t s sonores morphing entre deux sons Pour la version finale d une application prototype l int gration de ces deux objectifs a t maintenue Le d tail des fonctions correspondantes est d crit au 2 2 5 2 p 101 Pour le traitement des fichiers monophoniques une deuxi me version du module a t d velopp e Ce module permet aussi de transformer la hauteur des fichiers synchronis s pou
81. ang s recoupent les diff rents types de classification introduits dans le D SP2 6 acoustique v nementiel s mantique Parmi les crit res d finissant ces 46 classes on trouve des crit res de type v nementiel cause physique ou mat riau acoustique trait acoustique ou volution temporelle ou s mantique voir Figure 22 Par ailleurs il appara t clairement que des sons d une classe correspondant un type de description donne pourraient galement tre plac s dans une autre des classes d finies selon un autre type de description Sur cette base un premier traitement consister unifier l ensemble fr quences d chantillonnage formats d encodage etc et segmenter certains fichiers qui comportaient une sequence de plusieurs sources distinctes ces op rations ont ete effectu es dans le cadre du SP2 2 et ont abouti un corpus modifi de 495 sons et toujours 46 classes SOR database segmented Une deuxi me passe de traitement de la base de donn es sonores initiale a ensuite consist a confronter ces classes d usage avec les r sultats de travaux plus th oriques sur la perception des sons du quotidien afin de replacer ces chantillons prototypes dans des organigrammes de r f rence proposant une taxonomie globalement plus pertinente du point de vue perceptif cest a dire qui fait statistiquement sens pour un ensemble d utilisateurs auditeurs et mettant en vidence plusieurs niveaux de cat gorisation
82. atrices non n gatives nous pouvons calculer rapidement la d composition sur une base instrumentale D une part l ajout des contraintes de parcimonie nous permet de limiter l effectif instrumental d autre part les contraintes de continuit locale nous permettent galement d ajouter une logique temporelle en p nalisant les propositions ayant de trop grandes variations instrumentales a la fois de notes et de classes d instruments La formulation d une orchestration par l utilisation d un son cible peut tre consid r e comme un point d entr e dans un domaine ferm la formalisation Le but de l orchestration est g n ralement de produire et non reproduire des m langes instrumentaux Ainsi une direction int ressante pour les travaux futurs serait de contourner cette approche bas niveau par la d finition d une cible abstraite pour le syst me Le probleme principal dans nos recherches sera de trouver un formalisme ad quat pour la r ification de ce qui pourrait tre une intention orchestrale Apr s plusieurs entretiens avec des compositeurs une approche int ressante est apparue dans la notion d esquisse Les compositeurs comptent g n ralement sur un premier croquis d une pi ce musicale Ce sch ma d finit l intention principale du compositeur et devrait offrir un cadre large d investigation pour l orchestration Cependant il faut d abord analyser des esquisses pour savoir la fois si celles ci ne rel vent pas d un pro
83. ats d exp riences issues de l int gration de ce mod le dans le syst me Orchid e en notant la nette extension apport e au mod le statique Nous avons tent dans un second temps d utiliser une premi re approche pour aborder le probl me du macro temps De par la complexit relative d un tel probleme nous avons temporairement laiss le probl me combinatoire en retrait Nous avons donc choisi une premi re approche pour tenter d tendre l orchestration par un son cible en permettant a celui ci d tre un morceau structur au niveau de la forme musicale ayant diff rents l ments a orchestrer En inversant le paradigme l orchestration musicale est consid r e comme un probleme de s paration de sources o le but est de trouver la combinaison d instruments qui explique au mieux la macro cible Compte tenu de cette approche nous utilisons la 3 07 09 76 137 Projet Sample Orchestrator rapport final factorisation en matrices non n gatives NMF pour permettre de d composer le spectre de la cible en une somme pond r e des instruments choisis L objectif est d abord de d couper le spectre en un ensemble d unit s temporelles qui ont une certaine coh rence spectrale Cette technique permet la fois de trouver le m lange instrumental optimal pour un element mais galement d envisager l utilisation du syst me dans un cadre de r orchestration d une musique enti re Ainsi grace la technique de factorisation de m
84. au 1er juillet 2009 La version serveur du prototype actuel d orchestration2 incorpore une version simplifi e de l API OSC d Orchid e Cela a d j permis a Jean d initier le d veloppement d interfaces clientes dans OpenMusic D ici la fin du mois nous allons concentrer nos efforts sur le contr le des nouvelles fonctionnalit s d Orchid e dans OpenMusic Un s minaire Recherche amp technologie est pr vu le mercredi 27 mai 2009 pour pr senter l avanc e de nos travaux Ce travail en collaboration avec Jean Bresson a donn lieu un article accept pour publication dans le Computer Music Journal nteracting with Symbolic Sound and Feature Spaces in Orchid e a Computer Aided Orchestration Environment Mise a jour du prototype 2 A la demande de plusieurs compositeurs du cursus la connaissance instrumentale du prototype actuel d orchestration a t augment e On peut d sormais r aliser des orchestrations incluant des quarts de tons de violon alto et violoncelle et ce pour tous les modes de jeu initialement disponibles pour les demi tons Le compositeur Fernando Villanueva a d j pu tirer parti de cette am lioration pour des orchestrations de fragments vocaux 2 4 2 Interface cliente OM Orchid e La biblioth que OM Orchid e propose un ensemble d outils objets et interfaces dans l environnement OpenMusic constituant un client du serveur Orchid e La plupart des requ tes et instructions d finies dans le protocol
85. b Carpentier G Tardieu D Harvey J Assayag G Saint James E Constrained Multiobjective Optimization for Computer Aided Orchestration Theory and Applications Journal of New Music Research to appear 2009 CarpentierO9c Carpentier G Assayag G Saint James E Solving the Musical Orchestration Problem using Multiobjective Constrained Optimization with a Genetic Local Search Approach Journal of Heuristics to appear 2009 Tardieu08b Tardieu D Carpentier G Peeters G Instrument sound description and modelisation in the context of computer aided orchestration Acoustics 08 2008 Tardieu08c Tardieu D Mod les d instrumentspour l aide a l orchestration These de doctorat Atiam Paris 6 IRCAM Paris 6 2008 3 07 09 77 137 Projet Sample Orchestrator rapport final Tardieu07a Tardieu D Carpentier G Rodet X Computer Aided Orchestration Based on Probabilistic Instruments Models And Genetic Exploration ICMC Copenhagen Denmark 2007 Tardieu07b Tardieu D Rodet X An Instrument Timbre Model For Computer Aided Orchestration WASPAA New Paltz NY 2007 G Carpentier CDCSolver Un algorithme de resolution de contraintes dans un systeme d orchestration assistee par ordinateur Seminaire du groupe de travail Musique Contraintes et Interaction AFIM Vannes France janvier 2008 D Tardieu G Peeters X Rodet An Instrument Timbre Model For Computer Aided Orchestra
86. biblioth que a t con ue a cet effet selon des techniques C avanc es comme la m taprogrammation type lists type info wrappers etc conception policy based v rification de d pendances la compilation etc Le point cl de la biblioth que est de fournir un dispositif configurable dans lequel chaque descripteur connait ses propres d pendances et la biblioth que est a la fin capable de construire automatiquement un graphe de calcul reposant sur ces d pendances En effet le calcul de descripteurs passe par l appel de fonctions communes telles que des FFT transform es de Fourier Rapide fen tr es sur un intervalle de temps donne et l explicitation et la gestion de ces d pendances permet la fois l optimisation et la modularisation des calculs Le calcul de chaque descripteurs repose sur deux policies qui d finissent son comportement une policy de s quencement et une policy de calcul appel e contexte polyadique partir du moment o ces policies sont fournies il est tr s facile de les combiner de nouvelles mani res pour cr er un nouveau descripteur La Figure 4 fournit une description approximative de ce design PolyadicContext Computation policy has a Scheduling policy has a Low level descriptor Figure 4 Policy based design 1 3 3 SP2 2 Module d indexation automatique Responsable Ircam AnaSyn 1 3 3 2 Classification automatique Ce module de classification automatique prend en
87. c CataRT 30 mars 2008 3 07 09 128 137 Projet Sample Orchestrator rapport final 3 1 5 Theses Masters et autres publications Cadars07 Cadars S Mod lisation temporelle et synth se concatenative de boucles rythmiques Rapport de Stage Master ATIAM septembre 2007 Carpentier08a Carpentier G Approche computationnelle de l orchestration musicale optimisation multicritere sous contraintes de combinaisons instrumentales dans de grandes banques de sons These de doctorat Atiam UPMC Ircam 2008 Esling P Orchestration musicale dynamique m moire de Master Il Atiam Ircam juin 2009 Tardieu08c Tardieu D Mod les d instrumentspour l aide a l orchestration These de doctorat Atiam Paris 6 IRCAM Paris 6 2008 Schwarz07c Schwarz D Corpus Based Synthesis page web http imtr ircam fr index php Corpus Based Synthesis 2007 3 2 Diffusion professionnelle 3 2 1 Pr sentations professionnelles 3 2 1 1 Synth se par corpus Les modules et l application CataRT a t pr sent de mani re th orique et pratique dans un atelier avec travaux pratique d une semaine sur FTM amp Co au Bergen Center for Electronic Art BEK Bergen Norv ge 9 13 3 2009 FTM amp Co et CataRT t enseign au stages professionnels week end de l Ircam 24 25 5 2008 et 6 7 6 2009 Pr sentations aux Cursus 1 et 2 des travaux de l quipe IMTR 9 janvier 2008 Cursus 2 Pr sentation aux r alisateur
88. cation finale de variation interactive de boucles rythmiques s appuie sur les m mes composants logiciels que la synth se granulaire bas e sur les descripteurs voir SP3 3 Concernant l utilisation du moteur de synth se granulaire la diff rence entre ces deux applications consiste principalement en la segmentation du fichier source en pulsations rythmiques L application r alis e s appuie sur des marqueurs de pulsation g n r s par le module logiciel RCAMbeat SP2 3 mais peut aussi importer des marqueurs g n r s par d autres logiciels e g AudioSculpt Au d but du projet un prototype a t r alis qui utilisait une mod lisation temporelle des s quences rythmiques bas e sur la d finition d une distance entre des s quences de descripteurs sonores Cadars07 Schwarz08 Cette mod lisation n a pas t retenue pour l application prototype finale N anmoins ces recherches repr sentent un r sultat important du projet L application r alis e int gre deux modes de fonctionnement Recomposition temporelle des segments correspondant aux pulsations Remplacement des segments correspondant aux pulsations dans un fichier son donne par un autre base sur la ressemblance selon un ensemble de descripteurs choisi Le deuxi me mode de fonctionnement correspond au musaicing prenant en compte une segmentation en pulsations rythmiques L unification des deux modes est possible si on consid re la phase de pulsations par
89. ces de travaux pratiques avec Catart 13 11 2008 Diffusion des modules et du prototype CataRT dans le FORUM 3 2 3 Contribution a la production d ceuvres artistiques 3 2 3 1 SuperVP Depuis le lancement dela s rie d objets Max MSP SuperVP Max Modules ces outils pour la transformation temps r el ont rencontr un grand succes de la part des r alisateurs en informatique musicale de IRCAM La r duction du temps de calcul et notamment l ind pendance du temps de calcul des param tres de transformations facilite l utilisation des objets Nous ne mentionnerons titre d exemples que deux cr ations d uvres en concert qui ont t r alis es lors du festival Agora 2009 e Dans la piece Prism spectra du compositeur Dai Fujikura les objets Max MSP ont t utilis s pour la creation d un quatuor virtuel a partir d un seul instrument jou sur scene Les transpositions de l alto jou sur sc ne ont t r alis es avec SuperVP Max e Un autre exemple innovateur d utilisation des objets SuperVP est le projet Antescofo Ce logiciel de suivi et d anticipation de l interpr tation d une uvre par un soliste utilise les objets SuperVP Max pour adapter les sons de laccompagnement au soliste Un exemple de l utilisation de Antescofo est le concert hist du compositeur Marco Stroppa 3 2 3 2 Synthese par corpus L installation Grainstick par le compositeur Pierre Jodlowski d velopp e dans le cadre du projet europ en SAME et
90. cessus trop subjectif et en m me temps comprendre quel point le compositeur pense l orchestre La continuation logique de l approche cible sonore serait donc la sp cification d une cible abstraite utilisant tous les outils de la CAO pour essayer de converger vers une id e de timbre mais qui ne se r duit pas une r alit sonore 1 6 12 Bibliographie Carpentier08a Carpentier G Approche computationnelle de l orchestration musicale optimisation multicrit re sous contraintes de combinaisons instrumentales dans de grandes banques de sons Th se de doctorat Atiam UPMC Ircam 2008 CarpentierO7a Carpentier G Tardieu D Assayag G Rodet X Saint James E An Evolutionary Approach to Computer Aided Orchestration EvoMUSART vol LNCS 4448 Valence 2007 pp 488 497 Carpentier06a Carpentier G Tardieu D Assayag G Rodet X Saint James E IMITATIVE AND GENERATIVE ORCHESTRATIONS USING PRE ANALYSED SOUNDS DATABASES SMC 06 Marseille 2006 pp 115 122 Carpentier05a Carpentier G Information technology Multimedia content description interface Part 4 Audio AMENDMENT 2 High level descriptors Motion Picture Expert Group ISO IEC JTC 1 SC29 Poznan Pologne 2005 Carpentier09a Carpentier G Bresson J Interacting with Symbolic Sound and Feature Spaces in Orchid e a Computer Aided Orchestration Environment Computer Music Journal to appear 2009 CarpentierO9
91. chage d un menu des classes par classification mat riau onomatop es repertoires de la base de sons o solo cumulatif d une classe les points des autres classes restent visibles en gris Synth se et s lection Le contr le de la s lection peut s effectuer maintenant par le s quen age d un fichier de sons analys musaicing ou par un fichier MIDI donn e Un nouveau module de synth se a t d velopp qui fonctionne par lecture directe de disque ce qui permet l utilisation de tr s grands corpus sans charger les sons en memoire Documentation La documentation t amelior valid par un utilisateur qui ne connaissait pas le syst me et structur dans ces deux documents Manuel d installation cf rapport M22 Annexe 1 Manuel d utilisation cf rapport M22 Annexe 2 1 3 9 5 Visualisation La recherche et le jeu musical de sons partir d une grande base de donn es sonores est similaire a l exploration de donn es en manipulant une representation graphique Cette tache est bien d crite et beaucoup de recherches sur elle ont t fait dans le domaine de la visualisation d information Information Visualisation Tukey 1977 Shneiderman amp Plaisant 2005 d finissent le Mantra de la visualisation d informations ainsi Overview zoom and filter then details on demand Pour permettre une exploration efficace de l espace de sons d fini par les descripteurs sonores le syst me de visualisation de CataRT
92. cr e l Ircam en Juin 2009 utilisait CataRT comme moteur granulaire sonore L installation Xe Rocks par l artiste C cile Babiole utilise les capacit s d analyse sonore de CataRT et la re composition granulaire par navigation dans l espace des descripteurs L interaction d un syst me de synth se par corpus avec un musicien demande une recherche sp cifique tant au niveau du mapping entre le son et des param tres de contr le du syst me qu au niveau de la constitution du corpus partir du son live du musicien Or ce type d interaction est tr s demand e par des compositeurs et des musiciens performeurs de la musique improvis e Dans ce but des m thodes et strat gies d interaction avec un musicien ont t tudi es test es et appliqu es dans plusieurs performances lectroacoustiques improvis es Ce travail a t valoris dans le cadre d une performance accept e au programme musical de la International Computer Music Conference ICMC Belfast en ao t 2008 puis pr sent e au concert Sublime Sonus Part 2 La Musique Electroacoustique Live au centre multim dia Le Cube Issy les Moulineaux le 6 d cembre 2008 avec E Brunet la clarinette basse et D Schwarz contr lant CataRT en temps r el En plus le concept musical et technologique de la constitution temps r el d un corpus pour la synth se concat native t s lectionn pour figurer dans le Leonardo Music Journal et un morceau d une performance liv
93. ct and achieve Even the gentle wise and soft spoken Harvey among the most respected and revered of British composers and a man given wholly to understatement considers that Speakings is the most complicated and ambitious composition have ever written Une grande partie de l orchestration de cette piece est d riv e directement de solutions propos es par le moteur d orchestration Orchid e 3 3 2 Ev nements publics Les travaux de l quipe IMTR et CataRT ont t pr sent s au festival Earzoom la Gal rie Kapelica Ljubljana Slov nie 28 5 2009 L installation Grainstick li e au projet europ en SAME et int grant la synth se par corpus a t pr sent e et ouverte au public pendant le festival Agora du 16 au 19 6 2009 et a attir de nombreux visiteurs L installation Xe Rocks tait pr sent en vernissage l espace culture et multim dia Gantner Bourogne Territoire de Belfort le 27 6 2009 et est ouverte au public du 27 6 au 26 8 2009 3 4 Valorisation industrielle En raison du caract re confidentiel des informations relatives ce paragraphe celles ci sont regroup es dans une annexe s par e dont la diffusion est restreinte aux destinataires concern s 3 07 09 131 137 Projet Sample Orchestrator rapport final 4 Annexe theses issues du projet 4 1 These de Damien Tardieu Cette these traite de la conception d une nouvelle m thode d orchestration assist e par ordinateur
94. de r gression logistique multinomiale mod le probabiliste dont le but est ici de pr dire une variable d pendante qualitative et polytomique les classes au moyen de variables explicatives continues les descripteurs voir Taffe04 pour plus de d tails Un premier examen des particularit s de chaque classe fait apparaitre la n cessit de prendre en compte a la fois les aspects temporels et spectraux des sons Plusieurs couples de descripteurs temporels spectraux sont donc inject s dans le mod le respectivement LAT Log Attack Time Tl Temporal Increase TD Temporal Decrease TC Temporal Centroid ED Effective Duration EMF Energy Modulation Frequency EMA Energy Modulation Amplitude SC Spectral Centroid mean SSp Spectral Spread mean SSk Spectal Skewness mean SK SpectralKurtosis mean SSI Spectral Slope mean SD Spectral Decrease mean SR Spectral RollOff mean SV Spectal Variation mean se reporter PeetersO4a pour la definition et la formulation de ces descripteurs La s lection s effectue au moyen du crit re LR Log Likelihood Ratio voir Taffe04 Woodcock02 pour plus de d tails Ce crit re de s lection fait ressortir le couple ED SSp descripteurs caract risant respectivement les enveloppes spectrale et temporelle comme tant le meilleur candidat pour mod liser la taxonomie tudi e cf Figure 19 feat Im ro re en Jer Ema 187 0 257 1 354 6 300 2 407 3 317 5 106 1
95. de sorte que le compositeur participe implicitement ou explicitement aux diff rentes tapes de recherche et de calcul Concernant l exploration des solutions Orchid e met en avant une repr sentation simultan e des espaces de repr sentations symboliques des descriptions sonores et des crit res de recherche Chaque solution est caract ris e par un ensemble de variables 3 07 09 74 137 Projet Sample Orchestrator rapport final musicales dans l espace symbolique hauteur dynamique mode de jeu etc mais aussi par un ensemble de descripteurs perceptifs et par un ensemble de criteres de recherche ce qui permet d envisager une navigation parall le dans ces differents espaces Les transformations et parcours de recherche et de navigation dans ces espaces constituent alors autant de possibilit s d exploration des solutions et permettent de structurer la recherche dans une boucle d interaction avec le moteur de r solution Enfin un dernier aspect de l interaction utilisateur concerne la gestion de la base de donn es et de connaissance instrumentale avec un ensemble de requ tes et d instructions permettant d analyser une base d chantillons sonores pour en extraire les descriptions et enrichir cette base ou encore s enqu rir de ses diff rentes caract ristiques pour la sp cifications ult rieure de filtres et contraintes de recherche Diff rentes interfaces on t r alis s l heure actuelle s inscrivant dans cette
96. de synth se concat native Le moteur impl mente une interpolation optimis e re echantillonnage afin d obtenir une qualit maximale pour la transformation de la hauteur et du timbre Cette interpolation permet en m me temps d ajuster la position de r f rence du grain et le temps c est a dire la p riode de la synth se avec une pr cision plus fine que le taux d chantillonnage Le moteur a une architecture modulaire qui permet facilement diverses extensions futures et son int gration dans diff rents contextes Le mode de synth se par concat nation permet la d finition d une fonction de rappel callback appel pour chaque grain pour faciliter adaptation du moteur des applications sp cifiques comme la transformation de boucles rythmiques et la synthese par corpus Dans l interface de programmation du moteur les marqueurs sont repr sent s en tant que vecteurs g n riques de nombres r els pour permettre l int gration facile du moteur dans differents contextes applicatifs i e logiciels L impl mentation de la synth se granulaire synchrone n tait pas pr vue dans le projet initial mais a t fortement souhait e par Univers Sons et s int gre de mani re tr s homog ne dans l architecture du moteur Les tests conduits apr s une premi re int gration de la biblioth que ZsaZsa dans l echantillonneur ont permis de valider ses fonctionnalit s et d tablir une liste d extensions souhait es pour la
97. de synth se qui alimentent un objet Chroma lequel peut ensuite alimenter plusieurs moteurs de synth se ou de traitement disponibles additive svp modalys Les cibles ainsi constitu es peuvent ensuite tre soumises au solveur d orchestration Impl mentation code Common Lisp Date de r alisation D cembre 2007 3 07 09 72 137 Projet Sample Orchestrator rapport final 1 6 7 3 D SP4 5 2 diteur de cibles abstraites Objet environnement OpenMusic de cr ation d dition de transformation de cibles abstraites pour l orchestration Fonctionnalit s r alis es Cet diteur se place entre les outils de CAO qui sont au niveau des param tres classiques de hauteur dur e ou intensit et le moteur de synth se chroma qui manipule des param tres num riques de synth se Il permet partir d un objet musical tel que l accord ou la s quence d accord et en th orie toute polyphonie de proposer des enrichissements du niveau spectral par l affichage du spectre r sultant et par un ensemble d op rateurs d dition ajout suppression enveloppe etc Il permet de lancer la synth se travers le moteur Chroma et ensuite d changer des informations avec le prototype d orchestration du SP 4 4 1 en mettant profit le protocole OSC Trois types d informations peuvent tre chang s le fichier son r sultant de la synth se les param tres de la synth se et l objet musical symbolique original Les deux derniers
98. description relative d autres sons onomatop es En outre il ny a pas d analyse approfondie des verbalisations ou des cat gorisation effectu es 3 07 09 29 137 Projet Sample Orchestrator rapport final concernant les r sultats de la phase B les trac s de profil ont ete moyenn s sur l ensemble des 15 participants ce qui pose un probleme pour les sons presentant des variations relativement rapides synchronisation entre les participants Ces traces moyens ont ete corr l s avec la sonie pour les profils dynamiques et avec la fr quence fondamentale le centroide spectral et l acuit pour les profils m lodiques La sonie est bien corr l e gt 0 8 pour 5 sons sur 9 le centroide spectral et l acuit le sont chacun pour 1 son sur 9 alors que la fondamentale ne l est jamais peut tre a cause du choix de la m thode d extraction En outre la resolution temporelle des 4 descripteurs semble trop importante ce qui peut amener d t riorer significativement les scores de corr lation Probl matique La principale difference entre l tude actuelle et celle r alis e dans le projet Ecrins r side dans la nature m me des sons Rioux01e tudie des sons difficilement identifiables alors que c est globalement le contraire dans le cas present En prenant en compte l une des principales conclusions de Rioux01e Malgr la consigne des descripteurs typiquement causaux ont souvent t utilis s il apparait do
99. diagonales donnent les pourcentages de reconnaissance correcte pour chaque classe Figure 43 Matrice de confusion pour la taxonomie causale param tres optimaux real found Solid Metal Solid Paper Electrical 1 04 real found Solid Metal Solid Paper Solid Wood Electrical 1 Solana 0 se ex coo ne Less 0 0 oe na ma Figure 44 Matrice de confusion pour la taxonomie causale r duite param tres optimaux real found Crackling Squeaking Scratching Figure 45 Matrice de confusion pour la taxonomie d onomatop es param tres optimaux Utilisation de l outil ircamclassifier L utilisation des outils standalone implique le calcul pr alable des descripteurs avec un fichier texte de configuration appropri LEGamoesecrapeor soundi ilera config OnOMat lt Uxe L tape suivante consiste a passer le fichier SDIF calcul par ircamdescriptor a IrcamClassifier pour effectuer la classification lrcamclassili r soundrise aiat lt descrvsdif onomat model svym vV L option v correspond au mode verbose dans lequel toutes les probabilit s de chaque classe sont affich es 001 Bum ZI Rss az SUMOSE IS 784846404986 002 Cra Ck Gasman sae Ge DOZZ OGL TO Sy 2125 003 Soueakino ri cossirs uremia UWOLOO Z2 1644053237 O04 SCRACChING lt 224 eset USUOSS 6423495 5555532 00S RU SNES rkLuskoursenst ss Oe SPO oZ eZ 575095 3 07 09 81 137 Projet Sample Orchestrator rapport final best class Crackling
100. e Dependency Istatus messages Y OSC parser query target orchestra pas build filter search SET 43 Commnunication Class Toolbox XML Description Database Figure 73 Architecture g n rale du serveur d orchestration Orchid e L objet session L objet session rassemble l ensemble des donn es relatives au probl me d orchestration courant orchestre cible filtres structure de recherche Les trois premiers peuvent etre dit s directement par l interface cliente Ils g n rent ensuite une structure de recherche objet searchstruture qui contient les donn es locales espaces de recherche et matrices de descripteurs sous une forme adapt e a une manipulation algorithmique optimale dans Matlab Extensibilite de la connaissance Au cours de la conception et du d veloppement d Orchid e un effort particulier a t fait pour faciliter l extension de la connaissance instrumentale Cela peut tre entrepris de deux mani res par ajout d chantillons instrumentaux e par ajout de descripteurs Ajout d chantillons Inclure de nouveaux chantillons dans la connaissance instrumentale consiste simplement rajouter des fichiers XML de description dans l arborescence courante Une m thode de 3 07 09 121 137 Projet Sample Orchestrator rapport final l objet knowledge permet alors de scanner les nouveaux fichiers de description et d actualiser la repr sentation interne de l
101. e ant rieure sur le CD l accompagnant SchwarzO8b Diemo Schwarz poursuit cette approche artistique dans des collaborations ad hoc avec des musiciens tel que Victoria Johnson violon dans un concert la galerie Landmark Bergen Norv ge le 13 3 2009 et Luka Juhart accord on dans un concert au festival Earzoom la Gal rie SKUC Ljubljana Slov nie 29 5 2009 CataRT est utilis e dans des pi ces de musique lectro acoustique suivantes e Aaron Einbond What the Blind See for small ensemble and electronics Cursus 2 concert at Agora 2009 Ircam real time control of CataRT from audio analysis and corpus based transcription e Roque Rivas Mutations of Matter 2008 pour cing voix lectronique et vid o a t r alis dans le cadre du Cursus 2 de l Ircam et cr par les Jeunes Solistes dir Rachid Saphir a Agora 2008 en collaboration avec le vid aste Carlos Franklin alors tudiant en deuxi me ann e au Studio National Le Fresnoy Il figure parmi les laur ats des CONCOURS INTERNATIONAUX DE BOURGES 2009 dans la cat gorie Arts Electroniques Performance e Aaron Einbond Beside Oneself for viola and electronics Cursus 1 2007 2008 Ircam real time control of CataRT from audio analysis of the viola 3 07 09 130 137 Projet Sample Orchestrator rapport final e Paola Calderone Cursus 1 2007 2008 Ircam e Roque Rivas Conical Intersect for fagott and electronics amongst which CataRT 6 10 2007 r
102. e cadre d une base de donn es sonores nous proposons diff rentes structures associ es chacune de ces similarit s acoustique v nement cat gories s mantiques voir Figure 26 Les relations de similarit acoustiques peuvent tre directement estim es sur la base de descripteurs calcul s sur le signal contrairement aux deux autres types de similarit 3 07 09 36 137 Projet Sample Orchestrator rapport final La structure repr sentant les relations entre type d v nements peut tre repr sent e par un arbre hi rarchique avec plusieurs niveaux d inclusions en nombre limit partant de la distinction entre Liquide Gaz Solide avec dans chacune de ces classes des sous classes p ex pour les solides impact friction crasement Cette structure implique un ou plusieurs labels associ s chaque son pour le situer dans une ou plusieurs classes Les relations entre cat gories d objets sont quant elles plus complexes et peuvent tre repr sent es sous la forme d un r seau s mantique tel que Wordnet Wordnet utilis notamment dans le projet AudioClas Cano04 incluant des relations transversales entre cat gories notamment synonymie antonymie hyponymie sorte de Mm ronymie partie de sorte de Espace multidimensionnel Timbre morphologie die Ev nementielle Caiceeimalerian Structure hi rarchique squelette R seau s mantique S
103. e d orchestrations d exporter les solutions d orchestration dans un fichier texte La version serveur du prototype d orchestration actuel a t test e l aide d une interface client l mentaire en Max MSP La communication avec les interfaces client d velopp es dans OpenMusic par Jean Bresson est en cours de test la r daction du pr sent rapport fin juin 09 3 07 09 118 137 Projet Sample Orchestrator rapport final filter Figure 72 Sc nario d interaction client serveur Transmission Une s ance de formation destin e aux r alisateurs en informatique musicale de la p dagogie a t tenu le 4 f vrier 2009 de 9h30 13h en studio B Etaient pr sents Mikhail Matl Eric Daubresse Gr goire Lorieux Jean Bresson et Gr goire Carpentier Suite cette 3 07 09 119 137 Projet Sample Orchestrator rapport final seance les compositeurs du cursus ont pu s emparer du prototype actuel et en explorer les potentialit s Mikhail Malt a indiqu r cemment l quipe RepMus qu il tait tr s satisfait de l utilisation de ce prototype aveles compositeurs du cursus Architecture compl t e Le serveur d orchestration Orchid e a t impl ment quelques modifications pr s suivant le sch ma d architecture pr sent pr c demment Le sch ma actuel du syst me est reproduit sur la Figure 73 Au niveau sup rieur les interfaces clientes interagissent avec le serveur essentiellement par change de m
104. e de communication du serveur sont accessibles sous forme de boites fonctionnelles pouvant tre int gr es dans le cadre d un processus ou programme visuel d velopp dans l environnement de CAO 3 07 09 122 137 Projet Sample Orchestrator rapport final Parmi ces outils l objet orchestra offre une interface a la d finition d un orchestre et permet de communiquer celle ci au serveur Il est galement possible de sp cifier filtres et contraintes et de mettre a jour et augmenter la base de connaissance instrumentale a partir d echantillons sonores supplementaires OM ORCHIDEE Client AOO my ORCHESTRA Orchestra Editor Sf ORCHESTRA object be edit build an orchestra rie Contrabass wails IA Submit ORCHESTRA composition to Bb Clarinet X 1 L submit orchestra orchidee server Lai Flute 4 i mn m m gt Cb 4 BbCI FI 1 Ve 1 Vn 3 Violoncello bed 1 we Violin W 53 Ha Figure 74 Objet orchestra dans OM Orchid e sp cification de l orchestre La d finition de cibles abstraites est une des sp cificit s du client OM Orchid e Cette question en effet et par opposition des cibles sonores concr tes ou pr enregistr es constitue un probl me complexe ramenant au questionnement fondamental de la conception du son dans l imaginaire du compositeur La CAO propose de r soudre ce type de probl me en permettant
105. e de la biblioth que la dur e du grain est partag e en deux parties head et tail avant et apr s la position de r f rence du grain dans le fichier Source gt head t attack release Figure 32 Param trage de grains avec point de synchronisation head De mani re g n rale la synth se d un grain par le moteur sauf en mode granulaire simple utilise trois marqueurs de position pour le temps de r f rence onset time ainsi que le d but begin et la fin end de grain En plus le grain est d termin par les quatre valeur de dur e et de fen trage head tail attack et release donn es en valeur absolue ou relative 3 07 09 54 137 Projet Sample Orchestrator rapport final 9 4 Figure 33 Segmentation param trage et fen trage g n riques des grains synth tis s Pour des modes de synth se sp cifiques les marqueurs peuvent coincider pour un grain donn e g le temps de r f rence correspond au d but ainsi que pour des grains successifs e g le fin grain correspond au d but du grain prochain l I j onset onset time time I 1 3 I gt I i i 1 head tail j I I lt gt sv e attack release attack release I I Figure 34 Parametrage et segmentation de grains dans le mode de synthese granulaire synchrone et pour un cas sp cifique
106. eaneeesanesesenes 56 1 4 5 SP3 5 Transformations morphologiques interactives 56 To ECHANTILLONNEUR ra ne a as nn a ane entente eme 58 Moteur Audio UVI Universal Virtual Instrument cccccccseececeneeeceneeeesausessaueeessaeeessaeeessauasessaaees 58 1 5 1 Analyse des besoins et tude de march 58 15 2 SPECICATION 1ONCIONNOIR 2258 222080 dose cnrs atsn rene nt tee bte A 60 RIS IRCTONICOU Moeur UVI axes RE rennes sers nee en desserte 61 1 5 4 Prototype d interface de recherche 62 1 5 5 Premier prototype Echantillonneur VV 62 1 5 6 Prototypes Echantillonneur volu s sn 63 1 5 7 Interface utilisateur ie 63 LG ADEAL ORCHESTRATION same dede ca nest ec ste n ue tetes ten tnt 65 1 6 1 SP4 1 Technologie de descripteurs audio pour l orchestration 65 1 6 2 SP4 2 Prototype exp rimental d orchestration 1 65 1 6 3 SP4 3 Mod lisation de la recherche combinatoire cccccccccseeccsnccesnsecseeeseeessseeesaeeees 66 1 6 4 D SP4 1 4 Mod les instrumentaux 67 1 6 5 SP4 3 Mod lisation de la recherche combinatoire cccccccccseeccseceesneeccneeseeeessaeessaeeees 68 1 6 6 SP4 4 Prototype exp rimental d orchestration 2 69 1 6 7 SP4 5 cr ation de cibles abstraites pour l orchestration 72 1 6 8 SP4 6 environnement OM de contr le de l Orche stration ccccccccseeccseseeseeeesaeeeeaeeees 74 169 SP
107. eat Figure 61 Application Max MSP 5 de transformation interactive de boucles rythmiques L application Max MSP r alis e s appuie sur le module sor beat d velopp dans le cadre de ce sous projet qui int gre le moteur ZsaZsa en mode de synth se concat native Son fonctionnement n cessite un fichier audio et un fichier SDIF de marqueurs e g cr e avec l outil RCAMbeat d velopp en SP2 3 charg s dans le module sor mubu 2 2 5 SP3 5 Biblioth que MuBu 2 2 5 1 Bibliotheque MuBu Le conteneur MuBu pour multi buffer est le composant central et en commun des applications r alis es dans le cadre de SP3 3 07 09 98 137 Projet Sample Orchestrator rapport final moteur de synth se granulaire ZsaZzsa selection d unit s KdTree extraction conteneur de sons segmentation d crits et annot s IRCAM descriptors beat MuBu vocodeur de phases SuperVp Figure 62 Architecture de l ensemble de composants utilis s pour la r alisation des applications de SP3 autour du conteneur MuBu Le conteneur est d velopp sous forme d une biblioth que C bas e sur des mod les g n riques templates C Une premi re version de la biblioth que MuBu tait disponible depuis mai 2008 avec une documentation de l API Une deuxi me version a ete finalis e en octobre 2008 pour le d livrable D SP3 5 2 La biblioth que a t int gr e de mani re exp rimentale dans un plu
108. echerche de sons dans de grandes bases de donn es nous avons cr une application d di e faisant office de prototype d experimentation Cette application a servi la fois de r ceptacle pour l int gration des technologies d indexation de I Ircam et de test grandeur nature des diff rentes possibilit s de pr sentation et d interaction avec les resultats 2 3 2 Affichage traditionnel sous forme de liste L affiche traditionnel des r sultats de recherche se presente sous la forme d une table ou chaque ligne repr sente un r sultat et chaque colonne un attribut du r sultat tel que le nom le nombre de canaux la tonalite etc Ce type d affichage permet d afficher un grand nombre d informations et permet aux utilisateurs d avoir un sentiment de maitrise des contenus propos s grace au cote exhaustif des informations affich es De plus les diff rentes colonnes de la table peuvent tre rajout e ou enlever volont afin de personnaliser l affichage en fonction du type de recherche Il est ainsi ais de proposer diff rentes pr s lection de vues par d faut pour les utilisateurs novices File Import Grid Tag Tree Rules Wave Play File name Type Tags Key BPM w Percussivity Periodicity Hybrif sitar wav wav hybrif sitar Cm 189 259766 2 7114923 0 753024757 METALLIC SWE wav wav metallic swe Em 174 087509 1 80710447 0 364180475 metallic sweep sound wav wav sound metallic sweep Em 174 087509 1 8
109. ectrale et filtre adaptive Cette derni re approche donne des r sultats tr s satisfaisants si le niveau de bruit du son est faible Les petites modulations restantes sont dues aux erreurs d estimation de la fr quence fondamentale Pour les instruments avec une forte composante bruit une modulation d amplitude dans la composante bruit reste dans le son Cela est perceptivement tr s g nant Ces r sultats nous ont amen s impl menter une d modulation individuelle des composantes sinusoidales et bruit es Les r sultats des travaux sur la modification des modulations sont actuellement impl ment s en Matlab Ils sont d crits plus pr cis ment dans Maller08 Ces prototypes montrent les am liorations obtenues par contre ils ne sont pas encore suffisamment robustes pour tre utilisables dans un produit Les travaux initiaux concernant la d modulation g n rale ont t effectu s entre mars et juillet 2008 L extension de la m thode consid rant les composantes sinuso dales et bruite de fa on ind pendante a t effectu e entre mars et juin 2009 3 07 09 52 137 Projet Sample Orchestrator rapport final Maller08a Maller S Transformation des sons musicaux avec pr servation des articulations musicales rapport de stage Ircam 2008 1 4 1 9 Traitement des r gions bruitees A cause des multiples probl mes en relation avec l impl mentation de la transposition en domaine fr quentiel et en accord avec le partenai
110. eeeeeeueeeseaeessanesessnenes 97 22 0 5902 BIDNOMCOUGIMUBD SLR RE Mrs E tienne de Ronnie en Need an nt 98 229 ECHAN ELONNEUR mirenan POS ne te mena 103 2 31 SOUROBIOWSE iri a E nn M wa ctl es ee nee nt sees te a cabinets E ta laa nes does 103 2 3 2 Affichage traditionnel sous forme de liste 103 23 3 Prototype CCNANEIORINGU see nn en sd eee E Lena dent 107 24 AIDE AL ORCHESTRA TIONS ESS a rer Net eheie tete an canon tee 115 2 4 1 Serveur d orchestration Orchid e 4 115 2 4 2 Interface cliente OM Orchid e ccccccccccseecseeeccsesecsesecsuseeceecssesessusessnsesssessesessanessanes 122 2 4 3 Theses de doctorat issues du projet 126 3 DIFFUSION ET VALORISATION DES TRAVAUX nn rnnnrrnnnnenennenennenennennnns 127 91 DIFFUSION SCIENTIFIQUE vec totes ccs a a nn ee ete t rer 127 3 1 1 Publications dans des revues internationales comit de lecture 127 LL22 SCHADINCS OG TIOS EEE RE Sn TE Marne ent N tie mn 127 3 1 3 Actes de colloques avec comit de s lection cccceccsecceecneecseecsecnseeceecseceecseesseenteseness 127 3 1 4 S minaires et workshops scientifiques 128 3 1 5 Theses Masters et autres publications ccccccccecccececseecsneecseessuesseeesseessuessueeseessnesseeses 129 3 2 DIFFUSION PROFESSIONNELLE nosira enina de nl aan nil el cet aa sin 129 3 2 1 Pr sentations professionnelles 129 322 ROUE GANT RS an nent E dieu es cit 129 3 2 3 Contribution la product
111. effectif orchestral un ensemble d op rateurs permet d exprimer un r seau de contraintes complexe que doivent v rifier les solutions d un probleme d orchestration Ces contraintes s appliquent sur des descripteurs symboliques uniquement qui sont les param tres d criture pour le compositeur L utilisateur peut donc facilement imposer un certain nombre de restrictions sur les instruments utilis s les familles les notes les sourdines les dynamiques et les modes de jeu Le module de recherche locale permet dans le cas d un probl me contraint de r parer les solutions ventuellement inconsistantes L algorithme CDCSolver tire parti de la distinction entre contraintes de design et contraintes de conflit pour trouver une solution consistante en un nombre limit d it rations Cette dichotomie commande l instanciation ou la d sinstanciation d une variable Inspir la fois de l algorithme de recherche adaptative Truchet Codognet amp Diaz et de l heuristique CN Tabou Vasquez Habet et Dupont il s articule autour d une recherche tabou dynamique au cours de laquelle la plus mauvaise variable est modifi e en priorit En outre une gestion ad quate des instanciations partielles permet une propagation implicite des affectations 3 07 09 68 137 Projet Sample Orchestrator rapport final Implementation code Matlab Date de realisation mars 2008 Performances L algorithme CDCSolver a t val
112. effets sonores temps r el comme une r verb ration puis de nombreux autres algorithmes de traitement ont suivi N anmoins la source sonore est rest tr s longtemps limit la lecture basique d chantillon sonore jusqu la parution de MachFive 2 dit par la soci t am ricaine MOTU et de la 3 me g n ration du moteur UVI qui a enrichi sa palette sonore a l aide d un oscillateur type analogique bas sur des formes d ondes simple L id e de Sample Orchestrator est donc venue de cette envie de pousser ce concept encore plus loin et d tendre les possibilit s sonores des instruments virtuels bases sur le moteur UVI 1 5 1 Analyse des besoins et tude de march 1 5 1 1 Analyse des besoins Le projet Sample Orchestrator vise cr er un outil de sound design d un genre nouveau tout en permettant une utilisation standard de sampler ne le limitant ainsi pas un usage exotique Le but tant de toucher un maximum de clients potentiels ne l oublions pas Cet outil doit pouvoir tre utilis dans un cadre standard de production et post production musicale avec des op rateurs allant du musicien au monteur son et se doit donc de remplir des crit res d interop rabilit avec le mat riel couramment utilis dans ces domaines Qu il s agisse de cr er des textures sonores de d clencher des bruitages ou tout simplement de composer une musique SampleOrchestrator se doit de fournir un environnement de travail exemplaire et intuitif
113. eights import source import source audio file audio descriptors i 2 _ drag drag fiie fiie j here here AT d n roene weights import audio 1 import sdif 1 play 1 alan ae sor mubu source P g T J import target import target p fade CO yyy y O audio file audio descriptors f d rag drag fite fre j T pa import audio 1 import sdif 1 sor mubu target Figure 60 Application Max MSP 5 de synth se granulaire bas e sur les descripteurs en mode Musaicing 2 2 4 SP3 4 Variation interactive de boucles rythmiques Responsable Ircam IMTR L application r alis e int gre deux modes de fonctionnement Recomposition temporelle des segments correspondant aux pulsations Remplacement des segments correspondant aux pulsations dans un fichier son donne par un autre bas sur la ressemblance selon un ensemble de descripteurs choisi 3 07 09 97 137 Projet Sample Orchestrator rapport final granular parameters tempo parameters head 1 0 tempo 1 0 tail 1 0 tempofactor 1 1 attack 1 O release 1 0 import target import target audio file audio descriptors level 1 0 resampling 1 0 drag drag fre fite here here random variations positionvar 1 0 periodvar 1 0 import audio 1 import sdif 1 resamplingvar 1 0 sor mubu beats levelvar 1 0 a beat shuffling i continue sor b
114. enant environ 5000 echantillons La base se limite aux sons harmoniques entretenus et sans variations temporelles e La description retenue se limite deux descripteurs spectraux les partiels les plus importants et le centroide spectral e Une mod lisation du l espace de recherche sous forme de chaines binaires ainsi que la d finition de fonctions de distances associ es a chaque descripteur ont permis de poser le probleme de lorchestration comme une variante du sac a dos multidimensionnel multi objectifs e L approche retenue pour la r solution de ce probleme en temps raisonnable utilise une population de solutions ainsi que des op rateurs g n tiques de croisement et de mutation adapt s au caract re fortement contraint de l espace de recherche La gestion des contraintes 3 07 09 66 137 Projet Sample Orchestrator rapport final est radicale les solutions inconsistantes sont syst matiquement limin es de la population e Une recherche multi objectifs permet d adresser de fa on pertinente l aide d un mod le a poids al atoires le caract re multidimensionnel de la perception du timbre Impl mentation Code matlab R sultats Performances e Pas de limitations dans la taille des orchestrations e Obtention d un ensemble de solutions optimales repr sentatives de possibilit s sonores de l orchestre e Possibilit gr ce un mod le poids d inf rer les pr f rences de l utilisateur en mati
115. endant tre not que ce chiffre ne peut tre pris comme mesure de performance car il viole la r gle de validation crois e 1 3 3 3 Description et classification morphologiques Deux crit res ont t envisag s au cours du projet pour la description morphologique des sons les profils dynamiques et les profils m lodiques de hauteur Les tentatives pour d finir des classes de profils m lodiques stables et convaincants se sont av r es infructueuses Peeters08 et il a dont t d cid de concentrer les efforts sur les profils dynamiques pour la classification automatique reposant sur les classes suivantes conjointement labor es par les quipes Analyse synth se et PDS cf 1 3 6 2 stable train d impulsions d croissant impulsif croissant d croissant et croissant De telles classes dynamiques peuvent tre d crites en mesurant un certain nombre de pentes et dur es partir d une approximation par morceaux d une enveloppe temporelle Des exp riences pr liminaires d crites dans Peeters08 se basaient sur des approximation par splines Les possibilit s de mod lisation temporelle de IrcamDescriptor ont permis d appliquer des approximiations similaires aux segments AR attack rest d une des enveloppes temporelles disponibles comme descripteurs a court terme l nergie totale 1NRG l enveloppe en nergie 1EEV and la sonie 1LDN A cet effet les mod lisations suivantes sont disponibles e Temporal increase 1
116. eprise 13 06 2008 Ircam e David Coll cursus 1 piece for soprano petites percussions and electronics 06 10 2007 Ircam e Dai Fujikura piece swarming essence for Agora 2007 Ircam Paris 9 6 2007 e Stephano Gervasoni piece Whisper Not for Monaco and Agora 2007 Ircam Paris 14 6 2007 3 2 3 3 Autres modules temps r el Poetry for dark dolls piece pour soprano ensemble et lectronique de Marco Antonio Suarez Cifuentes cr ation IRCAM 10 01 2009 moteur de musaicing synth se par descripteurs pilot e par l analyse temps reel de l ensemble et du soprano 3 2 3 4 Aide l orchestration e Speakings pour Orchestre de Jonathan Harvey premiere aout 2008 a Londres au Royal Albert Hall BBC Orchestra e Fernando Villanueva Carretero Bukowski Madrigals cursus 2 cr ation festival Agora 2009 e Marco Suarez Cifuentes Poetry for dark dolls CM Cursus 2 cr ation festival Agora 2009 Ircam e Kenji Sakai Astral Chromoprojection Cr ation Cursus2 Cr ation festival Agora 2009 Ircam 3 3 Diffusion publique valorisation 3 3 1 Presse m dias The Herald Juillet 2008 dit propos de la cr ation de Speakings de Jonathan Harvey It opens with a scream and ends in a hymn Jonathan Harvey s orchestral work Speakings is possibly one of the most adventurous orchestral compositions ever undertaken by any composer certainly in the recent history of music It is almost outrageous in what it strives to depi
117. er Georges Bloch Tristan Murail Joshua Fineberg Geoffroy Drouin Michael Levinas entre autres ont interagi un moment ou un autre avec les chercheurs 3 07 09 75 137 Projet Sample Orchestrator rapport final De mani re passer l preuve du feu le Prototype 2 a t utilis en production musicale grandeur r elle par les compositeurs du cursus d informatique musicale de l Ircam et leurs pieces ont t jou es en concert public A l occasion de cette collaboration certaines demandes orchestrations en micro intervalles ont t formul es et satisfaites Une grande production internationale Speakings pour Orchestre de Jonathan Harvey premi re aout 2008 Londres au Royal Albert Hall BBC Orchestra a permis de v rifier que le travail de lequipe arrivait maturit L apartition utilise uen grande quantit d orchestrations directement issues de notre syst me 1 6 10 SP4 8 Application finale 1 6 10 1 D SP4 8 1 application finale jusqu en juin 2009 Objet int gration des interfaces de contr le d dition de synth se de recherche dans l application finale R criture compl te sous forme de serveur Orchid e Le description de la version finale du serveur Orchid e constitue l un des r sultats finaux du projet et est donn e au 2 4 1 1 6 11 Orchestration musicale dynamique Stage Atiam Master Universit Paris 6 de Philippe Esling de mars juin 2009 Ce stage effectu au cours des de
118. es instruments banques de sons pr calcul es pour proposer l orchestration des echantillons quelle que soit leur signature sonore selon de nouvelles methodes et approches reposant sur une prise en compte globale technologies de bases de donn es et par le contenu sonore travers l utilisation de descripteurs sonores et musicaux pertinents pour les fonctions vis es automatiquement extraits des signaux audionum riques Importation et exportation multi formats et multi crit res Le consortium r unit des competences reconnues dans les trois domaines cles n cessaires a la r ussite du projet 3 07 09 6 137 Projet Sample Orchestrator rapport final des experts en description et indexation des corpus sonores et musicaux des experts en traitement des signaux audionumeriques des experts en ing nierie d chantillonnage des industriels de premier plan qui maitrisent et d veloppent des usages et pratiques m tiers correspondants aux champs d applications vis s Le projet Sample Orchestrator face aux technologies en place se propose d aller plus loin voire d innover dans les domaines suivant Orchestration musicale visuelle et sonore Interaction temps r el entre les repr sentations graphiques des sons et leur modes de traitement Recherche intelligente l int rieur d un contenu complexe et multiple par similarite proximit empreintes et non plus seulement sur la base de cat gories pr d finies Tra
119. es pr f rences d analyse sont galement disponibles afin d affiner les r sultats de mani re qualitative La partie synth se granulaire travers l API ZsaZsa fait l objet de deux oscillateurs d di s pour chacune des applications potentiels Ces int grations avaient pour but de d tecter d ventuels probl mes lors de la conception du nouveau moteur tout en permettant de v rifier l ad quation des techniques mises en uvre aux contraintes li s l application sampler Notamment en ce qui concerne le cout moyen et maximum de la charge de calcul ainsi que l ad quation des modules fournies Leur utilisation au sein de l application a galement permis d affiner la conception de l interface utilisateur L int gration des oscillateurs fournis par l IRCAM avait galement pour but d affiner leur utilisation afin de les rendre plus musicaux dans le type d utilisation fournis par Sample Orchestrator En suppl ment des modules fournis par l IRCAM de nouveaux composants rajout s au moteur UVI ont put tre test s et valid s l aide des diff rents prototypes successifs Les tests ont port sur les qualit s sonore des oscillateurs rajout s ainsi que leur versatilit par rapport des produits concurrents g n ralement plus d di La lecture direct des chantillon sonore depuis le disque dur ainsi qu un large panel d effets temps r el ont fait partis des ajouts successif de fonctionnalit et donc de nouveaux modules a t
120. essages OSC La communication par fichiers texte est galement possible dans les cas ou les donn es transmettre sont trop volumineuses Les messages d tat Les messages d tat permettent de renseigner l interface cliente sur la l tat courant du serveur Leur particularit est de ne pas avoir acc der aux donn es manipul es par Orchid e sont trait s directement par l interface la plus externe du serveur Les autres sont redirig s vers un parser qui les interpr te selon le type d objet qu ils concernent knowledge ou session L objet knowledge L objet knowledge est la repr sentation interne des connaissances musicales utilis es par Orchid e pour chercher des propositions d orchestration On peut y acc der grace des m thodes de type build ou query Les premi res permettent de lire une ensemble de fichiers de description XML et d en repr senter le contenu dans un objet Matlab Des techniques l mentaires de compression bas es sur la d tection de redondances en restreignent l occupation en m moire Les secondes permettent un acc s au contenu de l objet knowledge travers un ensemble de requ tes pour lesquelles une syntaxe a t d finie Un ensemble de tables d index garantit par ailleurs un acc s en O 1 pour les requ tes l mentaires 3 07 09 120 137 Projet Sample Orchestrator rapport final CLIENT INTERFACE i OSC Osc Cees i Sen v Orchid e Aggregation 1 Sound Databas
121. ester en d tail D un point de vue graphique l affichage graphique des modulations temps r el t r alis et a permis galement de valider visuellement le comportement de celle ci l interaction entre modulations tant en g n ral beaucoup plus facile a comprendre visuellement que th oriquement 1 5 7 Interface utilisateur L tude pr alable de diff rentes applications dans le domaine musical et dans des domaines connexes tels que la vid o ou le graphisme permis d inspirer et de dessiner les contours d une interface graphique la fois intuitive et professionnelle Une prise en main rapide tout en permettant le travail quotidien des utilisateurs aguerris tait au centre des discussions L effort c est concentr sur la possibilit de maximiser l espace graphique utile en pr sentant un grand nombre informations contextuelles tout en essayant de garder en permanence la vue d ensemble au sein d une seule et unique fen tre consolid e 3 07 09 63 137 Projet Sample Orchestrator rapport final Pour ce faire les points importants consistaient a pouvoir reconfigurer l espace de travail en fonction de la t che a accomplir ainsi que de rendre l interface enti rement redimensionnable afin de pouvoir b n ficier de toute la surface de l cran disponible si n cessaire La partie purement visuelle li e non pas au contenu mais sa pr sentation formelle est un point important et l attrait graphique du produit est es
122. eur de l instrument qui est suppos fixe et qui va alors moduler les partiels qui ont t d plac s en fr quence La deuxi me source est li e au fait que le r sonateur lui m me change avec les modifications de la fr quence fondamentale Nous avons tudi la performance d un des produits du march Melodyne et nous avons trouv que ce logiciel n arrive pas supprimer le tr molo induit Nous avons alors poursuivi en mettant en place deux approches pour rem dier ce probl me Le premier consiste pr server l enveloppe spectrale lors de la transposition Cela devrait enlever la modulation d amplitude induit si l enveloppe spectrale ne change pas avec la modulation Les r sultats ont montr que cette approche tait peu effective et cela nous conduit la conclusion que l amplitude et l enveloppe spectrale changent avec la fr quence fondamentale Nous montrons un exemple de ce r sultat en Figure 28 Dans ce figure on voit le spectrogramme et l enveloppe spectrale d un son de fl te avec vibrato Le vibrato est facile a rep rer dans le spectrogramme et de m me dans l volution temporelle de l enveloppe spectrale STFT True Envelope ROVER es NS je OO e ire y 2 oaa 0 01 02 03 04 05 06 070809 1 0 01 02 0 3 04 05 06 07 08 09 1 Time Time Figure 28 Spectrogramme gauche et enveloppe spectral droite d un son d un flute avec vibrato En Figure 29 on voit les m mes analyses pour ce son apres
123. ffle l l 5 0 5 0 0 6 bulle l 0 10 0 0 0 0 0 chute dans liquide 0 0 0 0 0 0 3 ecoulement 0 0 oO l 5 10 0 0 0 0 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4 0 0 0 0 0 0 0 3 ecrasement 5 f 0 10 0 0 0 0 0 fermeture l i 0 10 0 0 0 0 0 froissement 4 i 0 10 0 0 0 0 0 frottement 5 10 0 0 0 0 6 grincement 0 i i s 0 0 0 0 0 0 0 roulement 0 10 0 0 0 0 6 tintement l i l l 5 10 0 46 0 3 ressorts 0 0 0 0 0 0 11 Electrique i i i 2 88 24 Electronique 0 0 Machine nb_sons 6 17 5 21 14 1 6 2 7 3 7 8 10 3 2 4 13 10 10 23 2 10 12 17 213 Figure 25 Matrice de confusion en 2 me niveau Classes th oriques vertical vs classes identifi es par participants horizontal Les conclusions issues de ces travaux sont pr sent es au 2 1 5 2 Perspectives 3 07 09 35 137 Projet Sample Orchestrator rapport final La poursuite de ce travail peut s envisager a deux niveaux d un point de vue th orique am liorer la structure de classification en affinant notamment la description de certaines de ses composantes par exemple Gaz ou Liquide d un point de vue exp rimental valider ces nouveaux r sultats en tentant de r soudre la principale difficult
124. ficaces pour distinguer les deux classes des pics spectraux d une part les pics g n r s par une sinusoide seule avec variation de la fr quence et de l amplitude limit e et d autre part les pics spectraux g n r s par le bruit Les deux descripteurs sont la largeur de la bande du pic normalis NBD et la dur e du signal li e au pic DD Nous avons t invit s soumettre un article sur ce sujet au Computer Music Journal et alors nous avons reorganise notre planning et ont investi une part du temps consacre au remixage dans l criture de l article ZivanovicO8a Ensuite nous avons abord la question du m canisme de la classification bas sur le descripteur NBD Ayant tabli exp rimentalement le fait que le descripteur NBD est le meilleur descripteur pour la distinction entre pics sinusoidaux et pics bruites il nous semblait important a expliquer si le fonctionnement du descripteur peut tre compris dans le domaine temporel L tude th orique de cette question a t entreprise en collaboration avec M Zivanovic de l Universit de Navarra en Espagne Cette tude nous a montr que le descripteur NBD mesure la dur e de l enveloppe du signal li e aux pics Gr ce la normalisation par la largeur de la bande du pic la dur e n est pas mesur e en temps mais en chantillons avec un taux d chantillonnage adapt la largeur de bande du pic observ La compr hension de ce m canisme nous a donn des nouvelles id es po
125. finalisation Ainsi pendant la derni re p riode du projet le moteur a pu tre adapt au fonctionnement particulier de l echantillonneur initialisant le moteur chaque d clenchement de note Cette finalisation concerne surtout l optimisation de l initialisation du moteur la minimisation du retard entre le contr le par l chantillonneur et le son produit ainsi que l option de traiter des son cycliques 3 07 09 55 137 Projet Sample Orchestrator rapport final Ces extensions et optimisations du moteur ont t int gr es dans la version 2 1 et 2 2 de la biblioth que ZsaZsa livr e aux partenaires du projet 1 43 SP3 3 Synthese granulaire bas e sur les descripteurs sonores Responsable Ircam IMTR Dans la premiere periode du projet un ensemble de fonctionnalites prototypes ont ete pr sent es Ils ont t r alis s avec le system CataRT bas sur la biblioth que FTM amp Co dans Max MSP Ces prototypes permettaient la synth se granulaire d un fichier sources en s lectionnant les grains par leur description selon un ensemble de descripteurs sonores extraits du son la place par simple position dans le fichier Pour l impl mentation d une application finale bas e sur le moteur de synth se granulaire un ensemble r duit de fonctionnalit s a t retenus L architecture mise en uvre est d crite au 2 2 3 p 95 1 4 4 SP3 4 Variation interactive de boucles rythmiques Responsable Ircam IMTR L appli
126. gin audio VST et AudioUnit ainsi que dans Max MSP en tant que module sor mubu pour r aliser les applications des d livrables D SP3 3 2 et D SP3 3 3 Le module est aussi utilis dans un exemple d int gration Max MSP 5 du moteur de synth se granulaire pour D SP3 4 3 La version de la biblioth que finalis e pour le d livrable D SP3 5 2 int gre la repr sentation de donn es en m moire vive et les fonctionnalit s suivantes Repr sentation multipiste align e des fichiers son des descriptions sonores et d autres donn es temporelles en m moire vive o chantillons sonores mono ou multipistes o Representations spectrales du son o Descripteurs sonores et segmentations o Repr sentations simplifi es de partitions en tant que description d une interpr tation enregistr e o Donn es de captation du geste et du mouvement o R sultats d alignement entre sons partition et geste mouvement Representation unifi e de donn es de temporalit et de dimensionnalit inhomog ne o Donn es chantillonn es scalaires ou multidimensionnelles o Donn es scalaires ou multidimensionnelles avec un tampon temporel o Segments temporels avec temps de r f rence de d but et de fin associant de donn es symboliques scalaires ou multidimensionnelles M thodes d importation d un maximum de format de fichiers pertinents 3 07 09 99 137 Projet Sample Orchestrator rapport final o Formats de fichiers son bas e sur la biblioth
127. haut et du 2 niveau bas Resultats Les donn es de l exp rience ont t analys es en terme de matrice de confusion en qui repr sente le taux d identification de chaque classe en calculant en moyenne sur les participants le nombre de sons correctement assignes a la classe a laquelle il appartient th oriquement classes th oriques d finies dans le SP2 5 1 Cette analyse s est effectu e suivant les deux niveaux de la structure de classification 1 niveau jaune sur Figure 54 Classes identifi es par les participants Gaz Liquide Solide Electrique Electronique Machine Gaz 49 Liquide 33 Solide 92 Electrique 10 Electronique 12 Machine 17 Figure 24 Matrice de confusion en Ter niveau u ab 5 pa O O 7 geme niveau bleu sur Figure 54 nb les classes glue et ressorts ont t rajout es posteriori pour des raisons exp rimentales 3 07 09 34 137 Projet Sample Orchestrator rapport final 3 g c 4 o o o e E Oo un Z2 rd D S TE E E 2 Zo Q o 5 A g rs T O ag 3 S Fa St 2 2 9 p o x oO O o o 2 E o l 7 oO D dur i W 11 crepitement 7 1 9 0 0 5 0 0 0 0 0 3 8 0 0 0 0 0 0 10 0 0 0 2 1 explosion 5 5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 0 0 0 0 3 14 sifflement 8 0 5 0 0 0 3 i 12 sou
128. i m me plusieurs autres param tres de synth se Synth se granulaire synchrone la hauteur Une synth se granulaire sp cifique adapt e aux sons hauteur monophonique a galement t incorpor e ainsi qu un algorithme sp cifique de marquage de forme d onde avec d tection de hauteur Ce type de synth se permet galement de rendre totalement mall able la base temporelle des sons enregistr s tout en pr servant leurs qualit s timbrales lors de la transposition fr quentielle La grande majorit des banques de sons d instruments existants tant bas e sur des enregistrements de notes seules hauteur connue le potentiel d exploration de ce type d oscillateur est tr s grand et ce pour une diff rence de co t de calcul relativement proche des techniques de sampling traditionnelles 3 07 09 110 137 Projet Sample Orchestrator rapport final Transposition par vocodeur de phase Save Default v bypass KlangGuitare wav ala L algorithme d analyse resynth se SuperVP a galement t int gr sous forme d oscillateur au sein du moteur UVI C est l oscillateur qui offre de loin la meilleur qualit en terme de transformation du son y compris lors de r glages extr mes comme des dilatations temporelles par un facteur 10 par exemple grace a la preservation des transitoires et de l enveloppe spectrale N anmoins cette qualit a un co t qu il est important de conna tre et ne permettra donc pas de joue
129. ien Tardieu et celle de Gr goire Carpentier Leur contenu est d crit en annexe du pr sent document De plus un projet de th se cons cutif aux travaux de Master de Philippe Esling cf 1 6 11 est soumis dans le cadre d une demande de bourse l cole doctorale EDITE pour la rentr e universitaire 2009 3 07 09 126 137 Projet Sample Orchestrator rapport final 3 Diffusion et valorisation des travaux 3 1 Diffusion scientifique 3 1 1 Publications dans des revues internationales comit de lecture Carpentier09a Carpentier G Bresson J Interacting with Symbolic Sound and Feature Spaces in Orchid e a Computer Aided Orchestration Environment Computer Music Journal to appear 2009 CarpentierO9b Carpentier G Tardieu D Harvey J Assayag G Saint James E Constrained Multiobjective Optimization for Computer Aided Orchestration Theory and Applications Journal of New Music Research to appear 2009 CarpentierO9c Carpentier G Assayag G Saint James E Solving the Musical Orchestration Problem using Multiobjective Constrained Optimization with a Genetic Local Search Approach Journal of Heuristics to appear 2009 article soumis Misdariis N Minard A Susini P Lemaitre G McAdams S Parizet E Environmental sound perception meta description and modeling based on independant primary studies EURASIP Journal on Audio Speech and Music Processing special issue on Scalab
130. inal SP1 Coordination sp cifications diffusion Ircam SP2 Indexation SP3 Analyse et navigation traitement audio Ircam Ircam SP4 Orchestration Ircam SP5 Echantillonneur Univers sons Le planning initial du projet se basait sur une p riode de 24 mois mais d s la sp cification d taill e men e au premier semestre du projet une extension a 30 mois s est av r e n cessaire selon le planning ci apr s 2006 2007 Planning Actualis 12 1 3 6 7 9 10 11 12 1 2 3 4 5 6 7 8 910 1112 1 2 3 4 5 6 2 4 5 8 pt fe ts sts fo 7 8 9 10 14 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 SP1__ Coordination sp cifications diffusion ss TIT TTT Pc TEE TT PTE TE TT TITI TT I SP2__ Indexation audio et navigation par le contenu S tt te tt tt TT I SP3__ Analyseettraitementaudio TE TT PT Tc TP Tc Pc PT TE TE ET TE TE TT TT SP4_ Orchestraion EE ET EE PR PP PI SP5__ Echantilonneur EEE ET EE ER RP RER RP PP Sp cification d taill e Premiers Applications finales Ce planning a t respect dans l ensemble de ses ch ances principales Certaines t ches de recherche relatives au SP2 et au SP3 se sont poursuivies au dernier semestre du projet 1 2 Sp cification d taill e Parall lement au d marrage des t ches de recherche l ensemble des participants ont t mobilis s au cours des 6 premiers mois du projet en vue de la p
131. ion linear discriminant analysis LDA et mapping lin aire Avancement de l architecture et des fonctionnalit s de CataRT comme mod le d une application de navigation dans des grandes bases sonores et de sa documentation 1 3 9 4 et cf rapport M22 annexes 1 et 2 o Int gration des nouvelles fonctionnalit s d velopp es en libraries et autres modules dans CataRT DistLib idesc et VisLib D veloppement de nouveaux descripteurs spectraux Nouvelle architecture de l interface graphique pour la recherche de sons et la navigation dans des grandes collections sonores 1 3 9 5 o M thodes d interaction avec la continuation de boucles rythmiques Version standalone simplifi de CataRT servant de demonstrateur Mod lisation de la continuation de boucles rythmiques 1 3 9 6 voir aussi SP3 4 Variation interactive de boucles rythmiques ces recherches ont ete effectu s au sein de l application CataRT et ont r sult dans des parties de la librairie DistLib et des nouvelles fonctionnalit s de CataRT 1 3 9 2 Librarie DistLib Algorithmes de recherche efficaces dans des grandes collections de donn es multidimensionnelles La biblioth que de fonctions DistLib fournit des fonctions et structures de donn es pour le calcul de distances et la recherche d l ments dans des espaces de donn es 3 07 09 39 137 Projet Sample Orchestrator rapport final multidimensionnelles Cette librarie n a pas de d pendances envers d a
132. ion d uvres artistiques ccccccccseeccenecceseecesnseessesseeessaeessaees 130 3 3 DIFFUSION PUBLIQUE VALORISATION tue detenes mar eecucaecgebesacsesunsiceatasshewadetasecsancernarae 131 3 3 1 Presse Mm di S neisse neendran uote de nb die net cata Ces da 131 Boo Evenements DUDNCS oasi E a ee orme do Massa nn peu nice 131 3 4 VALORISATION INDUSTRIELLE sco ice ne te nn ne de nes nn neuen 131 4 ANNEXE THESES ISSUES DU PROJET issues aaa aa ai lets 132 4 1 TH SE DE DAMIEN TARDIEW bras Sn nn etes eee en a on ant 132 42 THESE DE GREGOIRE CARPENTIER Sd de miss teen einen 133 3 07 09 3 137 Projet Sample Orchestrator rapport final 1 Programme des actions engag es 1 1 Description g n rale du projet 1 1 1 Pr sentation synthetique Le projet Sample Orchestrator vise la r alisation et l exp rimentation de nouvelles applications reposant sur la gestion et la manipulation par le contenu de banques d chantillons sonores sons isol s pr enregistr s Sa r alisation s inscrit la conjonction de deux processus d une part la disponibilit commerciale de grandes banques d chantillons diffus es sur diff rents supports CD et DVD bases en ligne mais limit es dans leurs applications synthetiseurs par chantillonnage d autre part des avanc es scientifiques et technologiques r centes en mati re de m thodes d indexation et de syst mes de gestion de bases de donn es audio permettant d envisager des foncti
133. ircam Centre univers sons com Pompidou Projet Sample Orchestrator Rapport final Contributeurs Tous participants au projet Edition et validation Hugues Vinet Sous projets tous Statut diffusion Restreinte Date mois ann e Juin 2009 Version V1 R sum Ce document constituant le d livrable final du projet Sample Orchestrator fournit une synth se des travaux r alis s pour la totalit du projet Il est organis en 3 parties Programme des actions engag es d crivant l ensemble des travaux realises selon la structuration des t ches d finies dans l annexe technique et pr cis e dans le document de sp cification d taill e R sultats scientifiques et techniques pr sentant les principaux r sultats issus des travaux de recherche et leur traduction sous la forme de modules logiciels et des deux principales applications r alis es Echantillonneur et Prototype d aide l orchestration et Diffusion et valorisation des travaux recensant les principaux objets produits et actions de diffusion et valorisation scientifique professionnelle et publique li s aux r sultats du projet L ensemble des participants au projet ont contribu a sa r daction 3 07 09 1 137 1 PROGRAMME DES ACTIONS ENGAGEES nn ee ee eens eeeee eee eeeeseae ee eeeeseaeeseeeeeseeeaaneees 4 1 1 DESCRIPTION GENERALE DU PROJET scat eet oie Sei inthe ieee aes 4 1141 I FCSCNTATION SYN Cl QUE exec acct re
134. is pour permettre leur affichage Des m thodes de r duction de dimensionnalite tel que multi dimensional scaling MDS principal component analysis PCA avec l int gration interactive de poids par dimension le mapping lin aire matmap et si des labels de classes sont disponible la inear discriminant analysis LDA peuvent aider a rendre accessible les espaces de haute dimensionnalit pour la navigation interactive Certains de ces algorithmes sont group s dans la librarie VisLib sans d pendances envers d autres libraries et donc facilement int grable dans n importe quelle application Une simulation de ce proc d en utilisant l algorithme Metric MDS de Matlab avec une norme de distance Euclidienne avec normalisation montrait l int r t de MDS Ainsi a ete impl ment l algorithme Hybrid MDS qui est une version optimis e iterative de MDS avec des iterations de compl xit sub lin aire bas sur recherche des plus proches voisins KNN Morrison Ross Chalmers InfoVis 2002 2003 Cet algorithme se base sur une mod lisation masse ressorts L approche iterative du placement des points vers la solution optimale peut deja tre visualis ce qui permet l utilisateur d interrompre l algorithme d s que la solution interm diaire est suffisante pour la tache de navigation requise Pour la recherche des plus proches voisins nous disposons d j dune implementation optimale en temps logarithmique par le kD Tree de la librarie D st
135. iser un arbre de synth se afin de r partir sur un clavier diff rentes sources sonores g n r es par des oscillateurs O D finition de zone Keygroups et association d un oscillateur a cette zone 3 07 09 60 137 Projet Sample Orchestrator rapport final Mapping de ces zones en fonction de notes MIDI et de v locit s Nombreux type d oscillateurs ayant dans certains cas une base d chantillon sonore interchangeable Association d effets filtres ces zones Possibilit d organiser ces zones en groupes Layers Definition de r gle d activation de ces groupes en fonction de contr le de jeux Modulation des diff rents param tres de syntheses par des sources de modulations Nombreux types de source de modulation ayant dans certains cas une base d analyse de materiel sonore Edition de forme d onde et application de traitements Explorateur de banque de sons et recherche de mat riel sonore Chargement et sauvegarde d un grand nombre de format de sample WAV AIFF SD2 SND O VO OO OU On peut d finir la partie chantillonneur du projet comme un m ta synth tiseur offrant les fonctionnalit s d un sampler volu traditionnel tout en permettant l utilisation de sources sonores plus souvent disponibles dans des logiciels exp rimentaux alli es un riche panel de transformations par le biais d effets audio et de modulations de param tres temporels Une synth se de deux mondes qui sont hab
136. isualisation de collections d images et a prouv son efficacit en terme de communication et d assimilation de l information dans un espace r duit Afin de fluidifier la navigation dans une grande quantit de r sultats les miniatures de formes d onde sont calcul es la demande avec un syst me de mise eb cache permettant de d optimiser les cas de navigation s quentielle lin aire les plus courants Un grille 4x3 a t choisie fournissant un compromis entre le nombre de sons visible en seul coup d il et le confort d affichage de chacun des sons permettant d en discerner les d tails 2 3 2 2 Recherche Textuelle Full text search Ce Meter Percus Parodi ty amont Sharpness Loudness La grande majorit des recherches que ce soit sur internet ou dans les explorateurs de fichiers fournis avec les syst mes d exploitation se limitent une recherche textuelle pure 3 07 09 104 137 Projet Sample Orchestrator rapport final avec un ou quelques mots cl s seulement comme en t moigne l interface minimaliste de recherche Google Il s agit donc d optimiser au mieux la performance et la pertinence des r sultats tous les autres modes de recherche lui etant subordonnes Afin de maximiser les chance de r sultat nous avons impl ment une recherche textuelle transversale dite full text search avec une table SQL virtuelle permettant de r aliser l Index invers e mot sons de mani re efficace a la fois en
137. itement de la mati re sonore en temps que telle sons instrumentaux sons et bruits identifiables ou non Le projet vise renouveler les modes d appr hension et de travail autour des banques d chantillons qu elles rel vent de modes de classification objectifs les diff rentes cat gories d instruments ou de caract ristiques acoustiques relevant d environnement sonores quelconques L orchestration de ces samples d origines diverses associant le mode graphique d dition la recherche intelligente de crit res et la pertinence d une interface utilisateur accessible et performante forment le socle de ce projet dans son cadre d utilisation potentielle Le projet vise la mise en uvre de t ches de recherche destin es r aliser ces fonctionnalit s nouvelles et leur impl mentation sous la forme de deux prototypes applicatifs principaux Une application d echantillonneur de nouvelle g n ration d velopp e par Univers sons sur la base d evolutions de son moteur UVI Engine Cette application logicielle permettra la gestion et l dition des m dias sonores multi formats ainsi que leur dition temps r el l indexation du contenu et sa gestion multi crit res A la fois application autonome Stand Alone et ins rable plug in au sein de l ensemble des applications h tes existantes sur le marche cette application doit r pondre a des attentes precises et non resolues des operateurs des domaines de travail evoques plus haut
138. iteur de spectre classique est en effet due a ces param tres fonctionnels de l objet soundtarget la cible est initialement construite a partir de donn es symboliques et d op rateurs de traitement de ces donn es qui peuvent tre issues de fonctions disponibles parmi les fonctions le la biblioth qiue OM Orchid e ou pr alablement compos es programm es par l utilisateur lui m me dans l environnement de CAO predefined processing functions OM Method RAMP 0 G oc 6 5P set ampiltudes filter vps freqs default values filter 400 7000 LISP user defined list processing function c a amp c a c a SOUNDTARGET Selected Note Spectral Edit Nb Harmonics Add Partials Band Filter SET AMPLITUDES RAMP Figure 77 Traitement algorithmique des donn es de sp cification de la cibles a partir de programmes visuels Partant de la cible sonore au sens large le mod le abstrait int grant potentiellement la notion de cible concr te constitu e uniquement d un son sans les aspects symboliques et spectraux li s sa g n ration les donn es utiles param tres symboliques spectraux le cas ch ant son concret ou synth tis sont transmises via le protocole de transfert OSC au moteur d orchestration qui les utilisera dans sa recherche de solutions L ensemble des solutions est transmi
139. ituellement assez s par s Il s agit ici d offrir un outil pouss sans pour autant complexifier l utilisation et l oppos sans brider le champ d action 1 5 3 Refonte du moteur UVI Forts de notre experience sur les versions pr c dentes du moteur UVI nous avons d cid de pousser le concept plus loin et d offrir une architecture plus ouverte et plus souple permettant une grande extension des fonctionnalit s originelles La multitude de sources sonores de modulations et de traitements donc t au c ur de la conception de la nouvelle g n ration Une attention toute particuli re a t port e aux modulations temps r el des diff rents param tres de contr le en raison des informations amen s par les diff rentes tudes pr alables Il devait tre possible de moduler les param tres des diff rents modules par une ou plusieurs sources de contr le interne ou externe l application Certains points techniques ont t galement au centre des consid rations principalement li s la gestion du co t de calcul entrainant la reconsid ration de certains choix de conception Un moteur par trop modulaire m ne ainsi rapidement un co t de calcul prohibitif pour notre cadre applicatif Il s agissait donc de trouver un compromis satisfaisant entre le co t de calcul et une modularit accrue tout en conservant au minimum les performances originales Une compatibilit avec les banques de sons existantes tait galement
140. ivers tailles Glass divers bris soft impacts Ceramic proche glass voire metal divers vaisselle Brick impacts bricks tiles cement Paper froissements mouvements Plastic boxes bag Stone impacts frottements Wood divers impacts torsions S quentiel pattern temporel R gulier sons divers alarm applause gun helicopter Acc leration coins vibrato triangle Random brushing teeth crickets morse switch Sweep profils m lodiques up ou down S mantique Machine gt s q ou v n typewritters phone dial telegraphs printers Figure 22 Corpus sonore repr sentatif Univers Sons Taxonomie d usage vs Ter niveau de structure Acoustique Ev nementiel S mantique e tant donn l int r t port sur le niveau Ev nementiel se focaliser sur la perception des sources c est dire de la cause physique du son et proposer priori une r organisation de la base de donn es initiale en accord avec la structure interne de ce niveau issue des travaux de Gaver93 et des validations effectu es par Houix07b Les r sultats de cette t che sont d crits au 2 1 5 1 1 3 7 2 D SP2 5 2 Organisation des classes pertinentes Responsable Ircam PDS Objectifs L objectif global de cette tache est de fournir des elements d int gration pour le SP2 2 sous la forme d un corpus classifi et valid perceptivement afin de tester les m thodes de classification automatique
141. la manufacture d instruments logiciels novateurs et utilis e par des dizaines de milliers de musiciens producteurs sound designers ing nieurs du sons qu ils soient professionnels ou amateurs clair s L organisation du projet pr voit des activit s de recherche autour des principaux verrous scientifiques et technologiques identifi s description indexation et classification automatique des contenus sonores et musicaux traitement sonore par le contenu ing nierie des connaissances musicales et leur application l orchestration environnements logiciels pour le traitement audio temps r el Ces travaux de recherche sont appliqu s au d veloppement de deux prototypes applicatifs l Echantillonneur d velopp par Univers Sons et un Outil d aide l orchestration d velopp par lircam dans le cadre de son environnement d aide a la composition OpenMusic Ces deux applications reposent sur la gestion des m mes contenus bases d chantillons commerciales et en partie sur des fondements technologiques communs syst me de gestion de donn es et m tadonn es musicales biblioth ques d indexation audio Un aspect important du projet r side galement dans la mise en uvre de sessions de retour d usage a partir de versions successives des logiciels afin d adapter le d veloppement des fonctions aux attentes des utilisateurs vis s Les applications d velopp es s adressent a un large panel d utilisateurs production
142. le Audio Content Analysis SACA juillet 2009 Roebel08a Roebel A Frequency Slope Estimation and Its Application to Parameter Estimation for Non Stationary Sinusoids Computer Music Journal 32 2 pp 68 79 2008 SchwarzO7a Schwarz D Corpus Based Concatenative Synthesis EEE Signal Processing Magazine vol 24 2 p 92 104 mars 2007 Schwarz08b Schwarz Diemo Brunet Etienne theconcatenator CD Contributors Notes Leonardo Music Journal Novembre 2008 n 18 ZivanovicO8a Zivanovic M R bel A Rodet X Adaptive Threshold Determination for Spectral Peak Classification Computer Music Journal 32 2 pp 57 67 2008 3 1 2 Chapitres de livres Cahen08 Cahen Roland Jacquemin Christian Schwarz Diemo Navigation et composition dans un univers graphique 3D de grains sonores Sophie Chauvin Information amp Visualisation Enjeux recherches et applications Toulouse C padu s Editions 2008 p 243 268 CarpentierO7a Carpentier G Tardieu D Assayag G Rodet X Saint James E An Evolutionary Approach to Computer Aided Orchestration EvoMUSART vol LNCS 4448 Valence 2007 pp 488 497 3 1 3 Actes de colloques avec comit de s lection Burred08 J J Burred C E Cella G Peeters A R bel and D Schwarz Using the SDIF Sound Description Interchange Format for Audio Features Int Conf On Music Information Retrieval ISMIR Philadelphia USA Septembre 2008
143. le Range IQR Cette m thode de normalisation est plus robuste vis vis des donn es extr mes outliers que la normalisation bas e sur la variance Transformation Box Cox optionnelle pour am liorer la gaussianit des classes S lection manuelle des descripteurs Pour le moment Fluctuation Strength Roughness and Noise Shape Features qui sont les seuls descripteurs qui ne sont pas impl ment s dans la version C sont cart s Suppression des outliers optionnel R duction de dimensionnalit N cessaire la fois pour viter la mal diction de la dimension curse of dimensionality et permettre l adaptabilite du syst me diff rentes t ches de classification Comprend les tapes suivantes S lection automatique des descripteurs Repose sur la m thode IRMESP Inertia Ratio Maximization using Feature Space Projection Peeters03 Analyse en composantes principales ACP optionnel Effectue une rotation de l espace des descripteurs pour aligner les directions de variance maximale avec les axes R duit la dimensionnalite dans le sens d une description optimale Analyse discriminante lineaire ADL optionnel Effectue une rotation de l espace des descripteurs pour maximiser la separation entre les classes Fournit au plus C 1 descripteurs ou C est le nombre de classes d apprentissage 2 Apprentissage supervis Le module d apprentissage implemente les m thodes suivantes 1 2 3
144. le de synth se permet aussi de synth tiser des trames pr analys es en les enchainant de fa on libre Cela permettra un nouveau mode de synth se granulaire en utilisant la superposition par vocodeur de phase pour un rendement lisse des grains voisins Ces travaux ont abouti fin juin 2009 la r alisation d une nouvelle interface pour la synth se qui permet la synth se partir des analyses et ce en donnant acc s tous les contr les et algorithmes existant dans les objets standard La r organisation du code a t effectu e en d cembre 2007 La cr ation de l interface analyses multiples a t effectu e en ao t et septembre 2008 Ce fonctionnalit utilise pour le projet VoiceForger une biblioth que pour la transformation de la voix qui est d velopp e dans le projet ANR Affective Avatar La nouvelle interface pour la synth se partir d analyse a t finalis e en juin 2009 1 4 1 7 Am lioration du remixage des composantes Le remixage des composantes sinuso dales et du bruit n cessite une classification des pics spectraux qui est suivi par une multiplication des pics de la classe a remixer par le facteur de remixage Le param tre actuellement accessible dans la biblioth que qui sert a modifier le r sultat de la classification est l erreur de mauvaise classification des pics bruit s comme sinusoides Dans nos tudes pr c dentes nous avons distingu 2 caract ristiques des pics spectraux qui sont tres ef
145. les utilisateurs traditionnels L application de compose de 3 sections principales Un diteur permettant la creation d instrument Un mixeur permettant de visualiser les niveaux de sorties de chacun des instrument set d appliquer des effets sur chacuns ainsi que globalement Une partie op rateur permettant de charger et d utiliser les instruments pr c demment cr s tout en offrant des contr les de haut niveau sur ceux ci Nous d taillerons ici la section d dition qui est le c ur m me de l application La partie dition comprend un diteur de mapping qui permet de d finir des zones auxquelles on associera des sources sonores lecteur de son forme d onde ainsi qu un ensemble ventuel d effets et de modulations Chaque zone est d finie par la largeur quelle occupe sur un clavier ainsi que par la plage de velocit qu elle couvre L diteur contextuel de la source sonore actuellement s lectionn e Chaque source ayant une interface de contr le d di e L diteur des param tres li s cette zone incluant effets source de modulations et taux de modulation 3 07 09 108 137 Projet Sample Orchestrator rapport final iV MachFive2 File Configuration Get ied St Q G amp fih ptoh 1 2 J no Keygroup Selected IA MachFive3 Eal File MACHFIVEJ Parts Inf iiin Edit SAMPLEPLAYER CRE 0 Gam o Q Show part
146. ley Diatonic Harmo contrib Main triads ognitive chroma key profiles Correlation Score key note moda k Figure 13 Algorithme de calcul de ircamkeymode Travaux de d veloppement effectu s Les biblioth ques C rcamBeat et IrcamKeyMode issues du projet europ en SemanticHIFI 2004 2006 ont t livr es pour MacOSX et Windows Plusieurs travaux ont t n cessaires pour permettre leur fonctionnement mise jour partir de la derni re version d une biblioth que MatMTL qu elles utilisent et de ses extensions realisation de modules d interface d crits ci apr s groupement de code commun dans une nouvelle biblioth que rcamCommon qui expose l interface l API utilisateur AbstractReader Interface g n ralis e Afin de r duire le nombre d op ration et de simplifier l API utilisateur une interface commune a t d velopp e La Figure 14 montre le sch ma de calcul d velopp et valable pour toutes les biblioth ques livr es dans le cadre du SP2 Pour chaque biblioth que un Computation Module a t livr L utilisateur na qu a le creer le configurer et appeler la fonction compute A la fin du calcul l utilisateur peut optionnellement sauvegarder les donn es calcul es dans un fichier dans un format d pendant de la biblioth que La fonction compute prend en entr e un pointeur sur un objet AbstractReader et rend un pointer sur une structure dependante de la bib
147. liotheque 3 07 09 23 137 Projet Sample Orchestrator rapport final ComputationModule create VO for compute Com putationModule configuration AbstractReader i different for any library ComputationData ComputationModule save ComputationModule destroy Figure 14 Interface de programmation g n ralis e 1 3 5 R f rences SP2 1 SP2 2 et SP2 3 Burred08 J J Burred C E Cella G Peeters A Robel and D Schwarz Using the SDIF Sound Description Interchange Format for Audio Features Int Conf On Music Information Retrieval ISMIR Philadelphia USA September 2008 Burred09 J J Burred A Robel T Sikora Polyphonic Musical Instrument Recognition Based on a Dynamic Model of the Spectral Envelope IEEE International Conference on Acoustics Speech and Signal Processing ICASSP Taipei Taiwan 2009 Peeters03 G Peeters Automatic classification of large musical instrument databases using hierarchical classifiers with inertia ratio maximization Proc 115th Convention of the Audio Engineering Society AES New York USA October 2003 Peeters04 G Peeters A large set of audio features for sound description similarity and classification in the CUIDADO project Technical Report IRCAM 2004 Peeters08 G Peeters and E Deruty Automatic morphological description of sounds Proc Acoustics 08 Paris France June 2008 PeetersEurasip2007 Peeters G 2007
148. lis es pour le calcul de ACF peut tre choisi par l utilisateur Un deuxi me probleme qui peut affecter les r sultats de ACF est la variation fr quentielle Plus la fr quence fondamentale varie plus ACF va tre basse m me si le signal est tr s harmonique Le choix d une taille de fen tre adapt e a la fondamentale am liore la situation N anmoins dans notre algorithme nous avons int gr une d modulation de la fr quence fondamentale estim e si sa variation sur le segment utilis pour la qualification de la p riodicit est trop importante Puisque cette d modulation est relativement co teuse elle est optionnelle Un deuxi me probl me avec l utilisation de ACF est le cas du bruit en fr quence basse Si le signal contient une composante dominante une fr quence en dessous de la fr quence fondamentale d tect e ACF n est plus fiable Nous avons alors modifi le crit re en ajoutant un facteur qui tient compte de cette situation Apr s avoir impl ment l algorithme de la qualification de la f0 nous l avons compar de fa on qualitative avec les r sultats obtenus avec d autres algorithmes qui taient notre disposition Les r sultats peuvent tre r sum s de la mani re suivante la nouvelle version de la qualification de la p riodicit est tr s robuste elle permet la s lection automatique des segments vois s par un seuillage simple sur la valeur de la confiance de p riodicit qui est calcul e En comparaiso
149. multim dia o les format 5 1 7 1 sont notamment tr s r pandus Afin d affirmer le caract re unique de cet outil il se doit de fournir une large palette sonore couvrant la plupart des besoins de sound design au sein d une m me interface de travail facilitant ainsi l ergonomie et permettant d explorer plus rapidement le champ sonore disponible D un point de vue ergonomique Il s agit de garder un logiciel unique avec un maximum d information dans la page principale afin d viter les allers retours qui nuisent la cr ation L esth tique du produit fait elle aussi partie du cahier des charges en raison de l impact important que celle ci sur les clients potentiels en terme d achat ou tout simplement sous forme de confort d utilisation 1 5 1 2 Etude de march Afin d affiner les directions vers lesquels le projet Sample Orchestrator allait il tait n cessaire d effectuer une tude de march Celle ci t r alis sous deux formes bien distinctes Parle biais d un sondage sur le site univers sons com site du magasin de musique parisien un des plus importants de France univers sons 2 AUDIO amp MUSIQUE VIDEO amp IMAGE SONS amp INSTRUMENTS PACKAGES NOUVEAUTES PROMOTIONS MISES AJOURS NEWSLETTER COS eee Votre avis nous int resse Comme vous le savez peut tre Univers Sons int gre le d partement de recherche et d veloppement logiciel d Ultimate Sound Bank et UVI Engine
150. n uvre sous la forme d une interface interactive traitement du signal audionumerique interfaces homme machine conception et r alisation d un outil d assistance l orchestration ing nierie des connaissances musicales langages algorithmique syst mes de traitement de donn es symboliques interfaces homme machine 3 07 09 5 137 Projet Sample Orchestrator rapport final conception et developpement de systeme de gestion de bases de donnees et m tadonn es et de middleware associ ing nierie informatique conception et d veloppement de moteurs de synth se et de traitement en temps r el des chantillons ing nierie de syst mes audio Sp cification et suivi de protocoles d analyse des besoins et de retour d usage ing nierie des besoins et des usages ergonomie cognitive 1 1 2 2 Objectifs industriels et applicatifs S appuyant sur l exp rience d acteurs reconnus de la production d applications logicielles orient es instruments virtuels et reconnaissance temps r el ce projet vise la r alisation de fonctions musicales in dites concernant toutes la gestion de banques d chantillons sonores et visant des populations intervenant dans diff rents types d activit s la production musicale travail en studio et sur scene la composition musicale aide a la composition la post production sonore effets sp ciaux l image notamment le jeu vid o effets et environnements sonores la
151. n cessaire avant que ces mesures puissent tres utilis s dans des applications r elles Les r sultats sont d crits plus exactement dans le rapport de stage de Boudard0 a Pour le cas des signaux monophoniques la d termination de la taille de fen tre peut se faire directement partir de la fr quence fondamentale Pour les r gions non vois es la taille de la fen tre a moins d importance et elle peut tre choisie par interpolation entre les valeurs adapt es aux r gions vois es voisin es Afin de pouvoir utiliser une taille de fen tre adapt e localement la fr quence fondamentale nous avons modifi tous les algorithmes pour qu ils puissent travailler avec des fen tres variables L valuation exp rimentale montre que les avantages de la taille de la fen tre variable sont int ressants surtout pour les sons de parole qui contiennent souvent des fins de mots avec une fr quence fondamentale basse cause des difficult s rencontr es en rapport avec les travaux sur la transposition en domaine fr quentiel nous avons d d caler les travaux concernant la modification dynamique de la taille de la fen tre Ces travaux ont t finalis s en f vrier 2008 Les travaux concernant l adaptation automatique de la taille de la fen tre d analyse seront poursuivis dans le cadre d une these Baraniuk Flandrin Janssen Michel 01 Baraniuk R G Flandrin P Janssen A Michel O Measuring Time Frequency Information Content
152. n avec la valeur de qualification existant pr c demment dans le moteur de calcul SuperVP nous avons significativement am lior les r sultats En comparaison avec les mesures de qualification existant dans l algorithme yin nos r sultats semblent l g rement plus robustes du fait que la taille du segment utilis pour le calcul de l acf est plus grande et que nous traitons correctement la situation avec composantes avec une fr quence basse dominante La cr ation des pr r glages a t effectu e en mai et juin 2008 Les travaux d impl mentation de la qualification de la p riodicit ont t entrepris partir de novembre 2007 et ont t finalis s en mars 2008 Cheveigne Kawahara 2002 Cheveigne A Kawahara H YIN a fundamental frequency estimator for speech and music Journal of the Acoustical Society of America 111 4 pp 1917 1930 2002 1 4 1 6 Reorganisation des modules d analyse Le module d analyse centrale de la biblioth que SuperVP ne contient qu un seul bloc de sorte qu il n est pas possible de s parer une analyse en plusieurs pas Par consequent si plusieurs analyses doivent tre faites pour le m me son et aucun partage du calcul n est possible Afin de pouvoir extraire le calcul de la transform e de Fourier nous avons reorganise l impl mentation du module d analyse Le module a t s par en deux Ces deux modules sont normalement encha n s Ces travaux ont t entrepris en d cembre 2007
153. n de signaux annot s pour les instruments critiques fl te piccolo basson hautbois clarinette et nous avons optimis les param tres de notre algorithme pour ces classes d instruments La comparaison des r sultats obtenus avec les param tres par d faut et les param tres adapt s par instruments montre une r duction d erreurs significative Avec les param tres 3 07 09 47 137 Projet Sample Orchestrator rapport final adapt s les erreurs syst matiques qui taient observ es pour plusieurs notes de chacun de ces instruments ont disparu Les erreurs restantes sont toutes li es a des conditions tres difficiles comme les attaques ou les fins des notes ou l nergie des composants harmoniques est trop faible Qualification de la fr quence fondamentale Afin de pouvoir utiliser la fr quence fondamentale estim e comme param tre de contr le nous avions propos d am liorer l algorithme existant en y ajoutant des fonctionnalit s qui permettent la qualification de l estimation Pour cela nous avons choisi une m thode tr s proche de la m thode de l algorithme yin Cheveigne Kawahara 2002 qui donne des bons r sultats pour l valuation de la p riodicit du signal en se basant sur la fonction d auto corr lation ACF du signal la position de la p riode estim e Afin de normaliser les r sultats de ACF nous utilisons une taille de fen tre adapt e la p riode estim e pour le calcul de ACF Le nombre des p riodes uti
154. n dimensions specificities and latent subject classes Psychological Research 58 177 192 1995 McAdams98c McAdams S Susini P Misdariis N Winsberg S Multidimensional characterisation of perceptual and preference judgements of vehicle and environmental noises Proceedings of Euro Noise98 Munich Germany 1998 Parizet06 Parizet E Guyader E Nosulenko V Analysis of car door closing sound quality Appl Acoust 2006 Peeters04a Peeters G A large set of audio features for sound description similarity and classifcation for the CUIDADO project http recherche ircam fr equipes analyse synthese peeters ARTICLES Peeters 2003 cuidadoaudiofeatures pdf 2004 Smith95 Smith B PsiExp an environment for psychoacoustic experimentation using the IRCAM musical workstation in Society for Music Perception and Cognition conference University of Berkeley 1995 Susini04b Susini P McAdams S Winsberg S Characterizing the sound quality of air conditioning noise Appl Acoust 2004 3 07 09 28 137 Projet Sample Orchestrator rapport final Taffe04 Taffe P Cours de r gression logistique http www tesser pro org stat Cours regression logistique pdf 2004 Winsberg93 Winsberg S De Soete G A latent class approach to fitting the weighted Euclidean model CLASCAL Psychometrika 58 315 330 1993 Woodcock02 Woodcock S D MULTILOGIT M implementation of a
155. nc difficile dans notre cas de demander aux participants de d crire la morphologie puisqu ils seront trop facilement tent s par une description causale Par consequent pour viter de trop se disperser dans l tude de la morphologie des sons et pour tre le plus proche de la notion de profils il apparait important d avoir une phase de classification des sons en quelques profils prototypiques de sorte viter d avoir une description trop pr cise des volutions temporelles probl me qui survient lorsque l on demande le trac de chaque son Par ailleurs il apparait galement judicieux d s cette premi re phase de demander aux participants de tracer les profils de leurs propres classes de sons de mani re les obliger se concentrer sur les principaux traits morphologiques communs aux sons de chacune des classes Exp rience L tude exp rimentale de la perception des profils morphologiques a t effectu e sur un sous ensemble 55 sons de la base de donn es des sons environnementaux des exp riences men es dans le SP2 5 cf exp rience d identification elle comporte finalement deux tapes une premi re exp rience en deux phases classification libre sur des crit res morphologiques et trac des profils correspondant aux classes identifi es L int r t de ce paradigme r side dans le fait que les participants sachant qu il devront tracer les profils de leurs classes sont forc s effect
156. ndes bases de sons Les avanc es r alis es pour la version finale du prototype concernent principalement des adaptations du syst me la recherche de sons dans des grandes collections sonores sound effects et de sa documentation cf rapport M22 Annexes 1 et 2 Ils sont group s par fonctionnalit s et d taill s dans le suivant L avance e de l architecture logicielle concerne principalement la visualisation d crit en d tail dans la section 1 3 9 5 et une nouvelle architecture d importation et analyse des sons elle comporte la d finition d interfaces pour modules d analyse en descripteurs de mod lisation temporelle et de segmentation qui se d clarent au mod le de donn e et peuvent donc facilement tre ajout s chang s et compar s D finition des descripteurs sonores En ce qui concerne la d finition des descripteurs le syst me t rendu plus flexible en distinguant diff rents types mais de permettre une pr sentation claire de la liste des descripteurs par groupement et limination de descripteurs internes Different types de descripteurs peuvent maintenant tre distingu s o Int float symbol vector classe o Les classes produits par les modules d indexation de SP2 2 et SP2 3 sont sans hierarchie et repr sent s comme symbol et probabilit s pour chaque classe Visibilit et groupement dans l interface Representation d une taxonomie de classes Analyse et segmentation L analyse en desc
157. nn es d apprentissage valid es perceptivement pour la mise au point des outils de pr diction classificateur automatique Cette exp rience a donc t men e sur un nouveau corpus largi de 150 sons aupr s de 21 personnes 13 hommes 8 femmes au moyen d une interface graphique psiExp Smith95 permettant d assigner un son a une cat gorie pre definie la particularite de ce paradigme etant que chaque classe sauf la classe Autre est explicit e pour l utilisateur par un son prototype issu de l exp rience precedente et non pas par un attribut s mantique comme c est le cas g n ralement voir Figure 18 3 07 09 26 137 Projet Sample Orchestrator rapport final elle le som appartient pur y slider Figure 18 Interface pour exp rience de classification orient e psiExp Les r sultats de ces exp riences sont d crits au 2 1 4 1 Les donn es de la seconde exp rience ont de valider perceptivement un corpus largi d finissant le mod le 3 classes pr c demment tabli l analyse par moyenne et cart type sur l ensemble des participants du nombre de sons places dans chaque classe permet d aboutir une base de 124 sons 47 Impact 50 Moteur 27 pseudo Instrument et donc 26 sons rebut s La nouvelle base d apprentissage issue de l exp rience 2 a comport suffisamment d l ments pour concevoir un outil pr dictif de classification automatique et en valuer sa fiabilit partir d un mod le
158. nt ces descripteurs a l aide d une double repr sentation son de syntese son r el Des propositions de repr sentations symboliques icones lettres etc ont galement t faites pour d finir chacun de ces criteres D autre part une validation perceptive de ces id es a t effectu e Rioux01e mettant en jeu un paradigme experimental en trois etapes pour valider les hypothese de description sur les profils dynamique et m lodique A classification libre et description de chaque son sur des criteres morphologiques B trace des profils pour chaque son C reconnaissance des sons a partir de portraits verbaux Les principaux enseignements a tirer de cette etude sont concernant les stimuli si les phases A description classification et C reconnaissance de l exp rience semblent pr senter 11 sons la phase B trac s des profils utilise des repr sentants prototypiques de l un ou l autre des deux profils dynamique ou m lodique De plus l interface exp rimentale HTML pr sente 26 sons dont 9 sont associ s a des r sultats de trac Ces 9 sons synth tiques pour la plupart sont volontairement difficiles a identifier en termes de source physique les sons a source trop facilement identifiable ont Tr F7 bg 7 concernant les r sultats de la phase A diff rents types de descriptions verbales ont t utilis s vocabulaire shaefferien description causale description spatiale hauteur
159. nt dans l application prototypes toutes les id es d gag es durant le projet Vraisemblablement l interface de recherche devrait de scinder en 3 couches organis es par degr de complexit et niveau d expertise utilisateur e la premi re actuellement la seule disponible dans MachFive2 repr sentant une arborescence de fichiers traditionnelle bas e sur notre syst me de fichiers virtuels pour garder la compatibilit avec nos produits pr c dents e La seconde orient e vers une recherche textuelle simple agr ment e d un tag cloud avec un affichage des r sultats concis sous forme de liste e La troisi me plus proche du prototype Soundbrowser avec un affichage riche sous forme de table ou de miniatures avec les filtres de recherche avanc s d crits plut haut 3 07 09 114 137 Projet Sample Orchestrator rapport final 2 4 Aide al orchestration Le prototype d orchestration final se pr sente sous forme de deux composants interop rables travers le protocole OSC le serveur d orchestration Orchid e et son client principal d velopp dans l environnement OpenMusic Ces composants dans leur version finale sont d crits dans les paragraphes suivants De plus cette conception serveur permet la realisation d autres clients comme le prototype de test ci apr s r alis dans l environnement Max MSP version 5 Orchid e 0 2 3 EG OSC orchestration server Gr goire Carpentier Damien Tardieu IRCAM 1 July 2009
160. nts avec un total de 8 sourdines et 38 modes de jeu La nouvelle base compte aujourd hui 17921 chantillons pour une occupation en m moire d environ 12 Go Cette nouvelle base r sulte de la r union de six banques de donn es disponibles l IRCAM Studio On Line Sol v 2 0 e Vienna Symphonic Library VSL RWC lowa e Virtual Orchestra e une banque de sourdines de cuivres fournies par Yan Maresz 3 07 09 115 137 Projet Sample Orchestrator rapport final N ont t retenus au sein de ces diverses banques de sons que les chantillons analys s par Damien Tardieu au cours de sa these L ajout de nouveaux chantillons est toutefois possible condition bien s r de fournir les fichiers de m tadonn es associ s chacun d entre eux cf infra La r union de ces six banques de sons en une seul base homog ne a consist en les tapes suivantes 12 v rification syst matique du contenu des banques de sons et des m tadonn es mises disposition par Damien Tardieu correction des ventuelles inconsistances choix d une nomenclature unique pour l ensemble des bases renommage des chantillons et de m tadonn es selon cette nomenclature fusion des six banques en un seul syst me de fichiers v rification de la consistance finale Les m tadonn es associ es chaque chantillon ont t stock es dans un ensemble de fichiers XML Chaque chantillon de la base est ass
161. oci un fichier XML de m eme chemin et dont le nom est assorti d un horodatage Cet horoda tage sera utilis comme une information importante pour la mise jour de la connaissance instrumentale dans le prochain livrable Exemple l chantillon bassoon ordinario Bn ord A3 mf wav est accompagn du fichier bassoon ordinario Bn ord A3 mffi20090303202113 xml cr le 3 mars 2009 20h21 13 D Oi EN Notes importantes 1 La banque Sol v 2 0 a t pr f r e a Sol v 3 0 car les m tadonn es d analyse fournies par Damien Tardieu portent sur la premi re 2 La base actuelle ne contient aucun chantillon en quart de ton huitieme de ton etc Afin d all ger la quantit de donn es il a t convenu de ne conserver que les chantillons en demi tons partir desquels le timbre des notes microtoniques pourra tre d duit 3 La justesse des chantillons n est pas garantie et devra faire l objet d une v rification future 4 Les inconsistances et erreurs de nommage dans les fichiers sons et m tadonn es associ es ont ete limin es autant que faire se peut Mais l erreur z ro n existe pas Il conviendra donc lors l utilisation future de l outil de mettre en place une proc dure permettant de corriger lorsqu on les d couvre les erreurs subsistantes Architecture du serveur Afin de faciliter l int gration des outils d orchestration dans diff rents environnements tels qu OpenMusic ou Max MSP une architecture
162. oit appel Ainsi le overhead du syst me de mesure n est biaise pas les r sultats FO on on D Run time for 10 NN searches s Run time for 10 NN searches s 0 Ok 200k 400k 600k 800k 1000k 102 10 10 i 0 Database size N large scale Database size N medium logarithmic scale Run time for one kD tree build s Run time for 10 NN queries s Ok 200k 400k 600k 800k 1000k i 2 3 4 5 6 7 8 9 10 Database size N large scale Number of dimensions D 2 1 7 4 Librarie VisLib pour la Visualisation de donn es multidimensionnelles La librairie VisLib integre les algorithmes pour la visualisation de grandes collections de donn es multidimensionnelles par Hybrid MDS et le mod le masse ressort sous jacent Elle est crite en C portable et disponible pour Mac universal binary et Windows 3 07 09 90 137 Projet Sample Orchestrator rapport final Le modele masse ressort simule un systeme physique de masses en 2D lies par des liens exer ant des forces et acc l rations sur ces masses sans inertie pour viter des oscillations Si les longueurs nominaux des liens correspondent aux distances haut dimensionnelles l tat stable resultant de la simulation correspond a une disposition 2D qui represente bien les contraintes de voisinage des points Aussi pour la disposition des points l effet de repulsion entre les points peut mieux distribuer des groupes de points superpos s afin de pouvoir voir tous
163. ojet nous avions propos d tudier les possibilit s de travailler avec une r solution variable adapt e aux propri t s du son Pour ce faire il est n cessaire distinguer deux situations diff rentes le cas des sons monophoniques et le cas des sons polyphoniques En rapport avec les sons polyphoniques nous avons tudi plusieurs algorithmes propos s dans la litt rature pour l valuation de la taille de la fen tre partir du spectrogramme Nous avons compar la mesure d entropie g n ralis de Renyi Baraniuk Flandrin Janssen Michel 01 la mesure propos e dans Lukin Todd 06 et 3 07 09 46 137 Projet Sample Orchestrator rapport final egalement la mesure propos e dans Jones Baraniuk 94 L evaluation exp rimentale a ete effectu e en utilisant plusieurs signaux synth tiques qui repr sentaient les caract ristiques des signaux monophoniques dynamiques Les exp riences ont montr que Les diff rentes mesures donnent des r sultats similaires Par contre les r sultats d pendent tr s fortement du bruit contenu dans le signal Les r sultats ne sont pas toujours coh rents avec les fen tres consid r es comme optimales Les r sultats sont plut t adapt s pour la visualisation des spectrogrammes pour le traitement et en utilisant des techniques comme la pr servation des transitoires les r sultats ne sont pas directement applicables Nous pouvons en conclure que plus d exp rimentation sera
164. ons musicales encore in dites faisant appel des modes de gestion globale et de manipulation par le contenu de l ensemble des chantillons disponibles gestion par le contenu de banques d chantillons l objectif est ici de d passer les syst mes de classement existants g n ralement fond s sur des taxonomies fig es en autorisant d une part des modes de classification personnalis es par les utilisateurs en fonction de leurs propres cat gories et corpus et d finis partir d exemples caract ristiques de chaque cat gorie d autre part de permettre des recherches par similarit de mani re transversale tous ces syst mes de classification se fondant uniquement sur certains crit res acoustiques choisis par l utilisateur le d veloppement de telles fonctions s impose avec la multiplication du nombre de sons disponibles et la n cessit de d finir de nouvelles heuristiques pour trouver des sons sur la base de leurs caract ristiques sonores traitement audio par le contenu se fondant sur une analyse pr alable des caract ristiques des signaux trait s transposition dilatation filtrage mise en boucle dition temps fr quence etc Ces fonctions de traitement se d composent en fonctions de pr traitement visant la pr paration d chantillons en studio et celles de post traitement intervenant en temps r el lors de l utilisation de banques de sons par un dispositif instrumental d echantillonneur de nouvelle g
165. orph import morph ouse down audio file audio descriptors QE ben wag wag file fiie here here T import audio 1 import sdif 1 OVID sor mubu morph heses 5 Figure 65 Application Max MSP 5 de transformations temporelles interactives et de morphing sonore Int grant le moteur SuperVP le module sor syne permet le balayage scrubbing synchronis sur deux fichiers audio master et sync charg dans deux instances MuBu Max MSP utilisant le module sor mubu SP3 1 En plus des chantillons audio une segmentation align e est charg e dans chacun des modules MuBu Cette segmentation d finit le m me nombre de segments pour chaque fichier audio de mani re cr er une correspondance approximative entre les deux segmentations e g s appuyant sur une notion de notes de syllabes ou similaire Le module sor sync est contr l par une position relative dans les fichiers audio pour pouvoir reproduire la temporalit de l un ou de l autre fichier ou une temporalit hybride Dans l application r alis e les deux sons synchronises sont ensuite trait s par le module supervp cross qui permet de transformer et m langer les timbres pour r aliser l effet de morphing souhait 3 07 09 102 137 Projet Sample Orchestrator rapport final 2 3 Echantillonneur Responsable Univers Sons 2 3 1 SoundBrowser Afin de tester et valider les differents sc narios li s a la r
166. oustic experimentation using the IRCAM musical workstation in Society for Music Perception and Cognition conference University of Berkeley 1995 1 3 8 SP2 6 Caract risation s mantique des sons environnementaux 1 3 8 1 D SP2 6 1 Description semantique des sons Responsable Ircam PDS Objectifs L objectif de cette tache est d effectuer un travail exploratoire sur les descripteurs permettant de d crire d un point de vue s mantique des classes de sons sons de pas Cette t che est aliment e par la d finition de classes de sons environnementaux qui ont un sens du point de vue d utilisateurs experts designer sonore bruiteur c est dire par une partie des donn es fournies par Univers Sons et formalis es dans SP2 5 1 voir Figure 22 Le but a atteindre est donc la description des elements de ce corpus en termes de descripteurs semantiques pertinents et discriminants Resultats Les travaux en perception et cognition auditive sur la classification des sons du quotidien abord s dans le cadre du projet CLOSED Closed se basant sur la litt rature dans ce domaine ont montr que des auditeurs utilisaient differents types de similarit pour categoriser des sons i a partir d attributs perceptifs directement li s aux propri t s acoustiques ii sur la base de la cause physique du son lil sur la base d une abstraction de propri t s associ es a l appartenance une cat gorie d objets Dans l
167. peut sauter entre la vue d un tile agrandi et la vue d ensemble comme illustr dans la figure droite montrant la vue agrandi d une sous cat gorie 3 07 09 91 137 Projet Sample Orchestrator rapport final La fen tre du Category Browser permet le filtrage des unites selon des categories Pour la s lection d une classe ou d une combinaison de classes et autres categories le mode Solo limine toutes sauf les cat gories choisis de la s lection dans l espace de navigation Cependant les unit s exclus restent affich s en gris pour garder le contexte et pour montrer les unit s pr sentes une position de descripteurs donn e car il se peut qu un son hors des cat gories choisis soit quand m me int ressant car pourrait remplir mieux certains besoins en termes de descripteurs OOO category browser oO SoLo CLASS 120 sounds selected 4 Fart irene Crackling lt 791 gt Paper Ps oS ki e Y a Figure 56 Dialogue de choix de cat gories et classes filtrer 3 07 09 92 137 Projet Sample Orchestrator rapport final 2 2 Analyse et traitement audio 2 2 1 SP3 1 Moteur d analyse et de transformations sonores temps r el Responsable Ircam AnaSyn 2 2 1 2 Module de base La r alisation a consist en une livraison de la biblioth que SuperVP 2 97 8 pour les plateformes MacOSX et Windows ayant fait l objet dun ensemble d optimisations cf 1 4 1 2 qui ont permis d augmenter la performance ob
168. port final 2 2 5 2 Morphing sonore et transformations temporelles interactives Responsable Ircam IMTR L application permet la transformation et lhybridation morphing de deux fichiers son charges en memoire vive prenant en compte les aspects suivants La temporalit rythme articulation phrase La hauteur d compos e en hauteur m lodique et modulation Le timbre enveloppe spectrale L application transforme en parall le deux sons en fonction d une description et d une annotation utilisant le moteur d analyse et de transformations sonores temps r el SuperVP SP3 1 Les sons fichiers audio et leurs descriptions fichiers SDIF sont charg s en memoire utilisant la bibliotheque Mubu 7 extraction conteneur de sons segmentation d crits et annot s IRCAM descriptors beat MuBu vocodeur de phases SuperVp Figure 64 Ensemble de modules pour morphing sonore et les transformations temporelles interactives L impl mentation Max MSP de l application s appuie sur les modules d velopp s dans le cadre du SP3 5 sor sync supervp cross et sor mubu 3 07 09 101 137 Projet Sample Orchestrator rapport final moprh move Mouse here master Scratch and fade import master import master audio file audio descriptors Ls sor sync 2048 0 4 master master a arog sync morph here here T nsimite 1 sarl 1 supervp cross 1 2048 04 mode Ipc lpcorder 16 sor mubu master import m
169. pport final continuation le r sultat per u montrait une plus grande r gularit du r sultat comme on peut le voir dans ces spectrogrammes Target urs 10 ae 7 4 2 te 0 0 6 15 2 25 3 35 1 Time in TE Cortruaten Getarce Current 0 Des notes used 12 Bork s Band A ZOR i ae 2 z er tu Time ia x iw Cornua on cities Current 7 Des nptoes RPC 12 Amk Rend A Z7CR gr wy a 4 lu 1 Q 0 5 1 1 5 2 2 5 15 4 Tene 3 Influence du contexte sur la s lection d une boucle de batterie En haut cible milieu selection sans contexte en bas selection avec contexte Puis pour estimer l influence des param tres des mesures objectives ont t prises par rapport au nombre et la longueur des s quences pris en contiguit dans le corpus Ces r sultats sont montr s dans la figure suivante 3 07 09 43 137 Projet Sample Orchestrator rapport final Average length of contiguous sequences runs er 0 O Wo 0 75 6 V 25 0 5 CY 4 Wo 0 25 5 7 A g we 0 20 4 15 F T 3 Pe O 10 Max length of contiguous sequences 16 Nr A F O p c 14 Te Wo 0 75 20 v We 0 5 12 3 p WE 0 25 C 10 O o 9 8 2 O 6 Pos 77 15 ie i A 10 em Context Size 3 07 09 30 35 Total number of contiguous units c A We 1 KZ We 0 75 owe 05 x Wo 0 25 c m w 0 i ii
170. pr vu fin juin 2007 Concernant la biblioth que pour le syst me Windows nous avions rencontr plusieurs probl mes qui ont Significativement retard la livraison d une version Windows du module de base Les probl mes taient li s e Un retard de la livraison du logiciel n cessaire pour installation de Windows sur les ordinateurs de l IRCAM e Des probl mes de performance sous Windows d au manque des biblioth ques vectoris es FFT et fonctions math matiques sin cos log exp e Des probl mes d optimisation du compilateur MSVC Afin d am liorer la performance des algorithmes sous Windows nous avons alors d velopp un certain nombre de fonctions et extensions des biblioth ques existant dans SuperVP afin de pouvoir obtenir une efficacit comparable a la version Mac Une couche de compatibilit unifiant l utilisation de la biblioth que pthreads sous Mac OS et des threads natifs sous Windows Une extension de l interface de la biblioth que bFFT utilis dans SuperVP afin d effectuer le calcul de la transformation Fourier rapide Apr s l extension de la biblioth que ibFFT peut tre configur utiliser des biblioth ques MKL d Intel ACML de AMD et FFTW3 Les fonctions math matiques sin cos log et exp utilisant les commandes SIMD avec un interface compatible avec les fonctions de la vecLib qui sont utilis es sous Mac OS X A cause des nombreuses bogues rencontr es avec le compilateur MSVC
171. probleme d orchestration courant objet Problem est constitu d un orchestre d une cible et d un ensemble de filtres permettant de restreindre l espace de recherche Ces trois l ments sont construits et modifi s depuis l interface cliente via un ensemble de messages OSC L objet Problem dispose par ailleurs d une m thode permettant de construire une structure de recherche objet SearchStructure comprenant les domaines de chaque variable du probl me courant C est dans cet objet que l algorithme d orchestration sera implemente Il fait appel l objet Knowledge pour valuer les propositions d orchestration Lorsque l algorithme se termine un objet Solution Set est instanci et peut tre export sous forme de fichier XML ou texte sur une requ te de l environnement client Le serveur d orchestration communique avec son environnement client via un ensemble de messages OSC La Figure 72 illustre ce processus d interaction Un protocole de communication a t d fini afin de permettre une interaction optimale Il est constitu de message OSC r partis en cinq cat gories Les messages d tat permettent de renseigner l environnement client sur l tat du serveur pr t faire un calcul en cours de calcul accus de r ception d un ordre et ventuellement de modifer cet tat r initialisation arr t du serveur 3 07 09 117 137 Projet Sample Orchestrator rapport final Les messages de requ tes permettent d interroger le
172. ps r el Ircam IMTR Univers Sons a t en charge du d veloppement et de l industrialisation de l application Echantillonneur int grant les modules issus des recherches de I Ircam Organisation des taches Le projet est organis selon une division en 5 sous projets SP1 SP5 chacun d eux tant coordonn par une des quipes d un partenaire et donnant lieu des rendus sp cifiques d livrables et ses propres crit res de validation Les sous projets sont les suivants SP1 Gestion sp cifications m thodologie diffusion toutes activit s communes li es la coordination et la diffusion du projet ainsi que en d but de projet une phase de sp cifications visant pr ciser le programme de travail et les sp cifications techniques et fonctionnelles et la d finition des m thodologies notamment pour les processus de retour d usage a partir des versions interm diaires des applications Coordination Ircam Participants tous S P2 Indexation audio et navigation par le contenu recherche et d veloppement pour la formalisation de descriptions musicales et sonores de haut niveau le calcul de m tadonn es musicales par extraction automatique partir des signaux audionum riques et la mise en uvre de ces m tadonn es pour la r alisation de fonctions et interfaces de navigation par le contenu Coordination Ircam Participants Ircam AnaSyn Ircam PDS Ircam IMTR Univers Sons SP3 Analyse et trai
173. r solution a donc pour fonction initiale de communiquer ces diff rents types de donn es au serveur La question de la sp cification de la cible m rite un int r t particulier Le serveur Orchid e re oit celle ci en tant que son concret un fichier audio associ le cas ch ant des information compl mentaires qu il va analyser de sorte constituer une abstraction sonore ou une classe de son dont la r solution aura pour objectif de d couvrir de nouvelles instances On parlera de cible concr te ou abstraite selon que cette cible ait t sp cifi e de mani re concr te partir d un son enregistr ou de mani re plus abstraite Cet aspect sera repris dans la conception des interfaces client notamment avec la librairie OM Orchid e Suite la sp cification du probl me et tant donn un ensemble de solution propos es par le moteur de r solution la navigation dans l espace de ces solutions permettra alors de s lectionner couter modifier certaines de ces solutions afin d affiner la recherche de progresser dans l exploration de l espace sonore et finalement de les int grer dans un processus d criture Les donn es et processus de r solution sont donc g r s et actualis s r guli rement par Orchid e en fonction des nouvelles donn es et requ tes communiqu es par les clients la prise en compte des pr f rences de l utilisateur lors de la navigation int gre ces donn es pour les recherches ult rieures
174. r adapter un fichier la hauteur de l autre ou pour cr er un d veloppement hybride de la hauteur partir des deux fichiers Dans ce processus la hauteur moyenne d un segment est distingu e de la modulation court terme de la hauteur pour pouvoir traiter et hybrider les deux composants de mani re ind pendante 3 07 09 57 137 Projet Sample Orchestrator rapport final 1 5 Echantillonneur Moteur Audio UVI Universal Virtual Instrument Tout d abord sp cialis dans la r alisation et l dition de banques de sons pour chantillonneur mat riel la soci t Univers Sons s est lanc e dans la cr ation d instruments virtuels depuis maintenant 8 ans Alors pionniere dans le domaine elle a d cid de creer un moteur audio permettant la relecture de banque de sons cr s sp cifiquement afin d apporter une r elle plus value sur la simple vente de CD de samples C est ainsi que la premi re g n ration du moteur UVI est n e Cette premi re mouture offrait d j des fonctionnalit s quasi comparables aux echantillonneurs mat riels du moment avec la lecture d chantillons sonores application d enveloppes filtre et distorsion permettant de sculpter les sons selon ses d sirs Tout d abord con u comme un syst me monolithique en raison des limitations assez nettes des CPUs de l poque le moteur UVI a su voluer afin d enrichir les possibilit s sonores de la solution Cette volution est tout d abord pass e par l ajout d
175. r un nombre aussi important de notes que les autres types d oscillateurs plus simples Mais la qualit exceptionnelle saura contenter les sound designers les plus exigeants Les contraintes sp cifiques a Univers sons li s la gestion de la m moire du cout de calcul et sa r partition au cours du temps ainsi que la latence des algorithmes ont t au coeur des changes entre I Ircam et Univers sons durant le projet permettant d optimiser les algorithmes en les mettant rude preuve 2 3 3 4 D tail des sources de modulations principales DAHDSR Enveloppe classique utilis notamment pour sch matiser l enveloppe des sons naturels On peut contr ler le temps d attaque A le temps de maintien H le temps de d clin D le niveau de soutien S ainsi que le temps de rel chement R jusqu ce que l enveloppe atteigne sa valeur initiale LFO Low Frequency Oscillator Modulation bas sur un g n rateur basse fr quence e Forme d onde Sinus carr Triangle Rampe etc e Param tres de fr quence phase d lai initial et temps de monte 3 07 09 111 137 Projet Sample Orchestrator rapport final e Synchronisation au tempo Ce type de modulation est commun ment utilis dans les synth tiseurs pour moduler notamment l enveloppe d amplitude tremolo ou l enveloppe de vibrato Figure 68 Formes d ondes de LFO disponibles Step Envelope Modulation bas e sur une sequence de nivea
176. rciale Sample Orchestrator d passe les fronti res du sampling traditionnel et se positionne comme la premi re application offrir une telle diversit se d marquant n ttement par rapport aux produits concurrents Sample Orchestrator n est donc plus un simple prototype mais le d veloppement d une application professionnelle qui sera vendue en magasin avec les contraintes de finition et le niveau d exigence que cela implique 2 3 3 2 Description de l application L application MachFive3 est l aboutissement et l extension d un logiciel traditionnellement orient vers le sampling et la lecture de banques de sons multi chantillonn s vers une architecture hybride et modulaire la crois e de s la synthese s et du sampling id al pour le sound design 3 07 09 107 137 Projet Sample Orchestrator rapport final De ce fait l architecture du moteur UVI ainsi que l interface de MachFive ont du tre totalement repens es afin de pr senter de mani re simple et conviviale un nombre illimit de modulations d effets de pouvoir interchanger et combiner diff rentes formes de synth se au sein d un m me instrument Ces changements ont un impact tres fort sur la nouvelle identit visuelle de l application MachFive3 qui se d marque nettement des 2 pr c dentes versions MachFive et MachFive2 Ils ont galement pour effet positif d augmenter l ergonomie de l application tout en augmentant ses possibilit s sans pourtant d router
177. re la minimisation de l erreur On est ainsi certains d avoir uniquement les points n cessaires et optimaux la description globale de la forme L algorithme s arr te soit lorsque qu un crit re de tol rance soit lorsque que le nombre maximum de points est atteint d 0 gt be 2 a Le 3 Tae cca 0 1 ie AS Sacre z e p a a e r A n lt ws e g _ A k ey je Ro ai Figure 69 Algorithme de simplification de trac de Douglas Peucker 2 3 3 5 Int gration SoundBrowser dans MachFive3 Grace au prototype SoundBrowser nous avons pu tester et valuer les possibilit s de recherche nouvelles offertes par les techniques d indexation ainsi que divers sc narios et visualisation des r sultats Pour l int gration dans MachFive3 il nous reste largir la base de donn e pour pouvoir effectuer non plus seulement des recherches sur des sons isol s mais galement sur d autres types de contenus de plus haut niveau lisibles par MachFive tels que les instruments constitu s de plusieurs centaines de sons les banques de sons les s quences musicales etc 3 07 09 113 137 Projet Sample Orchestrator rapport final Ce travail d passe le cadre strict du projet Sample Orchestrator mais repr sente une tape indispensable en ce qui concerne l int gration dans le produit final Il reste donc a repenser l interface de recherche pour tenir compte des sc narios de recherche compl mentaires tout en piocha
178. re Proposal Dissimilarity gt stmators i features f LA functions Audio criena Orchestration proposal Symbolic Cost functions criteria Symbolic attributes contraint solving problem Espace de d cision connaisance instrumentale espace de descripteurs audio features espace de crit res distances relatives sur les descripteurs Envisageant tout d abord la question comme un probleme de sac a dos multi ob jectifs nous avons montre que les non linearites dans les modeles de perception du timbre imposent un cadre th orique plus large pour laide a l orchestration Nous avons propos une formalisation g n rique et extensible en nous pla ant dans un cadre de recherche combinatoire multicritere sous contraintes dans lequel plusieurs dimensions perceptives sont optimis es conjointement pour approcher un timbre cible d fini par le compositeur Nous avons valid dans un premier temps notre approche th orique en montrant sur un ensemble de probl mes de petite taille et pour une caract risation exclusivement spectrale du timbre que les solutions du probl me formel front de Pareto correspondent des propositions d orchestration pertinentes 3 07 09 133 137 Projet Sample Orchestrator rapport final O 1 Fl ord A4 O 2 Fl aeol A4 Noise 3 Fl trem Go Q O O Spectral peaks distance gt Espace perceptif a 2 crit res et front de Pareto minimisation de distance
179. re pertinente 1 3 3 4 Caract risation automatique de boucles rythmiques types d chantillons particuliers correspondant une p riode de sons puls s destin s s int grer dans une s quence rythmique 1 3 4 Mise au point d un prototype d application fournissant une interface graphique de navigation dans une ou plusieurs bases de donn es d chantillons et produisant une synth se sonore en temps r el en fonction de la s quence de navigation 1 3 9 La pr sentation des travaux effectu s et leurs r sultats est donn e selon la structure du programme de travail d taill du projet d fini dans son document de sp cification d taill e et non dans l ordre logique de r alisation des t ches 3 07 09 11 137 Projet Sample Orchestrator rapport final Audio Low level descriptor ee extraction Description ver 1 sep 07 ver 2 sep 08 Morphological Loop descriptor descriptor extraction extraction ver 1 sep 08 ver 1 mai 08 ver 2 sep 08 Indexing classification ver 1 jan 08 ver 2 sep 08 Search by similarity ver 1 sep 08 Indexing Figure 1 Modules fonctionnels du sous syst me d indexation automatique des chantillons 1 3 2 SP2 1 Module d extraction de descripteurs audio pour les chantillons Responsable Ircam AnaSyn L extraction des descripteurs de bas niveau est effectu e partir de l outil ircamdescriptor et de sa biblioth que associ
180. re Univers Sons nous avons d cid qu une continuation et finalisation des travaux concernant la transposition serait plus interessante que les travaux envisages dans ce sous projet Nous avons alors reaffecte le temps correspondant aux autres travaux 1 4 2 SP3 2 Moteur de synth se granulaire temps r el Responsable Ircam IMTR Delivrables D SP3 2 1 Prototypes de diff rents modes de synth se granulaire D SP3 2 2 Premiere version du moteur D SP3 2 3 Module final Le moteur de synth se granulaire a t r alis sous forme d une biblioth que C sous le nom ZsaZsa Une premi re version de l API de la biblioth que a t livr e et discut e entre Il IRCAM et Univers Sons d but 2008 Suite ces changes une premi re implementation du moteur en code source a t distribu e mi avril 2008 fournissant un seul mode de fonctionnement pour la synth se granulaire simple asynchrone La biblioth que a t int gr e dans Max MSP et dans une application prototype r alis par Univers Sons Dans la version diffus e en octobre 2008 le moteur int gre trois modes de fonctionnement Synthese granulaire asynchrone Synthese granulaire synchrone n cessitant des marqueurs de forme d onde l mentaire Synthese concat native n cessitant des marqueurs de segments La synth se en ces trois modes est contr l e par un ensemble de param tres communs et quelques parametres propres au mode de synthese
181. re de timbre et de concentrer la recherche dans une direction privil gi e de l espace Publications Carpentier Gregoire Tardieu Damien Assayag G rard Rodet Xavier Saint James Emmanuel An Evolutionary Approach to Computer Aided Orchestration EVOMUSART Valence Espagne Avril 2007 vol LNCS 4448 p 488 497 1 6 4 D SP4 1 4 Mod les instrumentaux Responsable Ircam AnaSyn Une methode de description des instruments de musique et de differentes techniques de jeu ete propos e Cette m thode est bas e sur une mod lisation probabiliste des descripteurs pr sent s dans la sous tache 4 1 1 et des d pendances entre descripteurs et variables symboliques hauteur dynamique technique de jeu Pour cela un r seau de d pendance entre les variables est propose Une structure d organisation des modes de jeu sous forme de mixture d expert est aussi d finie La distribution des descripteurs pour chaque instrument et chaque technique de jeu est apprise s par ment sur un ensemble d chantillons issus de plusieurs bases commerciales ou non souvent utilis es dans la recherche sur l identification des instruments de musique Ces distributions sont ensuite utilis es pour estimer la distribution des descripteurs pour toutes les hauteurs et nuances pour chaque instrument et chaque mode de jeu Enfin ces distributions elementaires sont agregees par des methodes issues de la theorie de la decision collective pour estimer la distribu
182. rencontr e la taille importante du corpus qui s av re incompatible avec la dur e une exp rience conventionnelle Une solution possible a ce probl me qui a d j commenc e tre tudi e serait d utiliser des m thodes d apprentissage automatique supervis es dans le but de concevoir des paradigmes exp rimentaux adaptatifs c est dire voluant avec les d cisions prises par le participant au cours du test R f rences bibliographiques associ es Closed Closing The Loop of Sound Evaluation and Design projet europ en FP6 NEST PATH No 29085 2006 2009 http closed ircam fr Gaver93 Gaver W W How do we hear in the world Explorations in ecological acoustics Ecological Psychology 5 4 285 313 1993 Houix07a Houix O Lemaitre G Misdariis N Susini P Franinovic K Hug D Otten J Scott J Visell Y Devallez D Fontana F Papetti S Polotti P Rocchesso D Everyday sound classification Part 1 Sound perception interaction and synthesis Deliberable 4 1 of the CLOSED project 2007 http closed ircam fr uploads media closed deliverable 4 1 public pdf Houix07b Houix O Lemaitre G Misdariis N Susini P Everyday sound classification Part 2 Experimental classification of everyday sounds Deliberable 4 1 of the CLOSED project 2007 http closed ircam fr uploads media closed_ deliverable 4 1 part2 public pdf Smith95 Smith B PsiExp an environment for psychoac
183. ripteurs et la segmentation ont progress par la d finition de nouveaux algorithmes de descripteurs spectrales cf 1 3 9 6 et de segmentation et de nouveaux formats d importation en outre de la refonte de l architecture logicielle d crite en haut qui permet d int grer facilement d autres algorithmes comme par exemple les descripteurs de SP2 1 Formats d importation de la segmentation o Fichiers de markers SDIF text labels o Markers dans AIFF WAV Chargement des sons dans le format de compression sans perte FLAC free lossless audio codec Utilisation du format SDIF pour les descripteurs de bas niveau et pour la persistence des corpus via Mubu du SP3 Chargement de descripteurs globaux externes par fichier texte o Par fichier son o Par repertoire Visualisation Le sous systeme de visualisation a progress notamment par l am lioration de l architecture et du mod le graphique d crite en d tail plus bas et des nouveaux modes d affichage voir 1 3 9 5 pour plus de d tails 3 07 09 41 137 Projet Sample Orchestrator rapport final Espace de coordonn es s par s en model world device o transformations affines ou mapping entre espaces o 20x plus rapide que la version precedente non vectorielle o permet une interpolation anim e des points au changement des axes labels par unit par groupe sur centre statistique Mode tile de mosaiques de sous espaces Recherche par cat gories classes o Affi
184. rniers 4 mois du projet avait pour but d aborder une nouvelle dimension non encore abord e de l outil d orchestration la v En suivant la direction des travaux r alis s l Ircam concernant l orchestration pendant ce stage nous avons tendu ces recherches en nous concentrant sur la composante temporelle suivant les facettes micro et macro temporelles Grace la proposition et impl mentation d un mod le instrumental nous pouvons prendre en compte aujourd hui le timbre comme une structure spectro temporelle Celui ci permet la fois de mod liser de mani re pr cise les propri t s spectrales des instruments mais galement d inf rer la structure d un son de dur e modifi e Nous avons propos ainsi dans le cadre de ce stage un mod le d volution temporelle des propri t s spectrales bas sur les mixtures de gaussiennes que nous avons compar et valid par rapport ceux existants dans la litt rature Ce mod le permet en outre de capturer les propri t s pertinentes des timbres instrumentaux avec une grande r duction dimensionnelle tout en permettant une resynth se efficace de ceux ci De plus le point fort de ce mod le est de permettre d inf rer de mani re quasi automatique la structure temporelle d un son identique mais de dur e modifi e tout en conservant les segments d attaque et de rel chement Nos travaux s inscrivant dans la continuit des d veloppements entrepris l Ircam nous pr sentons les r sult
185. roduction d une sp cification d taill e d livrable comportant les tapes suivantes Etat de l art scientifique recensement de l ensemble des l ments de technologie issus de lircam et propositions de fonctionnalit s destin es alimenter la sp cification fonctionnelle Etude des march s vis s applications d chantillonneurs logiciels et analyse des besoins pour les deux prototypes applicatifs Aide a l orchestration Echantillonneur Specification fonctionnelle des deux prototypes applicatifs 3 07 09 9 137 Projet Sample Orchestrator rapport final Specification technique des deux prototypes applicatifs notamment architecture logicielle et choix d impl mentation Elaboration d un plan de travail d taill sous t ches d livrables internes planning d taill Ces l ments labor s en commun ont servi de base l ensemble des travaux du projet 3 07 09 10 137 Projet Sample Orchestrator rapport final 1 3 Indexation audio et navigation par le contenu 1 3 1 Introduction L ensemble des travaux r alis s dans ce sous projet ont vis la r alisation de fonctions de s lection et de navigation dans des bases de donn es d chantillons sonores a partir de l analyse des signaux sonores fichiers sons Ces fonctions se d composent selon les modules suivants cf Figure 1 Extraction de descripteurs audio 1 3 2 ensemble exhaustif de descripteurs de bas niveau car
186. rtir de ceux des sons qui la composent Ces formules sont d duites de r sultats d acoustique des salles ou de la perception des sons Une exp rience de psychologie exp rimentale sur la perception des combinaisons de sons a ainsi t r alis e l Universit de McGill au Canada avec la collaboration du Professeur Stephen McAdams La seconde tape a consist d finir une m thode d apprentissage de ces descripteurs pour les diff rents instruments Dans ce but nous avons propos une taxinomie des modes de jeu instrumentaux L apprentissage consiste alors estimer la distribution des descripteurs pour les diff rentes valeurs des variables de la taxinomie Ensuite une m thode d agr gation des distributions permet de d duire des mod les pour un vaste ensemble de sons Cette m thode d agr gation issue du domaine de la d cision collective permet un haut niveau de g n ralisation et donc la d duction de mod les de sons absents de la base d apprentissage partir des mod les d instruments nous avons pu d duire le mod le d une combinaison de sons instrumentaux et donc valuer la probabilit que cette combinaison soit perceptivement proche de la cible Finalement les solutions propos es ont t test es par des t ches de classification d chantillons solo et polyphoniques Les r sultats obtenus montrent les capacit s du syst me retrouver les sons composant un m lange Ces m thodes sont int gr es dans le mote
187. s FE directory to Descer Periodici X load into RAM sound set iodicity 20 Range gt 0 00428 b 0 70683 Tile loaded 4207 units in 133 sound files of 0 min COlour On with size 0 MB besor Samoa iF Corpus examples train full crowd hockey birds planes Labels On i profils noseg sor mater ial sor mater ial E peroussiva ft us chop bb chop Labelcolour On Desor CSN 1 Selection radius knn Class overlay Class Check ass ay la ieck trigger FERS Mater tal Mater ial Onornatopee Onomatopee SoundSet ea e work_divarse ee aa h retal_chain e street tratfie_part_1 tile zoom position freeze D ctrl click display x 1805 0 y 0 1900 lt POR Merge XA z Descer NoteNumber 18 ad segmentation Range 17 0130 150 157 SS Axt 0 0 Jimport limit s A directory to Y Axis n e load into RAM sound set Descr Loudness 19 od Range f 0 0003 SoundFile 3 z CE loaded 4207 units in 133 sound files of 0 min Colour On with size 0 MB Descr MaterialClassProbBes Y Corpus examples ce i 7 us chop bb chop Labelcolour On J Selection radius knn oo rence 7 trigger fence Class overlay Class Check Mater tal Mater ial nomatopee Onomatopee ound Set tile x tile y tile zoom position freeze Cetrl click display e x 116 20 y 0 1180 4 Figure 55 Nouvelle interface simplifi e de SOREX 3
188. s en novembre et d cembre 2007 les travaux th oriques concernant le fonctionnement de la classification ont t conduits en printemps 2008 et l impl mentation du module de r mixage fond sur le mod le sinusoidal a t effectu en ao t 2008 Zivanovic08a Zivanovic M R bel A Rodet X Adaptive Threshold Determination for Spectral Peak Classification Computer Music Journal 32 2 pp 57 67 2008 1 4 1 8 D tection pr servation et synth se de modulations A cause des probl mes rencontr s dans le cadre de la transposition en domaine fr quentiel les travaux pr vus pour la d tection et modification des modulations ont t d cal s d a peu pres 2 mois Le probleme du traitement des modulations est peu discute dans la litterature Nous avons alors commenc en identifiant les diff rentes t ches li es au probleme Nous distinguons La modification des param tres de la modulation dans le signal L adaptation des modifications demand es par l utilisateur au contexte musical La d tection des segments modules qui sont per us comme unites musicales Nous avons commenc l tude des transformations des modulations en supposant que nous connaissons les parties modul es du signal et que les changements sont coh rents avec le contexte musical tel qu ils peuvent tre effectu sans modification Alors nous nous sommes concentr sur le sujet 1 de la liste la transformation des modulations de fa on ind
189. s en terme de stockage de donn es et donc du type de la base de donn e choisie Le prototype suivant s est orient sur la partie graphique et la mani re de repr senter les r sultats Une fois les premi res livraisons des algorithmes d analyse de contenu fournis par l IRCAM les premiers tests de recherches par contenu ont pu tre mis en place Ces 3 premiers prototypes ont permis de valider les concepts globaux de la recherche et c est donc sur l ergonomie que se sont tourn les prototypes suivant afin de fournir l utilisateur des interface de recherches les plus ad quates et un affichage des r sultats le plus pertinent 1 5 5 Premier prototype Echantillonneur Le but du premier prototype de la partie echantillonneur tait de valider le bon fonctionnement du nouveau moteur de synth se UVI dans un premier en temps en validant des fonctionnalit s comparable aux versions pr c dentes du moteur telles que la lecture d chantillons sonores des modulations simples un mapping de diff rentes sources sonores en fonction de param tres de jeu pitch velocit ainsi que la compatibilit et l import des instruments existants Les principaux tests de validation se sont port s sur la fid lit du moteur audio d un point de vue sonore et son exactitude concernant les temps d enveloppes et des diff rentes sources de modulations Afin de v rifier que le moteur tait pr cis l chantillon pr s des tests de rendu offline avec po
190. s list UV lengine Figure 67 MachFive 3 version interm diaire 3 07 09 109 137 Projet Sample Orchestrator rapport final 2 3 3 3 D tail des oscillateurs novateurs Synth se granulaire SOGS GRANULAROSCILLATOR GC LA KlangGuitare wav Pitch 1 Speed 1 GrainSize 1 Density Jitter p Le module de synth se granulaire SOGS bas sur les librairies de I Ircam a t int gr sous forme d un oscillateur compl mentaire aux autres types de synth ses disponibles dans l application La synth se granulaire de ce type permet de b n ficier d une vaste palette de textures sonores ainsi que d une grande flexibilit dans la manipulation de celles ci permettant de figer l volution temporelle de naviguer de fa on quelconque l int rieur des sons et d effectuer diverses transformations drastiques tout en pr servant l essence du son originel Les possibilit s offertes sont quasi infinies en raison de la base de travail chantillon sonore qui peut tre interchangeable souhait Le contexte applicatif et les cat gories d utilisateurs potentiels tant diff rents des usages propres l Ircam au sein du logiciel Max MSP une partie du travail d int gration a galement consist adapter les param tres de contr le et d finir leur plages de variations ou a en combiner certains pour un usage plus intuitif Nous avons introduit par exemple un contr le de densit de grains qui pilote lu
191. s multim dia du Fresnoy 16 mai 2008 Pr sentations prospective CataRT synth se concat native stage Ircam Overview pour des compositeurs trangers qui souhaitent avoir une initiation aux outils Ircam sur un mois 1 7 2009 3 2 1 2 Autres objets temps r el S minaire Prospective sur l interaction Musicale IRCAM 29 04 2009 Ateliers et groupe de travail sur la repr sentation de descripteurs sonores dans Max MSP printemps t 2009 3 2 2 Forum IRCAM 3 2 2 1 SuperVP Les am liorations du vocodeur de phase SuperVP ont t partiellement int gr es dans les logiciels du Forum de l IRCAM La qualification de l estimation de la fr quence fondamentale est utilisable des la version 2 9 de AudioSculpt Les objets Max MSP SuperVP Max modules et l application SuperVP TraX b n ficient de la transposition en domaine fr quentiel et les autres r ductions du temps de calcul apport es dans le cadre du projet Sample Orchestrator ce qui am liore notamment l utilisation dans le contexte du traitement temps r el Les nouvelles versions des objets et du logiciel seront distribu es au Forum automne 2009 Distribution de modules SuperVP pour Max MSP e Version 2 11 4 9 2008 e Version 2 12 Distribution BETA IRCAM interne 09 11 2008 e Distribution 2 12 1 23 11 2008 e Distribution 2 12 3 22 12 2008 3 07 09 129 137 Projet Sample Orchestrator rapport final 3 2 2 2 Synthese par corpus Workshop aux ateliers du Forum S an
192. s par le serveur sous forme d un fichier texte partir duquel le client OM Orchid e est galement capable de reconstituer des structures de donn es manipulables dans l environnement de CAO Dans l tat actuel du client diverses manipulations sont propos es pour l inspection des solutions individuelles la synth se sonore par mixage des chantillons de la base de donn es ou encore la s lection et la conversion des solutions en structures symboliques ou notation musicale 3 07 09 125 137 Projet Sample Orchestrator rapport final Ale l ae i AN CONSTRAINTS num notes orc size G LISP list TARGET ORCHESTRA ORCHESTRATE submint TARGET and or ORCHESTRA and or CONSTRAINTS then run resolution SOLUTIONSET abstract solution set representation 6 results as text J OO ORC SOLUTION pA cb nonvib hn s ord a ve nonvib c lt empty gt conversion nth random 2 mf 4c 2 mf 4 pp 1c to POLY Pan 0 Pan 0 Pan 0 Pan 0 ry rr FIN FIN Cu Vu wu ee Vol 100 Vol 100 Vol 100 Vol 100 Figure 78 Utilisation des solutions dans OM Orchid e navigation dition conversion en notation musicale 2 4 3 Th ses de doctorat issues du projet Deux theses de l Universit Paris 6 cole doctorale EDITE ont t r alis es simultan ment dans le cadre du projet et soutenues toutes deux en d cembre 2008 celle de Dam
193. sentiel pour attirer l il des potentiels clients tout en vitant de fatiguer ou de d concentrer les utilisateurs r guliers offrant aussi un guide de lecture de l application La conception graphique donc t confi un graphiste ind pendant exp riment dans le design de produits li s la musique et notamment d instruments virtuels et coutumiers de nos propres produits Les premiers prototypes se sont focalis s sur une vision tr s proche du fonctionnement interne du moteur en se rapprochant au fur et mesure avec une vision pratique de l utilisation Plusieurs bauches ont ainsi vu le jour et ce travail se peaufine encore galement aujourd hui 3 07 09 64 137 Projet Sample Orchestrator rapport final 1 6 Aide l orchestration 1 6 1 SP4 1 Technologie de descripteurs audio pour l orchestration Objectifs ma triser les technologies relatives aux descripteurs audio utilisables par le moteur d aide a l orchestration 1 6 1 2 D SP4 1 1 Calcul de descripteurs Responsable Ircam AnaSyn Un ensemble de descripteurs des chantillons audio adapt s au probleme de l orchestration a ete choisi Certains de ces descripteurs sont d di s aux sons monodiques pour d crire les sons de la base de d chantillons d autre s appliquent des sons polyphoniques et sont utilis s pour d crire la cible Ces descripteurs sont extraits par le programme ircamdescriptor crit en Matlab par les programmes C pm2 et s
194. si la facilit d utilisation t not e comme tant un point important 1 5 1 3 Conclusion Ces diff rentes tudes ont permis de nous rassurer concernant les id es fondatrices du projet originel et nous a permis d envisager des pistes nouvelles concernant l ergonomie du produit L tat de l art effectu lors de l analyse des besoins nous a galement permis de noter que la majorit de ces logiciels mettent en valeur les possibilit s de faire voluer les sons au cours du temps que ce soit de mani re spatiale ou sur d autres param tres du son Ce type de fonctionnalit est primordial si l on veut rendre les sonorit s vivantes agr ables voir plus humaines Le point de vue de l ergonomie est galement tr s important et m me primordial L analyse et l utilisation des diff rents outils du march nous ont permis de nous faire une bonne id e de ce qui marche et ce qui ne marche pas et nous a permis d effectuer une synth se en sachant garder les points int ressants que nous avions rencontr s lors de nos tests 1 5 2 Sp cification fonctionnelle Les tapes pr c dentes nous ont permis de d finir un cahier des charges plus d taill que le projet originel mettant en avant les points techniques d finissant celui ci Nous allons ici en rappeler les principaux points Application disponible sous forme de plugin et en version autonome pour Windows et OSX Support surround Possibilit d organ
195. t 54 60 82 60 40 60 60 20 Performances d un algorithme g n tique l mentaire par rapport une recherche al atoire polyphonique libre 3 07 09 135 137 Projet Sample Orchestrator rapport final Parall lement nous avons defini un cadre formel pour l expression de contraintes globales et introduit une metaheuristique innovante de resolution permettant de guider la recherche vers des orchestrations satisfaisant un ensemble de propri t s symboliques en lien direct avec l criture musicale Nous avons pr sent enfin deux prototypes exp rimentaux et une application finale d aide a orchestration utilisables directement par les compositeurs dans lequel l exploration des possibilit s de timbres est facilit e travers une repr sentation multi points de vue des solutions et un m canisme interactif des pr f rences d coute 3 07 09 136 137 Projet Sample Orchestrator rapport final Extrait de la partition de Speakings de Jonathan Harvey Creation Royal Albert Hall Aout 2008 BBC Symphony Les parties en rose sont directement transcrites du moteur d aide a l orchestration Orchid e 3 07 09 137 137
196. t au fur et mesure avec un nouveau nuage chaque tape permettant d affiner la recherche par dichotomie Il est galement possible de retirer certains mots cl s si la recherche ne fournit plus suffisamment de r sultats permettant de naviguer de proche en proche entre sous ensembles de sons 3 07 09 105 137 Projet Sample Orchestrator rapport final 2 3 2 5 Recherche interactive par attributs EM 9 BM 3 Cm 3 D M 3 D m 3 DM 3 Periodicity 10M EATE 17 71 14AN79 A IC2MNNATCT De mani re similaire l affichage par nuage de points la recherche interactive par attributs n affiche que les choix r ellement disponibles dans la s lection courante ainsi qu un compteur permettant d valuer le nombre de sons partageant le m me attribut Ici aussi le cot interactif de la visualisation tente d informer l utilisateur la fois d un information contextuelle ainsi que d une statistique globale sur la recherche courante permettant d avoir une repr sentation mentale de la r partition des sons selon les diff rents attributs et cat gories 2 3 2 6 Tri par descripteurs File name Periodicity wW Percussivity BPM sitarea revolver wav 4 72407484 1 15362585 30 3334293 Class Str Machine Cello E3 aif 1 54379272 3 49503779 30 29772 GUITARE SM L wav 0 858341873 2 19550538 106 027534 007flute wav 0 832694829 3 41643357 39 8011398 sanky pythonE4 wav 0 774283171 4 35199404 90 1443405 high end wav 0 756576717 3
197. t born es http sdif sourceforge net 3 07 09 12 137 Projet Sample Orchestrator rapport final d nergie spectres quasi harmoniques L objectif tait ici plus d licat car il portait sur des sons de bruitage sur lesquels peu d hypotheses pouvaient tre faites a priori Une part cons quente du travail r alis a ainsi consist rendre les caract ristiques calcul es suffisamment robustes pour convenir de larges classes de sons 1 3 2 3 Implantation de SDIF comme format de sortie Un grand nombre de nouveaux types SDIF a t d clar pour permettre l extension du format n cessaire au stockage de tous les descripteurs calcul s et un cadre a t d fini pour la mod lisation temporelle des descripteurs instantan s Ces travaux ont t pr sent s pour discussion la communaut Music Information Retrieval Burred08 Dans le cas g n ral SDIF stocke des matrices 2D index es sur le temps et dans le cas des descripteurs les lignes ont t utilis es pour les coordonn es de descripteurs et les colonnes pour les diff rentes variantes de calcul du descripteur La Figure 2 donne les diff rentes variantes possibles des descripteurs variations 1 Linear amplitude 3 variation descriptors 2 Power amplitude 3 Log amplitude 1 Linear amplitude linear frequency 2 Power amplitude linear frequency 3 Log amplitude linear frequency 4 Linear amplitude log frequency 6 variation descrip
198. t effet et rendues 3 07 09 82 137 Projet Sample Orchestrator rapport final disponibles sur plateformes MacOSX et Windows Les d tails de leur utilisation sont d crits au 1 3 4 2 1 4 SP2 4 Description des sons environnementaux 2 1 4 1 D SP2 4 1 Validation de descripteurs audio pour les sons environnementaux Responsable Ircam PDS L objectif de cette sous tache tait de proposer une organisation des sons environnementaux a partir de la base de donn es de r f rence fournir par Univers Sons Les exp riences r alis es sont d crites au 1 3 6 1 Les donn es de l exp rience 1 trait es par une analyse de cluster ont confirm la premi re partie de l hypoth se cf Figure 16 et permis de proposer une organisation des sons a 2 niveaux de ce corpus sp cifique un niveau discret poss dant trois classes d v nement Impact courtes impulsions ou s ries d impulsions Moteur m lange harmonique bruit Pseudo Instrument production similaire a celle d un instrument de musique Un niveau continu permettant de d finir un espace multidimensionnel de timbre commun aux sons de chaque classe avec Un attribut commun toutes les classes la brillance avec pour la classe Moteur la prise en compte des parties harmonique et bruit e des attributs propres li s aux sp cificit s acoustiques de chaque classe la nettet pour les sons d impact l mergence harmonique pour les sons de moteur
199. taxonomie causale r duite et 72 21 pour la taxonomie d onomatop es GMM a obtenu de meilleures r sultats que les gaussiennes unimodales En moyenne les matrices de covariance diagonales ont obtenu les meilleurs r sultats offrant un compromis adapte en terme de complexite LALD r duit beaucoup la presence de singularit s et la mal diction de dimensionnalit le nombre optimal de descripteurs est plus lev avec l ALD Causal 7 classes Classif LDA Options Max ACC best par Max FMSR best par singu ACC FMSR larities Gauss 67 78 1 90 19 66 53 7 64 20 D ON Gauss Y 66 99 3 36 40 65 31 6 79 40 EG GMM Full cov 68 81 3 83 21 1 67 31 7 58 20 1 GMM Y Fullcov 67 34 3 80 40 2 65 05 7 66 37 2 GMM Diag cov 72 60 6 33 30 7 70 55 8 65 30 7 GMM Y Diag cov 68 01 3 83 33 4 65 74 6 47 40 3 GMM Spher cov 69 71 0 00 30 8 65 90 0 00 30 8 GMM Y Spher cov 68 12 2 20 35 5 65 80 8 51 40 3 nn esm retiens mean ore mise ane o Causal r duit 5 classes Classif LDA Options Max ACC best par Max FMSR best par singu ACC FMSR larities Gauss 75 14 2 94 16 74 49 6 99 24 En Gauss Y 76 81 4 50 37 75 50 6 31 37 0 GMM Full cov 78 03 5 53 1712 76 21 0 00 32 10 GMM Y Fullcov 77 80 3 60 32 2 76 95 5 78 32 2 GMM Diag cov 81 77 3 87 25 6 79 18 9
200. tement audio recherche et d veloppement en vue de la r alisation de fonctions de post traitement des chantillons sonores sur la base de descripteurs pre calcules adaptations et evolutions du moteur UVI engine pour l int gration de ces nouvelles fonctions de traitement Coordination Ircam Participants Ircam AnaSyn Ircam IMTR Univers Sons SP4 Orchestration recherche et d veloppement en vue de la r alisation de fonctions d aide a l orchestration recherche des combinaisons d chantillons instruments dont la superposition approche le plus une cible donn e d veloppement de versions successives de prototypes applicatifs dans l environnement d aide a la composition OpenMusic de flircam destin e aux compositeurs Coordination Ircam Participants Ircam AnaSyn lrcam RepMus _SP65 Echantillonneur d veloppement de versions successives l application d chantillonneur int grant les fonctions d velopp es dans les autres sous projets Coordinateur Univers Sons Participants Univers Sons Ircam AnaSyn Ircam IMTR Les sous projets SP2 et SP3 ainsi que le d but du sous projet SP4 rel vent d activit s de rercherche et de d veloppement visant la r alisation de fonctions sp cifiques les sous projets SP4 phase finale et SP5 concernent des activites de d veloppement des deux applications cibles 1 http www ircam fr http www univers sons com 3 07 09 8 137 Projet Sample Orchestrator rapport f
201. tenue sous Windows par un facteur 6 10 Les modifications donnent des am liorations de la performance suivante Changement de la biblioth que FFT facteur 1 5 2 Utilisation des op rateurs SIMD SSE SSE2 pour les fonctions math matiques facteur 1 3 1 5 Remplacement du compilateur MSVC 2008 2005 par compilateur Intel Version 10 facteur 1 3 1 8 Synthese a partir de pre analyse facteur 10 La premi re version de la dil pour Windows a t d livr e a Univers Son l ch ance M18 2 2 1 3 Transposition en domaine spectral La transposition en domaine spectral est compl tement fonctionnelle tel qu elle peut remplacer la transposition en domaine temporelle partir de la version 2 96 32 de SuperVP La transposition en domaine spectral peut tre effectu partir de sons preanalyse partir de la version 2 97 8 de SuperVP 2 2 1 4 Traitement avec taille de fen tre variable Les traitements et les analyses avec taille de fen tre variable ont t int gr s dans SuperVP partir de la version 2 94 18 Cela concerne toutes les op rations possibles dans SuperVP 2 2 1 5 Am lioration qualification du FO pour le contr le Les am liorations apport es l algorithme d estimation et qualification des fr quences fondamentales ont t int gr es dans le moteur de calcul SuperVP 2 94 13 et elles sont alors d sormais accessibles dans l application AudioSculpt de l IRCAM 2 9 2 o elles permettent
202. teurs de 1 40 nombre de clusters gaussiens par GMM de 1 a 10 type de matrice de covariance par ordre croissant de 4 http www csie ntu edu tw cjlin libsvm 3 07 09 16 137 Projet Sample Orchestrator rapport final complexit sph rique diagonale pleine et presence absence de ALD L optimisation etait exhaustive POUR C SVM RBF Nombre de descripteurs de 1 40 param tre de co t C de 2 2 en pas logarithmiques de 2 et param tre de noyau RBF y de 2 2 en pas logarithmiques de 2 Pour viter une explosion combinatoire sur un ensemble de recherche 3D la recherche a t faite en deux tapes d abord recherche du nombre optimal de descripteurs puis optimisation 2D pour les couples C y Au total 9 configurations exp rimentales diff rentes ont t prises en compte comme indiqu en Figure 6 Ces r sultats correspondent un total de 2 x 40 6 x 40 x 10 40 13 x 7 2611 calculs de validation crois e pour chaque base de donn es 2611 x 5 13055 calculs individuels de classification par base de donn es soit un grand total de 13055 3 39165 calculs Quelques conclusions g n rales peuvent tre tir es de ces r sultats C est la m thode C SVM qui obtient les meilleurs r sultats pour les 3 bases de donn es la fois selon les mesures accuracy and F measure Les meilleures accuracies obtenues sont de 74 33 pour la taxonomie causale compl te 83 72 pour la
203. tial solution olution 3 Intermediate 6 Solution 3 Final solution Mantra 1 OM Sco 2 G 5 n EE E acoord oleord Pp PP o z z ai a tse 1 Symbolic a pp PP pp pp pp Features B Le E to Criteria pp Viewer H Eo V Shop b PP mf Tp Close All PP PP n Straight Harmon A mf mf mf Ef va Ae _ E z Ve Ae 3 E Di E PP gt a EE F o T x nonm 2c nonvib noni 2c nonvib 2c nonb 2c PP PP PP PP PP Figure 39 Prototype 2 Partition r sultante 1 6 7 SP4 5 cr ation de cibles abstraites pour l orchestration Objectifs interface de synth se de cible abstraite Responsable Ircam RepMus 1 6 7 2 D SP4 5 1 synth se de cibles abstraites Objet environnement OpenMusic de synth se l mentaire de cibles abstraites a partir de donn es symboliques accords s quences patches de CAO utilisant les technologies de synth ses disponibles dans l quipe Analyse synth se Fonctionnalit s r alis es La librairie Chroma de OpenMusic a t mise profit pour r aliser les cibles de synth se Tout l environnement de composition assist e dans OpenMusic peut ainsi tre mis profit pour composer des s quences musicales principalement s quences harmoniques qui servent de support la synth se de timbres complexes Les donn es issues de la CAO sont converties en param tres g n raux
204. tion IEEE Workshop on Applications of Signal Processing to Audio and Acoustics WASPAA New Paltz New York 2007 3 07 09 78 137 Projet Sample Orchestrator rapport final 2 Resultats scientifiques et technologiques 2 1 Indexation audio et navigation par le contenu 2 1 1 SP2 1 Module d extraction de descripteurs audio pour les samples Responsable Ircam AnaSyn L objectif de cette tache est de produire une bibliotheque calculant un ensemble exhaustif de descripteurs a partir de l analyse des fichiers sons d chantillons La bibliotheque IrcamDescriptor est fournie sous forme de code C multi plateforme et a ete compil e pour MacOSX Windows et Linux Elle fournit les 54 descripteurs suivants pour lesquels sont indiqu s le type SDIF correspondant var Temporal descriptors AutoCorrelation 1ARR ke SignalZeroCrossingRate 1ZCR Energy descriptors INRG 1HEN LNEN LEEV Spectral descriptors _ SpectralCentroid sss 1 6 1SCN _SpectralSpread 1 6 ISSP _ SpectralSkewness 1 6 1S5SK SpectralKurtosis 1 6 1SKU _ SpectralSlope 1 6 1SSr HarmonicSpectralCentroid 1 6 1HCN HarmonicSpectralSpread_ 1 6 1HSP HarmonicSpectralSkewness 1 6 1HSK HarmonicSpectralKurtosis 1 6 1HKU __HarmonicSpectralSlope 1 6 1HSL Perceptual descriptors _PerceptualSpectralCentroid 1 6
205. tion des descripteurs pour un instrument un mode de jeu d termin Ainsi les distributions des descripteurs du violon seront agr g es a celle du vibrato pour obtenir les distributions du violon jou vibrato Toutes ces distributions constituent finalement des mod les du timbre des instruments pour diff rents modes de jeu toutes les hauteurs et nuances possibles Ces mod les constituent la connaissance du syst me d orchestration concernant les instruments Les algorithmes utilisant cette m thode ont t r alis s en matlab Les tests effectu s consistent en des t ches de reconnaissance automatique d instruments et de techniques de jeu Les r sultats obtenus montrent l efficacit de la m thode Au niveau des instruments les taux de reconnaissance sont comparables l tat de l art Au niveau des modes de jeu certain comme le vibrato le tremolo ou l olien sont tres bien reconnus 90 d autre comme le sul tasto sont moins bien reconnus car ils ont un timbre tres similaire a d autres modes de jeu Des m thodes d addition de mod les ont ensuite t propos es Elles permettent de trouver la distribution des descripteurs d une mixture de son une orchestration a partir des distributions des sons composant la mixture Pour chaque descripteur la formule d addition propos e dans la sous t che 4 1 2 est adapt e des distributions gaussiennes en ayant parfois recours des approximations comme la m thode de Fen
206. tira anes Aina ads dns pente 4 1 1 2 Objectifs scientifiques et industriels 5 BIS SONG ANISQUOR ESS cist sarees ere eases nest ei T 8 E2 L SPECIFICATION DE TAIEL EE SR nn a nn ait Ann mali ss ot sn Ac Gus 9 1 3 INDEXATION AUDIO ET NAVIGATION PAR LE CONTENU 0ccccesccceececeeceeeeseceeeceseeeseusessesesseeeseneeeas 11 LS MATOOUCHOME SSSR REA PR Re Osea nee 11 1 3 2 SP2 1 Module d extraction de descripteurs audio pour les chantillons ccccccceeeeee 12 1 3 3 SP2 2 Module d indexation automatique VV 14 1 3 4 SP2 3 Module d extraction de descripteurs audio pour les boucles 21 125 0 References SP 221 95 222 EPS PDT RE Re en kadai ea peat ee 24 1 3 6 SP2 4 Description des SONS environnementaux 25 1 3 7 SP2 5 Classification des sons environnementaux 31 1 3 8 SP2 6 Caract risation s mantique des sons environnementaux 36 1 3 9 SP2 7 Recherche navigation et composition interactive fond e sur des bases de sons 38 1 4 ANALYSE ET TRAITEMENT AUDIO cc c ccccseccseecoeecccancecaecesaeeecaueesaseesosaeenaueesaueesausesauaesseaeenaneens 45 1 4 1 SP3 1 Moteur d analyse et de transformations sonores temps r el 45 1 4 2 SP3 2 Moteur de synth se granulaire temps r el 53 1 4 3 SP3 3 Synth se granulaire bas e sur les descripteurs sonores 56 1 4 4 SP3 4 Variation interactive de boucles rythmiques cccscececseeeeceeeeceeees
207. ton Wilkinson pour l addition de loi log normale Ces m thodes sont utilis es dans un programme matlab qui permet d valuer la pertinence d une orchestration sachant la cible Ce programme est test dans des t ches de reconnaissance de mixture de sons d instruments d orchestre Ce programme sera int gr dans le syst me final et permettra d obtenir un choix plus vaste de solutions Les interfaces de communication entre les programmes de cette sous t che et 3 07 09 67 137 Projet Sample Orchestrator rapport final le programme d orchestration ayant t pr d finies l int gration des deux modules ne pose pas de probleme technique particulier 1 6 5 SP4 3 Mod lisation de la recherche combinatoire 1 6 5 1 D SP4 3 2 Module g n tique Responsable Ircam RepMus Fonctionnalit s r alis es L approche retenue pour la recherche de mixtures instrumentales s approchant de la cible sonore consiste en la g n ration et la modification d une population de solutions selon des m canismes inspires de la biologie et de l volution des esp ces Dans ce type d algorithmes dits volutionnaires les meilleures solutions survivent et transmettent leurs caract ristiques aux g n rations suivantes l ensemble de la population voluant ainsi vers des solutions efficientes L algorithme est dit g n tique lorsque les solutions sont repr sent es par une cha ne de caract res ou d entiers dont chaque l ment d crit de fa
208. tors 5 Power amplitude log frequency 6 Log amplitude log frequency Figure 2 Signification des variantes des descripteurs Un mod le a ete d fini pour permettre diff rentes repr sentations temporelles de descripteurs sur un intervalle de temps donn s ajoutant leur repr sentation instantan e Les mod les temporels existants avec leur type SDIF correspondant sont donn s la Figure 3 Le format permet ainsi de superposer diff rentes repr sentations temporelles d un m me descripteur dans un m me fichier SDIF _LoudnessWeightedMean WN al LoudnessWeightedStandardDeviation 1WSD al Figure 3 Mod les temporels existants avec leurs signatures SDIF Une description plus d taill e des extensions op r es au format SDIF pour les descripteurs audio est accessible http sdif sourceforge net descriptor types 1 3 2 4 Implantation et nouvelle API de la biblioth que d extraction Partant du code Matlab existant une nouvelle biblioth que appel e IrcamDescriptor derni re version d velopp e V2 a t d velopp e de z ro avec une nouvelle architecture con ue selon des crit res d optimisation pour une utilisation temps r el de s curit d extensibilit de flexibilit et de facilit de maintenance 3 07 09 13 137 Projet Sample Orchestrator rapport final Les besoins de rapidit de flexibilit et de modularit ont constitu un d fi important La nouvelle
209. tr machine violin c4 Fm 86 6528015 4 72132254 0 405372918 guitare smooth sound SIb3et4 wav wav guitare smooth sound sib3et4 D m 82 8424377 2 73821211 0 260395318 weather report quiet mood loop wav wav weather report quiet mood loop EM 81 6876144 2 33578014 0 556965768 weather report quiet mood loop wav wav weather report quiet mood loop EM 81 6876144 2 33578014 0 556965768 sexy ahhhh souflle wav wav sexy ahhhh souflle BM 70 6558228 1 65166914 1 selma wav wav selma G m 65 8181076 2 73433924 0 667397261 selma wav wav selma G m 65 8181076 2 73433924 0 667397261 hendrix bend wav wav hendrix bend Cm 62 6482277 1 92731893 0 715088665 3 07 09 103 137 Projet Sample Orchestrator rapport final 2 3 2 1 Affichage sous forme de grille mur de sons sitarea revolver wav Class Str Machine Cello E3 aif GUITARE SM L wav 007flute wav sanky pythonE4 wav high end wav M aannaaien Hybrif sitar wav introducing wav hendrix bend wav Pour compl ter l affichage traditionnel sous forme de liste dans un souci de simplification et de filtrage de l information il nous a paru utile de proposer une vue r capitulative des sons disponibles dans la banque de sons sous forme de mur de sons Afin de proposer une vue plus agr able et moins technique plus adapt e a des utilisateurs novices ou n tant pas int ress s dans l imm diat par les informations compl mentaires propos es Ce type d affichage est tr s utilis pour la v
210. transposition dynamique qui est adapt e de mani re que la modulation de la fr quence fondamentale est enlev e Pour ce r sultat nous avons choisi pr server l enveloppe spectrale Le vibrato est r duit de fa on significative mais la modulation de l amplitude des partiels et de l enveloppe spectrale reste importante 3 07 09 51 137 Projet Sample Orchestrator rapport final STFT True Envelope 6000 m x 6000 INT D i beh z L 5000 5000 i 9 Enni 0 0 0 1 0 2 03 04 05 06 0 7 0 8 09 1 0 0 1 0 2 0 3 04 05 06 0 7 08 09 1 Time Time Figure 29 Spectrogramme gauche et enveloppe spectral droite d un son d un fl te apr s transposition dynamique enlevant le vibrato L enveloppe spectrale est pr serv Afin de pouvoir r duire cette modulation restante nous avons d velopp plusieurs proc dures de filtrage adaptatif qui compensent le changement de l enveloppe spectrale qui est induit par la modulation de la fr quence fondamentale Le spectre et l enveloppe du son de la flute est montre en Figure 30 Les modulations d amplitude des partiels et de l enveloppe sont significativement r duites STFT True Envelope 6000 p T TT 5000 4000 3000 2000 1000 0 01 0 2 03 04 0 5 0 6 0 7 0 8 0 9 1 D 0 1 0 2 0 3 04 05 0 6 0 7 08 09 1 Time Time Figure 30 Spectrogramme gauche et enveloppe spectral droite d un son d un fl te apr s transposition dynamique avec pr servation de l enveloppe sp
211. ty E Les descripteurs morphologiques des sons descripteurs2 doc rapport interne ECRINS mai 2001 Rioux01e Rioux V Projet ECRINS validation exp rimentale phase l descripteurs morphologiques rapport interne ECRINS novembre 2001 Wacom Wacom Pen Tablet http www wacom com intuos 1 3 7 SP2 5 Classification des sons environnementaux 1 3 7 1 D SP2 5 1 D finition d un corpus repr sentatif et s lection des classes pertinentes Responsable Ircam PDS Objectifs La dimension quasi infinie du champ couvert par les sons dits environnementaux n cessite dans un premier temps de travailler sur une representation r duite mais significative de cet univers sonore du moins si l on aborde le probleme du point de vue exp rimental La constitution de cette base de donn es representative constitue donc un 3 07 09 31 137 Projet Sample Orchestrator rapport final passage oblige et est labor e grace a l expertise d utilisateurs experts habitu s a manipuler differentes typologies sonores collaboration avec Univers Sons Resultats Le corpus de d part est fourni par Univers Sons le 27 09 2007 et se compose de 368 sons r partis en 46 classes SOR_database La classification d usage associ e comporte un seul niveau de hi rarchie et les classes sont d finies par des crit res multiples m langeant acoustique v nement et cat gories d objets Ces differents crit res m me s ils sont m l
212. u sur 500 probl mes de petite taille pour lesquels les espaces de recherche et les ensembles de solutions sont connus Cinq niveaux de contraintes ont t utilis s r duisant progressivement l ensemble des solutions consistantes de 8 78 0 01 de l espace de recherche Pour chaque niveau de contrainte le nombre d it rations de CDCSolver est compar est nombre moyen d it rations au bout duquel on peut esp rer g n rer al atoirement une solution consistante random Les performances de CDCsolver par rapport au Random sont report es dans le tableau suivant Niveau de contrainte Nombre d it rations Rapport au random 2 EE ES 102 8 19469 264 1 1 6 6 SP4 4 Prototype experimental d orchestration 2 1 6 6 1 D SP4 4 1 Prototype 2 d aide l orchestration Responsable Ircam RepMus Fonctionnalit s r alis es Un second prototype experimental d aide l orchestration a ete r alis incorporant les m thodes d optimisation combinatoire sous contraintes issues de SP 4 3 Les mod les d instruments issus de SP 4 1 en cours de tests de validation ne sont pas encore int gr s a ce prototype D velopp en Matlab cet outil offre une interface utilisateur sp cifique a chaque tape du processus d orchestration de la construction d un orchestre la sp cification de contrainte et l analyse d un son jusqu une navigation avanc e dans l espace des solutions efficientes selon plusieurs points de vue symboliq
213. ue espace de timbre optimalit La simulation des solutions est prise en charge par un sampler d velopp en Max MSP et dialoguant via OSC avec le prototype Une interface via OSC avec OpenMusic permet galement la cr ation de cibles abstraites voir D SP 4 5 Le prototype permet en outre de relancer la recherche partir d une solution interm diaire tout en inf rant les pr f rences implicites de l utilisateur dans le choix de celle ci ainsi que de transformer progressivement une solution courante l aide de contraintes suppl mentaires offrant ainsi un premier contr le sur l volution temporelle du timbre Ce prototype a t utilis par le compositeur Jonathan Harvey pour l criture du mouvement de sa pi ce Speakings cr e Londres en ao t 2008 Impl mentation code Matlab Date de r alisation juin 2008 neme 3 07 09 69 137 Projet Sample Orchestrator rapport final 0 00 Ircam Orchestration v 0 4_alpha_4 AAO sound_target 4 6 De audio on or 306 MU A ware Al tik i LR j dali Lulu Figure 35 Prototype 2 Editeur de cible Re SVP eee 3 EEI EEO OEL I OSTE ainai Ve PO TT Vert File Setup Orchestra Orchestration Help 3 ee t Solution seas ase BbCl ord A3 pp aif te Cb nonvib A2 pp 2c aif Fl aeol ord E4 pp aif Hn ord A4 pp aif Tbn S ord A2 mf aif Audio Features i ta Lh k t i mm eee eee eee ee OQ 5 O sol
214. uer la classification selon des crit res morphologiques l inconv nient majeur tant la difficult de traitement des traces de diff rents participants qui n ont priori pas les m mes classes Cette tape est r alis e avec 19 participants 14 hommes 5 femmes tous experts dans le domaine de la musique et du son musiciens ing nieurs du son personnes travaillant r guli rement dans des environnements audionumeriques etc Elle est effectu e au moyen d une interface graphique de classification libre Matlab voir Figure 17 permettant de constituer les classes et d une interface temps r el Max MSP reli e une tablette WACOM Intuos Wacom permettant de recueillir les donn es morphologiques la communication entre les deux environnements s effectuent grace au protocole OSC OpenSound Control La proc dure est r p t e successivement pour les profils dynamiques et les profils m lodiques voir Figure 21 3 07 09 30 137 Projet Sample Orchestrator rapport final Figure 21 Interface de description des profils morphologiques Max MSP Wacom une seconde exp rience sur la base de l analyse des r sultats pr c dents de classification et l extraction des classes moyennes qui consiste demander aux participants de tracer le profil correspondant chacune de ces classes et de juger de la pertinence des classes propos es sur une chelle de allant de O pas du tout pertinent a 10 tout f
215. ui masquera les ventuelles complexit s de la programmation l int r t tant ici avant tout sur le processus d orchestration tout en maintenant les potentialit s du syst me Cette interface est en r alit un objet soundtarget qui peut tre construit algorithmiquement dans l environnement de CAO Les principaux param tres permettant de construire cet objet sont 1 un accord qui permet de sp cifier des hauteurs fondamentales et structurantes dans la cible 2 des param tres de filtrage pour un contr le global de l enveloppe spectrale et 3 des param tres fonctionnels d crivant le d ploiement spectral des diff rentes hauteurs 3 07 09 123 137 Projet Sample Orchestrator rapport final fondamentales c est a dire des fonctions et param tres qui s appliqueront sur les donn es initiales lors de la construction du spectre ce SOUNDTARGET Selected Note Spectral Edit FULL SPECTRUM Nb Harmonics EEE wes 3200 2008 1000 gt E 4 A Add Partials A as Stretch CA Il Band Filter SOUND Filters SEARCH DOMAIN f i D Initial Chord Pf ok 4 EE 4 E i Manual Big ee pere Car ses ss 74 1000 00 2000 00 3000 00 4000 00 LAULA Constrain search doma Auto let Orchidee compute the search domain ANALYSIS PARAMS TE fO min Hz so o i f i i i i 100 200 300 400 500 Go 700 200 000 O nb partials Analyse Target Data
216. upervp ainsi que par des programmes d di s crit en Matlab Les fonctions permettant le calcul de ces descripteurs sur des grandes bases d chantillons et leur organisation en une structure de donn es ont aussi ete d velopp es en Matlab Les performances de ces descripteurs ont t test es dans des taches de classification des instruments et des modes de jeu Publications D Tardieu G Peeters X Rodet An Instrument Timbre Model For Computer Aided Orchestration IEEE Workshop on Applications of Signal Processing to Audio and Acoustics WASPAA New Paltz New York 2007 D Tardieu G Carpentier X Rodet Computer Aided Orchestration Based on Probabilistic Instruments Models And Genetic Exploration International Computer Music Conference ICMC Copenhagen 2007 1 6 1 3 D SP4 1 2 M thodes d agregation de descripteurs audio Responsable Ircam AnaSyn Les methodes de calcul permettant a partir des descripteurs de sons individuels de predire les valeurs de descripteurs correspondantes pour le son resultant de leur mixage dans des conditions d orchestre ont ete d velopp es en Matlab Elles sont bas es sur des tudes de perception des sons sur des principes d acoustique ou si n cessaire sur des r sultats empiriques Ces m thodes d agr gation sont en partie utilis es dans le prototype 1 SP4 2 1 6 1 4 D SP4 1 3 M thodes de distance la cible Responsable Ircam AnaSyn Plusieurs methodes de calcul de la
217. ur chaque pic spectral et ensuite les modifier et resynthetiser les sinusoides modifi es en utilisant la synth se des sinusoides en domaine spectral Rodet92b Les parametres des pics qui sont utilises sont les parametres sinusoidaux fondamentaux amplitude fr quence phase et en plus la pente de la fr quence La resynth se se fait partir d un tableau de pics spectraux lequel est pr calcul pour une grille de pentes et ensuite interpol de fa on lin aire Roebel08a Cela nous permet de prendre en compte le changement de la pente fr quentielle due la transposition L algorithme d analyses sinusoidales et de la resynth se a partir du tableau a t mis en place en aout 2008 Une nouvelle version de la transposition par analyse resynth se sinuso dale a t mis en place en septembre et octobre 2008 Ce nouvel algorithme n int grait pas encore les fonctionnalit s avanc es comme la pr servation des attaques et de la forme d onde Par contre il nous a permis de constater que l algorithme travaillant avec les param tres sinusoidaux est aussi efficace que la version bas e sur le d placement des pics spectraux Un avantage de la nouvelle approche est le fait que la forme du pic est chang e de fa on coh rente avec la transposition changement de la pente de la fr quence Les travaux ont t poursuivis et les modes de transformations li es la pr servation des transitoires et la pr servation de la forme d onde ont
218. ur d orchestration r alis par Gr goire Carpentier qui trait l aspect optimisation du probl me Des versions interm diaires de ce programme ont t utilis es dans plusieurs productions de compositeurs de L IRCAM 3 07 09 132 137 Projet Sample Orchestrator rapport final 4 2 These de Gregoire Carpentier De toutes les composantes de l criture musicale l orchestration ou l art d assembler les timbres intrumentaux est longtemps demeur e dans son enseignement comme dans sa pratique une activit empirique La difficult de formaliser de mani re rigoureuse l ensemble des techniques inh rentes cette discipline fait qu aujourd hui encore l orchestration resteun domaine peu abord par l informatique musicale et l aide la composition Les rares outils actuels ram nent le probleme de l orchestration la d couverte au sein de banques d chantillons sonores instrumentaux de combinaisons approchant au mieux un timbre fix par le compositeur Cette approche a t la n tre Mais l o les m thodes actuelles contournent syst matiquement le probl me combinatoire de l orchestration par le recours a des principes de d composition ou des algorithmes de matching pursuit l originalit de notre d marche a t de placer les enjeux combinatoires au c ur de nos travaux et de traiter l orchestration la mesure de sa complexit Target 0 ee e e gt r y ai gt Featu
219. ur entr e des s quences pr enregistr ont t effectu s La stabilit et la robustesse de fonctionnement ont fait l objet de nombreux tests tant donn es les conditions d utilisation intensive des produits qui peuvent rester en fonctionnement pendant des mois tant donn e la complexit des possibilit s lors de l utilisation temps r el du logiciel des tests d coute A B ont t r alis s avec des anciens produits afin de valider un rendu similaire aux versions pr c dentes du moteur 3 07 09 62 137 Projet Sample Orchestrator rapport final L interaction entre la partie graphique et le moteur audio etait egalement un point important et de nombreux tests concernant la synchronisation des donnees entre les deux ont ete n cessaires Les param tres pouvant tre galement dit s distance a l aide d un contr leur MIDI il fallait bien entendu que l interface graphique refl te ces changements 1 5 6 Prototypes Echantillonneur volu s Les prototypes suivants ont eu pour objectif d int grer et de mettre en situation les diff rentes techniques de synth se d velopp es par l IRCAM ainsi que les nouveaux modules d velopp es au sein d Univers Sons pendant toute la dur e du projet Le moteur de TimeStrech PitchShift SuperVP t int gr sous forme d un oscillateur permettant le chargement d un chantillon sonore ainsi qu un contr le temps r el des param tres de hauteur de son et de vitesse de lecture L
220. ur le contr le des seuils de la classification car il nous semble que nous pouvons transformer les deux seuils li s avec la dur e temporelle du signal dans un seul seuil qui limite la diff rence absolue entre la dur e de la sinusoide stationnaire fen tr e et la dur e du signal li e aux pics En raison de la 3 07 09 49 137 Projet Sample Orchestrator rapport final preparation de l article et des travaux n cessaires l am lioration de la transposition en domaine fr quentiel nous avons d supprimer l impl mentation et l valuation de cette nouvelle formulation du classificateur La r organisation des fonctions n cessaires pour la transformation dans le domaine spectral nous a amen impl menter des fonctions d analyse synth se sinusoidale en domaine spectrale dans le vocodeur de phase voir SP3 1 2 Ces nouvelles fonctions nous ont permis de r aliser une am lioration significative du module de remixage Nous y avons ajout un mode remixage avanc dans lequel pour chaque pic sinusoidal les param tres sinusoidaux sont estim s comme le remixage des sinusoides ne s applique que a la partie sinuso dale du pic Contrairement au fonctionnement auparavant ce nouveau mode r duira l effet de la taille de la fen tre au r siduel et approchera les r sultats obtenus avec le module de remixage du vocodeur de phase aux r sultats obtenus avec un vrai mod le sinusoidal Les travaux concernant la publication ont t effectu
221. us la forme d un ensemble de r gles li es des seuils fixes de valeurs de descripteurs cet effet nous avons utilis un algorithme par arbre utilisant l index de diversit de Gini comme crit re de d cision cet index mesure l quilibre d impuret s pur chaque sous branche candidate s parer dans ce cas limpuret correspond au nombre de mauvaises classifications suppos es de co t gal Pour l apprentissage et l valuation une base de donn es annot e manuellement de 187 sons repr sentatifs a t utilis e La Figure 8 montre les r sultats de pr cision de classification Le meilleur 93 05 a t obtenu avec l enveloppe de sonie Envelope type Pr cision de classification 5 classes hasard 20 Energie totale 90 91 Enveloppe d nergie 92 51 Figure 8 Pr cision de classification pour la description morphologique de profils dynamiques La Figure 9 montre l arbre optimal obtenu pour la sonie 3 07 09 19 137 Projet Sample Orchestrator rapport final LoudnessEffectiveDuration lt 0 21257 Impi se LoudnessTemporalDecrease lt 0 0529856 JUISE LoudnessTemporalincrease lt 6 03866 A SR 2 P PA LoudnessTemporallncrease lt 1 24003 2 LoudnessTemporalincrease lt 0 645868 Descending Ascending Stable Ascending Ascending Descending Figure 9 Arbre optimal de classification pour la description morphologique des profils dynamiques 1 3 3 4 Recherche par similarite Un certain nombre
222. use physique distincts Un niveau continu qui associe chacune des classes un espace perceptif poss dant une des dimension s propre s mais aussi une des dimension s partag e s par les espaces des autres classes tat oi 4 7 a Co c gt A2 a gt te j ul Figure 16 Hypoth ses de la m ta analyse Exp rience La partie exp rimentale de cette tude a t effectu e en deux tapes une premi re exp rience de classification libre avec choix d un prototype sur le corpus de r f rence c est dire 83 sons galis s en sonie dont le but est de valider la repr sentation inter classes niveau cat goriel en d finissant les cat gories principales et de v rifier am liorer la repr sentation intra classe niveau continu en recherchant les meilleurs descripteurs associ s aux diff rentes dimensions perceptives Cette exp rience a t men e aupr s de 20 participants 12 hommes 8 femmes au moyen d une interface graphique de classification libre Matlab voir Figure 17 permettant de manipuler les sons et de constituer les classes Figure 17 Interface pour exp rience de classification libre Matlab une seconde exp rience de classification orient e sur la base des r sultats cat gories de l exp rience pr c dente son but est d une part de g n rer un corpus h t rog ne repr sentant mieux la gamme de variation de chaque classe et d autre part de fournir des do
223. usicaux de composition de performance et d installations vari s L interaction repose sur une interface simple consistant en l affichage d une projection 2D de l espace de descripteurs et une navigation avec la souris ou les grains sont s lectionn s et jou s par proximit g om trique 1 3 9 1 D SP2 7 3 Application et modules finaux de navigation et synth se par corpus Responsable Ircam IMTR Les travaux r alis s pour le projet Sample Orchestrator d taill s dans les sections suivantes s organisent autour du d veloppement de CataRT comme application prototype pour experimenter des paradigmes de recherche et creation sonore par navigation dans des grandes collections sonores ainsi que des modules biblioth ques de fonctions et sous syst mes qui ont t d velopp s et test s dans CataRT mais qui sont int grables et utilisables dans d autres applications Les points suivants ont t d velopp s Librarie DistLib 1 3 9 2 contenant des algorithmes de recherche efficaces dans des grandes collections de donn es notamment par arbres de recherche binaires kD Trees et des d finitions de distances sur des donn es symboliques hi rarchiques Librarie VisLib pour le support de la visualisation de donn es multidimensionnelles 1 3 9 2 en utilisant des m thodes de r duction de dimensionnalit tel que multi dimensional scaling MDS principal component analysis PCA avec l int gration de poids par dimens
224. ution _player 4 6 gt lt lt Audio On Off mm ee ee err Figure 36 Prototype 2 Navigation dans les solutions 3 07 09 70 137 Projet Sample Orchestrator rapport final A000 Ircam Orchestration v 0 4_alpha_4 File Setup Orchestra Orchestration Help LOOO Constrained Evolution dynamique atmos fr 10 0 6 Shop Para File Selection Options note al dif modeDeJeu at most 0 legno tratto Solution 1 1 4 dynamique at most diff 1 Solution 2 D Cb nonvib A2 pp 2c ail Hn ord E4 mf ait 2 22957 CTp ord Eann ail Cb nonvib A2 pp 2c aif Audio On Off Figure 37 Prototype 2 Transformation temporelle par les contraintes A090 Ircam Orchestration v 0 4_alpha_4 File Setup Orchestra Orchestration Help TEEN control Auto ston Current SDB Zarathoustra FREE Rep RENE Intermediate 6 Intermediate 7 Interm te 9 Solution 3 Intermediate 10 Solution 3 Final solution RER r eet x K Audi io On Off Figure 38 Prototype 2 Editeur de solutions 3 07 09 71 137 Projet Sample Orchestrator rapport final rcam Orchestration v 0 4_alpha_4 File Setup Orchestra Orchestration She 1 Mantra 1 OM pdf page 1 de 2 File Selection Options Solution 1 Solution 2 Solution 3 Ini
225. utres libraries et peut s int grer dans n importe quelle application Elle a t teste dans l application prototype de recherche navigation dans des grandes collections sonores CataRT Des tests de performance des algorithmes ont t effectu s et sont document s en bas Les algorithmes qui sont unifi s dans DistLib sont le calcul de distances avec poids distance de Mahalanobis le calcul de distance de continuation avec poids cf 1 3 9 6 des arbres de recherche binaires kD Trees des d finitions de distances sur des donn es symboliques hi rarchiques par matrice de distance La documentation d taill de l API se trouve dans le rapport M22 et les r sultats de mesures du temps de calcul en section 2 Une am lioration future du KD Tree consiste en l utilisation d un d coupage optimal pour la d composition de l espace des points perpendiculaire aux composantes principales par une analyse par PCA D haes et al 2004 montrent qu ainsi l arbre de recherche devient optimal Un autre avantage est que le fl au de la dimensionnalit est r duit car seulement les dimensions intrins ques de l espace de recherche c a d ind pendantes des autres comptent 1 3 9 3 Librarie VisLib pour la Visualisation de donn es multidimensionnelles La navigation interactive dans des espaces de donn es multidimensionnelles demande soit une exploration des dimensions un a un soit une r duction des multiples dimensions sur deux ou tro
226. ux discrets lus sequentiellement commun ment pr sentes dans les premiers s quenceurs analogiques des ann es 70 Dans notre cas la flexibilit offerte par l approche logicielle nous permet de d finir un nombre de niveaux quelconques ainsi que de pouvoir synchroniser l horloge interne au tempo courant STEPENVELOPE ControlSignalSourceD syne bypass Enveloppe MultiPoint L enveloppe Flexible est une source de modulation d finie par une suite de points et des courbes concaves ou convexes les reliant entre eux 3 07 09 112 137 Projet Sample Orchestrator rapport final Celles ci peuvent tre cr es par l utilisateur ou g n r es a partir d un chantillon sonore Cela permet ainsi d appliquer cette enveloppe un tout autre type de son afin de lui conf rer une part de la morphologie du son originel Afin de simplifier l interaction ainsi que l dition ult rieure avec les enveloppes ainsi extraites un algorithme de simplification de courbe a galement t incorpor afin de diminuer le nombre de points n cessaires pour la repr sentation de la courbe La technique de simplification est bas e sur l algorithme de Douglas Peucker issu l origine pour la simplification de trac au sein des logiciels de Conception graphique assist par ordinateur L algorithme utilise une approche top down qui consiste ne conserver que les 2 points extr mes pour ensuite rajouter un par un les point cl s n cessai
227. vons alors d velopp une m thode de filtrage bas e sur les mod les sinusoidaux qui nous permettent de supprimer la 3 07 09 50 137 Projet Sample Orchestrator rapport final m lodie de l volution de la fr quence fondamentale en supposant que les segments trait s ne contiennent pas de changements de notes Sur la base de la s paration obtenue nous avons pu mettre en uvre une m thode de modification ind pendante de la dur e et de la fr quence du vibrato Pour cela nous utilisons le vocodeur de phase pour sauter et r p ter les p riodes du vibrato et en m me temps pour effectuer une dilatation ou compression Cette m thode donne des r sultats tr s convaincants elle n cessite par contre que les points de r p tition soient s lectionn s automatiquement Pour cela il convient d utiliser les points de passage par 0 de la courbe de la fr quence fondamentale contenant seulement la partie de modulation Concernant le changement de l amplitude de la modulation nous avons tudi une approche utilisant une transposition dynamique Les r sultats ont montr que m me si la transposition dynamique enl ve la modulation fr quentielle de fa on efficace les r sultats restent peu convaincants car les modifications de l enveloppe et la modulation de l amplitude induites par le vibrato restent perceptiblement tr s pr sentes Nous avons identifi deux sources possible pour ces modulations induites la premiere est d au r sonat

Projet Sample Orchestrator Rapport final

Contents

Download Pdf Manuals

Related Search

Related Contents