Étude et mise en œuvre d`un support pour la gestion des grandes
Contents
1. O fi surco t en temps au processeur pour envoyer le fichier f Or fi surco t en temps au processeur pour recevoir le fichier f O fi surco t en temps n cessaire au processeur pour recevoir et transmettre le fichier f g fi intervalle de temps minimum entre deux transmissions cons cutives sur un processeur L fi latence du lien entre le noeud du fichier f et le serveur NFS Riink node host d bit du lien entre le n ud du fichier f et le serveur NFS G fi Gap par octets pour les longs fichiers TABLE 4 1 Tableau des variables du mod le 31 4 1 2 Mod le Consid rons un ensemble de fichiers repartis sur plusieurs n uds not s fi pour i 1 n Consid rons aussi un serveur NFS interconnect avec les diff rents n uds l aide d un r seau Gb Ethernet Dans un premier temps il faudra transf rer tous les fichiers des n uds vers le serveur NFS en prenant en compte toutes les caract ristiques du r seau comme le nombre de processeurs la latence et le surco t overhead Selon le mod le LogGP les caract ristiques d un r seau N qui permet de transf rer un fichier f d un n ud vers le serveur NFS peut tre formul de la fa on suivante partir de la formulation ci dessus on peut estimer le co t en temps n cessaire appel Tsena pour transf rer les n fichiers des n uds vers le serveur NFS avec cette formule Tsend Dia L fi Os fi OF fi SF 1 x G Hi2. Teomput ue Latying host storage L fi 2 x O fi CSC 1 x G fi 4 9 4 1 3 Pr sentation des r sultats partir des tables et 4 4 il est possible de construire des gra phiques pour analyser le temps de transfert des donn es calcul en fonction de la latence de l overhead du gap par octet pour chaque taille de donn es et du d bit Les valeurs pr sent es dans les tableaux sont la moyenne des mesures prises pour chaque param tre pendant les exp riences 33 Taille Mo Latence s O s gap s G s 25 0 00613907 0 00577475 0 0055236 2 11E 10 50 0 01233414 0 01423535 0 0135062 2 58E 10 75 0 01828667 0 01778835 0 0173094 2 20E 10 100 0 02443834 0 0235916 0 0229562 2 19E 10 125 0 03088884 0 03505815 0 033255 2 54E 10 150 0 0370115 0 0396477 0 0367407 2 34E 10 175 0 04271865 0 0420485 0 035195 1 92E 10 200 0 04893053 0 0528616 0 0488432 2 33E 10 225 0 05512317 0 0559326 0 052248 2 21E 10 250 0 05512317 0 05928125 0 0577387 2 20E 10 TABLE 4 2 Table des param tres pour taurus 11 lyon grid5000 fr Taille Mo Latence s O s gap s G s 25 0 02932845 0 01977432 0 0194323 7 41E 10 50 0 04920522 0 03987508 0 039599 7 55E 10 75 0 05946088 0 05896233 0 0683609 7 42E 10 100 0 07872334 0 0801265 0 0865879 7 30E 10 125
3. paper retrieved 10 2012 http www bitspeed com wp content uploads 2011 10 BitSpeed White Paper From Here to There Much Faster pdf Data Expedition Inc Data Expedition Difference retrieved 10 2012 http www dataexpedition com downloads DEI WP pdf 39 8 9 10 11 12 13 14 15 16 Data Expedition Inc Overview Data Expedition Inc retrieved 10 2012 http www dataexpedition com expedat B W Settlemyer N S V Rao S W Poole S W Hodson S E Hick and P M Newman Experimental analysis of 10Gbps transfers over physical and emulated dedicated connections Proc of Computing Networking and Communications ICNC Maui Hawaii USA 2012 pp 845 850 X Wu and A A Chien Evaluation of rate based transport protocols for lambda grids High performance Distributed Computing 2004 Proc of 13th IEEE International Symposium on High Performance Distributed Computing Honolulu Hawaii USA 2004 pp 87 96 S H hlig Optimierter Dateitranfer ber 100 Gigabit s 100 Giga bit s Workshop of the DFN Mannheim Sept 2011 Matti Vanninen James Z Wang On Benchmarking Popular File Systems Clemson University Study 2009 Hongzhang Shan Katie Antypas John Shalf Characterizing and Predicting the I O Performance of HPC Applications Using a Para meterized Synthetic Benchmark CRD NERSC Lawrence Berkeley National Laboratory Berkeley CA 94720 Ningning Z
4. 42 On consid re que O est la moyenne d overhead entre le temps d envoi et de r ception du fichier donc O f Cali Orly 4 3 D o l quation devient Tsend Di L fi 2 x O fi SGi 1 x G fi 4 4 En utilisant la relation qui existe entre la quantit des fichiers transf r s not e S f et la somme des temps d attente entre paquets d un m me fichier not e g fi on peut calculer le d bit de chaque lien par la formule suivante U Rlink node host aa 4 5 NW 32 On peut estimer G f en fonction du gap g f et de la taille du fichier S fi Gi 2 4 6 Apr s le transfert des fichiers on g n re la vid o sur le serveur NFS Le co t en temps n cessaire pour ce processus est appel Teomput Une fois que la vid o est g n r e il faudra la transf rer vers un serveur de stockage Le co t en temps appel Titore n cessaire pour le transfert est esti m e en fonction de la taille de la vid o S de la bande passante et de la latence du lien not es respectivement BWhiink host storage et Lattink host storage S BWiink host storage Titore Latrink host storage 4 7 partir des diff rents temps estim s ci dessus on peut formuler le temps total T de transfert des donn es des n uds vers le serveur de stockage par la somme des temps de chaque tape de transfert T Tsend Teomput du T store 4 8 D o l quation devient T
5. 8 Go 1 fichier vid o 8 Go E Aspera B Bitspeed B Expedat E scp FIGURE 2 1 Comparaison des protocoles de transfert 16 Il convient de relever trois points quant l analyse de cette figure e Certains protocoles se comportent mieux dans le transfert de grand fichier mais tr s mauvais dans les petits fichiers Comme c est le cas pour le protocole Expedat e Certains protocoles se comportent tr s bien la fois dans le transfert de petits fichiers et de grand fichier Comme c est le cas pour le protocole Aspera On constate que certains protocoles comme celui d Expedat offre un bon d bit efficace pour les gros fichiers mais est plus faible c t latence moins performant pour les petits fichiers 2 1 4 Conclusion Il existe bien des diff rences de performance entre les protocoles De plus on constate une diff rence de performance en fonction de la fa on d utiliser le protocole Il peut donc tre int ressant de proposer des solutions dynamiques qui offrent des m canismes permettant de choisir le bon protocole pour le bon usage 17 2 2 Les mod lisations de transfert de donne s Il existe diff rents mod les et techniques qui ont t propos s pour mesu rer et analyser la performance de transfert de donn es En r alit le transfert de donn es n est pas seulement un probl me des grilles de calcul mais c est aussi un probl me qui concerne les r seaux de communication comme
6. vol 54 2010 pp 475 488 doi 10 1016 j comnet 2009 09 017 Y Gu and R L Grossman UDP based datatransfer for high speed wide area networks Computer Networks Aus tin Texas USA May 2007 Vol 51 issue 7 pp 1465 1480 doi 10 1016 j comnet 2006 11 009 R L Grossman Y Gu X Hong A Antony J Blom F Dijkstra and C de Laat Teraflows over Gigabit WANs with UDT Jour nal of Future Computer Systems Volume 21 2005 pp 501 513 doi 10 1016 j future 2004 10 007 L Herr and M Kresek Building a New User Commu nity for Very High Quality Media Applications On Very High Speed Networks CineGrid retrieved 02 2013 http czechlight cesnet cz documents publications network architecture 2008 krsek cinegrid pdf 41
7. 35 3 Temps de transfert avec Expedat sur tanrns 11Iyon nd5000 5 36 1 Temps de transfert avec Fxpedat sur pastel 73 toulouse grid5000 36 E5 Temps de transfert avec Bitspaod sur tamus 11 lyon id 000 37 6 Temps de transfert avec Bitspeod sur pastel 7S toulouse gnid5000 F 37 Liste des tableaux 2 1 Caract ristiques des protocoles 16 2 2 Le mod le LogGP exprim en fonction de pLogP 21 3 1 Table des mesures sur le n ud de Lyon 30 3 2 Table des mesures sur le n ud de Toulouse 30 4 1 Tableau des variables du mod le 31 4 2 Table des param tres pour taurus 11 lyon grid5000 fr 34 4 3 Table des param tres pour pastel 73 toulouse grid5000 fr 34 4 4 Table des param tres pour les protocoles 34 Remerciements Mes remerciements s adressent en premier lieu au grand architecte de Vunivers Dieu sans qui rien de ceci ne serait possible Je veux remercier de fa on tr s particuli rement chaleureuse mon maitre de stage Monsieur Eddy Caron pour sa confiance ses conseils et sa disponibilit qui m ont permis de progresser sans cesse durant ces 6 mois de stage Je tiens galement remercier tous les membres de l quipe Avalon du LIP pour leur amiti leur soutien et leur accueil dans le groupe Mes pens s vont galement tout le personnel et enseignants de l Institut de la Francophonie pour l Informatique
8. IFI tr s sp cialement Messieurs Victor Moraru Nguyen Hong Quang et Ho Tuong Vinh pour leur conseil et le suivi qu ils m ont accord s pendant mes tudes de master et mon s jour au Vietnam Mille mercis tous mes amis tudiants de VIFI avec qui j ai pass de bons moments pendant les p riodes de stress et qui leur fa on m ont donn la force d avancer Paterne Selain Landy Farida Youssouf Ma penda Hoa et j en passe forc ment J exprime ma profonde gratitude l gard de ma grande famille pour leurs encouragements leurs pri res et leurs soutiens qui malgr la distance n a jamais cess de me pr ter main forte Finalement merci tous ceux qui ont crois mon chemin Hano et Lyon d une fa on ou d une autre vous avez forc ment influenc ce travail R sum Anim rique est un projet dont l objectif est de concevoir et d ployer une plate forme de calcul distribu e sur ressources h t rog nes Cette plate forme sera d di e l industrie de l animation Ce projet est n de la rencontre entre deux mondes la recherche sur la communaut du calcul haute performance par les chercheurs de l Inria et de PENS de Lyon et la communaut d ani mation a travers la soci t CapR zo Les besoins de calcul num rique se d veloppent chaque ann e Cependant les artistes peuvent b n ficier de certains outils efficaces pour la cr ation et la mod lisation mais il y a un manque
9. d outils pour distribuer les t ches de calcul sur des plate forme distribu es et h t rog nes Encore aujourd hui certains studios distribuent presque manuellement les t ches Certaines so lutions existent en utilisant le paradigme Cloud mais le mod le conomique conduit tre d pendant d un fournisseur et ou implique d envoyer des don n es critiques en dehors du territoire Un des probl mes majeures pour le partage des ressources et le calcul distribu est la gestion de donn es en environnement distribu Chaque ap plication a des besoins propres en terme d acc s ou production de donn es grandes quantit s de petites donn es de quelques kilooctets ou donn es de plusieurs teraoctets D s lors que l on utilise des plates formes de calcul h t rog nes et distribu es aussi bien les ressources de stockage RAM disque local ou distant etc que les liens r seaux sont tr s discordants en terme de performance et de taille Il convient donc d adapter les politiques de d pla cements r plication et positionnement des donn es en fonction des besoins des applications et des possibilit s de la plate forme sous jacente Ce travail compare les approches commerciales de transport de donn es rapides a travers des Wide Area Network WAN a haut d bit Des solutions courantes tels que le protocole de transport de fichiers FTP bas sur la pile TCP IP sont de plus en plus remplac es par des protocoles moder
10. graal et un serveur NFS 25 Le pa Ob BAe SG balks maths 26 3 2 1 Description des exp riences 26 3 2 1 1 LogP MPI LS 2s we km Lis 02e eS 27 3 2 1 2 Logp multitest 27 3 2 1 3 Les commandes utilis es 28 3 2 2 Les exp riences sur taurus 11 lyon grid5000 fr 29 3 2 3 Les exp riences sur pastel 73 toulouse grid5000 fr 29 31 ween 31 4 1 1 D finition des variables 31 ee ae pe eg ee ee ee a A 32 4 1 3 Pr sentation des r sultats 33 4 1 3 1 R sultat obtenu pour le protocole Aspera 34 4 1 3 2 R sultat obtenu pour le protocole Expedat 36 4 1 3 3 R sultat obtenu pour le protocole Bitspeed vonclusion g n rale 38 R f rencesl 44 4 4 408 Dan Re hee de End 39 Table des figures 1 1 Plate forme exp rimentale 11 2 1 Comparaison des protocoles de transfert 16 3 1 Temps de transfert entre 2 n uds de site diff rent 24 3 2 Temps de transfert entre 2 serveurs NFS de site diff rent 24 3 3 Temps de transfert entre un n ud et un serveur NFS de site 25 3 4 Temps de transfert entre le serveur graal et un serveur NFS 25 eh Oe EEA PAE EUR der ee ee dow 4 27 3 6 Performance r seau du mod le logP 29 35 E2 Temps de transfert avec Aspera sur pastel 73 toulouse griGS000 R
11. par exemple Internet Dans cette partie nous allons pr senter seulement les mo d les que nous avons jug s proches de notre probl matique 2 2 1 Mod le de Hockney Le mod le de Hockney 15 est historiquement un des premiers mod les de mesure de transfert de donn es ce qui en fait l un des mod les les plus utilis s Pour calculer le temps d un transfert de donn es ce mod le introduit deux param tres la latence et la bande passante La latence correspond au temps minimal de travers e du r seau tandis que l inverse de la bande passante correspond au taux de service maximum qu offre le r seau Ces deux param tres ont t largement utilis s dans d autres mod les Le mod le de Hockney combine ces deux param tres travers une quation affine t m L m B Ainsi le temps d un transfert t m qui envoie une quantit m de donn es est fonction de la latence L et de la bande passante B D une mani re plus formelle le calcul de la latence L correspond la dur e d envoi d une quantit de donn es nulle Elle se mesure en seconde l inverse la bande passante est le rapport entre une taille de donn es et sa dur e de transfert Elle correspond au d bit et se mesure en octet par seconde Pour obtenir les valeurs de ces deux param tres il existe diff rents outils de mesure dont entre autre NetPIPE 16 Un mod le similaire au mod le Hockney qui combine ces param tres travers une quation hyper
12. taoctets de donn es vers la grille 19 Tout d abord la grande latence du r seau longue distance implique des communications et des retransmissions de paquets per dus qui sont co teuses Ensuite le d bit disponible sur le lien d acc s ce r seau est g n ralement inf rieur 4 la somme des d bits n cessaires si tous les processus communiquent en m me temps sur ce lien D une mani re g n rale les trois principaux challenges lorsque les Big Data migrent vers la grille sont la localisation la bande passante et la qualit du r seau Plus la distance r seau entre le data center et le site de stockage d ori gine est consid rable plus la latence est importante sur le WAN et plus le transfert des donn es est long Lorsque l utilisation de la bande passante disponible n est pas suffisante les transferts de donn es prennent plus de temps tre effectuer Compte tenu des contraintes inh rentes TCP l aug mentation de la bande passante elle seule ne suffit pas tenir l objectif de transf rer les big data avec le d bit n cessaire D o l mergence de nom 2 normes volumes de donn es difficilement g rables avec des solutions classiques de stockage et de traitement 12 breuses nouvelles solutions de transport de donn es qui peuvent transporter d normes quantit s de donn es beaucoup plus rapide que les solutions FTP TCP classiques Il est donc important de sp cifier pour chaque m
13. 0 09645609 0 0991276 0 0981656 7 49E 10 150 0 12026263 0 11979268 0 1161697 7 38E 10 175 0 13675222 0 1384201 0 1368794 7 46E 10 200 0 1573376 0 15802945 0 1530456 7 25E 10 225 0 17700675 0 1773205 0 17670347 7 45E 10 250 0 19548234 0 19852476 0 1862743 7 49E 10 TABLE 4 3 Table des param tres pour pastel 73 toulouse grid5000 fr D bit Mb s Latence s Aspera 600 0 023 Expedat 500 0 019 Bitspeed 350 0 016 TABLE 4 4 Table des param tres pour les protocoles 4 1 3 1 R sultat obtenu pour le protocole Aspera Les figures 4 Tet 4 2 pr sentent une comparaison entre le temps de trans fert calcul partir de notre mod le et le temps de transfert mesur respecti vement sur taurus 11 lyon grid5000 fr et pastel 73 toulouse grid5000 fr avec le protocole Aspera 34 25 T T T Calcul Mesur gt Temps s 25 50 75 100 125 150 175 200 225 250 Taille Mo FIGURE 4 1 Temps de transfert avec Aspera sur taurus 11 lyon grid5000 fr 30 Calcul Mesur 25 20 g 2 15 10 5 O 25 50 75 100 125 150 175 200 225 250 Taille Mo FIGURE 42 Temps de transfert avec Aspera sur pastel 73 toulouse grid5000 fr 39 4 1 3 2 R sultat obtenu pour le protocole Expedat Les figures 4 3 et 4 4 pr sentent une comparaison entre le temps de trans fert calcul partir de notre mod le et le temps de transf
14. 194273 50 0 0000012 0 0395902 0 0401559 0 0395960 75 0 0000012 0 0583565 0 0595662 0 0583614 100 0 0000012 0 0765779 0 0837329 0 0765828 125 0 0000012 0 0981575 0 1000983 0 0981627 150 0 0000012 0 1161653 0 1234202 0 1161697 175 0 0000012 0 1368746 0 1399666 0 1368794 200 0 0000012 0 1520239 0 1640336 0 1520291 225 0 0000012 0 1756973 0 1789241 0 1757024 250 0 0000012 0 1962725 0 2007752 0 1962779 TABLE 3 2 Table des mesures sur le n ud de Toulouse 30 Chapitre 4 Mod lisation 4 1 Mod lisation du temps de transfert de donn es L objectif de cette partie est de formaliser un mod le math matique du temps de transfert de donn es qui d crit le comportement observ en accord avec le mod le param tris LogGP et prendre les mesures 4 1 1 D finition des variables Les diff rentes variables utilis es dans le mod le sont d finies dans le tableau Ti temps total de transfert des fichiers Tend temps total de transfert des fichiers vers le serveur NFS Teomput temps de g n ration de la vid o au niveau du serveur NFS Tegore temps de transfert de la vid o vers le serveur de stockage n nombre de fichiers S fi taille du fichier f BWhink host storage bande passante disponible du lien entre le serveur NFS et le serveur de stockage Latiink nost storage latence du lien entre le serveur NFS et le serveur de stockage
15. I Inria l ENS et CapR zo joignent leurs efforts afin de concevoir et d ployer une plate forme de calculs distribu s qui sera d di e l industrie de l animation Les principaux th mes abord s par le projet Anim rique concernent la distribution des t ches de calcul sur des plates formes distribu es et h t rog nes l acc s et la gestion locale des ressources ex cluster ou Cloud la planification des t ches et l optimisation du temps de transfert des grands volumes de donn es Ces solutions seront mises en uvre en utilisant l intergiciel DIET qui est un logiciel d velopp par l quipe Avalon Inria ENS de Lyon Ces recherches sur les grappes et grilles sont au c ur des th matiques du laboratoire LIP de L ENS de Lyon en particulier sur des aspects comme V valuation de performance et sur la gestion de ressources dynamiques 10 1 2 Description de la plate forme exp rimentale Dans ce travail les exp riences ont t r alis es sur la grille de calcul frangaise Grid 5000 L environnement exp rimental est constitu de deux sites s par s par un r seau tendu WAN un serveur de stockage et un poste client La figure repr sente l architecture de cet environnement param tr par n qui constitue le nombre de n uds Nous utilisons le m me nombre de n uds sur les deux sites S1 et S2 N j est le n ud j du site 7 La puissance des n uds est diff rente d un site l autre et peut grand
16. Institut de la Francophonie pour l Informatique RAPPORT DE STAGE STAGE EFFECTUE A L ENS DE LYON LABORATOIRE DE L INFORMATIQUE DU PARALLELISME LIP POUR L OBTENTION DU DIPL ME DE MASTER Etude et mise en ceuvre d un support pour la gestion des grandes donn es au sein de l intergiciel DIET sur environnements applicatifs d di s Auteur Responsable Patrick TELEMAQUE M Eddy CARON 29 Ao t 2014 Table des mati res Remerciements 2 4 4 R sum 2 4 444404 ee ee 1 Introduction 1 1 Contexte scientifique et industriel 2 Etat de l art 2 1 Les protocoles de transfert de donn es 2 1 1 Expedat 2 1 2 Bitspeed 2 1 3 Aspera 2 1 4 Conclusion 2 2 Les mod lisations de transfert de donne s 2 2 1 Mod le de Hockney 2 2 2 Famille de mod le LogP 2 2 2 1 Mod le LogP 2 2 2 2 Mod le pLogP 2 2 2 3 Mod le LogGP 2 2 3 Conclusion 3 Exp rimentations 3 1 Performances des protocoles de transfert 3 1 1 Transfert entre des n uds de site diff rent 1 2 Description de la plate forme exp rimentale 1 3 Probl matiques et objectifs 1 4 Contribution 10 10 11 12 13 14 14 15 15 15 17 18 18 18 19 19 20 21 3 1 2 Transfert entre des serveurs NFS de site diff rent 23 3 1 3 Transfert entre un n ud et un serveur NFS de site 24 fb D M he eRe ee ee Se 24 3 1 4 Transfert entre le serveur
17. au serveur NFS sur le site de Lyon Lyon G5K et au serveur NFS sur le site de Toulouse toulouse G5K Pour transf rer les donn es nous avons install l application serveur et l application client de chaque protocole sur les sites La figure 3 2 pr sente les r sultats obtenus On peut constater que les protocoles commerciaux se comportent mieux par rapport au protocole scp 23 250 200 D E scp a 150 Aspera 5 Expedat 100 Bitspeed 50 0 200 400 600 800 1024 3072 5120 7168 8192 Taille Mo FIGURE 3 1 Temps de transfert entre 2 n uds de site diff rent 300 250 200 B scp a 150 Aspera 5 Expedat 100 Bitspeed 50 0 200 400 600 800 1024 3072 5120 7168 8192 Taille Mo FIGURE 3 2 Temps de transfert entre 2 serveurs NFS de site diff rent 3 1 3 Transfert entre un n ud et un serveur NFS de site diff rent Dans cette exp rience nous avons r serv un noeud sur le site de Lyon taurus 3 lyon grid5000 fr et acc d au serveur NFS du site de Toulouse toulouse G5K Pour effectuer les transferts nous avons proc d de la m me mani re que dans l exp rience pr c dente c est dire installer l application serveur et client de chaque protocole sur chaque site La figure 3 3 pr sente les r sultats obtenus On constate encore une fois que les protocoles com merciaux prennent moins de temps pour transf rer les donn es par rapport au protocole scp Le proto
18. bolique a t propos Ce mod le a ouvert la voie au concept de temps de latence proportionnelle la taille de donn es Ce concept sera repris dans les mod les de la famille LogP en introduisant les concepts de surco t logiciel overhead 2 2 2 Famille de mod le LogP Le mod le de Hockney calcule les temps de transfert en fonction d une simple quation affine et de deux param tres La famille des mod les LogP est apparue afin d exprimer de mani re d taill e les m canismes intervenant dans un transfert De ce fait ces mod les sont plus complexes et augmentent le nombre de param tres utilis s 18 Dans le cas de communications point point la famille LogP comporte trois mod les le mod le LogP 17 le mod le LogGP 1 et le mod le pLogP 18 2 2 2 1 Mod le LogP Le mod le LogP 17 est le mod le d origine dont d coulent les autres mod les de la famille LogP Ce mod le d finit quatre param tres comme suit L Latency qui correspond la latence r seau e o overhead le co t logiciel induit par le m canisme de transfert e g gap le temps intrins que entre deux envois ou r ceptions de pa quets e P Processors le nombre de processeurs mis en jeu Trois de ces param tres sont combin s par l quation suivante 2xo L pi x max g 0 Cette quation calcule le temps n cessaire l envoi de k octets divis s en w paquets A la diff rence du mod le de Hockney po
19. cole Aspera offre les meilleurs temps de transfert 300 250 200 B H scp nf 150 Aspera 5 4 Expedat 100 Bitspeed 50 0 200 400 600 800 1024 3072 5120 7168 8192 Taille Mo FIGURE 3 3 Temps de transfert entre un noeud et un serveur NFS de site diff rent 3 1 4 Transfert entre le serveur graal et un serveur NFS Dans cette exp rience nous avons acc d et install sur le serveur graal graal ens lyon fr l application serveur et sur le serveur NFS du site de Lyon lyon G5K l application cliente de chaque protocole La figure 3 4 pr sente les r sultats obtenus On peut nouveau remarquer que les protocoles As pera Expedat et Bitspeed offrent de meilleures performances par rapport au protocole scp 350 300 250 200 scp 150 Aspera Expedat Temps s 100 50 o 200 400 600 800 1024 3072 5120 7168 8192 Taille Mo FIGURE 3 4 Temps de transfert entre le serveur graal et un serveur NFS 25 3 2 Performances des mod les et techniques de me sure de transfert de donne s Dans cette partie nous allons d crire les exp riences r alis es pour me surer les diff rents param tres du modele LogGP comme la mesure du gap l overhead du temps d envoi l overhead du temps de r ception et la latence Ces exp riences ont pour but de mettre en evidence le comportement r el du syst me et de pr senter les premi res analyses avant de construire le mod
20. cuter le code est mpirun np X logp_test min size T T max size T T o resultat X c est la quantit de processeurs utilis s et T est la taille de la donn e Par exemple pour une mesure avec 2 processeurs et une taille de donn e fixe de 25 M gaoctets on aura 28 mpirun np 2 logp_test min size 26214400 26214400 max size 26214400 26214400 o resultat La sortie de cette commande enregistr e dans le fichier r sultat contient les informations dans le tableau 3 6 LogP network performance data logp_test Send Recv Latency 0 0000003 Be Je Jon Oat or Jon Ora T e 0 0000002 0 0000000 0 0000003 0 0000000 0 0000000 0 0000000 0 0000016 1405257839 26214400 0 0064491 0 0046711 0 0022057 0 0074044 0 0070278 0 0020937 0 0064540 FIGURE 3 6 Performance r seau du mod le logP La premi re ligne du tableau est la description de la commande la deuxi me la latence en seconde mesur e au moment de l exp rience Les donn es sont organis es en colonnes le temps en microsecondes la taille de donn es en octets overhead d envoi en seconde l overhead d envoi minimal en seconde l espace de temps minimal pour envoyer une donn e en seconde l overhead de r ception en seconde l overhead de r ception minimal en seconde l espace de temps minimal pour recevoir une donn e en seconde et le gap en seconde Les donn es sont pr sent es en deux lig
21. ement faire varier les performances selon que l on se trouve sur des machines avec 2 ou 8 c urs par exemple mais les comparaisons sont effectu es de mani re unitaire c est dire avec les m mes machines bdp repr sente la capacit du lien longue distance 1 ou 10 Gbit s Le RTT varie selon les sites choisis 9 9 s entre Lyon et Toulouse Les n uds sont reli s par des cartes Ethernet 1 Gbit s Chaque site poss de un serveur NFS commun tous les n uds Le serveur graal est un serveur qui se trouve l ext rieur de la grille de calcul grid 5000 il est utilis pour le stockage des donn es Nous utiliserons cette m me architecture pour toutes nos exp riences Pes _ y NX Grid 5000 f i Grappe du site S1 N1 1 ENS de Lyon Grappe du site S2 ee 2S ee ee ee eS eS ee FIGURE 1 1 Plate forme exp rimentale A partir du poste client nous allons transf rer les fichiers sur le serveur graal Une fois que les fichiers sont sur le serveur graal nous allons les trans f rer par la suite au serveur NFS des diff rents sites avant de les migrer vers 1 nttps www grid5000 fr mediawiki index php Grid5000 Home 11 les diff rents n uds Donc nous allons faire des transferts de donn es point point c est dire partir du serveur graal vers un serveur NFS partir du serveur graal vers un n ud partir du serveur NFS vers un n ud etc Ces transfer
22. ert mesur respecti vement sur taurus 11 lyon grid5000 fr et pastel 73 toulouse grid5000 fr avec le protocole Expedat 30 Calcul Mesur s 25 20 15 Temps s 10 O 1 1 1 1 1 25 50 75 100 125 150 175 200 225 250 Taille Mo FIGURE 4 3 Temps de transfert avec Expedat sur taurus 11 lyon grid5000 fr Calcul Mesur s Temps s o f 1 f 1 25 50 75 100 125 150 175 200 225 250 Taille Mo FIGURE 44 Temps de transfert avec Expedat sur pastel 73 toulouse grid5000 fr 36 4 1 3 3 R sultat obtenu pour le protocole Bitspeed Les figures 4 5Jet 4 6 pr sentent une comparaison entre le temps de trans fert calcul partir de notre mod le et le temps de transfert mesur respecti vement sur taurus 11 lyon grid5000 fr et pastel 73 toulouse grid5000 fr avec le protocole Bitspeed 25 Calcul Mesur 20 a 15 n a 10 5 o 1 f 1 1 25 50 75 100 125 150 175 200 225 250 Taille Mo FIGURE 45 Temps de transfert avec Bitspeed sur taurus 11 lyon grid5000 fr Calcul Mesur s amp n a 5 2 fe f 1 f 1 25 50 75 100 125 150 175 200 225 250 Taille Mo FIGURE 46 Temps de transfert avec Bitspeed sur pastel 73 toulouse grid5000 fr 37 Conclusion g n rale Ce travail compare l tat de l art des solutions commerciales pour le t
23. est solutions under equal network conditions and thus compare transmission performance of recent proprietary alternatives for FTP TCP within high speed networks where there are high latencies in WANs This research focuses on a comparison of approaches using intuitive parameters such as data rate and duration of transmission Validation and implementation of designed solutions by the project Animerique will be done using the DIET middleware This middleware is a software developed by the Avalon team Inria ENS de Lyon Key words high speed data transport cloud computing big data trans port protocol Premi re partie Chapitre 1 Introduction 1 1 Contexte scientifique et industriel Ce stage s inscrit dans le cadre du projet collaboratif Anim rique entre VInria PENS de Lyon et la soci t CapR zo L Institut National de Recherche en Informatique et en Automatique INRIA est un organisme public de recherche frangais Son objectif est de mettre en r seau les comp tences de la recherche fran aise dans le domaine des sciences et technologies de information L Ecole Normale Sup rieure de Lyon ou ENS de Lyon est une grande cole scientifique et litt raire fran aise l une des quatre coles normales su p rieures Elle forme l enseignement et la recherche dans le domaine des sciences fondamentales et exp rimentales ainsi que dans celui des lettres et sciences humaines travers le projet Anim rique
24. hu Jiawu Chen Tzi cker Chiueh Daniel Ellard An NFS Trace Player for File System Evaluation Technical Report TR 14 03 Harvard University December 2003 Hockney R Performance Parameters and Benchmarking of Super computers Parallel Computing Volume 17 1991 pages 1111 1130 Quinn O Snell Armin R Mikler John L Gustafson NetPIPE A Network Protocol Independent Performance Evaluator In IASTED Internation Conference on Intelligent Information Management and Systems 1996 40 17 18 19 20 21 22 23 Culler D Karp Patterson D Sahay A Schauser K Santos E Subramonian R Von Eicken T LogP Towards a Realistic Model of Parallel Computation Proceedings in Four ACM SIGPLAN Symposium on Principles and Practice of Parallel Programming San Diego C A E U A 1993 Kielmann T Bal H Verstoep K Fast measurement of LogP parameters for message passing platforms In Rolim J D P ed IPDPS Workshops Cancun Mexico Lecture Notes in Computer Science vol 1800 pp 1176 1183 Springer Verlag London 2000 H Kamezawa M Nakamura and M Nakamura Inter Layer Coordi nation for Parallel TCP Streams on Long Fat Pipe Networks Proc of the 2004 ACM IEEE conference on Supercomputing Pittsburg PA USA 2004 pp 24 34 Y Wu S Kumar and S J Park Measurement and perfor mance issues of transport protocols over 10 Gbps high speed optical networks Computer Networks
25. ification s curis e du point d extr mit et la v rification de l int grit des donn es 15 Comparaison et mesure Le tableau compare les diff rents protocoles en terme des plates formes support es et le d bit et la latence minimales et maximales mesur s lors de nos exp riences Plates formes D bit Min D bit Max Latence Min Latence Max Aspera Windows Linux Mac OSX Sola ris FreeBSD Isi lon OneFS 44 75 Mb s 630 Mb s 10 ms 23 ms Expedat Windows Linux Mac OSX Solaris NetBSD FreeBSD AIX HP UX 40 Mb s 577 Mb s 8 ms 19 ms Bitspeed Windows Linux Mac OSX Solaris 19 4 Mb s 304 5 Mb s 5 ms 16 ms TABLE 2 1 Caract ristiques des protocoles Pour valuer la performance de ces protocoles nous avons r alis des transferts de donn es entre des paires de n uds appartenant deux grappes grid5000 diff rentes Les exp riences ont t r alis s sur les sites de Nancy et de Rennes Pour ce faire on cr e sur un n ud de Nancy 1440 fichiers de 6 Mo chacun rempli uniquement de z ros et un fichier vid o d une taille de 8 Go Apr s on les transfert vers un n ud de Rennes Les exp riences consistent d terminer le temps mis pour transf rer les 1440 fichiers et le fichier vid o entre les deux n uds Les r sultats sont pr sent s dans la figure 2 1 450 400 Temps s 8 1440 fichiers
26. le math matique qui sera pr sent dans la partie suivante 3 2 1 Description des exp riences Dans le chapitre 2 nous avons pr sent les diff rents mod les math ma tiques pour mesurer la performance en grille de calcul partir de l tude th orique des mod les nous avons d cid d utiliser le mod le LogP 17 pour sa capacit capturer des aspects qui permettent de d crire l utilisation du r seau pendant le transfert de donn es Les exp riences consistent en ex cution d un code appel logp_ multitest 1 dans l environnement d tude Ce code fait parti d un outil pour l impl mentation du mod le LogP par un syst me de passage de message qui s appelle MPI Nous avons s lectionn deux sites Grid 5000 pour faire les mesures Lyon et Toulouse Sur chaque site nous avons fait des exp riences sur l environne ment OAR pour l utilisation des n uds r serv s Nous avons fait des exp riences pour le transfert de donn es de taille fixe Les tailles de donn es pour les exp riences sont de 25 M gaoctets 50 Mo 75 Mo 100 Mo 125 Mo 150 Mo 175 Mo 200 Mo 225 Mo et 250 Mo La figure pr sente le mod le que nous avons utilis La latence L peut tre observ e comme le temps qui s coule entre l envoi du premier bit d une donn e de taille m depuis l exp diteur Pp jusqu au r cepteur P s m et r m sont le temps d envoi et de r ception de la donn e quand les deux processeurs c
27. les fabricants eux m mes Aspera 3 Expedat 7 8 et Bitspeed 6 qui ont tous fait tat des r sultats parfaits Toutefois ces r sultats fournissent principalement des informations commerciales pour attirer les clients potentiels et les conditions d valuation varient Pour rem dier ce d ficit l id e principale de notre travail est de placer toutes les solutions tudi es dans des conditions gales dans le m me environnement 14 2 1 1 Expedat Expedat est une solution de transport de donn es bas e sur UDP d velop p e par Data Expedition Inc USA Le c ur de cette application comprend le Protocole Multi Transaction MTP 7 8 d velopp par le fondateur de Data Expedition dans le but d envoyer et de recevoir des fichiers plus rapide ment et de mani re fiable que les applications FTP traditionnelles Expedat prend en charge beaucoup de plates formes telle que Windows Mac OSX Linux Solaris NetBSD FreeBSD AIX et les plates formes HP UX Selon le site Web de la soci t Expedat permet la transmission de donn es avec 100 d utilisation de la bande passante allou e et en pr sence de cryptage AES 8 Il met en uvre la logique de protocole de transport UDP sur un canal et utilise un seul socket UDP sur chaque c t de la connexion pour la transmission des donn es et des informations de contr le 2 1 2 Bitspeed Cette solution a t d velopp e aux tats Unis Il s agit d une application de t
28. mais peu descriptif quant aux diff rents m canismes utilis s lors d une communication Les mod les LogP et LogGP introduisent une plus grande description mais restent tr s similaires au mod le de Hockney au niveau des pr dictions Le mod le pLogP propose des param tres d pendants de la taille des donn es Cependant le calcul du gap pour chaque taille de donn es est nettement p nalisant 21 Deuxi me partie 22 Chapitre 3 Exp rimentations 3 1 Performances des protocoles de transfert Dans le but de valider les protocoles de transfert nous avons effectu des exp riences sur la grille de calcul Fran aise Grid 5000 Ces exp riences ont t men es sur la plate forme 1 1 d crit dans la section 1 2 3 1 1 Transfert entre des n uds de site diff rent Dans cette exp rience nous avons r serv un n ud sur le site de Lyon taurus 3 lyon grid5000 fr et un autre sur le site de Toulouse pastel 73 toulouse grid5000 fr Pour effectuer les transferts nous avons install l application serveur de chaque protocole sur le n ud de Lyon et l appli cation client de chaque protocole sur le n ud de Toulouse La figure pr sente les r sultats obtenus D une mani re g n rale on constate que les protocoles commerciaux prennent moins de temps pour transf rer les don n es par rapport au protocole scp 3 1 2 Transfert entre des serveurs NFS de site diff rent Dans cette exp rience nous avons acc d
29. nc constat une uti lisation des taux de donn es jusqu 60 de la capacit du lien m me en pr sence de RTT jusqu 100 ms La comparaison a montr que la dur e la plus faible de transfert de chaque solution est assez proche de l id al et que la diff rence des valeurs de sortie obtenues sont proches de la r alit pour toutes les solutions 38 Bibliographie 1 2 3 4 5 6 7 Albert Alexandrov Mihai F Ionescu Klaus E Schauser and Chris Scheiman LogGP Incorporating Long Messages into the LogP Model Proceedings in 7th Annual ACM Syposium on Parallel Algorithms and Architectures Santa Barbara CA E U A 1995 Y Wu S Kumar and S J Park Measurement and perfor mance issues of transport protocols over 10 Gbps high speed optical networks Computer Networks vol 54 2010 pp 475 488 doi 10 1016 j comnet 2009 09 017 Aspera Custumer Deluxe Digital Studios retrieved 11 2012 http asperasoft com customers customer view Customer show deluxe digital studios Y Gu and R L Grossman UDP based datatransfer for high speed wide area networks Computer Networks Austin Texas USA May 2007 Vol 51 issue 7 pp 1465 1480 E He J Leigh O Yu and T A DeFanti Reliable Blast UDP Predictable High Performance Bulk Data Transfer Proc of IEEE Cluster Computing Chicago USA Sept 2002 pp 317 324 Bitspeed LLC From Here to There Much Faster White
30. nes bas s sur des piles plus efficaces Pour valuer les capacit s des applications actuelles pour le transport rapide des donn es les solutions commerciales suivantes ont t tudi es Aspera Bitspeed et Expedat Le but de ce tra vail est de tester les solutions dans les m mes conditions r seaux et ainsi comparer les performances de transmission des derni res solutions propri taires alternatives pour FTP TCP dans les r seaux WAN haut d bit ot il y a des latences lev es Cette recherche porte sur une comparaison des approches utilisant des param tres intuitifs tels que le taux de donn es et la dur e de transmission La validation et la mise en uvre des solutions con ues par le projet Anim rique seront effectu s en utilisant l intergiciel DIET Cet intergiciel est un logiciel d velopp par l quipe Avalon Inria ENS de Lyon Mots cl s transferts de donn es haut d bit cloud computing big data protocole de transport Abstract Animerique is a project whose goal is to design and deploy a platform for distributed computing on heterogeneous resources This platform will be de dicated to the animation industry This project is born from the encounter between two worlds the research community for high performance com puting by researchers at INRIA and ENS Lyon and community animation through the company CapR zo Needs numerical calculation grow each year However artists can be nefit from
31. nes une avec une taille 0 et l autre avec la taille demand e 3 2 2 Les exp riences sur taurus 11 lyon grid5000 fr Le tableau 3 1 pr sente les r sultats obtenus lors de nos exp riences pour la mesure des diff rents param tres du mod le LogP Les exp riences ont t faites sur le site de Lyon dans les conditions d crites auparavant section 1 2 3 2 3 Les exp riences sur pastel 73 toulouse grid5000 fr Le tableau B 2 pr sente quant lui les r sultats obtenus lors de la mesure des diff rents param tres du mod le LogP pour les exp riences sur le site de Toulouse Ces exp riences ont t faites aussi dans les conditions d crites auparavant section 1 2 29 Taille Mo Latence s O_s s O_r s gap s 25 0 0000003 0 0055190 0 0060305 0 0055236 50 0 0000003 0 0135005 0 0149702 0 0135062 75 0 0000003 0 0173047 0 0182720 0 0173094 100 0 0000003 0 0229525 0 0242307 0 0229562 125 0 0000003 0 0332497 0 0368666 0 0332550 150 0 0000003 0 0367356 0 0425598 0 0367407 175 0 0000003 0 0351907 0 0489063 0 0351950 200 0 0000003 0 0488382 0 0568850 0 0488432 225 0 0000003 0 0522441 0 0596211 0 0522480 250 0 0000003 0 0577335 0 0608290 0 0577387 TABLE 3 1 Table des mesures sur le n ud de Lyon Taille Mo Latence s O_s s O_r s gap s 25 0 0000012 0 0194218 0 0201255 0 0
32. od le les caract ristiques du r seau mod lis Le comportement des r seaux de grappe par leur as pect d di b n ficie de mod lisations 1 15 17 18 que nous d taillerons en chapitre 2 L objectif principal de ce stage est d tudier en d tail la gestion des grands volumes de donn es sur la grille de calcul et d valuer les capacit s des solu tions de transport dans les r seaux longue distance haut d bit 1 4 Contribution La contribution de ce stage s articule en fonction des objectifs nonc s dans la section pr c dente t Exp riences et analyse des transferts de donn es Ce stage a permis de mener une tude sur les performances des proto coles de transfert de donn es Cette tude propose de comparer 3 solutions Aspera 3 Bitspeed 6 et Expedat 7 8 sur la grille Ces exp riences ont t men es sur les grappes du projet Grid 5000 Les travaux propos s ta blissent une relation entre le temps de transfert la latence et le d bit mesur d l utilisation optimale de la bande passante par chaque protocole Pour atteindre cet objectif nous avons effectu des transferts de donn es de taille vari e afin de juger le comportement de ces protocoles dans le transfert de petit ou de gros fichier Le chapitre 3 d crira le protocole exp rimental mis en uvre 13 Chapitre 2 Etat de l art 2 1 Les protocoles de transfert de donn es L objectif principal de notre travail est d
33. ommencent leurs op rations simultan ment s m g m est le temps auquel l exp diteur est pr t envoyer la prochaine donn e r m L g m est le temps pendant lequel la donn e est re ue par le r cepteur Os m et Or m sont respectivement l overhead d envoi et de r ception de la donn e de taille m L espace g m est l intervalle minimum de temps entre la transmission ou la r ception de donn es cons cutives 1 http www cs vu nl albatross 26 Exp diteur Po An Temps gt R cepteur P i O r m i ees L g m EIE POER FIGURE 3 5 Le mod le LogP 3 2 1 1 LogP MPI 1 3 LogP MPI 18 est un outil utilis pour faire des mesures de benchmark en environnements distribu s LogP MPI value lex cution des donn es envoy es et re ues pour des communications MPI L ex cution est exprim e en terme de mod le param tris de LogP pour des donn es de diverses tailles Les auteurs de LogP MPI ont fournit une API pour rechercher des param tres de LogP pour diff rentes tailles de donn es 3 2 1 2 Logp multitest LogP_ multitest est un programme utilis pour faire des mesures propos par Luiz Angelo Estefanel du Laboratoire ID IMAGP Le programme permet de conna tre le comportement des paires de processeurs dans l environnement pour envoyer et recevoir des donn es Les options utilis es sont d taill es dans le fichier README du programme Voici quelques
34. ransfert de fichiers bas e sur le protocole TCP et selon le site Web du fournisseur 6 il permet d utiliser pleinement la bande passante disponible Bitspeed est galement disponible avec un cryptage de donn es allant jusqu 24 Gbit s et un cryptage AES allant jusqu 1600 Mbit s Les plates formes support es par Bitspeed sont Windows Mac OSX Linux et Solaris Selon le mode d emploi cette solution adapte automatiquement ses param tres avec les conditions du r seau et choisit les param tres optimaux d bit latence etc pour la transmission de donn es 2 1 3 Aspera La technologie de transfert FASP de Aspera 3 est un logiciel innovant de la compagnie IBM qui limine les goulots d tranglement fondamentaux des technologies de transfert de fichiers classiques tels que HTTP FTP et acc l re les transferts sur des r seaux IP publics et priv s Cette approche permet d am liorer le d bit ind pendant de la latence du lien En outre les utilisateurs ont le contr le sur les taux individuels de transfert et le partage de la bande passante et une visibilit compl te sur l utilisation de la bande passante Le temps de transfert de fichiers peut tre garantie ind pendam ment de la distance des points d extr mit s ou les conditions dynamiques du r seau y compris les transferts sur les r seaux sans fil et les liaisons interna tionales fiables Aspera int gre le cryptage des donn es y compris l authen t
35. ransport de donn es rapide et fiable par l interm diaire des r seaux longues distances WAN a haut d bit Le probl me principal de ces recherches est que les soci t s vendeuses cachent souvent la technologie utilis e pour le transport de donn es acc l r Le protocole utilis dans la solution Expedat est couvert par des brevets am ricains Toutefois cela ne signifie pas que Expedat n utilise pas n importe quels algorithmes en plus de ceux d crits dans ces brevets La seule m thode ind pendante pour valuer ces solutions commerciales est de les observer lors des valuations dans des conditions bien d finies Toutes les solutions tudi es se positionnent elles m mes comme des ap plications de transfert fiables haute vitesse con us pour offrir des alter natives FTP TCP et surmonter les probl mes de performances de TCP sur des r seaux WAN haut d bit Deux d entre eux Expedat et Aspera utilisent les sockets UDP et mettre en ceuvre les logiques de protocole de ni veau utilisateur et Bitspeed exploite la pile TCP du syst me d exploitation Linux Les r sultats obtenus montrent que les solutions bas es sur le protocole TCP h ritent ses probl mes sur les liens 4 haut d bit nous avons constat une diminution significative des taux de donn es jusqu 27 de la capacit du lien Cependant les solutions bas es sur le protocole UDP montrent une bonne utilisation des liens haut d bit nous avons do
36. si le param tre o devient o m et o m et le param tre g s crit g m L utilisation de communications bloquantes r duit l impact et l utilit des param tres os m et o m Cette remarque identifi e par les auteurs du mod le a conduit l criture de l quation sous la forme L g m Cependant pour des communications non bloquantes il convient de r intro duire les param tres o m et o m Les auteurs vont plus loin que la simple expression du mod le En effet ils fournissent sur leur site Internet un programme qui permet d valuer chaque param tre en fonction de la taille des donn es Ce programme propose plusieurs innovations Par exemple le gap pour de petites tailles de donn es est calcul en divisant le gap obtenu pour des donn es de grande taille par le temps d aller retour d une donn e de taille nulle RTT 0 D une mani re similaire les auteurs pr sentent une m thode d taill e pour la mesure des param tres o m et o m Ce mod le a deux principaux avantages la flexibilit des param tres o et g en fonction de la taille des donn es et l existence d un programme valuant pour un r seau donn ces param tres Toutefois il appara t que ce mod le consiste principalement obtenir des mesures depuis un programme qui teste le r seau Il ne propose pas une quation pour d terminer g m Pour r pondre ce probl me les auteurs de ce mod le proposent une cor re
37. some effective tools for creating and modeling but there is a lack of tools to distribute computing tasks on distributed and heterogeneous platform Even today some studios almost manually distribute tasks Some solutions exist using the cloud paradigm but the economic model leads to be dependent on a supplier and or involves sending critical data outside the territory One of the major problem for resource sharing and distributed computing is the data management in a distributed environment Each application has its own needs in terms of access or data production large quantities of small data of few kilobytes or terabytes of data As long as that we use platforms heterogeneous and distributed computing both storage resources RAM local or remote disk etc and the network links are very discordant in terms of performance and size It is therefore necessary to adjust movement policies replication and data placement based on application needs and opportunities of the underlying platform This work compares commercial fast data transport approaches through high speed Wide Area Network WAN Common solutions such as File Transport Protocol FTP based on TCP IP stack are being increasingly replaced by modern protocols based on more efficient stacks To assess the capabilities of current applications for fast data transport the following com mercial solutions were investigated Aspera Bitspeed and Expedat The goal of this work is to t
38. spondance entre les param tres 0 m 0 m et g m et les param tres du mod le LogGP o g et G La famille de mod les LogP a t largement utilis e modifi e et adapt e diff rents probl mes Certains auteurs ont par exemple introduit le nombre de processeurs comme param tre dans des quations lin aires bas es sur le mod le LogGP 2 2 2 3 Mod le LogGP Le mod le LogGP 1 est tr s similaire au mod le LogP Ce mod le ajoute le param tre G qui repr sente une valeur du gap en fonction de la taille des donn es En d autres termes le gap G repr sente l inverse de la bande pas sante Avec ce nouveau param tre l quation du mod le pr c dent se r crit par 2xo L4 k 1 xG L http am cs va nl albatross 20 Nous noterons la grande similitude de cette quation avec celle du mod le de Hockney Le mod le LogGP ne propose pas de grandes avanc es la fois dans la mod lisation et dans la compr hension des m canismes de transfert par rapport aux mod les pr c dents Il est aussi possible de repr senter le mod le LogGP sous une forme pa rall le comme le montre le tableau 2 2 LogP LogGP pLogP L T gin osm om o os m or m 2 g g m G g m m pour une donn e m de grande taille P P TABLE 2 2 Le mod le LogGP exprim en fonction de pLogP 2 2 3 Conclusion En conclusion le mod le de Hockney reste un mod le simple et perti nent
39. ts seront r alis s en utilisant les protocoles de transfert de donn es suivantes Aspera 3 Bitspeed 6 et Expedat 7 8 1 3 Probl matiques et objectifs La demande croissante pour l change rapide d normes quantit s de don n es entre sites distants a conduit l mergence de nombreuses nouvelles solutions de transport de donn es qui promettent de transporter d normes quantit s de donn es beaucoup plus rapide que les solutions FTP TCP clas siques Actuellement les solutions les plus courantes pour le transport de donn es fiable dans les r seaux IP sont bas s sur le protocole TCP qui a t d velopp dans les ann es 1970 Un certain nombre de documents d crivent comment TCP avec quelques ajustements peut fonctionner raisonnablement sur les r seaux locaux LAN avec une bande passante hautement disponible 20 Toutefois il est bien connu que TCP a un rendement tr s limit lorsqu il est utilis dans les r seaux longue distance avec une bande passante lev e appel s Long Fat Pipe Network LFN 19 Par exemple un test avec iperf en utilisant architecture d crite dans la figure 1 1 sur une liaison de bout en bout de 1 Gbit s avec un RTT de 50 ms round trip time et en pr sence d un taux de perte d au moins 0 1 montre un d bit de donn es d environ 40 Mbit s Il faut mentionner aussi que la plupart des WAN Wide Area Network actuels ne sont pas appropri s d acheminer des t raoctets et p
40. une de ces options e Send Indique qu il utilisera un appel MPI Send e Recv Indique l utilisation d un appel MPI Recv e min size La plus petite taille de donn es envoyer 2 http www id imag fr Laboratoire Membres Estefanel_Luiz Angelo 27 e max size La plus grand taille de donn es envoyer e o Indique le fichier de sortie Il est important de noter que la taille de la mesure est exponentielle par exemple pour faire une mesure de 25 M gaoctets comme taille minimale il faut sp cifier une taille de min size 26214400 26214400 3 2 1 3 Les commandes utilis es Pour les exp riences la connexion aux n uds Grid 5000 se fait par ssh par exemple pour la connexion sur taurus 11 lyon grid5000 fr tpatrick flyon ssh root taurus 11 lyon grid5000 fr Warning Permanently added taurus 11 lyon grid5000 fr 172 16 48 11 RSA to the list of known hosts Linux taurus 11 lyon grid5000 fr 2 6 32 5 amd64 1 SMP Mon Sep 23 22 14 43 UTC 2013 x86_64 Squeeze x64 base 1 8 Image based on Debian Squeeze for AMD64 EM64T Maintained by support staff lt support staff lists grid5000 fr gt Applications Text Vim nano Script Perl Python Ruby Type dpkg 1 to see complete installed package list Misc SSH has X11 forwarding enabled Max open files 65536 More details https www grid5000 fr mediawiki index php Squeeze x64 base 1 8 root taurus 11 La commande principale pour ex
41. ur caract riser le taux fixe de transfert le mod le LogP ajoute la latence les co ts logiciels induits par l mission et par la r ception Ces co ts correspondent la cr ation de paquets l encapsulation etc Un taux variable est associ aux diff rents pa quets Lorsque le mod le de Hockney pr cise une bande passante commune pour chaque taille de message sans introduire la notion de paquets le mo d le LogP ajoute une contrainte entre paquets Cette contrainte stipule que deux paquets cons cutifs ne peuvent pas tre transmis en moins de g uni t s de temps Ce param tre g repr sente la dur e pendant laquelle le r seau transmet un paquet Le mod le LogP donne des r sultats efficaces pour des donn es de petite taille N anmoins pour des donn es de grande taille les r sultats sont moins pr cis En effet les valeurs de g et o sont identiques quel que soit la taille des donn es et il para t tout fait logique que le sur cotit logiciel est plus important pour de grandes donn es que pour de petites donn es Pour rem dier cette perte de pr diction le mod le LogGP a t introduit 2 2 2 2 Mod le pLogP Le mod le pLogP parameterized LogP 18 introduit une nouvelle fa on de consid rer les param tres du mod le LogP Ce mod le a pour param tre 19 le surcotit logiciel et le gap en fonction de la taille des donn es En outre il distingue le surco t logiciel en mission et en r ception Ain
42. valuer les capacit s des solu tions de transport dans un r seau WAN grande vitesse L int r t pour nous est le temps de transfert de donn es minimale possible de bout en bout sur de tels r seaux Actuellement il y a quelques diff rentes mesures de perfor mance qui ont t utilis es pour valuer ces d ficiences en terme de temps de transfert dans les solutions open source et freeware Par exemple dans 22 Grossman et al pr sentent l valuation de la performance de UDT 21 travers un r seau de 10 Gbit s L article montre comment en utilisant UDT et en pr sence de 116 ms de RTT ce r seau a un d bit maximal de 4 5 Gbit s dans un seul flux de donn es Deux flux parall les r alise ainsi envi ron 5 Gbit s et dans les 8 flux parall les environ 6 6 Gbit s sont atteints En outre un r sultat de performance pour la transmission de donn es l aide de RBUDP a t pr sent au 3ieme atelier international annuel de CineGrid 23 Bien que la vitesse d acc s au disque limite la vitesse de transport de donn es a 3 5 Gbit s sur le lien entre Amsterdam et San Diego seulement 1 2 Gbit s a t atteint La distance de ce chemin est d environ 10 000 km travers la fibre optique ce qui correspond environ 100 ms de RTT Pour les solutions closed source commerciales la situation diff re sen siblement Il y a plusieurs publications des r sultats de performance des solutions disponibles sur le march fournies par
Download Pdf Manuals
Related Search