Home

Plateforme à base de grid pour la gestion des connaissances

1. Server Grid mass storage system Scratch Space Metadata manager GUID param gt gt pata gt gt SY Se Tt gt D ES es ee imagers Figure 4 8 DM2 interface entre les donn es m dicales et la grille 68 Chapitre4 Syst mes CBIR base de grilles L application d ploy e sur la grille impl mente des notions de base Pipelines Les applications m dicales n cessitent g n ralement plus qu un middleware offrant des services de soumission de t ches et d acc s aux donn es Une exp rience m dicale implique souvent plusieurs algorithmes et un ensemble de traitements qui peuvent parfois s ex cuter simultan ment Les traitements pipelines sont des t ches complexes qui passent par des tapes l mentaires enchain es Le projet EDG a d velopp un Directed Acyclic Graph DAG Service de soumission de t ches permettant de d crire celles compos es tel que le graphe des processus l mentaires Le gestionnaire de t che DAG est un r gulateur de vitesse de calcul Les pipelines sont d un int r t r el lors du traitement de grand nombre de donn es d entr e Calcul parall le Certaines t ches comme le traitement des images la simulation et la mod lisation des algorithmes de calcul intenses ont besoin d une mise en uvre d une ex cution parall le afin d achever les op rations demand es dans des d lais raisonnables Le parall lisme au r seau local est aujourd
2. checking for javac usr local outils jdk1 5 0_14 bin javac checking for ant usr local outils apache ant 1 7 0 bin ant configure creating config status config status creating Makefile Les caract ristiques suivantes sont optionnelles et sont toutes d sactiv es par d faut enable prewsmd permet de construire la base de pre webservices mds enable wsgram condor permet de construire l interface de GRAM Condor scheduler enable wsgram lsf permet de construire l interface de GRAM LSF scheduler enable 118n permet d activer l internationalisation enable drs permet d activer le Service de R plication de donn es Construire le programme ex cutable avec la commande make nous utilisons tee pour garder la trace de l ex cution des commandes d installation cela nous aide localiser les erreurs qui peuvent se produire durant l installation globus poste4 globus 4 0 6 make Itee build log Une partie du r sultat de cette commande sera comme suit tar C usr local globus 4 0 6 xzf binary trees globus_wsrf_replicator_common_schema tar gz 108 ANNEXE A tar C usr local globus 4 0 6 xzf binary trees globus_wsrf_replicator_common_java tar gz tar C usr local globus 4 0 6 xzf binary trees globus_wsrf_replicator_service_java tar gz tar C usr local globus 4 0 6 xzf binary trees globus_wsrf_replicator_client_java tar gz echo Your build completed successfully
3. chown D signer l utilisateur et le groupe propri taire des fichiers Exemple chown group user file L option R chown R group user file permet de rendre l utilisateur user propri taire de tous les fichiers inclus dans file R indique la r cursivit chmod permet de sp cifier les droits des utilisateurs sur un fichier Exemple chmod 777 nom_fichier c est pour donner tous les droits de lecture et d criture sur le fichier pour tous les utilisateurs rm pour la suppression des fichiers Exemple rm nom_fichier mv pour le d placement des fichiers Dans la m me ligne on peut donner un nouveau nom au fichier d plac Exemple mv nom_fichier nouveau_emplacement 102 ANNEXE A cp pour copier des fichiers Exemple cp nom_fichier nouveau_emplacement mkdir cr er un r pertoire Exemple mkdir nouveau_rep cd pour se positionner a un endroit pr cis de l arborescence d un media Exemple cd home cd cd tar pour d compresser les fichier de type tar gz Exemple tar xz nom_fichier tar gz extraire le fichier en utilisant le filtre gzip sh interpr teur de langage de commande qui lance des commandes a partir d un fichier sh ou a partir d une entr e standard Exemple sh nom_fichier sh rpm une commande pour l installation de nouveaux paquetages rmp Exemple rpm 1 nom_paquetage rpm l option 1 est suffisante pour faire l installation du paq
4. lt part name parameters element tns segmentation gt lt message gt lt message name SegmentationOutputWMessage gt lt part name parameters element tns segmentationResponse gt lt message gt lt message name GetValueRPInputMessage gt lt part name parameters element tns getValueRP gt lt message gt lt message name GetValueRPOutputMessage gt lt part name parameters element tns getValueRPResponse gt lt message gt PORTTYPE 145 ANNEXE B lt portl yoe name SegmentationPortT ype wsdipp extends wsrpw GetResourceProperty wsrp ResourceProperties tns SegmentationResourceProperties gt lt operation name segmentation gt lt input message tns SegmentationInoutMessage gt lt output message tns SegmentationOutputMessage gt lt operation gt lt operation name getValueRP gt lt input message tns GetValueRPInputMessage gt lt output message tns GetValueRPOutputMessage gt lt operation gt lt portType gt lt definitions gt B Impl mentation de l interface Cette tape est traduite par la cr ation des classes suivantes SegmentationService SegmentationQNames SegmentationResource segmentationProcess SegmentationResourceHome SegmentationFactoryService La figure 6 5 montre la structure de la classe SegmentationService les classes import es et les m thodes d velopp es 146 ANNEXE B Response AprioriService_insta
5. ANNEXE A please enter the password for the CA key The new signed certificate is at home globus globus simpleCA newcerts 07 pem Nous pla ons le fichier sign signed pem de la machine 4 dans tmp de la machine poste et nous lan ons la commande suivante sous globus De m me il faut v rifier que les fichiers usercert pem usercert_request pem et userkey pem ont respectivement les priorit s suivantes 644 644 et 400 Finalement nous lan ons la cr ation du proxy avec la commande globus poste grid proxy init debug verify R sultat User Cert File home globus globus usercert pem User Key File home globus globus userkey pem Trusted CA Cert Dir etc grid security certificates Output File tmp x509up_u501 Your identity O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN globus_poste Enter GRID pass phrase for this identity Creating proxy So eee SNe Proxy Verify OK Your proxy is valid until Mon Jul 21 22 50 58 2008 On demande le certificat pour le deuxieme utilisateur saida saida poste grid cert request ca Le r sultat nondefaultca true The available CA configurations installed on this host are 1 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA Enter the index number of the CA you want to sign your cert request 1 Using CA 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA A certi
6. SegmentationResource getResource SegmentationResponse apriori String String getValueRP GetValueRP Figure 6 5 classe de service de segmentation La figure 6 6 montre la classe SegmentationQName D finition des points de r f rences pour XML Figure 6 6 classe SegmentationQName La figure 6 7 montre la classe Ressource 147 ANNEXE B Resource Resourceldentifier ResourceProperties ResourcePropertySet propSet Object key Object initialize Figure 6 7 classe SegmentationRessource La figure 6 8 montre la classe qui impl mente algorithme de segmentation m image 10 Calcul et cr ation de fichier contenant le r sultat Figure 6 8 classe segmentationProcess La figure 6 9 montre la classe Factory e CreateResourceResponse createResource CreateResource Figure 6 9 classe SegmentationFactoryService java 148 ANNEXE B La figure 6 10 montre la classe SegmentationRessourceHome ResourceHomel mpl ResourceKey create Figure 6 10 classe SegmentationRessourceHome La figure 6 11 montre l interaction entre toutes les classes Java qui composent le service de segmentation 149 ANNEXE B gmentationQNames Reference des ressources RS initialize ky set value java get value value Key initialize Ex cution de Initialize algorithms SegmentationResource smentationProcess j Home java Key Segmentat
7. I T _FinRep D7 ee I l p butSegD3 1 I Transfert de Res I l l D but Seg p 1 I l Finsegp7 de donn es I ol 1 D but Rep D7 1 1 1 1 I l TransfertdeRes li l a l ol 1 1 la 1 I 1 1 l l 1 Machine 3 ME D but Rep Fin Rep D4 l Fin Seg D4 l l FinRep D8 l D4 1 l D butSegD4 1 1 Transfert de Res I I 1 D butSegD8 l Fin Seg D8 I l l l l l D but Rep D8 l l l l 1 i l Transfert de Res I l l I ol 1 1 l a 1 1 l la 1 l l l 1 Machine 4 Si zE l l l l l l l l l l la l l l la 1 I ll l 4 1 1 1 I ot i Figure 4 24 Ordre chronologique des tapes de segmentation de 1000 images Chapitre 3 Introduction en traitement des images Un troisi me sc nario d ex cution est r alis par le relancement plusieurs fois de la segmentation sur les 10 000 images de la m me base de Wang et a chaque fois on change le n ud qui d clanche l op ration Dans ce sc nario on tient les donn es r pliqu es et nous v rifions le temps d achevement de l op ration Pour 6 r p titions on obtient les r sultats illustr s par la figure 4 25 Temps total de segmentation r pitition 1 r pitition 2 r pitition 3 r pitition 4 r pitition 5 r pitition 6 Figure 4 25 stabilisation du temps de segmentation apr s la troisi me r pitition En comparant le te
8. dans sa version 4 2 Globus est un Intergitiel modulaire o chaque module englobe des composants qui utilisent les sp cifications WSRF WS Component ou pas Non WS Component Tous les composants sont mis en uvre pour fournir des services requis par la grille ils suivent des standards dans leurs impl mentations et durant leurs utilisations Ces composants sont une impl mentation de l architecture OGSA en introduisant les sp cifications WSRF La figure 2 2 montre les cinq modules de Globus qui sont a Core runtime Une infrastructure fournit des librairies et des outils pour la construction de nouveaux WS et Non WS Services pour la grille Les langages de programmation support s sont C avec le C WS CORE Python avec le Python WS CORE Java avec le Java WS CORE Pour le langage Java il existe l outil Java Commodity Grid Kit COG Kit qui fournit un niveau d abstraction l API de Globus Toolkit pour un usage plus facile Il permet aux utilisateurs de grille aux d veloppeurs d applications aux administrateurs de grid d utiliser de 36 Chapitre2 Globus programmer et d administrer les grilles a l aide d un Framework de plus haut niveau Une capture d cran de l interface graphique de COG Kit install pour des raisons de test est montr e dans Annexe A Globus Toolkit version 4 GT4 WS Components Non WS Components Lil Core GT Component public interfaces froze
9. ecccccccccccccssseeeeseeceeeeeeeaeeeeees 67 Figure 4 7 l infrastructure utilis e pour le d ploiement de l application 67 Figure 4 8 DM2 interface entre les donn es m dicales et la grille 68 Figure 4 9 Interface Web de systeme MedGIF T acc ce ne a sde 70 Figure 4 10 Une description XRSL de Job pour l ex cution distribu e avec l utilisation du ALAC WAC AR CR aeanncince a NRE E aa ieamnancctenectncn eats 71 Proure4 lle structure en couche de AGIR acces ares nn en a Nm 73 Figure 4 12 a gestion des informations et des images travers les h pitaux b partage des informations et des images entre les h pitaux et les diff rentes stations 74 Figure 4 13 plateforme et relation avec les autre technologies de grille eens 80 Figure 4 14 Architecture en couche de la plateforme 81 Figure 4 15 Ajout d une nouvelle fonctionnalit au module AM 82 Figure 4 16 interaction entre le module IAM et la couche sup rieure 84 Figure 4 17 Informations sauvegard es dans la base de cas 85 Figure 4 18 Interaction du module contr le avec les autres modules de la plateforme 87 Figure 4 19 geston des Classes lima ses csper eE EE E EEA EIn 88 Fisur 4 20 L operationide recherche sn ann a en n 89 Figure 4 21 introduction du CBR dans la recherche 90 Figure 4 22 collection d information aupr s de service MDS v rification de l existence de donn es et lance
10. un fichier XML Avec ces 82 Chapitre4 Syst mes CBIR base de grilles fichiers les services du module IAM localisent les donn es a utiliser et l emplacement ou ils doivent sauvegarder les r sultats La structure g n rale du fichier XML utilis est comme suit lt request gt lt description gt lt servicelD gt lt servicelD gt lt host gt lt host gt lt description gt lt in gt lt dataSource gt lt dataSource gt lt host gt lt host gt lt path gt lt path gt lt out gt lt request gt Balise request c est la balise globale de la requ te r cup r e par les services de IAM Balise description contient l URI du service demandeur et le host correspondant Balise in contient des r f rences sur les sources de donn es exploiter Ces derniers contiennent g n ralement des images ou dans d autres cas des fichiers repr sentants des r sultats des op rations ant rieures tels que les fichiers seg de la segmentation Balise out elle d crit le chemin de la sortie des op rations On ne trouve pas cette balise dans le cas des traitements qui modifient directement les images 83 Chapitre4 Syst mes CBIR base de grilles A la fin d ex cution du service interrog le module IAM affecte un tat chaque processus lanc sur une source de donn es Cet tat peut tre soit une r ussite soit un chec dans ce dernier cas un
11. une ressource distante implique l utilisation des fichiers mapfile incluant les licences d l gu es CP et l utilisation du protocole SAML qui sert l acc s aux services d autorisation La figure 2 8 illustre une vue en couche du module GSI Autorisation SAML et Grid mapefile D l gation Certificat proxy X 509 Authentification Certificat X 509 mot de passe et nom d utilisateur Protection du message TLS SSL WS security WS SecureConversation Format du message SOAP Figure 2 8 Vue en couche de l infrastructure GSI 2 3 3 Module de gestion d ex cution Un module responsable du lancement de la synchronisation et la supervision distante des Jobs Le service responsable de la gestion des ex cutions est nomm Web Services Grid Resource Allocation and Management GRAM Dans la version 4 2 du Toolkit GRAM a connu des am liorations 36 par rapport aux autres impl ment s dans des versions pr c dentes de Globus GRAM4 d finit des m canismes pour l ex cution et la supervision des Jobs ainsi que de r cup rer les r sultats de ces ex cutions GRAM4 est une extension de GRAM2 utilis dans la version 4 de Globus et qui a t introduit a partir GT2 L objectif de GRAM est de lancer des Jobs distance en parall le avec consistance en s curit et en g rant les tats des ex cutions GRAM4 inclut des services gestionnaires de jobs des adaptateurs locaux de syst me et d autres services de GT4 2 23 GR
12. www worldcommunitygrid org 92 http Ihc web cern ch Ihc 160 Conclusion et perspectives 93 http www eurogrid org wp2 html 94 http www corba org 95 http www jini org 161
13. ARC fournit un interface pour la gestion des Jobs appel GridJM 78 Un autre aspect important est que les informations pr sent es aux utilisateurs doivent tre intuitives La sortie en particulier les codes d erreur partir d un Intergitiel de grille est souvent vident pour les experts mais difficile comprendre pour les utilisateurs inexp riment s d o l importance de masquer tous les d tails d un middleware de grille et transmettre des messages appropri s bas s sur les connaissances de l utilisateur Local ARC Server in hospital Figure 4 7 l infrastructure utilis e pour le d ploiement de l application 67 Chapitre4 Syst mes CBIR base de grilles Pour exploiter les ressources du bureau dans les h pitaux La figure 4 7 montre une configuration de r seau virtuel pour activer la connectivit r seau Toutes les machines en bleu sont virtuelles elles offrent des CPUs m moire et de l espace disque La version gratuite de VMware Server est utilis e dans les tests Dans un autre travail 79 les auteurs ont trait la manipulation des images m dicales avec la technologie des grilles y compris la production des images le stockage s curis et le traitement Les r sultats obtenus montre que les grilles sont encore dans leur vigueur a r soudre tous les probl mes complexes li s aux applications d imageries m dicales Le gestionnaire des donn es DataGrid marque les fichiers par un ident
14. La m thode CCM peut tre utilis e avec l espace de couleur HSV 45 ou avec l espace RGB Dans les deux cas on obtient six matrices de cooccurrence multipli es par le nombre de param tres de Haralick choisi on aura comme r sultat une trentaine de parametres qui aident a la reconnaissance et la classification des images 3 2 Filtrage Le filtrage est une op ration de voisinage appliqu e a un pixel o sa nouvelle valeur est remplac e par le r sultat d une fonction appliqu e sur lui ansi que sur ses voisins L objectif de cette tape est l am lioration de l image num rique pour augmenter la qualit de son rendu visuel et a sa simplification pour faciliter les op rations d analyses ult rieures ils existent plusieurs types de filtres 3 2 1 Filtrage dans le domaine spatial Les m thodes de filtrage dans le domaine spatial portent sur les pixels de l image g x y T x y o f x y est l image d entr e g x y est l image de sortie et T repr sente l op rateur sur f Le processus de filtrage dans le domaine spatial consiste avancer un masque de filtre d un pixel de l image un autre les filtres dans ce domaine sont regroup s en deux cat gories Les filtres lisseurs comme le filtre Gaussien et le filtre moyenneur dans lequel l image de sortie est repr sent e par la moyenne des pixels de voisinage du masque appliqu 53 Chapitre 3 Introduction en traitement des images
15. Services OGSA information gestion des donn es s curit Sch mas OGSA Open Grid Service Infrastructure OGSI immigr Web Services Resources Framework WSRF Figure 1 3 El ments de base de l architecture OGSA 5 Les Standards utilis s par les Services Web ne fournissent pas les informations s mantiques sur les services tel que comment un service est cr sa dur e de vie comment il g re les exceptions etc Cet ensemble de comportement des services doit tre standardis et a partir de ce point on peut voir l utilit de OGSI Un service qui suit les sp cifications conformes a OGSI est appel un Service de grille OGSI d finit un ensemble de composants pour les 25 Chapitrel La technologie des grilles systemes distribu s avec des interfaces standards et des comportements qui d crivent les attributs s mantiques des services Pour qu un Service Web se qualifie d tre un Service de grille OGSA d finit trois conditions 18 G il doit tre une instance d une impl mentation de service 11 11 doit avoir un Grid Services Handle GSH qui est en g n ral l unique identificateur URI d une instance d un Service de grille c est avec le GSH qu on localise le Grid Service Reference GSR qui est repr sent par un document WSDL d crivant les propri t s de l instance 111 il doit impl menter un port appel Grid Service pour pouvoir Localier des in
16. ation nous affectons le r pertoire l utilisateur globus root poste4 chown globus globus etc grid security Sous globus nous lan ons l ex cution du script Nous confirmons l ex cution en tapant y puis nous remplissons les champs demand s durant l installation Email dur e d expiration du certificat mot de passe Une partie du r sultat est la suivante WARNING GPT_LOCATION not set assuming GPT_LOCATION usr local globus 4 0 6 109 ANNEXE A Certificate Authority Setup This script will setup a Certificate Authority for signing Globus users certificates It will also generate a simple CA package that can be distributed to the users of the CA The CA information about the certificates it distributes will be kept in home globus globus simpleC A The unique subject name for this CA is cn Globus Simple CA ou simpleCA poste4 Iri net ou GlobusTest o Grid Do you want to keep this as the CA subject y n y y Enter the email of the CA this is the email where certificate requests will be sent to be signed by the CA ahmed dib Iri annaba net The CA certificate has an expiration date Keep in mind that once the CA certificate has expired all the certificates signed by that CA become invalid A CA should regenerate the CA certificate and start re issuing ca setup packages before the actual CA certificate expires This can be done by re running this setup script Enter the number of DAYS the CA certificate
17. demand s et a l Intergitiel Globus pour effectuer des op rations sur la grille tel que le transfert des fichiers la collecte des informations le lancement des Jobs et la s curisation des transactions entres les services Durant l indexation et la gestion des classes d images les services responsables mettent jours la base de donn es des classes existantes et des images d ja index es La figure 4 18 montre l interaction de la couche contr le avec les autres couches de la plateforme Application Echange param tres r sultats _ _ Instanciation et gestion A des services Traitement Es Recours aux services de Contr le D ff l intergitiel OOOO Gestion des 177777777777 Recherche et classe Indexation BDD des BDD des classes images d images index es Figure 4 18 Interaction du module contr le avec les autres modules de la plateforme Service gestionnaire des classes utilis pour la cr ation la modification et la suppression des classes d images Les informations des classes sont sauvegard es sur une base de donn es dans la grille La couche application fournit ce service une interface graphique facilitant a l utilisateur la gestion des diff rentes classes Dans le cas d une suppression ou d une modification le service re oit les param tres n cessaires et cr e une connexion avec la base de donn es 1l modifie ou supprime les entr es en question cette action fait rec
18. des deux autres WS Services qui sont le RFT et le service de d l gation fournit par le module de s curit utilis comme une base de fonctionnement de plusieurs services dans Globus Le Client num re les transferts qu il veut effectuer il identifie les donn es par leurs noms logiques et sp cifie les destinations et les sources de transfert dans le cas de l existence de third party dans le transfert Une fois les sp cifications ont t d finies le client envoi le fichier d crivant les transferts au DRS qui v rifie le certificat du client et interroge les RLIs pour localiser les LRCs contenant les noms logiques des fichiers demand s a pr sent les LRCs sont localis s le DRS r cup re les noms physiques des fichiers a transf rer et proc de proprement la phase de transfert il utilise une instance du RFT et d marre le transfert Le DRS r cup re les tats des transferts fournis par le RFT afin d associer un tat chacun d eux Dans la phase suivante du fonctionnement le DRS met jour les informations des r plications existantes dans la grille cette mise jour est faite au niveau du registre LRC qui a son tour met jour les LRIs correspondants 2 3 2 Le module de s curit Globus security Infrastructure GSI Bas sur la cryptographie a cl public il sert a l authentification de l utilisateur une fois ce dernier authentifi aupr s d un service Globus il sera authentifi pour tous les autres
19. domaines sur lesquels Globus est install et pour lesquels l utilisateur est autoris acc der 34 GSI utilise des standards de communications et garantit la s curit dans les environnements base de grille il assure une communication s curis e et certifi e la confidentialit des informations la non r pudiation et l int grit des donn es transf r es GSI inclut 44 Chapitre2 Globus Certificat utilise le standard X 509v3 comme cl priv e il repr sente l identit d un utilisateur d une ressource ou d un programme ce certificat contient des informations n cessaires pour l identification des entit s 1l est transmis d une fa on s curis e via un tiers de confiance appel autorit de certification certification authority AC ce dernier est utilis comme une cl publique pour signer le certificat Un algorithme d authentification qui est d fini par le protocole Secure Socket Layer SSL Renomm Transport Layer Security TLS par l IETE cet algorithme sert l identification des entit s Le TLS est un protocole de s curisation des changes effectu s via Internet 1l repose sur le proc d de cryptographie par cl publique et cr e ce qui est connu par canal de communication s curis Mandataire et d l gation proxy se traduit par le besoin d une seule authentification pour acc der plusieurs applications le SSO qui fait r f rence au m canisme de d
20. existence d une couleur dans une image les tapes et les valeurs des parametres avec lesquels le processus d indexation a pass Service de recherche selon le type de requ te utilisateur textuelle ou image on distingue deux mode de recherche La premi re porte sur une analyse textuelle et la seconde sur l extraction des caract ristiques visuelles des r gions optimales d une image requ te Applications Fichiers V4 Mots cl s chercher Vecteurs de caract ristiques images index es Figure 4 20 L op ration de recherche base de contenu 89 Chapitre4 Syst mes CBIR base de grilles pour une requ te image le service fait appel au module IAM pour analyser l image Il extrait leurs vecteurs descriptifs et les compare avec ceux stock s dans la base de donn es des images index es La comparaison entres les vecteurs des images r sulte une distance Le module IAM retourne le r sultat de ses calculs sous forme d un taux distance avec un ensemble de liens des images dont la distance t minimale A la fin de l op ration le service de recherche affiche les images selon un ordre d croissant de la distance calcul e La figure 4 20 montre le processus utilis pour l indexation et la recherche impl ment e Pour une requ te textuelle le service de recherche fait recours l ontologie pour trouver toutes les d pendances des mots cl s en entr le servic
21. fini le syst me orchestre l ex cution des processeurs et g re les donn es du workflow a travers les ports des processeurs Le Framework EGEE est Le projet qui r unit des experts de plus de 27 pays autour d un objectif commun qui est de d velopper une infrastructure de service de grille accessible aux scientifiques 24 h 24 Actuellement 1l supporte plus de 125 organisations virtuelles avec 9000 utilisateurs dans 50 pays avec approximativement 20 petabytes m moire de stockage et 80000 cores disponibles L infrastructure EGEE est constitu e de diff rents composants ils fonctionnent en coordination au niveau logique qu au niveau physique Le stockage de donn es d EGEE est r alis en forme d El ments de Stockage SE qui facilitent le stockage physique Le Systeme de Gestion de Fichiers Logiques avec un service de catalogage maintient les donn es sur ces SEs Les capacit s de calcul sont fournies par les El ments de calcul CE qui sont g n ralement repr sent s par un groupe de n uds travailleurs WN Un 63 Chapitre4 Syst mes CBIR base de grilles courtier de ressource Resource Broker RB Schedule les Jobs dans les filles d attentes appropri es Le composant d enregistrement et de compatibilit Logging and Bookkeeping LB g re l tat des Jobs dans les files d attente L Intergitiel gLite est distribu sous une licence de type logiciel libre business friendly gLite int gre des composants
22. l gation permet de r pondre ce besoin L utilisateur cr e le Proxy qui va agir en son nom Chaque ressource peut sp cifier ses r gles afin de pouvoir y acc der GSI convertit les informations des identificateurs en un nom de sujet local local subject name Pour se faire GSI utilise une liste de contr les d acc s mapfile qui d finit les rapports entre le nom global et le nom en local Creation of a user proxy Allocation of a remote resource Global to local Resource mapping table credentials Em Eee Resource allocation from a process Resource credentials Local policy and mechanisms Y Local policy and mechanisms Figure 2 7 basique op ration de GSI 35 Lorsqu un utilisateur veut acc der a une ressource application ou un service qui peuvent tres h berg s dans un site distant comme montr dans la figure 2 7 il cr e un proxy via un m canisme authentification cl publique appliqu sur la licence de l utilisateur user s credential CU suivi par la cr ation de licence proxy temporaire d utilisateur temporary user 45 Chapitre2 Globus proxy credential CUP et des demandes envoy es vers la ressource distante repr sent e par sa licence resource proxies qui lance le proxy de la ressource resource proxy credentials CR pour v rifier les droits et les conditions d utilisation de la ressource L acc s
23. nergie l entropie le contraste et le moment inverse de diff rence L nergie T1 gt Pa J 1 L entropie T2 22 p i j log p j 2 Le contraste T3 220 D p L j 3 Le moment inverse de diff rence T4 Y pal VA _ yp ott 4 Le code Java de chacune des caract ristiques est crit dans la partie ANNEXE B La distance D entre deux images Img et Img2 est d finie par le calcul de distance entre les caract ristiques de Haralick Digi Img2 Thine 11 Time ae TI ime T3 25 T Arn g1 T4ine2 Tlmg L nergie de l image Img Tlimg2 L nergie de l image Img2 52 Chapitre 3 Introduction en traitement des images T2tmg1 L entropie de l image Img T2tmg2 L entropie de l image Img2 T3img1 Le contraste de l image Img T3img2 Le contraste de l image Img2 T4img Le moment inverse de diff rence de l image Img T4img2 Le moment inverse de diff rence de l image Img2 Une seconde approche qui se fond sur l utilisation des matrices de cooccurrence appel e Color Co occurrence Matrix 44 CCM cette m thode est utilis e pour capturer la variation des couleurs dans une image CCM est repr sent e comme une matrice tridimensionnelle o la paire color des pixels p et Np est situ e dans la premi re et la seconde dimension de la matrice et la distance spatiale d entre ces deux pixels est situ e dans la troisi me dimension
24. repr sent e par un client UNICORE qui poss de une interface graphique pour visualiser tous les services de la couche serveur cette derni re utilise les AOJ Abstract Job Objects pour la communication avec la Couche client UNICORE Un AOJ contient des donn es et des descriptions de t ches de calcul les t ches sont lanc es sur la troisi me couche de Intergitiel elle est repr sent e par les plateformes et les sites sur lesquels UNICORE est install L envoi et la r ception des AOJs se fait via la couche UPL UNICORE Protocol Layer elle assure la s curit des interactions dans la grille Pour lancer et g rer les taches sur n importe quelle site connect a la grille UNICORE fournit une interface de ligne de commande CLI 1 8 3 Legion Un metasystem a base d objet r solument paire a paire d velopp a l Universit de Virginia Il fournit aux utilisateurs de la grille une infrastructure logicielle permettant aux syst mes h t rog nes distribu s et performants d interagir uniform ment Contrairement Globus l Intergitiel Legion est vu comme tant un objet et ses modules aussi sont consid r s comme des objets cela facilite beaucoup la manipulation des relations tel que l h ritage l instanciation le polymorphisme Legion s interface entre le syst me d exploitation des utilisateurs et les ressources distribu es sur la grille Chaque utilisateur aura l impression de ne voir que ses propres
25. Dans cette couche on n essai pas de g rer les interactions globales entre les ressources de la grille mais juste avec les ressources individuelles Ils existent deux classes principales de protocoles impl ment es dans cette couche Les protocoles d informations cette classe de protocoles nous permet d acc der aux informations des ressources Les informations collecter peuvent tre statiques comme celles concernant un calculateur sa puissance sa capacit de stockage sa configuration sa strat gie de s curit etc comme elles peuvent tres dynamiques comme la charge d un syst me le nombre de processus lanc s l espace non occup d un media de stockage etc Les protocoles de gestion permettent de n gocier l acc s aux ressources partag es ils nous offrent la possibilit de sp cifier des r servations voire les conditions de qualit des services et des op rations qui peuvent tres effectu es comme la cr ation de processus et l acc s aux donn es distantes Cette classe de protocoles et de services prend en charge le monitoring des op rations de surveillance et d alarmes Elle contr le l ex cution des op rations et remonte les erreurs vers les services des couches sup rieurs afin de les informer sur l tat des traitements lanc s Les protocoles de gestion de cette classe sont responsables de la bonne exploitation des ressources tout en v rifiant les strat gies concernant l util
26. La date et l heure doivent tre r gl es pour chaque machine cette condition est indispensable dans la phase de signature du certificat pour les autres machines cela aide la v rification de la validit du proxy B Configuration du r seau Lors de l installation de Linux nous avons attribu un nom et une adresse IP chaque noeud de la grille Chaque nom de l h te doit avoir la forme suivante nom_machine nom_domaine une exigence de l Intergitiel Globus toolkit La grille de test est compos e de quatre machines Nom de la machine Adresse IP Description Poste lri net 192 168 0 5 Machine client serveur Poste2 lri net 192 168 0 103 Machine client serveur Poste3 lri net 192 168 0 104 Machine client serveur Poste4 lri net 192 168 0 101 Machine client serveur propri taire du certificat Tableau A 1 l ments de la grille C Outils n cessaires 1 Apache Ant c est un ex cuteur de t ches il permet le d ploiement des services 11 JDK n cessaire pour la compilation du code java de l intergitiel 111 PostgresSQL syst me de gestion de base de donn es relationnelle il fonctionne sur des syst mes d exploitations UNIX Il est compos de deux parties Partie serveur c est la partie fonctionnant sur la machine h bergeant la base de donn es elle r pond aux requ tes des clients Partie client cette partie est install e sur les postes client Les clients
27. Please run make install Your build completed successfully Please run make install Lancer installation de Globus avec la commande make install globus poste4 globus 4 0 6 make installltee install log Une partie du r sultat est la suivante running usr local globus 4 0 6 setup globus setup globus job manager fork Changing to usr local globus 4 0 6 setup globus find fork tools WARNING Cannot locate mpiexec find fork tools WARNING Cannot locate mpirun checking for mpiexec no checking for mpirun no find fork tools creating config status config status creating fork pm Done B Installation de l Autorit de Certification CA L installation de l autorit de certification est faite sur une seule machine qu on appel serveur de certificat Cette tape est tr s critique pour le reste de l installation et de la configuration des diff rents services de l Intergitiel Le script d installation de l AC est cr lors de l tape pr c dente l installation du serveur du certificat doit tre faite sous l utilisateur globus Ex cution du script d installation Nous rajoutons au fichier hosts qui se trouve dans le r pertoire etc le nom de la machine et l adresse IP correspondante de la fa on suivante 192 166 0 101 posted lri net poste4 Sous root nous cr ons le r pertoire etc grid security qui va contenir le certificat du h te Apres la cr
28. SizeM jt SizeM taille de la matrice de cooccurrence g n ralement a la valeur 256 image en niveau de gris for int i 0 i lt SizeM it if cooccurreceMatrix i j 0 continue entropy cooccurreceMatrix i j Math log cooccurreceMatrix i j return entropy Le contraste private double getContrast double cooccurreceMatrix double contrast 0 for int j 0 j lt SizeM j SizeM taille de la matrice de cooccurrence g n ralement a la valeur 256 image en niveau de gris for int i 0 i lt SizeM i contrastt i j ij cooccurreceMatrix illj return contrast 138 ANNEXE B Le moment inverse de diff rence private double getMomentInverseDiff double cooccurreceMatrix double momInvDiff 0 double coef for int j 0 j lt SizeM jt SizeM taille de la matrice de cooccurrence g n ralement a la valeur 256 image en niveau de gris for int i 0 i lt SizeM i coef 1 0 1 0 i 7 i j momInvDiff coef cooccurreceMatrix lillj return momInvDiff 139 ANNEXE B 6 2 Application 6 2 1 Structure de la table des images index es Cette table contient la liste des images qui ont t index es elle est compos e de lID de l image l ID de la classe qui l appartient le pourcentage d appartenance la classe d sign e pr c demment le chemin physique de l image sa r solution la taille physique et enfin une lise de coule
29. WSRF OGSA et les Services Web ccceccceseeeeeeeeeeeeeeeeeenees 52 Figure 2 1 Relation entre GT4 WSRF OGSA et les Services Web cccc lt i lt i lt e esena 36 Figure 22 Modules de Globus Toolkit A Een ROLE dR nn teste 37 Figure 2 3 Vue Client Serveur de l architecture de Globus 4 38 Figure 2 4 Les quatre modules de Glo Dus ics sain annees anima este 39 Fiour 2 5 Arc mecre du setvice RE T griei nier 42 Figure 2 6 exemple d un d ploiement de RES 43 Figure 2 7 Dasique operation de CSL ss i eu NN ini neots 45 Figure 2 8 Vue en couche de l infrastructure GSI cccccccccccccccciiiicccccccccececrceceee 46 Fisure 2 9 Architecture en couche de MPICH anas a tener mien 48 Figure 2 10 framework d agr gation serbes stare ta entame sa retenir tentent l nee 50 Figure 4 1 Composants utilis s avec le syst me Ganga pour la d finition la soumission et le contr le de Jobs et le contr le de particle physics Grid 60 Figure 4 2 domaines impl ment s par Imense ss 61 Figure 4 3 Vue en couche de l analyse des images et le processus de reconnaissance par Tiense Lid essees E A D NAA LAA RE e 62 Pioure 4 4 analyse du visage NUMA in cine 62 Figure 4 5 interaction entre le T2 et EGEE via le plugin T2 gLite durant une soumission de TOR RS ER de ane na Da ea ee ue 65 Figure 4 6 l architecture de base de l application gridifi e 2 0
30. and heterogeneous environments requires computational resources and large storage To improve the processing time of big data bases of images for a platform CBIR Content Based Image Retrieval we made use of grid technology In this work we focused our study on Intergitiel grid Globus Toolkit version 4 we studied its architecture and its modules in order to develop and install an application that meets our needs This application is considered as a platform on which we can customize the image processing and of course the indexing and retrieval based on content With this work we exploited the resources of the grid installed this operation 1s performed via the mechanisms provided by Globus to cover all needs in terms of computing resource or storage and make a distributed indexing of an exponentially growing number of images with high performance and therefore the answer to several questions of the search engines images and CBIR systems in general Keywords Grid computing Intergitiel Globus Web services grid services WSRF CBIR indexing segmentation SOMMAIRE Table de mati res Hitroducnon s n ralesss Ses de Rs D ut ns date dede 2 l Ta technolo sie Ces cr eS secina ei nn in nier 6 1 1 RACE LG LD OH LE ae a E 1 Mee t e 6 12 Beimiond n emmle c 3285 ir ini DRE nie in 7 1 3 Diff rents types de grilles informatiques Us 8 1 3 1 ilies d MT OLIMNA LO Do scene Nil E 8 1 3 2 Galles SAS donn e sS sie ch ire r
31. ant 1 7 0 bin tar gz on l installe dans le r pertoire usr local outils L installation de Apache ant consiste a le d compresser et ajouter la variable d environnement path le chemin de ant en cr ant un fichier ant sh dans etc profile d La d compression se fait par root poste4 outils tar xzf appache ant 1 7 0 bin tar gz Un apercu du fichier ant sh est illustr par la figure suivante Fichier dition Affichage Rechercher Outils Documents Aide C3 FRE Es p li Nouveau Quwrir Enregistrer Impnmer OL Retably ie ant sh 3 jdk sh 2 export ANT HOME usr Local outils apache ant 1 7 0 export PATH PATH usr Local outils apache ant 1l 7 0 bin Figure 5 2 Une vue du fichier etc profile d ant sh Pour tester le bon fonctionnement de ant on lance la commande root poste4 ant version Le r sultat sera comme suit Apache Ant version 1 7 0 compiled on July 13 2008 Installation de postgresql On t l charge le fichier postgresql 8 2 6 tar gz et on le d compresse dans usr local root poste4 outils tar xzf postgresql 8 2 6 tar gz C usr local On lance la commande suivante root poste4 postgresql 8 2 6 configure without readline without zlib On lance installation 106 ANNEXE A root poste4 postgresql 8 2 6 make root poste4 postgresql 8 2 6 make install Ensuite nous cr ons un uti
32. application ou un autre service il lance une requ te au service de d couverte pour demander l acc s au service demand 28 Chapitrel La technologie des grilles Le service de d couverte poss de toutes les informations des autres services 1l r pond au client en l envoyant l URI du service demand Le client lance des requ tes au service demand pour conna tre toutes les fonctionnalit s qu il peut offrir sa description et la m thode avec laquelle il peut tre invoqu Le service demand fournit sa description et d autres informations utiles en utilisant le langage de description WSDL pr sent le client poss de les informations qui lui permettent d invoquer le service Web demand il lance des requ tes via des messages SOAP Enfin le service Web demand repend aux requ tes du client toujours en utilisant le format SOAP 1 9 3 Architecture Orient e Service SOA Service Oriented Architectures SOA pr sente trois types de service un demandeur un fournisseur et un marqueur de services comme montr dans la figure 1 5 Un service peut jouer plusieurs r les 1l peut tre la fois un demandeur et un fournisseur de services Le fournisseur de service cr e les descriptions des WS il les publie vers un ou plusieurs services marqueurs et il re oit les messages d invocation venants des autres services demandeurs et r pond a leurs demandes en leurs fournissant
33. certificat pour l h te poste root poste grid cert request host poste lri net Le r sultat Generating a 1024 bit RSA private key You are about to be asked to enter information that will be incorporated into your certificate request What you are about to enter is what is called a Distinguished Name or a DN There are quite a few fields but you can leave some blank 118 ANNEXE A For some fields there will be a default value If you enter the field will be left blank Level 0 Organization Grid Level 0 Organizational Unit GlobusTest Level 1 Organizational Unit simpleCA poste4 lri net Name e g John M Smith A private host key and a certificate request has been generated with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net CN host poste Iri net The private key is stored in etc grid security hostkey pem The request is stored in etc grid security hostcert_request pem Please e mail the request to the Globus Simple CA ahmed dib Iri annaba net You may use a command similar to the following cat etc grid security hostcert_request pem mail ahmed dib Iri annaba net Only use the above if this machine can send AND receive e mail if not please mail using some other method Your certificate will be mailed to you within two working days If you receive no response contact Globus Simple CA at ahmed dib Iri annaba net Dans le r pertoire etc grid security trois
34. cifications WS ResourceLifetime tentent standardiser la fa on avec laquelle l instance de la ressources WS est d truite et la fa on de g rer sa dur e de vie Par contre elle ne sp cifie pas la fa on dont elle est cr e La ressource est allou e a un service demandeur pour une p riode bien d finie et apres l coulement du temps pr vu la destruction de cette instance de ressource 30 Chapitrel La technologie des grilles est effectu e par change de messages comme d crit dans les sp cifications fournies par WS ResourceLifetime Parfois l instance de la ressource doit s autod truite dans le cas d une d connexion du client Ainsi les sp cifications WS ResourceLifetime d crivent la destruction de l instance qui doit tre faite automatiquement sans le besoin d changer des messages Les sp cifications d crivent aussi la mani re dont une instance peut prolonger sa dur e de vie pour r pondre aux demandes des services Notification WS WS Notification C est l outil standard pour la communication inter objets Les WS se basent sur l impl mentation des changes des messages standards Cette sp cification permet au WS d tre un producteur de notifications et certains d autres d tre notifi s consommateurs De plus elle fournit des standards pour notifier les consommateurs lors d un changement dans une Ressource WS Exceptions WS WS BaseFaults C est un ensemble de sp
35. commandes fournies par Globus tel que globus wsrf get property et globus wsrf get properties Les principales fonctionnalit s offertes par ce service sont la collecte des informations sur les Jobs SIS fait recours au module MDS de I Intergitiel Globus pour collecter les informations sur 1 l ensemble des t ches en cours d ex cution 2 les files d attente 3 nombre de Jobs dans chaque n ud 4 services lanc s dans le conteneur d un h te distant La collecte des informations concernant les ressources mat rielles afin de g rer l ex cution des Jobs en tenant compte de la charge globale de la grille la plateforme a besoin des informations sur chaque n ud telles que la m moire physique totale la m moire disponible la vitesse du CPU et la m moire de stockage disponible Transfert de donn es et Lancement des Jobs Avec les informations collect es partir du MDS le service localise les n uds les moins charg s pour l ex cution de quelques Jobs en parall le Avec le module de gestion de donn es de l Intergitiel Globus Service DRS on peut savoir si les donn es n cessaires pour l ex cution des Jobs sont disponibles sur le n ud ou pas sinon dans ce dernier cas le service utilise les ressources distantes lance le job et ensuite la gestion des donn es et la r plication en question Le regroupement et l analyse des r sultats a la fin de chaque Job le service proc de s
36. contenus en identifiant la nuit le couch de soleil l automne etc La D tection et la reconnaissance des objets est pr sent s par l analyse de l image et la d tection des objets communs tel que la face humaine qui est automatiquement d tect e et class e selon quelques attributs comme l age le sexe et les expression de visage comme montr par la figure 4 4 Imense Face Recognition and Annotation home ulrich flickr 1451593421 92edf27b70_o jpg Face information Mesh and reconstruction 212 0 Probabilities Male T Female Adult E Not adult Child L___ Not child Old adult Not old adult African Not african Asin H Not asian European E J Not european Facing left LE Facing right Counter cw E Clockwise Complexion palettes F i Colour Texture p Top matches pre alpha 1 liv_tyler 33 1 Figure 4 4 analyse du visage humain 62 Chapitre4 Syst mes CBIR base de grilles L Indexation est faite apr s l tape d analyse des images les informations collect es des diff rents classifieurs sont combin es dans un format d indexation sp cial et compil es au niveau des serveurs distribu s sur plusieurs sites de la grille cela a pour raison de supporter l indexation d un grand nombre d images qui atteint plusieurs millions Un autre projet qui a port sur les applications m dicales complexes 50 elles peuvent b n
37. der a un fichier volumineux FTP permet le transfert d une partie d un fichier cette possibilit permet au GridFTP de supporter le transfert r gional des fichiers N gociation automatique TCP buffer window sizes la n gociation automatique cache TCP tailles fichiers augmente les performances de transfert des donn es ce qui est faux pour une n gociation manuelle qui n est pas banale et difficile pour un utilisateur qui n est pas expert GridFTP utilise des commandes FTP et des protocoles canaux pour supporter la n gociation manuelle et automatique de la taille du cache TCP par rapport a la taille du fichier a transf rer Supporte le transfert consistant de donn es et le r tablissement de l tat de transfert GridFTP utilise le protocole FTP qui permet de red marrer les transferts chou s pour impl menter la notion de r tablissement des tats des transferts de donn es ce m canisme doit mettre en place une solide infrastructure pour g rer les exceptions qui peuvent se produire durant un transfert Reliable File Transfer RFT Utilis pour g rer plusieurs transferts consistants et effectuer des transferts third party via GridFTP Il utilise une base de donn es pour sauvegarder les tats de tous les transferts afin de pouvoir restaurer et r tablir l tat d un transfert dans le cas d une exception remont e Le RFT fonctionne sur la base de GridFIP il utilise leur librairie et h rite de ses perfo
38. des fonctionnalit s pr cises la derni re op ration est repr sent e par la connexion et l interaction entre WS la connexion est effectu e par les services demandeurs pour communiquer avec le WS trouv et fournit par le Service fournisseur cette communication est faite via les standards SOAP et WSDL 1 9 4 Web Services Resources Framework WSRF C est un ensemble de sp cifications de WS il introduit la notion des Ressources Services Web Ressource WS pour g rer les informations sur l tat de la ressource Une ressource tat associ e un WS est connue comme tant Ressource WS 20 Les sp cifications Services Web sont Propri t s des Ressources WS WS ResourceProperties Elles d crivent le concept des Ressources WS et comment des ressources tat sont associ es des Services Web De m me elles d crivent comment les propri t s d un Service sont trouv es modifi es et supprim es d une ressource par l utilisation des descriptions de ses donn es internes Le but des WS ResourceProperties est de standardiser les concepts 21 terminologies op rations WSDL et XML sont utilis s pour d finir la projection des propri t s des ressources il est associ l interface du WS ainsi qu aux messages d finissants les demandes des services Dur e de vie des Ressources WS WS ResourceLifetime C est la p riode entre la cr ation de l instance de Ressource WS et sa destruction Les sp
39. des r f rences sur les WS publi s Le service demandeur est responsable de trouver une description de WS publi aupres d un ou plusieurs marqueurs de service ce dernier utilise ces descriptions pour invoquer les services indiqu s par le service fournisseur Publication Enregistrer les WSRF du Service par des invocations via SOAP Localisation Utilisation de SOAP Demandes Utilisation de SOAP ervice Fournisset Repenses Utilisation de SOAP ervice Demandet Figure 1 5 Service oriented architecture SOA 29 Chapitrel La technologie des grilles Le service marqueur est responsable de publier les descriptions des Services Web qu il marque il donne la possibilit aux services demandeurs de chercher dans les collections contenants les descriptions des Services il est l interm diaire entre les services demandeurs et les autres fournisseurs de services une fois la relation est obtenue l interaction sera direct avec les demandeurs et les fournisseurs des services Les op rations possibles entre les trois types de services sont la publication la recherche et la connexion des services La publication est effectu e par les services fournisseurs ils publient les caract ristiques les descriptions et les fonctionnalit s des WS dans le registre UDDI la seconde op ration est la recherche ou la localisation elle est effectu e par les services demandeurs pour localiser un WS fournissant
40. e de quatre n uds dot s d un syst me d exploitation Linux et d outils de d veloppement B L Intergitiel Globus Il fournit des services de grille qui permettent l exploitation des ressources Avec les diff rents modules de Globus les services de la plateforme peuvent transf rer des fichiers g rer l ex cution des t ches s curiser les transactions et r cup rer les informations L installation de Intergitiel Globus est d taill e dans l Annexe A C La couche traitement Processing 81 Chapitre4 Syst mes CBIR base de grilles Elle contient des services de grille destin s a r aliser les traitements basiques en imagerie On trouve a ce niveau une impl mentation de diff rentes m thodes de raisonnement et de prise de d cision elles sont utilis es pour la reconnaissance et la classification des images Cette couche re oit des requ tes de la couche sup rieure elle fait appel au service demand qui procede via la couche inf rieure cette derniere lui fournit les ressources de calcul et du stockage n cessaires Les r sultats sont structur s et adapt s pour tres bien exploit s organis s combin s si n cessaire avec d autres r sultats et pr sent s l utilisateur final La couche Processing comporte deux principaux modules 3 1 IAM Module d analyse des images il contient des services de grille o chacun est responsable de r aliser une op ration en imagerie ce module p
41. et une base de donn es pour sauvegarder les informations concernant les images index es L indexation se fait sur une ou plusieurs bases d images seules ou avec des fichiers seg issus d une segmentation d j effectu e Le service d indexation proc de comme suit Si les images ne sont pas segment es il fait appel a la couche processing pour lancer les op rations avec les parametres de pr traitement et de segmentation par d faut 88 Chapitre4 Syst mes CBIR base de grilles Pour chaque image a indexer il appel le Service de d tection des r gions optimales et le service d extraction de caract ristiques de la couche Processing Cette tape r sulte un fichier descripteurs par r gion optimale et un autre pour toute l image Il appel le service de calcul de distance et du classification des images une image peut tre classifi e sous plusieurs classes en affectant un pourcentages De m me une image peut tre affect e une ou plusieurs autres classes apr s consultation de l ontologie L objectif de l ontologie est de mod liser un ensemble de connaissances dans un domaine donn Pour un objet on d finit les mots cl s similaires ses composants et son contexte pour rendre le processus de recherche et d indexation plus efficaces Le service d indexation cr e des nouvelles entr es dans la base des images index es il sauvegarde des informations utiles comme le pourcentage d
42. fichiers sont cr s rw r r root root 0 jui 21 10 20 hostcert pem rw r r root root 1406 jui 21 10 20 hostcert_request pem 1 root root 887 jui 21 10 20 hostkey pem La signature du certificat du h te se fait par l utilisateur globus de la machine 4 donc nous devons d placer les deux fichiers r sultant hostcert_request pem et usercert_request pem de la machine poste la machine poste4 et les signer par l utilisateur globus globus poste4 grid ca sign in tmp hostcert_request pem out tmp hostsigend pem Le r sultat sera To sign the request please enter the password for the CA key The new signed certificate is at home globus globus simpleCA newcerts 05 pem Apres la signature nous remplacons le fichier sign hostsigned pem par le fichier hostcert pem de la machine poste Nous pla ons hostsigned pem sous tmp et nous ex cutons la commande Il faut s assurer que les fichiers hostcert pem hoscert_request pem et hostkey ont respectivement les priorit s suivantes 644 644 et 400 Une priorit excessive ou manquante peut g n rer des erreurs de permission De m me nous demandons le certificat pour les autres utilisateurs de la machine poste On lance la commande suivante sous l utilisateur globus de la seconde machine globus poste grid cert request ca force cn globus_poste R sultat nondefaultca true The availab
43. figure 4 22 montre la relation entre le service d information et de synchronisation avec les services de l Intergitiel Globus les services du module contr le et les services de la couche Processing GRAM Aaa Globus Informations Jobs Files d attente CPUs M moire physique 5 14 Traitement 1 Collecte des informations et d signation des h tes les moins charg s 2 V rification de l existence de donn es dur les h tes cibles 3 Lancement de la r plication de donn es 4 Lancement des Jobs et des instances des services sur les h tes cibles 5 Transmission des descripteurs de r sultats Figure 4 22 collection des informations aupr s du service MDS v rification de l existence des donn es et lancement des t ches sur les h tes moins charg s D Application Cette couche fournit le c t client des services tels que celui responsable de l indexation la recherche la gestion des classes Avec ces interfaces GUI cette couche permet de sp cifier les param tres utiles pour l ex cution des services de la couche contr le Apres saisi des parametres elle appel le service SIS en utilisant son URI 92 Chapitre4 Syst mes CBIR base de grilles 4 4 R sultats Dans cette section on va pr senter les r sultats obtenus pour plusieurs sc narios d ex cution La grille de test install e est compos e de quatre machines dont les caract risti
44. gpt build gt REMOVING empty package globus_simple_ca_637244ab_setup noflavor doc gpt build gt REMOVING empty package globus_simple_ca_637244ab_setup noflavor pgm_ static gpt build gt REMOVING empty package globus_simple_ca_637244ab_setup noflavor rtl Puis la commande globus poste GLOBUS_LOCATION sbin gpt postinstall Le r sultat sera running usr local globus 4 0 6 setup globus setup ssl utils 637244ab Changing to usr local globus 4 0 6 setup globus setup ssl utils Configuring ssl utils package Running setup ssl utils sh scripts KR K K KE E E KE E K K KE K EK K K K K K E K E KE E K K EK K K K K E K E KE E KE K K K K EK K K K K K K K K K K KK K K K K KK K K K K KK K K K K K K K Note To complete setup of the GSI software you need to run the following script as root to configure your security configuration directory usr local globus 4 0 6 setup globus_simple_ca_637244ab_setup setup gsi 117 ANNEXE A For further information on using the setup gsi script use the help option The default option sets this security configuration to be the default and nonroot can be used on systems where root access is not available gt K gt K OK gt K OK gt K ok 2K ok gt K gt K gt K gt K ok ok gt K ok gt K OK gt K OK OK OK gt K 2K gt K OK gt k OK OK gt K gt K OK gt K OK OK OK gt K OK gt K gt K OK OK OK OK OK gt K OK gt K OK OK OK OK gt K OK gt K OK OK OK gt K OK gt K OK OK Kk
45. instruction ne peut tre ex cut e qu apr s l ex cution de celle qui la pr c de Single Program Multiple Data SPMD suit ce mod le lorsque le code est identique sur tous les processeurs D composition fonctionnelle Dans la plupart des temps la d composition de domaine n est pas efficace ou m me n est pas applicable certains probl mes Dans les algorithmes de parall lisme fonctionnel la t che est divis e en plusieurs sous t ches ces derniers sont assign es aux processeurs lors leurs disponibilit s et le processeur qui termine le traitement plus vite aura le maximum de t ches ex cuter 4 3 2 Fonctionnalit s de la plateforme La plateforme est con u pour la r alisation des t ches gourmandes en imagerie sur des bases d images locales ou distantes elle doit rependre aux attentes des utilisateurs elle fournit les fonctionnalit s suivantes A Traitement de masse Avec cette fonctionnalit l utilisateur peut r aliser les op rations de base tels que celles de la phase de pr traitement cette derni re inclut la t che d application des filtres en choisissant un algorithme pr cis et impl ment par la plateforme Ainsi l utilisateur peut effectuer d autres manipulations comme la conversion du format des images faire un zoom ajouter un bruit etc De m me l utilisateur peut lancer la segmentation sur un ensemble d images avec la possibilit de varier les valeurs des param tres de la m th
46. le systeme va chercher les cas similaires L utilisateur assigne une valuation des images trouv es pour tre prise en consid ration dans une future recherche e ni ETES Ba 18 6 SIT eee de Cabin rina E Fn d R ee db Ce E i LET Brimi GPS rar 4 for Figure 4 9 Interface Web de syst me MedGIFT Une solution de calcul distribu est propos e elle est utilis e pour extraire les caract ristiques visuelles d une collection d images Les caract ristiques visuelles repr sentent l image dans les bases de donn es et elles sont utilis es pour calculer les distances entre les images Pour 70 Chapitre4 Syst mes CBIR base de grilles optimiser les algorithmes et les param tres utilis s dans la t che d extraction le sp cialiste de l informatique m dicale a besoin d ex cuter la t che d extraction plusieurs fois pour optimiser l ensemble de fonctionnalit s La solution rend cette t che beaucoup plus efficaces et permet de proc der la transformation de toute la collection d images plusieurs fois durant une seule journ e de travail Pour l impl mentation les auteurs ont utilis le middleware ARC pour obtenir un acc s aux ressources informatiques disponibles grace a la collaboration NorduGrid 58 au sein du projet KnowARC Le travail s est fond sur l utilisation de la m thode standard pour d finir les Jobs ARC a l aide de descriptions de Jobs En
47. les paquets et attend un accus de r ception de lautre c t de connexion la destination quand il ne re oit pas l accus il retransmet le paquet jusqu son envoi Dans le cas d une panne dans le r seau le TCP ne peut pas sauvegarder l tat de transfert des paquets et pour cela RFT relance le transfert partir du dernier tat sauvegard La d finition de la taille du cache de TCP peut tre crucial pour augmenter les performances du transfert Ainsi le RFT utilise la fonctionnalit de n gociation automatique ou manuelle offerte par le GridFTP afin de d finir la taille du cache de TCP utilis pour le transfert Niveau syst me de RFT Le syst me contr le les transferts de donn es il peut d tecter la source de l exception qui a interrompu le transfert ces exceptions peuvent tre produites au niveau de la source la destination ou au niveau du troisi me l ment de transfert Le syst me peut red marrer le processus de transfert partir de son dernier tat sauvegard lors du r tablissement de la connexion entre les h tes C Replica Location Service RLS La r plication de donn es joue un r le important dans la gestion des donn es elle permet d augmenter les performances globales des grilles On r plique pour diminuer la charge des n uds contenants les donn es Ainsi elle s curise les donn es en les r pliquant et donc cr er des copies de secoures pour les donn es qu on peut perdre facil
48. me temps avec la moyenne de 70 GB ou 290 000 images durant deux heures 60 Chapitre4 Syst mes CBIR base de grilles i Computer Vision Informatiot Z gt Machine gt D DE j earning Rett leva acs Probabilistic gt lt Language Z N A Inference Processing ce ae 32 Figure 4 2 domaines impl ment s par Imense Imense Ltd combine plusieurs domaines de traitement d images comme montr dans la figure 4 2 il impl mente un syst me original de recherche d images bas sur l analyse automatis e et la reconnaissance du contenu des images ainsi qu un langage de requ tes bas sur les ontologies Cette m thode d analyse inclut la reconnaissance des propri t s visuelles tel que la couleur la texture et les formes la reconnaissance de mat riels tels que le gazon le ciel et la classification des sc nes base de leurs contenus par exemple la plage la for t le couch du soleil Le syst me utilise les relations linguistiques et s mantiques entre les objets pour interpr ter les requ tes des utilisateurs et aussi pour chercher les images selon le r sultat de l analyse s mantique de la requ te pr c dente Comme le syst me est extensible l int gration de nouveaux modules pour la classification l analyse des images ou des metadata est facilement r alisable Comme montr par la figure 4 3 Imense Ltd poss de plusieurs modules dans le but d analyser une image selon son conte
49. op ration Le deuxi me test consiste lancer la segmentation en incluant le temps de transfert de donn es et des r sultats Le test porte sur 10 000 images avec une taille de 34 8 MO elles sont situ es sur un seul poste la o la demande de segmentation t marqu e Pour lancer la segmentation sur cet ensemble d images le service d information et de synchronisation SIS localise l emplacement des donn es sur la grille la source de donn e est sp cifi e dans la requ te de l utilisateur par la suite SIS localise les r plicats partage le domaine des donn es 100 images par domaine lance les instances du service de segmentation sur les noeuds qui contiennent les donn es et enfin il lance la r plication des donn es d un domaine pr cis ainsi qu une instance de service par domaine r pliqu 94 Chapitre4 Syst mes CBIR base de grilles Les r sultats de cette op ration sont r cup r s aupr s du n ud qui a demand l ex cution de la t che de segmentation Le tableau 3 illustre les r sultats obtenus 1l pr sente le temps CPU de l ex cution sur chaque n ud le temps de transfert et de r cup ration de donn es le nombre d instances de service de segmentation lanc es sur chaque n ud et la fin un r capitule du temps global pour la segmentation de 10 000 images sur la grille Le tableau 3 n illustre pas la chronologie des tapes avec lesquelles passe la segmentation ni le
50. outre ils ont utilis un gestionnaire de Job dans la grille pour coordonner leurs ex cutions distribu es Le Job est ex cut de fa on s quentielle sur une ressource distante de la grille Un Job typique a un ou plusieurs fichiers d entr es et un ex cutable il est utilis pour produire le s fichier s de sortie s Un Job ARC bas sur la grille est d fini par une description avec XRSL extended resource specification language Chaque Job a sa propre sp cification et peut tre ex cut ind pendamment des autres Jobs executable for the feature extraction executable python local py Ist argument images for feature extraction arguments imgs 0 tar mputs images extractor source local coordinator inputFiles imgs 0 tar src tar ocal py stdout file for storing the results stdout stdout gift O tar outputFiles fts 0 tar gsiftp dn ch fts O tar 10 stderr geneva giftO err 11 jobname for easy monitoring 12 jobname geneva giftO 1 2 3 4 5 6 7 8 9 Figure 4 10 Une description XRSL de Job pour l ex cution distribu e avec l utilisation du middleware ARC La figure 4 10 illustre un exemple de description de Job ARC Chaque Job envoy pour ex cution via le middleware ARC est d fini par une description La planification est r alis e au niveau client ARC Apr s que le client choi
51. pour l installation de certificat d autorit A partir de la machine 4 nous copions le fichier globus_simple_ca_637244ab_setup 0 19 tar gz qui se trouve sous home globus globus simpleCA on le copie sur les machines sur lesquelles nous allons installer le certificat sous home globus puis nous lan ons la commande suivante sous globus Nous prenons comme exemple l installation du certificat sur la machine poste root poste4 sbin scp home globus globus simpleC A globus_simple_ca_637244ab_setup 0 19 tar gz root poste Iri net home globus globus poste GLOBUS_LOCATION sbin gpt build globus_simple_ca_637244ab_setup 0 19 tar gz gcc32dbg Nous obtenons gpt build gt Changing to home globus BUILD globus_core 4 30 gpt build gt BUILDING FLAVOR gcc32dbg gpt build gt Changing to home globus BUILD gpt build gt REMOVING empty package globus_core gcc32dbg pgm_ static gpt build gt REMOVING empty package globus_core noflavor doc gpt build gt CHECKING BUILD DEPENDENCIES FOR globus_simple_ca_637244ab_setup gpt build gt Changing to home globus BUILD globus_simple_ca_637244ab_setup 0 19 gpt build gt BUILDING globus_simple_ca_637244ab_setup gpt build gt Changing to home globus BUILD gpt build gt REMOVING empty package globus_simple_ca_637244ab_setup noflavor data gpt build gt REMOVING empty package globus_simple_ca_637244ab_setup noflavor dev
52. qui est une extension du Resource Specification language RSL il est bas sur le langage XML 47 Chapitre2 Globus Avec JDD on peut sp cifier le fichier ex cutable et les ressources v rifiant les conditions exprim es en RSL tel qu une taille de m moire vive pr cise ou un type de ressource mat rielle ou un espace disque de sauvegarde etc Pour la communication entre les services dans la grille et pour standardiser l invocation des services de middleware Globus utilise MPICH G2 dont l architecture repose sur l impl mentation de MPI Message Passing Interface l architecture en couche de MPICH est illustr e par la figure 2 9 User The MPI interface defined by the MPI standards implements the MPI interface The MPICH layer Abstract Device Interface ADI A Particular Platform MPP SMP Cluster N Figure 2 9 Architecture en couche de MPICH 84 MPI est un standard permettant la communication entres services via l change de message MPI fait recours aux m thodes et aux sp cifications de l Abstract Device Interface ADI 85 2 3 4 Le module d information Monitoring and Discovery System MDS4 ou WS MDS Les m canismes de contr le et de d couverte d informations sont concern s par l obtention la distribution l indexation l archivage et par d autres op rations sur des informations li es aux configu
53. ressources mais en r alit 1l acc de aux diff rentes ressources r parties sur le r seau tout en respectant les protocoles de s curit et d acces d finis par l Intergitiel 24 Chapitrel La technologie des grilles e Open Grid Services Architecture OGSA Open Grid Services Infrastructure OGSD Web Services WS 1 9 1 Pr sentation L apparition de l architecture OGSA a men vers de grandes volutions dans le domaine des grilles OGSA est une norme adopt e en 2002 par Global Grid Forum GGF L architecture OGSA se base principalement sur les technologies et les concepts des Services Web Elle consid re la grille comme un ensemble de services Un service de grille est consid r comme un Service Web qui fournit un ensemble d interfaces conformes aux standards utilis s 17 Les principales composantes de l architecture OGSA sont l Open Grid Services Infrastructure OGSI les services et les sch mas OGSA comme d montr dans la figure 1 3 OGSA repose sur les standards utilis s par les services Web et les paradigmes qui sont largement d ploy s dans le domaine des syst mes distribu s et qui fournissent des m canismes de base pour invoquer et d crire les services de grille Les services OGSA doivent tres d ploy s tout au long de la grille et doivent communiquer entre eux via des standards de communication Services sp cialis s et sp cifiques aux Autres domaine d application Sch mas
54. services CASService 4 https 192 168 0 103 8443 wsrf services ContainerRegistryEntryService 5 https 192 168 0 103 8443 wsrf services ContainerRegistryService 6 https 192 168 0 103 8443 wsrf services CounterService 7 https 192 168 0 103 8443 wsrf services DefaultIndexService 8 https 192 168 0 103 8443 wsrf services DefaultIndexServiceEntry 9 https 192 168 0 103 8443 wsrf services DefaultTriggerService 10 https 192 168 0 103 8443 wsrf services DefaultTriggerServiceEntry 11 https 192 168 0 103 8443 wsrf services DelegationFactoryService 12 https 192 168 0 103 8443 wsrf services DelegationService 13 https 192 168 0 103 8443 wsrf services DelegationTestService 14 https 192 168 0 103 8443 wsrf services InMemoryServiceGroup 15 https 192 168 0 103 8443 wsrf services InMemoryServiceGroupEntry 16 https 192 168 0 103 8443 wsrf services InMemoryServiceGroupFactory 17 https 192 168 0 103 8443 wsrf services IndexFactoryService 18 https 192 168 0 103 8443 wsrf services IndexService 19 https 192 168 0 103 8443 wsrf services IndexServiceEntry 20 https 192 168 0 103 8443 wsrf services ManagedExecutableJobService 21 https 192 168 0 103 8443 wsrf services ManagedJobFactoryService 22 https 192 168 0 103 8443 wsrf services ManagedMultiJobService 23 https 192 168 0 103 8443 wsrf services ManagementService 24 https 192 168 0 103 8443 wsrf services Notific
55. signature du certificat de l h te root poste4 cp etc grid security hostcert_request pem tmp globus poste4 grid ca sign in tmp hostcert_request pem out tmp hostsigend pem Le r sultat sera To sign the request please enter the password for the CA key The new signed certificate is at home globus globus simpleCA newcerts 01 pem Nous d pla ons le fichier contenant la cl sign e hostsigned pem vers le fichier qui va contenir le certificat sign de l h te hostcert pem root poste4 globus cp tmp hostsigend pem etc grid security root poste4 globus mv etc grid security hostsigend pem etc grid security hostcert pem Le r sultat est mv craser etc grid security hostcert pem y Nous v rifions le contenu de etc grid security rw r r root root 2682 jui 20 22 55 hostcert pem rw r r root root 1407 jui 20 22 46 hostcert_request pem 1 root root 891 jui 20 22 46 hostkey pem D G n ration du certificat pour l utilisateur globus iv Demande du certificat pour l utilisateur globus avec la commande suivante globus poste4 grid cert request ca Le r sultat de cette commande est comme suit nondefaultca true The available CA configurations installed on this host are 1 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA Enter the index number of the CA you want to sign your cert request 1 Usin
56. toutes les informations g r es et chang es dans la plateforme Avec le protocole SOAP et la technologie Web Service l utilisation des documents XML pour stocker et changer des informations rend la plateforme compl tement ind pendante et d coupl e de toute structure de base de donn es particuli re d ploy e l int rieur de chaque h pital 75 Chapitre4 Syst mes CBIR base de grilles 4 3 Conception de plateforme CBIR bas e sur Globus 4 3 1 Introduction La plateforme est destin e aux traitements de masse des images cela concerne la recherche a base de contenu et l indexation pour de grandes bases d images La nature s quentielle des syst mes CBIR rend l op ration de la recherche tr s lourde et moins utile comme dans le cas des systemes de traitement des images m dicales ou la qualit des r sultats et le temps de repense pr sentent un facteur important a voire critique La plateforme a pr senter rentre dans le cadre des syst mes CBIR gourmands ils demandent une grande puissance de calcul afin de cl turer des traitements co teux sur des images de diff rents types et de diff rentes tailles Partant de l tape de pr traitement l analyse jusqu la reconnaissance et la classification des images le syst me a besoin de g rer plusieurs ressources de nature h t rog nes La technologie des grilles est largement utilis e dans les Systemes CBIR pour partager synchroniser et ex cuter le
57. une vari t de protocoles connus par L Internet Engineering Task Force IETF Il fournit une architecture bien d finie pour les extensions des protocoles tel que FTP 4 une grande partie des protocoles d finis par l IETF ont t utilis s 5 il ajout des nouvelles fonctionnalit s qui convient au mieux au transfert distribu dans les grilles Contr le de transfert de donn es Third party il permet un utilisateur ou une application dans un site donn d effectuer g rer et contr ler le transfert de donn es entre deux h tes distants de diff rents sites Authentification int grit de donn es confidentialit de donn es Grid FTP supporte Generic Security Services GSS et des API d authentification de contr le de canaux de transfert 11 supporte aussi le contr le utilisateur du niveau d int grit et de confidentialit Transfert lign de donn es Striped data transfer les donn es doivent tre transf r es en plusieurs reprises entre les serveurs Outre GridFTP d finit des extensions de protocoles qui supportent le transfert entre plusieurs serveurs de donn es fractionn es Le transfert parall le de donn es GridFTP supporte le parall lisme via des commandes FTP ou par des extensions canaux 40 B Chapitre2 Globus Transfert partiel des fichiers le transfert partiel des fichiers est d une importance lev e il est utile dans le cas ou une application veut acc
58. 7 pages 261 268 Geneva Switzerland April 2007 159 Conclusion et perspectives 73 J Montagnat V Breton and I E Magnin Partitioning medical image databases for content based queries on a grid International Journal of Supercomputer Applications 44 2 154 160 2005 74 Xin Zhou Mikko Juhani Pitkanen Adrien Depeursinge Henning M ller A Medical Image Retrieval Application Using Grid Technologies To Speed Up Feature Extraction CT4Health Manila Phillipines 2008 75 http www vmware com 76 http www gnu org software gift 77 http www imageclef org 78 http www tcs hut fi aehyvari gridjm 79 Montagnat F Bellet H Benoit Cattin V Breton L Brunie H Duque Y Legre I Magnin L Maigne S Miguet J Pierson L Seitz T Tweed Medical images simulation storage and processing on the European DataGrid testbed J Journal of Grid Computing 4 2 387 400 Springer Verlag ISSN 1570 7873 2004 80 EDG 2001 European DataGrid IST project FP5 jan 2001 feb 2004 http www edg org 81 C cile Germain Vincent Breton Patrick Clarysse Bertrand Delhay Yann Gaudeau Tristan Glatard Emmanuel Jeannot Yannick Legr Johan Montagnat Jean Marie Moureaux Angel Osorio Xavier Pennec Jo l Schaerer Romain Texier Grid Analysis of Radiological Data in Handbook of Research on Computational Grid Technologies for Life Sciences Biomedicine and Healthcare chapter XIX IGI edition 2009 82 C G
59. 8 66 I Foster and C Kesselman Globus A metacomputing infrastructure toolkit The International Journal of Supercomputer Applications and High Performance Computing 11 2 115 128 Summer 1997 67 M Romberg The unicore grid infrastructure Scientific Programming 10 2 149 157 2002 68 M Ellert M Grgnager A Konstantinov B Konya J Lindemann I Livenson J Langgaard Nielsen M Niinim aki O Smirnova and A W a an anen Advanced resource connector middleware for lightweight computational grids Future Generation computer systems 23 2 219 240 2007 69 S G Erberich J C Silverstein A Chervenak R Schuler M D Nelson and C Kesselman Globus medicus federation of dicom medical imaging devices into healthcare grids In Healthgrid 2007 pages 269 278 Geneva Switzerland April 2007 70 I Blanquer V Hernandez D Segrelles and E Torres Trencadis secure architecture to share and manage dicom objects in a ontological framework based on ogsa In Healthgrid 2007 pages 115 124 Geneva Switzerland April 2007 71 H M uller A Garcia J P Vallee and A Geissbuhler Grid computing at the university hospitals of geneva In Proceedings of the Ist healthgrid conference pages 264 276 Lyon France January 2003 72 H Mvuller M Pitkanen X Zhou A Depeursinge J lavindrasana and A Geissbuhler Knowarc Enabling grid networks for the biomedical research community In Healthgrid 200
60. AMA fournit 23 36 a Collection de services GRAM pour la gestion des Jobs Un service gestionnaire de job pour contr ler le cycle de vie d un job Un service de transfert de fichiers qui support l implication des fichiers dans les ressources utilis es durant les calculs Pour cela il s interface avec le RFT pour un transfert performant des fichiers avant et apr s l ex cution du job 46 Chapitre2 Globus Des services de gestion de certificat utilis s pour contr ler la d l gation des droits issus des applications des utilisateurs b Adaptateurs d Ordonnanceur GRAM fournit une architecture plug in pour permettre l extension avec les adaptateurs afin de s interfacer avec une multitude d Ordonnanceur Pour la gestion de la s curit des ex cution Contrairement GRAM2 qui utilise le service GSI et des sockets GRAM4 assure la s curit des op rations en utilisant des fonctionnalit s WSRE afin d authentifier des requ tes utilis es pour la gestion des jobs et les requ tes des jobs elles m mes il met en place un syst me local de s curisation des domaines qui permet d ex cuter les jobs dans un contexte de s curit local les m canismes de s curit utilis s minimisent les privileges donn s aux jobs et donc minimise les risques des programmes malicieux GRAM4 utilise la d l gation des droits du client pour acc der aux ressources d sir es le client doit aussi d l guer les droits aux jobs eu
61. Afin d optimiser le temps de reponse des traitements de masse sur les images d une plateforme CBIR Content Based Image Retrieval on a fait recours a la technologie des grilles Dans ce travail on a focalis notre tude sur l Intergitiel de grille Globus Toolkit dans sa version 4 on a tudi son architecture et ses modules afin de pouvoir l installer et d velopper une application qui r pond a nos besoins Cette application est consid r e comme une plateforme sur laquelle on peut personnaliser les traitements des images et bien entendu l indexation et la recherche base de contenu Avec ce travail on a exploit les ressources de la grille de test install e cette exploitation est r alis e via des m canismes offerts par Globus afin de couvrir tous les besoins en terme de ressource de calcul ou de stockage et faire une indexation distribu e d un nombre exponentiellement croissant des images avec des performances lev es et donc la r ponse a plusieurs questions des moteurs de recherches des images et des syst mes CBIR en g n ral Mots cl s Grille de calcul Intergitiel Globus Web service service de grille WSRF CBIR Indexation Segmentation SOMMAIRE Abstract The images represent a large part of all digital data on the Web Currently the basis images may contain billions of images hold several terabytes of disk space The indexing of a large number of images in databases in distributed
62. ENT Your x Your Your Your Your Java Python Java C Python Client x Client Client Client Client a ee i a X 509 credentials Interoperable commons authentication WS l compliant SOAP messaging Your Your Java C Service Service ee na SERVER ET Java Services in apache Services in Apache Axis rom hosting lc Services using Plus GT Libraries amp Handlers GT Libraries 1 GT Libraries Figure 2 3 Vue Client Serveur de l architecture de Globus 4 27 La partie basse de l architecture repr sente un ensemble d impl mentations de Services ces derniers sont fournis pour la gestion de la grille comme le service GRAM pour la gestion des ex cutions le service de s curit GSI des services pour la gestion des donn es GridFtp RFT RLS DRS et d autres pour construire le syst me d information de la grille ils sont responsables de la d couverte et la supervision des informations concernant tous les services d ploy s dans la grille comme le module d information MDS4 qui fournit les services d indexation et de recherche Index Trigger WebMDS gestion des certificats MyProxy Delegation SimpleCA et la gestion des instruments GTCP La plupart des services cit s sont d velopp s en Java 38 11 111 Chapitre2 Globus Trois conteneurs pour h berger les services des utilisateurs crits en Java Python et le langage C ces conteneurs fournissent des impl mentations de s curit de gestion e
63. Group Note 11 February 2004 156 Conclusion et perspectives 20 Maozhen Li Brunel University UK Mark Baker University of Portsmouth UK The Grid Core Technologies 2005 21 Steve Graham IBM Editor Karl Czajkowski Globus USC ISI Donald F Ferguson IBM Ian Foster Globus Argonne Jeffrey Frey BM Frank Leymann IBM Tom Maguire IBM Nataraj Nagaratnam IBM Martin Nally BM Tony Storey IBM Igor Sedukhin Computer Associates International David Snelling Fujitsu Laboratories of Europe Steve Tuecke Globus Argonne William Vambenepe Hewlett Packard Sanjiva Weerawarana IBM Web Services Resource Properties WS ResourceProperties Version 1 1 03 05 2003 22 I Foster C Kesselman J Nick S Tuecke Open Grid Service Infrastructure WG Global Grid Forum The Physiology of the Grid An Open Grid Services Architecture for Distributed Systems Integration June 22 2002 23 globus org 24 Ian Foster Globus Alliance Argonne National Laboratory Editor Jeffrey Frey IBM Editor Steve Graham IBM Editor Steve Tuecke Globus Alliance Argonne National Laboratory Editor Karl Czajkowski Globus Alliance USC ISI Don Ferguson IBM Frank Leymann IBM Martin Nally IBM Igor Sedukhin Computer Associates International David Snelling Fujitsu Laboratories of Europe Tony Storey IBM William Vambenepe Hewlett Packard Sanjiva Weerawarana IBM Modeling Statefu
64. Les filtres d accentuation des bords telque le filtre de Sobel et Laplace leur objectif est de mettre en vidence les d tails dans une image ou d augmenter le d tail qui a t troubl par erreur ou comme un effet naturel d une m thode particuli re d acquisition d image 42 3 2 2 Filtrage dans le domaine fr quentiel Utilis sur les images au niveau de gris et les images binaires pour enlever le bruit 43 Le principe du filtrage en fr quences d une image est de prendre la TF Transform e de Fourier de l image filtrer multiplier le spectre obtenu par la fonction de transfert du filtre puis prendre la TF inverse pour produire l image filtr e Le lissage par r duction du contenu hautes fr quences ou le rehaussement de contours par augmentation des composantes hautes fr quences vis a vis des basses fr quences proviennent de concept directement reli s a la transform e de Fourier En effet l id e de filtrage lin aire est beaucoup plus intuitive dans le domaine fr quentiel En pratique les masques spatiaux sont utilis s beaucoup plus que la TF du fait de leur simplicit d impl mentation et de leur rapidit Mais la compr hension des ph nom nes dans le domaine fr quentiel est indispensable pour r soudre des problemes difficilement appr hendables avec des techniques spatiales 3 3 Segmentation La segmentation des images est l une des tapes les plus importante en traitement d images ell
65. Radiographies et cherchent les similitudes dans les images des patients pr c dents 69 Chapitre4 Syst mes CBIR base de grilles Le projet MedGIFT des h pitaux universitaires de Geneva a adopt la recherche des images a base de contenu Le d partement de Radiologie produit en 2007 plus de 70 000 images par jour Un tel nombre rend la recherche des images a base de contenu une tache gourmande leurs indexation n cessite plus de 20 heures de calcul avec des CPUs performants Les outils du calcul distribu peuvent fournir une solution possible pour couvrir les demandes excessives des ressources de calcul dans les syst mes CBIR L environnement de calcul distribu utilis est ARC advanced resource connector Le projet MedGIFT essai d utiliser les nouvelles m thodes et technologies d informations dans le domaine m dical Pour mettre ces syst mes en usage r el dans le domaine m dical une infrastructure de recherche a t mise en place La recherche se fait en laborant d avantage de grains fins et donc souvent de calculs plus co teux des descripteurs visuels destin s a une future utilisation En outre le nombre d images traiter est en constante augmentation et le projet vise a r pondre aux besoins de ressources de calcul et de stockage La figure 4 9 illustre l interface Web de l utilisateur de l application MedGIFT Le m decin lance une recherche en fournissant une requ te image a base de laquelle
66. _schema sql Le r sultat sera psql usr local globus 4 0 6 share globus_wsrf_rft rft_schema sql 6 NOTICE CREATE TABLE PRIMARY KEY will create implicit index requestid_pkey for table requestid CREATE TABLE psql usr local globus 4 0 6 share globus_wsrf_rft rft_schema sql 11 NOTICE CREATE TABLE PRIMARY KEY will create implicit index transferid_pkey for table transferid CREATE TABLE psql usr local globus 4 0 6 share globus_wsrf_rft rft_schema sql 30 NOTICE CREATE TABLE PRIMARY KEY will create implicit index request_pkey for table request CREATE TABLE psql usr local globus 4 0 6 share globus_wsrf_rft rft_schema sql 65 NOTICE CREATE TABLE PRIMARY KEY will create implicit index transfer_pkey for table transfer CREATE TABLE psql usr local globus 4 0 6 share globus_wsrf_rft rft_schema sql 71 NOTICE CREATE TABLE PRIMARY KEY will create implicit index restart_pkey for table restart CREATE TABLE CREATE TABLE CREATE INDEX On v rifie les headers du fichier jndi config xml par la commande globus poste4 globus_wsrf_rft grep C 3 password GLOBUS_LOCATION etc globus_wsrf_rft jndi config xml Le r sultat sera 130 ANNEXE A lt parameter gt lt parameter gt lt name gt password lt name gt lt value gt foo D Test de fonctionnement du RFT Avant de tester le bon fonctionnement de rft on doit relancer le container des web services avec l option restart s il es
67. a gestion de ressources et le traitement distant de donn es Les deux Fafner et de I I WAY sont tr s innovants et fructueux chaque projet a contribu ouvrir la voie un grand nombre d autres projets qui ont connus le succ s dans le domaine des grilles Fafner a t le pr curseur de SETI home 9 et Distributed Net 10 I WAY pr c de Globus 11 et L gion 12 1 5 2 Seconde g n ration Dans la seconde g n ration plusieurs applications bas es sur la grille qu on cannait aujourd hui ont t d velopp es vu l volution des technologies des r seaux et l adoption des standards connus l chelle mondiale la grille de deuxi me g n ration ait vu comme tant une infrastructure distribu e qui supporte des applications demandant des ressources distribu es grande chelle Trois probl matiques ont distingu cette tape 13 H t rog n it L infrastructure de la grille implique l introduction de multiples ressources de nature h t rog ne L Intergitiel est la couche logicielle interm diaire entre le syst me d exploitation et les applications Il permet de cacher l h t rog n it et donne une vue d homog n it aux applications des utilisateurs en les fournissant une vari t de services et d interfaces standards 13 Chapitrel La technologie des grilles Passage l chelle La grille peut utiliser des milliers voir million de ressources ce qui provoqu
68. age qui ne poss dent pas d une relation physique mais juste de point de vue logique et pour ce faire 1l est n cessaires de disposer d une architecture mat rielle permettant l interconnexion entre ces ressources et d une architecture logicielle afin de g rer et contr ler cet ensemble Chapitrel La technologie des grilles e Diff rents types de grilles informatiques On distingue trois types de grille 1 3 1 Grilles d information La notion de grille d information consiste en le partage de l information travers un r seau Le net est bas sur ce principe de partage de connaissances toute organisation peut publier les connaissances qu elle poss de afin de les rendre disponibles pour d autres unit s en y fournissant un ensemble d outils pour manipuler rechercher interroger ces connaissances Ce genre de plateforme grille doit tre dot de m canismes pour g rer de grandes masses d informations les indexer les classer et les trouver efficacement en cas de besoin 1 3 2 Grilles de donn es Ce type de grille appel caches distribu s permet le partage de donn es entre plusieurs noeuds plus une donn e est demand e plus elle sera r pliqu e pour la rendre plus disponible et facilement accessible aucun calcul n est effectu Les grilles de donn es ont pour objectif de maximiser la r cup ration d objets tout en assurant une coh rence des donn es dans un contexte multi machines Les r seaux d
69. al Journal of Supercomputer Applications 11B 1997 12 Grimshaw A et al A997 The legion vision of a worldwide virtual computer Communications of the ACM 40A 13 David De Roure Mark A Baker Nicholas R Jennings and Nigel R Shadbolt The evolution of the Grid Grid Computing Making the Global Infrastructure a Reality 2003 14 Daniel Minoli A Networking Approach to Grid Computing Publi par John Wiley amp Sons Inc Hoboken New Jersey 2005 15 D Snelling J Almond Unicore secure and uniform access to distribuated resources via the www October 1998 16 D Erwin Ed UNICORE Plus final Report Uniform Interface to Computing Resources Forschungszentrum J lich 2003 17 The Open Grid Services Architecture and Data Grids with Leanne Guy in Grid Computing Making The Global Infrastructure a Reality Edited by Fran Berman p 395ff John Wiley amp Sons 2003 18 Dennis Gannon Kenneth Chiu Madhusudhan Govindaraju Aleksander Slominski Department of Computer Science Indiana University Bloomington IN 47405 An Revised of The Open Grid Services Architecture October 25 2002 19 David Booth W3C Fellow Hewlett Packard Hugo Haas W3C Francis McCabe Fujitsu Labs of America Eric Newcomer until October 2003 Iona Michael Champion until March 2003 Software AG Chris Ferris until March 2003 IBM David Orchard until March 2003 BEA SystemsWeb Services Architecture W3C Working
70. alit s de 1a plateforme ne Sa A tt 78 As AE Ae MENU nmas SC ea de N EEE 78 B Reconnaissance classification et indexation 79 Cy LRCCH TONE SR nn A came ne nn A a 79 4 3 3 Structure de la DAT TOME uen N 80 4 3 4 Architecture de la plateforme lt in cuneate Me N 80 A Ressources mat riels et logiciels La grille 81 Be L nene FOODS da aie ae ti 81 SOMMAIRE C Darcouche traitement Processine nn did 81 DEA COUCHE COMMON di dr di ri dette 87 E APA A ON wre eer meee tn see ene de terre oer ee fee doi nc dede 92 We 7 lt SAS D le ne de im a 93 4 5 CONCLUSION Den E ments aa er A dde db D eer Co T 100 J ANNEXE R 22 A eee 102 5 1 Manuel d installation de I Intergitiel Globus GT 4 0 6 sous Linux Fedora core4 Jel 12 A 102 Quelques commandes Linux conna tre Pr requis ecececeinius 102 Mise Ci DIAC QU Te SCALE end cette etant 103 Installation da systeme LINUX sete nn nd i ie Rated iekawaceerbeltn 103 Confisuration drese a inst caw held cette een 104 Ous mecessatres ennemi medio 104 Pr paration de l installation de globus toolkit 4 0 6 cecccccsssseeeeeeeeeees 104 Creation des comptes UlLMISALCUTS nn nine a A LAN 105 Cr ation des r pertoires d installation 105 Installation des outils apache Java Apache ant et Postgresq 105 L mstallation de Globus Toolkit esiin 80 107 Lancement du script d installation ccccccccccccccciiiiccccccciii
71. all 1 Package s Update 0 Package s Remove 0 Package s Total download size 123 k Is this ok y N y Downloading Packages 1 1 xinetd 2 3 14 14 f 100 123 kB 00 04 warning rpmts_HdrFromFdno Header V3 DSA signature NOKEY key ID 4f2a6fd2 Importing GPG key 0x4F2A6FD2 Fedora Project lt fedora redhat com gt from etc pki rpm gpg RPM GPG KEY fedora Is this ok y N y Importing GPG key 0xDB42A60E Red Hat Inc lt security redhat com gt from etc pki rpm gpg RPM GPG KEY Is this ok y N y Running rpm_check_debug Running Transaction Test Finished Transaction Test Transaction Test Succeeded Running Transaction Installing xinetd HHHHHHHHHHHHHHH HHHHHHHHHH 1 1 Installed xinetd 1386 2 2 3 14 14 fc8 Complete Nous cr ons un fichier de configuration gridftp sous etc xinetd d avec la commande suivante root poste4 vim etc xinetd d gridftp Et on ajoute le contenu suivant 124 ANNEXE A Nous lan ons xinetd comme suit root poste4 etc init d xinetd start R sultat D marrage de xinetd OK Ou avec root poste4 etc init d xinetd reload R sultat On ajoute le service gsiftp l ensemble des services locaux au niveau du fichier etc services Nous ajoutons la ligne suivante la fin du fichier dans la section Local services Une visualisation du fichier avec la commande tail est possible root poste4 tail etc services Le r sultat e
72. ance minimale et 3 15 min 2 60 min transfert de donn es pour la classification Tableau 5 r sultats d indexation de 50 images par les services de la grille Les r sultats montr s avec ce tableau repr sentent le temps CPU total pour l ach vement des op rations interm diaires telles que la segmentation et l extraction des caract ristiques Le temps total de l ach vement de l indexation obtenu par l ex cution sur quatre machines est pr s de 50 que celui de l indexation s quentielle Ce temps peut aller jusqu 30 dans le cas de donn es plus volumineuses L indexation est effectu e avec un taux d erreur moyen qui varie de 12 27 pour chaque classe cela est d principalement au nombre des images limit utilis pour la construction de la table des classes Les r sultats de la qualit de classification entre dans un autre contexte de recherche et on a impl ment l algorithme le plus reconnu dans la segmentation augmentation des r gions et qui accepte des possibilit s de personnalisation par la variation 98 Chapitre4 Syst mes CBIR base de grilles des conditions de fusion des pixels Pour extraire les caract ristiques visuelles des r gions de l image on a utilis la matrice de co occurrence et 11 propri t s des 14 mises par Haralik 99 Chapitre4 Syst mes CBIR base de grilles 4 5 Conclusion Les grilles de calcul sont un moyen efficace pour ex cuter des ta
73. anges de donn es entre ressources au niveau de la couche Fabrique Les protocoles d authentification sont impl ment s avec les protocoles de communication ils sont n cessaires pour identifier l identit des ressources leurs origines et leurs propri taires Des op rations de cryptographie sont possibles ainsi d autres techniques d authentifications sont impl ment es afin de s curiser l utilisation des ressources et b n ficier au maximum des services de la grille sans risques Un d fit est rencontr envers l impl mentation des protocoles dans la couche connectivit Ainsi une multitude de protocoles est mise en question ce qui implique un besoin de standardisation en se basant sur ceux qui d j existaient plus pr cis ment avec ceux impl ment s par Internet que se soit au niveau r seau transport s curit ou les autres couches On peut citer quelques protocoles utiles pour la s curit des grilles r utilis s ou bas s sur d autres standards d Internet Single sign on SSO c est un m canisme qui simplifie la proc dure d authentification pour l utilisateur au lieu d tre identifi chaque utilisation d un service de la grille le SSO lui permet de ne s authentifier qu une seule fois L identifiant de l utilisateur et ses attributs seront propag s De m me certains m canismes qui impl mentent SSO permettent de fermer toutes les sessions ouvertes de l utilisateur apr
74. ate request has been generated with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN globus_poste If the CN globus_poste is not appropriate rerun this script with the force cn Common Name options Your private key is stored in home globus globus userkey pem Your request is stored in home globus globus usercert_request pem Please e mail the request to the Globus Simple CA ahmed dib Iri annaba net You may use a command similar to the following cat home globus globus usercert_request pem mail ahmed dib Iri annaba net Only use the above if this machine can send AND receive e mail if not please mail using some other method Your certificate will be mailed to you within two working days If you receive no response contact Globus Simple CA at ahmed dib Iri annaba net Les trois fichiers pem g n r s sont les suivants globus poste Is 1 home globus globus Le r sultat est total 20 rw r r globus globus 0 jui 21 10 22 usercert pem rw r r globus globus 1415 jui 21 10 22 usercert_request pem 1 globus globus 963 jui 21 10 22 userkey pem Apr s la g n ration du fichier usercert_request pem nous devons le signer sur la machine 4 nous pla ons usercert_request pem dans tmp du poste4 et nous lan ons la commande globus poste4 grid ca sign in tmp usercert_request pem out tmp usersigend pem Le r sultat sera To sign the request 120
75. ationConsumerFactoryService 25 https 192 168 0 103 8443 wsrf services NotificationConsumerService 26 https 192 168 0 103 8443 wsrf services NotificationTestService 27 https 192 168 0 103 8443 wsrf services PersistenceTestSubscriptionManager 28 https 192 168 0 103 8443 wsrf services ReliableFileTransferFactoryService 29 https 192 168 0 103 8443 wsrf services ReliableFileTransferService 30 https 192 168 0 103 8443 wsrf services RendezvousFactoryService 31 https 192 168 0 103 8443 wsrf services ReplicationService 32 https 192 168 0 103 8443 wsrf services SampleAuthzService 33 https 192 168 0 103 8443 wsrf services SecureCounterService 34 https 192 168 0 103 8443 wsrf services SecurityTestService 35 https 192 168 0 103 8443 wsrf services ShutdownService 36 https 192 168 0 103 8443 wsrf services SubscriptionManagerService 37 https 192 168 0 103 8443 wsrf services TestAuthzService 38 https 192 168 0 103 8443 wsrf services TestRPCService 39 https 192 168 0 103 8443 wsrf services TestService 40 https 192 168 0 103 8443 wsrf services TestServiceRequest 41 https 192 168 0 103 8443 wsrf services TestServiceWrongWSDL 128 ANNEXE A https 192 168 0 103 8443 wsrf services TriggerFactoryService https 192 168 0 103 8443 wsrf services TriggerService https 192 168 0 103 8443 wsrf services TriggerServiceEntry https 192 168 0 103 8443 wsrf services Vers
76. ations de grille orient es service OGSA a utilis l infrastructure OGSI pour d finir des sp cifications techniques a impl menter par les interfaces des noyaux des 31 Chapitrel La technologie des grilles Services de grille cette impl mentation t mise en ceuvre par la boite a outils Globus a partir de sa version 3 GT3 Ci dessous l architecture OGSA impl mentant WSRF plication de Grille Orient es Service Services de la plateforme OGSA Environnement d ebergement Figure 1 6 L architecture OGSA impl mente WSRF 5 WSRE fournit des standards pour repr senter les Services Web comme des ressources tats OGSA l a utilis comme une infrastructure pour d velopper des Services de grille et cette impl mentation de WSRE t mise en uvre par Globus qui sera le sujet de la partie suivante Les services de OGSA sont des services base de grille utilis s pour le lancement des jobs authentification des utilisateurs r plication et transfert et acc s s curis aux donn es les Services WSRF sont le noyau des Services de grille ils sont utilis s pour la cr ation la destruction et la gestion des Ressources WS tat La figure 1 7 montre la relation entre WSRF OGSA et les Services Web pour construire un Service Web tat Services Web Utilise les interfaces WS D finit des sp cifications WSRF Besoins en Ressources tat OGSA Services Web tat Se
77. b Jini 95 qui utilise le m canisme RMI pour r aliser la communication entre applications Il fournit toute une infrastructure logicielle destin e aux environnements de calcul distribu 1 5 3 Troisi me g n ration C est la g n ration la plus innovante sa p riode a commenc en 2001 accompagn e de l apparition de l architecture OGSA Open Grid Services Architecture cette tape est marqu e par la r alisation de la boite outils Globus 3 0 Elle fait l objet de l int gration des technologies des grilles pr c dentes avec celles des Web services et la virtualisation des ressources 14 Comme la technologie des Web services utilise des approches plus standards les grilles peuvent les utiliser pour standardiser la fa on d acc s aux diff rentes applications sur le r seau et donc r soudre des probl mes persistants de la g n ration pr c dente L architecture OGSA d taill par la suite a fournit un framework avec lequel on peut construire des services de grille portables et inter op rables OGSA a permis aux grilles d utiliser des protocoles normalis s ce qui a permis d augmenter la virtualisation des 14 Chapitrel La technologie des grilles ressources multiplier les formes et m thodes de partage et d am liorer la qualit des services fournis avec un enrichissement de leurs fonctionnalit s et l am lioration des performances globales des plateformes bas es sur les grilles L tape repr sen
78. ba net You may use a command similar to the following cat home globus globus usercert_request pem mail ahmed dib Iri annaba net Only use the above if this machine can send AND receive e mail if not please mail using some other method Your certificate will be mailed to you within two working days If you receive no response contact Globus Simple CA at ahmed dib Iri annaba net C G n ration du certificat pour le h te Demande certificat pour un n ud host certificates Cette demande se fait sous root par la commande suivante 111 ANNEXE A root poste4 grid cert request host poste4 Iri net L ex cution de cette commande nous donne comme r sultat trois fichiers en sortie sous Jetc grid security dans les r sultats nous trouvons que le fichier hostcert pem qui va porter le certificat valide est de taille z ro en faite ce fichier va contenir le r sultat de signature du fichier portant la demande de certificat hostcert_request pem rw r r root root O jui 20 22 46 hostcert pem rw r r root root 1396 jui 20 22 46 hostcert_request pem 1 root root 887 jui 20 22 46 hostkey pem Signature du certificat host certificates La signature du certificat se fait par l utilisateur globus mais le fichier signer hostcert_request pem appartient root nous devons faire attention aux diff rents droits des utilisateurs sur les fichiers Nous proc dons la
79. bles Liste de Tables Tableau 1 machine composantes de la grille de test ss 93 Tableau 2 comparaison des temps CPU de segmentation d images sur un nombre variant de MACN 3 0580 renner Cerrar me rn teen eerie en ar anna erent eee ene nae nr re ee ree cone aye 94 Tableau 3 r sultats d taill s des principales op rations de segmentation par machine 95 Tableau 4 r sultats de l indexation s quentielle sur 50 images 97 Tableau 5 r sultats d indexation de 50 images par les services de la grille 98 Introduction c n rale Introduction Introduction g n rale Le traitement des images est un processus tr s utilis en nombreux domaines d application Ainsi on peut le rencontrer dans le domaine m dical les moteurs de recherche des images a base de contenu les systemes g ographiques G n ralement on appelle les systemes qui traitent les images a base de leurs contenus des syst mes CBIR Content Based Image Retrieval On donne l exemple ou le traitement des images avec une grande capacit de calcul est indispensable les services de radiologie modernes qui sont de plus en plus num riques et en m me temps la quantit de donn es produite augmente 60 Comme les images sont une partie importante du processus de diagnostic de maladies de nombreuses applications d imagerie m dicale ont t d velopp es au cours des 20 derni res ann es La plupart des applications ont por
80. c grid security grid mapfile New entry 0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN root saida 1 entry added Ajout des autorisations inter postes Cette tape se traduit par l ajout des entr es pour chaque utilisateur d un poste 1 dans un autre j On donne un exemple qui permet a l utilisateur globus de la machine poste d tre reli e avec le poste 4 on ajoute au map du poste 4 l entr e compos e du sujet de certificat des deux utilisateurs globus des hots ajout s root poste4 usr local globus 4 0 6 sbin grid mapfile add entry dn 0 Grid OU GlobusTest OU simpleCA poste4 Iri net O U Iri net CN globus_poste In globus De l autre c t on lance root poste usr local globus 4 0 6 sbin grid mapfile add entry dn O0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN globus In globus 5 1 6 Service gridF TP A Configuration du service gridF TP Le service gridFTP est install automatiquement lors du lancement du script d installation de l intergitiel 123 ANNEXE A Nous configurons le service gridFTP pour qu il se lance au d marrage et pour se faire nous utilisons xinetd ou inetd Dans notre cas nous avons utilis xinetd nous lan ons son installation comme suit root poste4 yum install xinetd R sultat Dependencies Resolved Installing xinetd 1386 2 2 3 14 14 fc8 fedora Transaction Summary Inst
81. cessor xmins xsd http www w3 org 2001 XMLSchema gt lt Wsdl import namespace http docs oasis open org wsrf 2004 06 wsrf W S ResourceProperties 1 2 draft 01 wsdl location wsrf properties WS ResourceProperties wsdl gt TYPES lt iypes gt lt xsd schema targetNamespace http www globus org namespaces examples core SegmentationService_instance xmins tns http www globus org namespaces examples core SegmentationService_ instance xmins xsd http www w3 org 2001 XMLSchema gt lt REQUESTS AND RESPONSES gt lt xsd element name segmentation type xsd string gt lt xsd element name segmentationResponse gt 143 ANNEXE B lt xsd complexType gt lt xsd element gt lt xsd element name getValueRP gt lt xsd complexType gt lt xsd element gt lt xsd element name getValueRPResponse type xsd string gt lt RESOURCE PROPERTIES gt lt xsd element name Value type xsd string gt lt xsd element name LastOp type xsd string gt lt xsd element name SegmentationResourceProperties gt lt xsd complexType gt lt xsd sequence gt lt xsd element ref tns Value minOccurs 1 maxOccurs 1 gt lt xsd element ref tns LastOp minOccurs 1 maxOccurs 1 gt lt xSd sequence gt lt xsd complexT ype gt lt xsd element gt lt xsd schema gt lt types gt 144 ANNEXE B MESSAGES lt message name SegmentationInputMessage gt
82. change Peer To Peer P2P sont le cas le plus repr sentatif de ce concept 1ls permettent l acc s aux donn es via un r seau de serveurs partageant un indexe ce dernier est utilis pour r f rencier les donn es est pour effectuer la recherche travers des moteurs tr s performants Les donn es peuvent tre divis es selon leurs volumes identifi es avec une fonction de hachage r pliqu es sur un nombre de noeuds variant selon leurs demandes 1 3 3 Grilles de calcul Les id es de partage de ressources de calcul et de stockage ont commenc dans les ann es 80 avec de grands projets tel que Condor 6 la demande de ce partage a eu lieu dans le domaine de la physique des particules ou de grandes masses de donn es sont produites Appel galement calcul distribu ou calcul partag ce type de grille permet de r aliser des calculs intensifs demandant un nombre important de ressources de calcul processeurs m moires ressources r seau Chapitrel La technologie des grilles Une grille de calcul est constitu e de ressources informatiques h t rog nes li es par un r seau c est une forme d informatique distribu e bas e sur le partage dynamique des ressources afin d augmenter les performances des environnements et pour l accomplissement d une t che gourmande en terme calcul Pour pouvoir coop rer un ensemble de ressources h t rog nes il est n cessaire de se poss der d une couche logicielle g
83. ches gourmandes C est un assemblage de ressources elle est performante tol rante n cessite une bonne gestion avec des politiques standards et efficaces En utilisant les puissances des machines disponibles sur la grille on peut am liorer les performances des plateformes CBIR ou d autres plateforme de calculs intensifs La gestion des services de grille d velopp s est faite avec le service d information et de synchronisation d taill pr c dement 1l utilise les services de base de Intergitiel Globus et s interface avec d autres services de grille utiles La gestion des donn es sur la grille de test install e manque une politique de r plication plus efficace cette derni re va augmenter d une fa on distinguable les performances du syst me dans le cas des donn es tr s volumineuses on a eu un probleme de manque d espace m moire disque Et pour cela il faut d velopper un service de grille qui s interface avec les registres de r plications fournis par Globus pour estimer l utilit de quelques donn es r pliqu es et effectuer des nettoyages selon les besoins A partir des r sultats obtenus et montr s plus haut on peut dire qu on a atteint notre objectif qui est d augmenter la vitesse de l ach vement d une op ration dans une plateforme CBIR Cela nous permet d am liorer les performances globales du syst me et ouvre la voie vers d autres impl mentations d algorithmes de traitement d image
84. ciccccccciiiciceeeaaen 107 Installation de l Autorit de Certification CA oo ceecceeecceecceesseeeseeseees 109 G n ration du certificat pour le h te 111 G n ration du certificat pour l utilisateur globus cccciiciieee ceci 112 G n ration du certificat pour l utilisateur user c ccccccciiiiiiiiiccciiiiii 113 SOMMAIRE F Creation du Certiticat au Container secede e 115 G A JOUE Ces auton sation St nn nid lois 115 H V rification des certificats des utilisateurs 116 5 5 Installation de certificat pour plusieurs machines cccccecceeeeeeeseeeeeeeeeees 117 5 1 6 SIC AP aarti ee ne dde fee ere ee 123 A Confisuration ducservice 2HndFTP es ini 123 Bx TLancement du service ond RTP sense eb deire AIbi 227 CAI 126 sa HR Lancement du container des services web ss 126 5 1 8 Confisuration du REP SEEN pin Mi a 129 Ay Creation du fichier pe ADECCO Sn in asia as 129 B Cr ation d un utilisateur globus SOUS postgres 129 C Cr ation de la base de donn es rftDatabaSe ccccccciccccccccccecececacecen 130 Dy T stde fonctionnement du RET SES A ann a 131 5 1 9 Configuration du Service GRAN ana teen 132 5 1 10 Configuration de gridFTP RFT et GRAM sous les autres machines 132 a2 _ Interface Graphique COG KI M die den 134 5 3 COCOON SR ae E E E A AO ARA E E et ee E eee a 134 Ox ANNEXE DS een a nan Ades Rene ee nie 136 6 1 Tra ntremen
85. cifications permettant de standardiser la base des exceptions WS qui peuvent tres produite dans l environnement Elles standardisent l utilisation des concepts terminologies WSDL et XML par les interfaces des Services Web Les messages communs des erreurs qui peuvent tres produites simplifient la remonte la compr hension et le traitement de l exception par les demandeurs de services Groupe de Service Web WS ServiceGroup Afin de construire un service de haut niveau pour la gestion des autres services de l environnement on a besoins d un ensemble de primitives pour effectuer des op rations basiques sur une collection de service comme par exemple ajouter supprimer ou trouver un service dans un groupe Les sp cifications WS ServiceGroup d finissent la fa on avec laquelle les Services Web et les Ressources WS peuvent tre regroup s ensembles un Groupe Service est une Ressource WS qui repr sente une collection de Services Web Renouveler les r f rences WS WS RenewableReferences C est un ensemble de sp cifications permettant de standardiser les m canismes des Services Web avec lesquels ils renouvellent les r f rences des instances endpoint references quand elles ne seront plus valides Ces sp cifications fournissent un m canisme similaire a l utilisation des GSH et GSR introduits par OGSI Les efforts du groupe GGF convergent vers l adaptation de WSRE au lieu d OGSI pour la construction des applic
86. des fichiers GT4 Replica Location Service RLS pour fournir des informations sur les catalogues impliqu s dans la r plications des donn es et les Ordonnanceurs PBS scheduler LSF scheduler 49 Chapitre2 Globus WS Service WS Service Un programme N Demande d information NNotification d ex cution sur les ressources Serie d ardive Information sur les ressources ex cution du Information sur les ressources notification inscription programme notification inscription Figure 2 10 framework d agr gation 23 C Client WebMDS C est une interface front end du service d indexation bas Web utilis e pour visualiser les propri t s des WS Ressources en lan ant des requ tes standard resource property requests pour interroger les informations des propri t s des ressources et affiche les r sultats du format XML ou XSLT sous formes compr hensibles par l utilisateur 2 4 Conclusion Comme tous les Intergitiels Globus est une technologie fondamentale pour les grilles il permet de partager en toute s curit la puissance de calcul les bases de donn es distribu es et d autres outils Le Toolkit Globus fournit des services et des librairies de programmation qui impl mentent des standards pour la gestion de s curit gestion de donn es d couverte et surveillance de ressources et pour la gestion des t ches En plus des outils fournis Globus offre une couche Application
87. diatement transmis vers une ressource d sign e par l utilisateur Le gestionnaire du Job de la grille 59 GridJM est un syst me de gestion des calculs en parall le dans une grille Le syst me vise adapter dynamiquement les ressources disponibles L utilisateur est dot d une simple interface pour soumettre des t ches et de recevoir les r sultats des Jobs tandis que les d tails de l infrastructure de distribution sont masqu s Ces d tails comprennent des m canismes pour g rer les op rations sp cifiques de la grille comme l ordonnancement le traitement fable la soumission des Jobs le suivi et le transfert des r sultats d un Job La mise en uvre de GridJM est faite sur la base du middleware ARC La solution est galement applicable a d autres Intergitiels de grille GridJM offre galement une simple abstraction de grille pour l utilisateur le noyau de syst me est la vue dynamique des ressources distantes par l utilisateur Tandis que dans un environnement stable distribu es seules les fonctions de pr sentation de suivi et d extraction de r sultats sont n cessaires pour un fonctionnement efficace Pour diminuer d avantage le risque des pannes GridJM fournit galement une couche d vasion de faute fault avoidance fond e sur des observations d historique court terme des Jobs ant rieurs Le syst me suppose que si un Job qui a t r cemment ex cut d une mani re non optimale sur une ressource
88. donn es qui contient les descriptions suffisantes pour rependre a la requ te Le r sultat de la recherche est une liste d images tri e et affich e selon un certain ordre 79 Chapitre4 Syst mes CBIR base de grilles 4 3 3 Structure de la plateforme La plateforme est bas e sur la technologie des grilles elle se fond sur les web services elle utilise le principal de l architecture OGSA et impl mente les sp cifications WSRF comme le montre la figure 4 13 Utilise Requies Application Structur Web service Figure 4 13 plateforme et relation avec les autre technologies de grille Sp cificatio Specifies 4 3 4 Architecture de la plateforme La plateforme est compos e de modules o chacun regroupe des outils des services et des APIs n cessaires L architecture de la plateforme peut tre vue sous forme de couches comme montr e par la figure 4 14 80 Chapitre4 Syst mes CBIR base de grilles Applications ule de raisonneme RE Globus Toolkit Grille ressources mat rielles et logicielles Figure 4 14 Architecture en couche de la plateforme Les couches de la plateforme sont A Ressources mat rielles et logicielles La grille Elle englobe le mat riel informatique CPUs unit s de stockages r seau et logiciel Syst me d exploitation utilitaires applications La plateforme est d ploy e sur une grille de test elle est compos
89. e outils par la commande d installation suivante root poste4 cd usr local outils root poste4 outils jdk 1_5_O0_14 nb 6_0 Linux sh Apres l installation nous devons ajouter a la variable d environnement path le chemin de jdk Nous pouvons proc der de deux mani res distinctes dans la premi re nous modifions le fichier etc profile d et dans la seconde nous cr ons un fichier jdk sh sous etc profile d dont le contenu est le suivant jdk sh etc profile d gedit TA Fichier Edition Affichage Rechercher Outils Documents Aide g 4 Nouveau Ouvrir Enregistrer xport JAVA HOME usr local outils jdkl 5 14 export PATH PATH usr local outils jdk1 5 6 14 bin Figure 5 1 Une vue du fichier etc profile d jdk sh 105 ANNEXE A Remarque Il faut supprimer le lien qui pointe vers l ancienne version de Java repr sent e par le fichier raccourci java il est localis sous le chemin usr bin Nous pouvons tester la r ussite de l installation du JDK en tapant la commande root poste4 java version Le r sultat est java version 1 5 0_14 Java TM 2 Runtime Environment Standard Edition build 1 5 0_14 b03 Java HotSpot TM Client VM build 1 5 0_14 b03 mixed mode sharing Installation de Apache ant Apache ant est un ex cuteur de t ches permettant la compilation et le d ploiement des programmes Apres le t l chargement de la version de Apache ant appache
90. e MPI pour standardiser la communication via l change des messages entres les services des plateformes 76 Chapitre4 Syst mes CBIR base de grilles Architecture parall le On distingue deux architectures principales une a m moire distribu e et l autre m moire partag e Dans le cas de l architecture m moire distribu e les ordinateurs aient un acc s rapide leurs m moires locales chacun travail son c t pour r soudre une partie du m me probl me Les donn es sont chang es entre les n uds g n ralement via un r seau haut d bit sous forme de messages Dans l architecture m moire partag e les processeurs utilisent un espace de m moire commun via un bus m moire haute vitesse Cette m moire partag e permet aux processeurs d changer et partager l acc s aux donn es Typiquement le nombre de processeurs utilis s dans cette architectures est limit seulement 2 16 processeurs 87 C est parce que la quantit des donn es qui peuvent tre trait es est limit e par la largeur de bande de bus de m moire Types de t ches dans une application parall le a Les t ches s quentielles Se sont des t ches qui s ex cutent sur un seul processeur Simple impl menter beaucoup d algorithmes parall les se basent sur l ex cution s quentielle des t ches ce qui n est pas toujours performant 88 b Les t ches parall les Les t ches parall les sont des t ch
91. e cherche les r f rences des mots cl s dans la base de donn es des images index es R Mots cl s Requ te dii Base de cas Repense Avis de F a P p ae l utilisateu ZA R sultat n gatif R sultat positif NN Mise jours de la base Traitement Figure 4 21 introduction du CBR dans la recherche La recherche avec retour de pertinence est une fonctionnalit dans laquelle l avis de l utilisateur est pris en consid ration il peut juger le r sultat d une recherche s il est positif ou non Dans le cas o le r sultat de recherche satisfait les besoins de l utilisateur les param tres utilis s dans la recherche sont sauvegard s dans la base des cas via le service de raisonnement a base de cas afin d am liorer les futurs recherches qui portent sur le m me contexte Dans une seconde op ration de recherche le syst me fait recours la base des cas afin de v rifier l existence des r sultats satisfaisants et qui corresponds aux mots cl s de la nouvelle requ te en entr e la figure 4 21 montre l introduction de CBR dans le processus de la recherche Service d information et de synchronisation SIS ce service est le noyau de la plateforme il est responsable de la gestion des taches et la synchronisation des services Ainsi il est d ploy au niveau de chaque n ud de la grille il collecte les informations dynamiques via les 90 Chapitre4 Syst mes CBIR base de grilles
92. e consiste partitionner l image en un ensemble de r gions connexes L int r t de la segmentation est de pouvoir manipuler les r gions via des traitements de haut niveau pour extraire des caract ristiques de formes de position de taille etc La segmentation d images est un traitement de bas niveau il consiste a cr er des partitions homog nes dans l image afin d y extraire les informations utiles pour son interpr tation Il existe une multitude de techniques de segmentation le choix d une technique d pend des op rations situ es en aval des primitives extraire ou des contraintes d exploitation Le probl me est videmment tr s mal pos car on ne sait jamais dire quelle est la segmentation id ale On peut d gager des propri t s les plus raisonnables qu on cherche obtenir dans un algorithme de segmentation en particulier Stabilit la segmentation obtenue ne doit pas varier beaucoup lorsque les conditions d acquisition varient l g rement bruit illumination point de vue 54 Chapitre 3 Introduction en traitement des images R gularit les r gions obtenues doivent tre simples a manipuler taille suffisante forme r guliere 3 3 1 M thodes statistiques A Histogrammes et Segmentation Les m thodes par histogrammes sont g n ralement rapides calculer et peu sensibles au bruit mais elles n int grent pas ou peu d information g om trique sur les r gions Ce son
93. e de structure de paiement cette approche est aussi connue sous le nom de services de compteurs 1 4 4 Calcul Collaboratif Collaborative Computing Cette classe inclut des applications interactives dans le but de favoriser les changes la collaboration entre humains dans des environnements de simulation en temps r el et dans des espaces virtuels et partag s On prend par exemple Le syst me d information m dicale SIM qui est un exemple typique d une application de l informatique collaboratif dans lequel des m decins des infirmi res des professeurs des chercheurs des personnels de l assurance m dicale etc partagent l information des patients y compris les textes les images et les donn es multim dia 11 Chapitrel La technologie des grilles 1 45 Traitement massif de donn es Data intensive Computing Ce sont des applications qui collectent de grandes quantit s de donn es aupr s des bases de distribu es Ce type d application est tr s gourmand en terme de demande de ressources de calcul qu aux ressources r seau et de stockages Pour cette classe d application on peut citer Meteo GRID 93 c est l une des trois grandes applications de l EUROGRID utilis e pour la pr vision m t orologique elle baillis 10 km quatre fois par jour pour fournir des pr vision pour le grand public L ex cution d un tel mod le de pr vision demande beaucoup de ressources de calcul elle n cessi
94. e description de l exception est ajout e au r sultat de l ex cution A la fin la requ te d tat est retourn e au service appelant La figure 4 16 montre l interaction entre la couche contr le et le module IAM descriptive descriptive descriptive 3 3 Requ te Etat Requ t Requ te I I I i Etat 1 Etat Figure 4 16 interaction entre le module IAM et la couche sup rieure Les principaux services du module IAM sont Service du filtrage instanci lors des op rations de pr traitement sur une collection d images il re oit les param tres n cessaires dans la requ te descriptive Parmi ces param tres on peut trouver le type de filtre a appliquer Le r sultat de succ s de cette op ration est envoy via la requ te d tat Dans le cas ou l utilisateur veut que les r sultats de filtrage n crasent pas les images de la source il sp cifie l adresse de stockage des r sultats pour chaque source de donn es Service de segmentation ce service fournit une m thode de segmentation personnalisable il impl mente l algorithme de type croissance de r gions Comme le cas du service du filtrage il re oit les param tres utiliser via la requ te descriptive Les param tres qu on peut avoir pour ce service sont la variance le nombre de voisins et la taille maximal des r gions ces param tres sont utilis s par l algorithme de segmentation pour l tape d
95. e fichier etc sudoers root poste4 vim etc sudoers On ajoute B Test du fonctionnement de GRAM Avec la modification apport e pr c demment nous pouvons lancer GRAM et soumettre des jobs par exemple on lance la commande suivante Le r sultat est Submitting job Done Job ID uuid b39456d8 526b 1 1 dd a4f2 001ec92c2a43 Termination time 07 16 2008 12 44 GMT Current job state Active Current job state CleanUp Current job state Done Destroying job Done 5 1 10 Configuration de gridFTP RFT et GRAM sous les autres machines 132 ANNEXE A Apr s l installation du certificat sur les autres machines machine machine2 et machine3 voir section 4 4 on proc de la configuration des autres services gridFTP lancement des web services RFT GRAM de la m me fa on que pour la machine4 serveur du CA 133 ANNEXE A 5 2 Interface Graphique de COG Kit Apres installation de Globus on a t l charg le Kit COG 90 et apres installation et configuration avec la commande cog setup on a lanc son interface graphique avec la commande cog desktop qui se situe dans le bin de la racine La capture d cran illustr e par la figure 5 3 montre l utilisation de cog gridftp en mode graphique pour le transfert des fichiers GridDesktop Java CoG Kit EE ER File View Help Options Security Grid Monitor PLiava GCoGKit Simpie GHdETP Queue Source D
96. e fusion des r gions Le r sultat de cette op ration est repr sent par des fichiers seg contenant une description de chaque segment pour chacune des images trait es ainsi les r sultats sont sauvegard s dans le m dia pr cis par la requ te utilisateur 84 Chapitre4 Syst mes CBIR base de grilles Service de d tection des r gions optimales cette op ration est traduite par la combinaison conditionn e des r gions apr s segmentation cette combinaison est faite dans le but de construire une carte des r gions d int r ts Elle est r alis e avec la coop ration entre les services de segmentation et le module de raisonnement au niveau de la couche traitement processing La carte des r gions optimales est sauvegard e dans des fichiers rop R gions optimales ils d crivent les r gions jug es optimales leurs positions leurs voisinages et leurs tailles Service d extraction des caract ristiques a partir des r gions optimales extraites par le service cit pr c demment ce service extrait un ensemble de caract ristiques en utilisant les matrices de co occurrence il cr e des vecteurs nomm s les vecteurs de caract ristiques visuelles sur lesquels se base la classification des images Services de traitement de base il fournit des fonctionnalit s basiques pour le traitement des images tel que le Zoom l ajout de bruit par le m me principe il re oit ses param tres dans la requ te descrip
97. e ln te ae E 25 1 92 SELVICES W E D gt tee tA E ee eee ee e 26 Ac DEMONS eater cece dent bei teen ent rates 26 Bs Architecture des Services Wy CD nine ads eric Deba 27 C Tnivoc tiondes SERVICES WeD Es nn nn en aie 28 1 9 3 Architecture Orient e Service SOA inner Meet 29 1 9 4 Web Services Resources Framework WSRE eecceeecceesceesseeeseeeseees 30 1 9 5 CON CIUSIOU ER A te de Ai 33 Globus TOO URI ES A As aise 35 Did TATOJUCHUON 325364 us demie ANR MR nee FAN Aie A0 Ad Ata tes ARR 35 2 Z guehitectire de Globus reci na Fr in tante Rita inde 38 2 3 MOGUI SUE Globus n nee lisa 39 2 3 1 Module de Gestion de donn es sn iatnnlnmhaennalemaniemi 40 A GE EP 22220202 CR NAG CER AAR t TOTON 40 3 SOMMAIRE B Reliable File Fransie CRED 22 nr nn ns 41 C Replica Loan Service RLS aare 42 D Data Replication Service DRS Jaor io dois 43 2 3 2 Le module de s curit Globus security Infrastructure GSI 44 2 3 3 Module de SesHOnd exc cuo aiir a E TE 46 2 3 4 Le module d information Monitoring and Discovery System MDS4 ou WS MDS 48 A Services de haut niveau higher level services 49 Be Tournisseurs d informations nee nee R 49 Ce Cin WebM DS rara ae E E O E EE 50 E CONUS 1a O r E r en el E ie 50 Intcroducuon en trartement d images SR nn a wees 52 3 1 Wa MAIC SE CO OC OU CIN C ne ne ne de nie 52 e MAVEN ahi tant tee oes ta eee etc oh eee nee le ene 53 Dl Filtrage dans l do
98. e mail the request to the Globus Simple CA ahmed dib Iri annaba net You may use a command similar to the following cat home globus globus usercert_request pem mail ahmed dib Iri annaba net Only use the above if this machine can send AND receive e mail if not please mail using some other method Your certificate will be mailed to you within two working days If you receive no response contact Globus Simple CA at ahmed dib Iri annaba net Cette commande nous g n re trois fichiers en sortie sous home globus globus userkey pem usercert_request pem usercert pem Signature du certificat de l utilisateur globus Apr s g n ration du fichier usercert_request pem nous devons le signer avec la commande suivante globus poste4 globus 4 0 6 grid ca sign in home globus globus usercert_request pem out home globus globus usercert pem Le r sultat est To sign the request please enter the password for the CA key The new signed certificate is at home globus globus simpleCA newcerts 02 pem Nous devons v rifier que les fichiers du certificat de globus ont les droits appropri s rw r r globus globus 2689 jui 20 22 52 usercert pem rw r r globus globus 1415 jui 20 22 47 usercert_request pem 1 globus globus 963 jui 20 22 47 userkey pem E G n ration du certificat pour l utilisateur user v Demande du certificat pour l utilisateur user 113 ANNEXE A Par
99. e une d gradation des performances globales des plateformes Les applications demandant des ressources g ographiquement distribu es doivent tre tol rantes et exploitent au maximum les ressources les plus optimales a acqu rir en sur mentant les probl mes d h t rog n it s les limites des politiques de s curit et d augmenter le passage l chelle Ces applications peuvent tre compos es ce qui cro t la complexit des syst mes bas s sur la grille Adaptabilit Afin de b n ficier le maximum des performances des services et ressources disponibles les applications doivent adapter leurs comportements dynamiquement selon les ressources demand es Dans la deuxi me g n ration plusieurs technologies ont apparus et d autres ont t volu es On peut citer 1 les Intergitiels tels que Globus et Legion ils ont constitu le corps des technologies de la seconde g n ration 2 Courtiers des ressources de grille 3 Les systemes paire a paire 4 Les syst mes d objets distribu s et on a plusieurs exemples comme a CORBA Common Object Request Broker Architecture 94 qui a t normalis par 1 OMG Object Management Group c est une infrastructure qui fait partis du projet ODP RM Open Distributed Processing R f rence Model vise mettre en place une norme d architectures distribu es ouvertes dans le but de faire communiquer des applications dans un environnement h t rogene
100. ecede Nil in else 8 1 3 3 Grille s decach ne te te n AE PDL 8 LA Application des snil s d Calenda 10 1 4 1 Supercalculateur distribu Distributed SupercomputiNg 10 1 4 2 Calcul haut d bit High Throughput Computing 10 1 4 3 Calcul la demande On Demand Computing 11 1 4 4 Calcul Collaboratif Collaborative Computing 11 1 4 5 Traitement massif de donn es Data intensive Computing ccccceeeeees 12 1 5 volution des technologies de la grille re 13 1 5 1 Premiere S N TAMONE MESSE a ue Ne dd ue 13 1 52 Seconde C R MONIE Rae a 13 1 5 3 Troisieme generado sinice vies ARE NS O de 14 1 6 Notion d organisation virtuelle VO 16 1 7 Archit ct re dune Se man M dt A 17 1 7 1 COUCHE TAD PICS SR 22120 A ein dns 18 1 7 2 Couche connectivit ccccecccccccccceccooosocccsooosesoscocouaueseseovouaueseseseauaseseus 19 2 SOMMAIRE ET COUCHE TOSS OU COS eaa A SS 20 1 7 4 Couche CONC C UIT r A nt A4 E aE 21 ETS Couche applications T 22 1 8 ECS Ter aU ever S reper AAA da ot a de riens 23 1 8 1 G1 6 DAS dd D D ds 23 1 8 2 Unicore UNiform Interface to Computer Resources 24 1 8 3 E O tate Aca ee sca t A A A O ATE A A eae een arena ce 24 1 9 Open Grid Services Architecture OGSA Open Grid Services Infrastructure OG SD WEDS ELV ICES WS heeri a le niaabnossbystenontncnaanet Sable ee Dot lien 25 1 9 1 Ug Reto 118210 0 ener eae ee rE meer ne d be ee
101. effectu es et jug es satisfaisantes par les utilisateurs retour de pertinence La base de donn es contient une entr e par op ration de recherche on sauvegardes les mots cl s pour les requ tes textes et le vecteur des caract ristiques d une image dans le cas d une requ te image on sauvegarde aussi le fichier descriptif du r sultat et la trace des op rations de traitement effectu es durant l indexation pour les reproduire sur un traitement des requ tes similaires Service de calcul de distances entre vecteurs de caract ristiques utilis pour la classification des images Pour chaque vecteur de caract ristiques d crivant les r gions d une image on calcul leurs distances avec les vecteurs repr sentants une autre image d j classifi e Apr s toute une s rie de calcul on affecte la nouvelle image la classe avec laquelle la distance t minimale Un classement supervis peut tre effectu afin d am liorer la recherche et l indexation 86 Chapitre4 Syst mes CBIR base de grilles La couche controle Elle contr le tous les services de la couche traitement et s interface avec la couche application Elle contient des services de grille pour la recherche l indexation la gestion des classes des images et un dernier pour la collection des informations et la synchronisation entres les services La couche contr le fait r f rence a celle inf rieure Processing pour lancer les traitements
102. elon la natures des r sultats dans le cas ou ces derniers sont des fichiers a recopier vers une m dia cible il lance le service de transferts de fichier gridFTP et un tat de bon achevement de t che est r cup r afin de mettre a jour l tat des Jobs Lanc s Apr s une autre collection de Job est lanc e sur les h tes lib r s et une mise jour de l tat globale de la fonction ex cuter est effectu e Autrement si les r sultats sont des insertions dans la base de donn es des images index es ou des modifications directes sur les bases des images une remise est r cup r e De m me la gestion des Jobs est r vis e La synchronisation entre les services pour g rer les t ches parall les et les t ches s quentielles le service SIS a besoin de savoir le comportement a prendre envers un service en cours d ex cution ce type d information peut tre trouv dans les fichiers de configuration de la plateforme La synchronisation est g r e entre deux services dont le second utilise les r sultats du premier La r alisation d une fonctionnalit par la plateforme peut provoquer l appel d une dizaine de services o pour chacun on peut cr er une autre dizaine d instances 91 Chapitre4 Syst mes CBIR base de grilles les services communiquent entre eux avec des messages et un service ne peut tre lanc qu apres sa notification par le service d information et de synchronisation La
103. ement dans un environnement dynamique tel que les grilles La r plication des donn es sur plusieurs 42 Chapitre2 Globus n uds de la grille cr e des serveurs de donn es qui peuvent tre utilis s pour diminuer le temps d acc s vers un serveur distant et donc lever les performances des transferts RLS est un composant du module de gestion de donn es dans Globus il fournit un m canisme pour r pliquer et retrouver les r plications des donn es dans la grille Chacune des donn e poss de un nom logique et un ou plusieurs noms physiques 31 l association entres le nom logique et les noms physiques se fait par le RLS il utilise un catalogue pour sauvegarder et fournir des informations concernant les r plications de donn es nom logique noms physiques nombre de copies emplacement etc RLS est compos de deux catalogues un libell Local Replica Catalog LRC et Replica Location Index RLI le premier maintient I association entre le nom logique de la donn e r pliqu e et les noms physiques Ainsi il supporte environ 600 mise jour et 2000 requ tes d acces par seconde 23 Une nouvelle entr e dans le LRC est cr e a chaque publication d une nouvelle copie d une donn e Le deuxi me registre RLI utilis par RLS est utile dans un d ploiement distribu 1 e l existence de plusieurs LRC dans la grille Il collecte toutes les informations des noms logiques existants ainsi lors d un lancement d
104. entry O0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN user user 1 entry added H V rification des certificats des utilisateurs Pour la v rification du certificat de l utilisateur globus on lance le proxy avec la commande suivante globus poste4 grid proxy init debug verify Le r sultat est le suivant User Cert File home globus globus usercert pem User Key File home globus globus userkey pem Trusted CA Cert Dir etc grid security certificates Output File tmp x509up_u500 Your identity O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN globus Enter GRID pass phrase for this identity Creating proxy 4 4 4 4 4 4 4 4 4 Proxy Verify OK Your proxy is valid until Mon Jul 21 11 12 10 2008 De m me sous l utilisateur user user poste4 grid proxy init debug verify Le r sultat est User Cert File home user globus usercert pem User Key File home user globus userkey pem 116 ANNEXE A Trusted CA Cert Dir etc grid security certificates Output File tmp x509up_u501 Your identity O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN user Enter GRID pass phrase for this identity Creating proxy 4 4 4 4 4 4 Done Proxy Verify OK Your proxy is valid until Mon Jul 21 11 12 19 2008 5 1 5 Installation de certificat pour plusieurs machines Le certificat sera install sur les machines autres que celle utilis e
105. ermain V Breton P Clarysse Y Gaudeau T Glatard E Jeannot Y Legr C Loomis J Montagnat J M Moureaux A Osorio X Pennec R Texier Grid enabling medical image analysis CCGrid 2005 Bio Grid workshop IEEE Press Extended version to appear in Journal of Clinical Monitoring and Computing 83 www aci agir org 84 Argonne National Laboratory MPICH2 http www mcs anl gov mpi 85 William Gropp and Ewing Lusk An abstract device definition to support the implementation of a high level point to point message passing interface Preprint MCS P342 1193 Argonne National Laboratory 1994 86 D BUNTINAS G MERCIER et W GROPP Implementation and Shared Memory Evaluation of MPICH2 over the Nemesis Communication Subsystem Dans Recent Advances in Parallel Virtual Machine and Message Passing Interface Proc 13th European PVM MPI Users Group Meeting Bonn Germany septembre 2006 87 N Balaji N Ramaraj and S Sadaiappan Enhancing Computational Spped for Search Application Through High Performance Grid Using Globus Tool Kit International Journal of Computational Intelligence Research ISSN 0973 1873 Volume 5 Number 1 2009 pp 45 56 88 Jens Hofmann Norbert Th Muller and Kasyap Natarajan Parallel versus Sequential Task Processing A New PerformanceModel in Discrete Time Universitat Trier Mathematik Informatik Forschungsbericht 96 46 1996 89 http wang ist psu edu 90 http wiki cogkit org 91 http
106. es une autre pr sent e comme une requ te on a besoin d indexer toute la collection ce qui signifie que les caract ristiques visuelles extraites d crivent chacune des images de la collection La base des images m dicale est fournie par ImageCLEF medical image retrieval task 13 ImageCLEF est une partie de Cross Language Evaluation Forum CLEF qui est un forum pour la standardisation de la recherche des informations La base de donn es utilis e contient 50 000 images en 2005 et plus que 70 000 images en 2007 Les caract ristiques visuelles d une image peuvent tres calcul es en parall le ind pendamment des autres images dans les sc narios de test effectu s dans ce travail une collection de 500 a 1000 images est a ex cuter sur le m me n ud 66 Chapitre4 Syst mes CBIR base de grilles interlace interfaces local job manager application configuration interlace grid configuration Outpul Message SPREE PPHP REREH EEEH Quiput Message SE 0 L A m m 1 1 0 mQ 0 0 1 0 0 m 00 0 m De 010 8 Output Message Grid middleware client f Figure 4 6 l architecture de base de l application gridifi e Dans la figure 4 6 les auteurs pr sentent l architecture de base de l application griddifi e Un autre obstacle majeur est l interface pour g rer les t ches en cours d ex cution sur la grille L utilisateur doit pouvoir superviser l tat des Jobs lanc s sur la grille
107. es leurs puissances ils peuvent tre la base de d veloppement des environnements qui demandent des performances lev es tout en fournissant des outils pour g rer une multitude de ressources et peuvent donner plus de confiance aux utilisateurs afin de manipuler et partager leurs ressources en toute s curit Chapitrel La technologie des grilles e D finition d une grille Le terme de la grille est apparu en informatique dans les ann es 1990 2 il s inspire de la grille d lectricit 4 Une grille peut tre vue comme un assemblage de ressources logicielles et mat rielles distribu es h t rog nes et partageables telles que les unit s de stockages les unit s de calcules les ressources r seaux et les entit s logiques comme les fichiers systeme distribu s et les clusters Ainsi ils existent plusieurs d finitions de la grille Une grille informatique est une infrastructure virtuelle garantissant des qualit s de services non triviales et constitu e d un ensemble de ressources informatiques partag es h t rog nes coordonn es et non contr l es 1 il nous permet d acc der des ressources h t rog nes partir de diff rentes organisations en fournissant un ensemble de protocoles technologies et m thodologies 3 Une grille informatique est une infrastructure virtuelle constitu e d un grand nombre de ressources cycles CPU donn es espace m moire de stock
108. es pouvant s ex cuter sur un ou plusieurs processeurs On peut distinguer trois classes de t ches parall les Les t ches rigides o le nombre de processeurs qui doivent ex cuter la t che parall le est fix priori Les t ches modelables pour lesquelles le nombre de processeurs n est pas fix mais est d termin avant l ex cution Cependant comme dans le cas pr c dent ce nombre de processeurs ne change pas jusqu la fin de l ex cution Les t ches mall ables peuvent voir le nombre de processeurs qui leur est allou changer au cours de l ex cution par pr emption des t ches ou par redistribution de donn es D composition de probl me La conception des algorithmes parall les repose sur la d composition du probl me en sous probl mes Ces derniers sont assign s aux CPUS pour les r soudre simultan ment Ils existent deux sortes de d composition T Chapitre4 Syst mes CBIR base de grilles D composition de domaine donn es parall les les donn es sont divis es approximativement de m me taille et fournies ensuite aux diff rents processeurs chaque processeur travail sur la partie des donn es qui y est assign e Les processus peuvent communiquer p riodiquement pour changer les donn es Le parall lisme des donn es a l avantage de maintenir un seul contr le de flux L algorithme de donn es parall le consiste en une s quence d instructions l mentaires une
109. es visuelles d une image la structure des r gions et dans Introduction un deuxi me temps pour le d veloppement et la configuration des services de grille d velopp s On donne aussi un aper u de l interface de l application indexation et recherche Chapitrel La technologie des grilles La technologie des grilles Chapitrel La technologie des grilles 1 La technologie des grilles e Introduction Les r seaux sont un assemblage d quipements informatiques qui a pour but de supporter la communication entre diff rentes machines inter connect es entre elles En fait le plus grand r seau connu jusqu maintenant est l Internet elle offre le moyen de mettre en uvre un ensemble d applications Web dans diff rents domaines notamment e Business e Learning online conference De nos jours vu l utilit de partage de ressources h t rog nes une volution des technologies Web est devenue de plus en plus demand e pour la r alisation de grands projets utilisant des ressources importantes et g ographiquement distribu es d localis es et autonomes ce qui implique un d croit des performances g n ralement co teux d o l apparition de la technologie des grilles informatiques qui r pond aux besoins cit s pr c demment elle fournit une puissance et une fiabilit qui permettent d accro tre les performances globales des environnements distribu s Les grilles informatiques ont prouv elles m m
110. est connection PackageTests junit Tests run 81 Failures 0 Errors 81 Time elapsed 1 065 sec junit Test org globus transfer reliable service test connection PackageTests FAILED BUILD SUCCESSFUL Total time 15 seconds On peut ex cuter un nouveau test qui fait r f rence au fichier mentionn pr c demment par la commande suivante globus poste2 ant f usr local globus 4 0 6 share globus_wsrf_rft_test runtests xml generateTestReport 131 ANNEXE A Le r sultat sera Buildfile usr local globus 4 0 6 share globus_wsrf_rft_test runtests xml generate TestReport delete Deleting directory usr local globus 4 0 6 share globus_wsrf_rft_test tests test reports html mkdir Created dir usr local globus 4 0 6 share globus_wsrf_rft_test tests test reports html junitreport Processing usr local globus 4 0 6 share globus_wsrf_rft_test tests test reports TESTS TestSuites xml to tmp null6835 105 junitreport Loading stylesheet jar file usr local outils apache ant 1 7 0 lib ant junit jar org apache tools ant taskdefs optional junit xsl junit frames xsl junitreport Transform time 1050ms junitreport Deleting tmp null6835 105 BUILD SUCCESSFUL Total time 1 second 5 1 9 Configuration du service GRAM A Edition du fichier etc sudoers Apres avoir installer gridFTP et le RFT il est maintenant possible de lancer l installation du gestionnaire des ressources GRAM Pour se faire on modifie l
111. estination TANTEN 0 Hast poste4irinet Port 2811 Host poste2 lrinet Port 2811 Total Amount 0 File home pankaj imageT est jpg File ame Csendanonymaus statistics Average Rate 0 0 Progress Source Destination Source File Dest File Size Rate Time Status Figure 5 3 Interface graphique COG 5 3 Conclusion L installation et la configuration de globus sont des taches qui n cessitent beaucoup de pr cision Dans cette exp rience l installation a pris un temps consid rable cela est du aux probl mes li s l authentification des utilisateurs de la grille Ce que l on peut c est que si l autorit de certification AC est bien install e et que les fichiers cert pem et key pem sont bien d finis on vitera une grande partie des erreurs qui peuvent se produirent durant le processus d installation 134 ANNEXE B ANNEXE B ANNEXE B 6 ANNEXE B 6 1 Traitement des images 6 2 1 Structure d une r gion Une r gion est repr sent e principalement par des informations sur l ensemble des pixels qui la composent sa position et son voisinage La partie du code qui suit illustre la structure utilis e l introduction des m thodes seteurs geteurs et compare La JVM utilis e est la 1 4 dans laquelle les listes ne sont pas typ es On a utilis des ArrayList pour la repr sentation des listes d objet et pour la lecture on parse vers le type demand import
112. et leur patience Enfin j adresse mes plus sinc res remerciements tous mes proches et amis qui mont toujours soutenue et encourag e au cours de la r alisation de ce m moire Merci tous et toutes Laits Ga Cal aba gle Aile gleall el gill cg ging 05 Lille ou gli cle Azad pM A avan Cpe Lou le je Didi y gual Va JI salue Cpe Cul pi bac ais e j gual Op JAS 39 ge 9 Aplus al ge Gilley Jard bis Cali 63 Leng 3 shy all aol sb yall Ge juif ore Aus yg coll Lelie g gid Ae All y guall ela ul CBIR als i yall 7 Mart LoL ad ll yo pad il Guat pS ASLAN Le gl lt S alasin a glad dal Ce inais Uaua 6 4 place Cu ga gle 6 AE lus stil ul jo cle Lia gs G I lt e heal Ida Au ji Antes yanadi ADS a WS il aiall pies Gahi Jaa LB Al al Glan aa cts s Us ga gle Ca gh Cy lele ua graal OLN GE ye ilal 038 21835 45 e ASLAN ayl go J ai Lind fart Ida Final GUS jaa Cpe Bayne Alf le AY TMG e 9 GAN gl Au gulall Ji gall dus Gye lalia YI AS bal Ase iia CBIR is j galls Cols Ua dl R sum Les Images repr sentent une grande partie de l ensemble des donn es num riques sur le Web Actuellement les bases des images peuvent contenir une vingtaine de milliards d images et occupent plusieurs tera octets d espace disque L indexation d un nombre important des images dans des Bases de donn es r parties et dans des environnements h t rog nes n cessite des ressources de calcul et de stockage importantes
113. eut tre vu comme une librairie utilis e pour le traitement des images Les fonctionnalit s fournies par cette librairie sont le filtrage la segmentation extraction de r gions pertinentes extraction des vecteurs de caract ristiques visuelles et d autres op rations L ajout d une nouvelle fonctionnalit se traduit par 1 la cr ation et le d ploiement d un service de grille qui impl mente la solution demand e 2 adaptation de la partie cliente de l application pour les nouvelles fonctionnalit s ajout es 3 injecter la m thode d appel du service au niveau client de l application comme le montre la figure 4 15 On note que l ajout d une fonctionnalit dans le module IAM ne n cessite pas le red ploiement des anciens services qui se fait g n ralement avec des fichiers GAR et qui sont quivalents aux fichiers War pour les applications web en Java mais l ajout n cessite le red marrage du conteneur D ploiement Nouvelle fonctionnalit Services de Globus Services de la nouvelle fonctionnalit Services de l application Serveur Client de l application Client de la fonctionnalit Classes et m thodes de l application Classes et m thodes de la nouvelle fonctionnalit Figure 4 15 Ajout d une nouvelle fonctionnalit au module IAM Les services de la couche sup rieure invoquent ceux du module IAM ces derniers re oivent les param tres n cessaires pour leurs ex cutions sous forme d
114. fert et exploitations la d couverte des ressources ainsi que la gestion de leurs tats a un instant donn d autre fonctionnalit s peuvent tre rajout es selon la nature de Intergitiel et le contexte dans lequel il est utilis les Intergitiels ont adopt la nature modulaire pour leurs composants afin d offrir plus de souplesse durant leurs d ploiements sur la grille et pour n utiliser que les modules n cessaires selon les besoins des utilisateurs Toute am lioration ou volution des fonctionnalit s de la grille n cessite une augmentation dans un ou plusieurs modules des Intergitiels On cite les Intergitiels les plus connus 1 8 1 Globus Globus a t d velopp sur la base de I WAY en plus de supporter des applications demandant des performances il peut g rer des organisations virtuelles D velopp aux Etats Unis dans le laboratoire Nationale de l Argonne par l quipe de Ian Foster Il fournit une infrastructure logicielle permettant aux applications de manipuler les ressources h t rog nes g ographiquement distribu es comme tant une machine virtuelle unique La boite outil Globus a fournit les services de base de grille comme les services de s curit les services d informations de communications et de gestion des donn es La version 4 de la boite outil Toolkit Globus a impl ment l architecture OGSA pour permettre l interop rabilit entre les ressources de la grille les principa
115. ficate request and private key is being created You will be asked to enter a PEM pass phrase This pass phrase is akin to your account password and is used to protect your key file If you forget your pass phrase you will need to obtain a new certificate Generating a 1024 bit RSA private key writing new private key to home saida globus userkey pem Enter PEM pass phrase Verifying Enter PEM pass phrase You are about to be asked to enter information that will be incorporated into your certificate request What you are about to enter is what is called a Distinguished Name or a DN There are quite a few fields but you can leave some blank For some fields there will be a default value If you enter the field will be left blank 121 ANNEXE A Level 0 Organization Grid Level 0 Organizational Unit GlobusTest Level 1 Organizational Unit simpleCA poste4 Iri net Level 2 Organizational Unit Iri net Name e g John M Smith A private key and a certificate request has been generated with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN root If the CN root is not appropriate rerun this script with the force cn Common Name options Your private key is stored in home saida globus userkey pem Your request is stored in home saida globus usercert_request pem Please e mail the request to the Globus Simple CA ahmed dib Iri annaba net You may use a command similar t
116. ficier de l utilisation de la technologie des workflow de leurs performances leurs designs et leurs impl mentations rapides De m me une combinaison avec la technologie des grilles de calcul est apparue tr s utile dans l exploitation des ressources Dans le travail a d crir les auteurs ont r alis une connexion entre le systeme de gestion de workflow Taverna 51 et l infrastructure de grille EGEE Enabling Grids for E sciencE travers un pluging gLite qui s interface entre les workflow et l infrastructure de la grille Le pluging r alis incr mente les performances des applications m dicales Le Workbench Taverna est un gestionnaire de donn es dataflow open source d velopp a PUK par l association myGrid 52 D s la premi re version de Taverna r alis e en 2004 elle a t largement adopt e par la communaut e science elle inclut une interface graphique riche pour la conception des workflow Un workflow Teverna consiste en une collection de processeurs connect s par des liens de donn es ils tablissent une d pendance entre les sorties des processeurs et les entr es des autres Les processeurs sont de diff rents types selon le code de l application invoqu g n ralement les processeurs sont des Web Services avec des ports d entr et de sortie qui correspondent aux op rations d finies dans le fichier WSDL descriptif du Web Service Dans le contexte du m me travail un nouveau type de processeur gLite t d
117. formation m dicale sur la grille de mani re s curis e La plate forme a t con ue pour satisfaire aux exigences compl mentaires Les applications fonctionnant sur la plateforme doivent tres faciles utiliser En particulier la complexit de la grille doit tre compl tement cach e La plateforme devrait tre adaptable n importe quel domaine m dical La plateforme doit tre en mesure d interagir avec les donn es des h pitaux existantes et des syst mes d archivage d images PACS La plateforme doit tre tol rante aux pannes La plateforme ne devrait pas exiger une connectivit grande chelle Toute d faillance du r seau ext rieur de l h pital ne devrait pas affecter la gestion des donn es l h pital ni a l change et le traitement de l information m dicale en dehors de la zone affect e par la d faillance 73 Chapitre4 Syst mes CBIR base de grilles La plateforme doit remplir toutes les exigences l gales en mati re de s curit L architecture de la plate forme est construite sur trois piliers a Les donn es m dicales sont stock es dans un serveur AMGA a l int rieur de l h pital AMGA est le catalogue de m tadonn es d velopp par le projet EGEE abord plus haut b Les professionnels de la sant acc dent a tous les services de la plateforme a travers un portail Web d velopp avec le conteneur GridSphere c L infrastructure de grille fou
118. formations de l instance du Service de grille qui ne sont pas fournies par le GSR tel que l tat de service l environnement d ex cution de l instance et d autres informations s mantiques D truire l instance de Service de grille D finir la dur e de vie d une instance 1 9 2 Services Web A D finitions On trouve plusieurs d finitions pour les services Web D finition fournie par IBM Un service Web est une interface qui d crit une collection d op rations accessibles sur un r seau via des messages standards au format XML Des Services Web accomplissent une t che sp cifique ou un ensemble de t ches Un Service Web est d crit en utilisant la notation XML formelle appel e galement le descripteur de Service qui fournit tous les d tails n cessaires y compris des formats de message qui d taillent les op rations et protocoles de transport La nature de l interface masque les d tails de mise en uvre de service pour que ce dernier puisse tre utilis ind pendamment du mat riel ou du logiciel de la plateforme sur laquelle il est mis en ceuvre et ind pendamment de la langue de programmation avec laquelle il est impl ment Cela permet et encourage les applications bas es sur les services Web d tre faiblement coupl es orient es composant ind pendantes des impl mentations des technologies Les services Web peuvent tre utilis s seuls ou avec d autres services Une des d finit
119. g n ralement via des messages SOAP 4 Utilisation des protocoles de transport les plus connus ainsi que HTTP Technologies bas es XML DTD Sch mas Se ee ee ee ee dd ee le a Figure 1 4 Architecture des Services Web 3 19 La seconde partie de l architecture utilise le standard WSDL Web Services Description Language OASIS 2004 WSDL fournit l abstraction la plus fondamentale des services Web il construit l interface qui sera expos aux autres services et travers lequel il sera mapp La troisi me partie de l architecture impl mente le standard SOAP Simple Object Access Protocol W3C 2001 c est un protocole bas sur la notation formelle XML et qui d finit la structure des messages changer entre les services La quatri me partie fournit les interfaces et les standards des protocoles les plus reconnus de la couche transport dans la technologie Web tel que HTTP SMTP FTP JMS etc C Invocation des Services Web L invocation d un service Web passe par un ensemble d tapes bien d finies elle se fait essentiellement via les standards SOAP et WSDL Si on voit l architecture des services Web comme une de type Client Serveur on num re les tapes d invocation suivantes Le c t serveur contient un ensemble de services d ploy s il poss de d un service con u sp cialement pour la d couverte et la supervision des autres services Le client peut tre vu comme une
120. g CA 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA A certificate request and private key is being created You will be asked to enter a PEM pass phrase This pass phrase is akin to your account password 112 ANNEXE A and is used to protect your key file If you forget your pass phrase you will need to obtain a new certificate Generating a 1024 bit RSA private key writing new private key to home globus globus userkey pem Enter PEM pass phrase Verifying Enter PEM pass phrase You are about to be asked to enter information that will be incorporated into your certificate request What you are about to enter is what is called a Distinguished Name or a DN There are quite a few fields but you can leave some blank For some fields there will be a default value If you enter the field will be left blank Level 0 Organization Grid Level 0 Organizational Unit GlobusTest Level 1 Organizational Unit simpleCA poste4 lri net Level 2 Organizational Unit Iri net Name e g John M Smith A private key and a certificate request has been generated with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN globus If the CN globus is not appropriate rerun this script with the force cn Common Name options Your private key is stored in home globus globus userkey pem Your request is stored in home globus globus usercert_request pem Please
121. gt K KOK K KKK K k x setup ssl utils Complete Done WARNING The following packages were not set up correctly globus_simple_ca_637244ab_setup noflavor pgm Check the package documentation or run postinstall verbose to see what happened Maintenant nous installons le GSI par la commande suivante root poste GLOBUS_LOCATION setup globus_simple_ca_637244ab_setup setup gsi default Le r sultat bash usr local globus 4 0 6 setup globus_simple_ca_637244ab_setup etup gsi Aucun fichier ou r pertoire de ce type root poste usr local globus 4 0 6 setup globus_simple_ca_637244ab_setup setup gsi default setup gsi Configuring GSI security Making etc grid security mkdir etc grid security Making trusted certs directory etc grid security certificates mkdir etc grid security certificates Installing etc grid security certificates grid security conf 637244ab Running grid security config Installing Globus CA certificate into trusted CA certificate directory Installing Globus CA signing policy into trusted CA certificate directory setup gsi Complete Nous ajoutons au fichier etc hosts les adresses IP ainsi que les noms des autres h tes reli s par la grille Nous ouvrons le fichier avec l diteur vi root poste vi etc hosts Et nous ajoutons les lignes 192 168 0 103 poste2 lri net 192 168 0 104 poste3 lri net 192 168 0 101 poste4 lri net Nous lan ons la demande de
122. help with psql commands g or terminate with semicolon to execute query q to quit test 5 1 4 L installation de Globus Toolkit A Lancement du script d installation 107 ANNEXE A La version t l charg e de Globus Toolkit est gt4 0 6 x86_fc_4 installer tar gz Nous commen ons par la d compression du fichier dans usr local globus 4 0 6 On copie les fichiers d compress s dans le m me r pertoire On ajoute la variable GLOBUS_LOCATION au path et ensuite on lance l op ration d installation D compresser et copier le zip root poste4 tar xzf usr local gt4 0 6 x86_fc_4 installer tar gz C usr local globus 4 0 6 root poste4 cp r usr local globus 4 0 6 gt4 0 6 x86_fc_4 installer usr local globus 4 0 6 D signer l utilisateur et le groupe propri taire des fichiers cette tape permet d affecter a l utilisateur globus l ensemble des fichiers d compress s ils sont utiles pour l installation de l Intergitiel Avec la commande qui suit l installation peut tre faite sous l utilisateur globus root poste4 chown R globus globus usr local globus 4 0 6 L installation de Globus Toolkit doit tre faite sous l utilisateur globus Nous cr ons un fichier Makefile avec la commande configure globus poste4 cd usr local globus 4 0 6 globus poste4 globus 4 0 6 configure prefix GLOBUS_LOCATION enable prewsmd enable drs Le r sultat sera
123. hui largement disponible via le message passing interface MPI Le projet EDG a d velopp une interface de travail parall le bas du MPICH G2 MPICH de Globus Toolkit2 Applications interactives L interaction avec l utilisateur est n cessaire pour contr ler un algorithme pour r soudre des probl mes juridiques lorsqu il s agit de donn es m dicales ou pour l application elle m me le simulateur de th rapie par exemple La compression de donn es et la gestion de r seaux haut d bit devraient tre effectu es en un temps limit pour un usage interactif Le Feedback interactif implique souvent la visualisation 3D de sc nes m dicales Cela repr sente un d fi en raison de la grande taille des images m dicales 3D et la complexit des anneaux utilis es pour la mod lisation Dans un autre projet les auteurs ont prouv l utilit des grilles dans les Systemes CBIR dans le domaine m dicale 55 La gestion classique de grande quantit d informations est une tache d licate qui motive la cr ation de simples applications Web afin de g rer et utiliser le mieux les donn es collect es a partir de diff rentes bases d images au niveau des cliniques L auteur montre comment MedGIFT 56 Medical GNU Image Finding Tool peut tre utilis pour ex cuter des requ tes de recherche sur plusieurs bases d images m dicales En utilisant MedGIFT les m decins peuvent utiliser le mat riel visuel li au patient comme les
124. ifiant unique de grille GUID Pour chaque GUID est associ un ou plusieurs fichiers nomm s replicas Le gestionnaire des donn es manipule des fichiers qui sont stock s dans diff rents Systemes de Stockage de Mass MSS a travers une interface de stockage unifi e Afin d assurer la tol rance aux pannes et assurer un acc s efficace aux donn es les fichiers sont enregistr s dans le gestionnaire de donn es et reproduites de facon transparente par le middleware Quand un fichier est demand l Intergitiel de grille choisira automatiquement la copie la plus facile recueillir Pour manipuler facilement les images de m decine de l EDG les auteurs ont con u une interface de stockage aux serveurs m dicale DICOM Cela s est av r tre difficile car les donn es DICOM ne sont pas structur es comme des fichiers mais que la collecte de tranches d image s rie DICOM et les tranches de DICOM sont contenant a la fois les donn es d images brutes et les m tadonn es Le gestionnaire des donn es m dicales distribu es DM2 qui a t d velopp d finit une abstraction d images m dicales il s pare entre les donn es des images brutes et les m tadonn es Un DM2 connect au gestionnaire des donn es DataGrid est repr sent dans la figure 4 8 DM Grid Middleware H Data Manager Grid om put ation Service Hospital DICOM Eneryption Header storage interface storage interface planking
125. images de la classe en question 4 Lancement de la classification sur une base d images seule ou avec des fichiers seg qui repr sentent le r sultat de segmentation personnalis e d images Apr s analyse et extraction des caract ristiques descripteurs du contenu de chaque image le syst me fait la classification en calculant la distance entre chaque nouvelle image et chaque classe La classification est repr sent e par des pourcentages qui traduisent le taux d appartenance d une image une classe Le r sultat de la classification est l insertion des entr es dans la base de donn es o chacune contient des informations sur l image et sur les classes dont elle appartient La structure de la Table Indexe est pr sent e dans la partie Annexe B sur une base de donn es Postgresql avec l outil pgAdmin3 C Recherche La fonctionnalit de recherche d pend principalement des caract ristiques descripteurs extraites dans l tape d indexation on peut chercher une image qui poss de un taux d une couleur pr cise et ou contient un ou plusieurs objets sp cifi s L utilisateur lance une requ te repr sent e par une image ou par un ensemble de mot cl comme par exemple voiture verte le syst me fait une analyse de la requ te 1l fait recours une ontologie pour extraire les mots cl s qui ont une relation avec ceux en entr s il construit une nouvelle requ te sous format SQI et la fin il interroge la base de
126. interrogent le serveur de base de donn es par des requ tes SQL 5 1 3 Pr paration de l installation de globus toolkit 4 0 6 104 ANNEXE A A Cr ation des comptes utilisateurs Afin d installer Globus et pouvoir tester son bon fonctionnement nous devons cr er trois types d utilisateurs l administrateur du syst me root il permet le lancement et l arr t du container Un second utilisateur globus non privil gi par apport root cet utilisateur servira l installation de l Intergitiel Globus Le dernier utilisateur cr est un simple utilisateur user utilis uniquement pour des raisons de test B Cr ation des r pertoires d installation Pour chaque n ud Nous cr ons deux r pertoires sous le chemin Yusr local un pour l installation du Globus Toolkit et l autre pour les outils naic ssaires dk ant Cr ation d un r pertoire d installation globus 4 0 6 sous usr local root poste4 mkdir usr local globus 4 0 6 root poste4 chown globus globus usr local globus 4 0 6 De la m me fa on on cr e le r pertoire d installation des outils outils sous usr local root poste4 mkdir usr local outils Dans le r pertoire outils cr e on copie les outils Java Apache ant et Postgresql C Installation des outils apache Java Apache ant et Postgresql Installation de Java Apr s le t l chargement du jdk 1_5_0_14 nous lan ons son installation dans le r pertoir
127. ion https 192 168 0 103 8443 wsrf services WidgetNotificationService https 192 168 0 103 8443 wsrf services WidgetService https 192 168 0 103 8443 wsrf services gsi AuthenticationService https 192 168 0 103 8443 wsrf services mds test execsource IndexService https 192 168 0 103 8443 wsrf services mds test execsource IndexServiceEntry https 192 168 0 103 8443 wsrf services mds test subsource IndexService https 192 168 0 103 8443 wsrf services mds test subsource IndexServiceEntry Les erreurs existantes vont tre corrig es apres la configuration de la base de donn es utilis e par RFT 5 1 8 Configuration du RFT A Cr ation du fichier pg_hba conf Le fichier pg_hba conf est un fichier de configuration pour postgressql il va contenir par la suite l entr e qui autorise l utilisateur globus d utiliser la base de donn es rftDatabase partir du poste4 On cr e le chemin suivant var lib pgsql data root poste4 mkdir var lib pgsql root poste4 mkdir var lib pgsql data On dite le fichier pg_hba conf root poste4 vim var lib pgsql data pg_hba conf On ajoute la ligne suivante host rftDatabase globus 192 168 0 101 255 255 255 0 md5 B Cr ation d un utilisateur globus sous postgres Nous lan ons le serveur postgressal postgres poste4 usr local pgsql bin postmaster i D usr local pgsql data Le r sultat est le suivant database
128. ion des donn es ou sur le c t interaction grille La conception de la plateforme facilite l interface avec les services de gestion de donn es m dicales MDM Le choix de la technologie de service Web est faite du besoin d utiliser des protocoles standards de communication tel que SOAP pour garantir l interop rabilit et la s curit entre les diff rentes instances de la plateforme install es dans les h pitaux loign s 74 Chapitre4 Syst mes CBIR base de grilles La couche de service Web g re l ensemble des m canismes de routage utilis pour changer des messages SOAP entre les instances distantes ce qui permet aux m decins de diff rents h pitaux de partager les fichiers des patients ainsi que de partager les examens cliniques et les images m dicales Les informations et les m tadonn es extraites des images m dicales sont g r es l aide de catalogue AMGA Ce service de grille permet d acc der diff rentes bases de donn es back end d une mani re uniforme et ind pendante du syst me de base de donn es utilis Cela rend AMGA un service int ressant pour d velopper des solutions logicielles dans un environnement distribu et h t rog ne Pour s adapter aux syst mes d information hospitaliers existants l architecture permet aux diff rents h pitaux de sp cifier un fichier qui repr sente la structure de base de donn es Pour ce faire les auteurs utilisent le langage XML pour repr senter
129. ionFactoryS ervice java Figure 6 11 interaction entre classes de segmentation C D veloppement Cot client Il est compos d interfaces graphiques il lance le service d information et de Synchronisation SIS ce dernier lance le service de segmentation en lui sp cifiant les ressources sur lesquelles il va travailler 150 ANNEXE B La figure 6 12 illustre l interface graphique qui instance le service SIS et qui permet de lui passer les parametres source de donn es propri t s Indexation File Help Op rations Choisissez une op ration AUCUN E Filtres Choisissez un Filtre Lissages segmenter Criteres par defaut Parame tres de fusion Variance entre r gions D tails Sources Choisissez une source host Postez Chemain ftmp bd1 Figure 6 12 interface client pour effectuer une indexation d une source de donn es 151 ANNEXE B La figure 6 13 montre l interface graphique utilis e pour la recherche l utilisateur peut sp cifier une requ te image ou introduire des mots cl s Recherche File Help Recherche Mots cles a chercher Importer Une image Rechercher Resultats Figure 6 13 interface graphique pour la recherche D Configuration de d ploiement du service Se traduit par la cr ation d un fichier deploy server wsdd ce type de fichier wsdd Web Service Deployment Descriptor permet de d crire la fa on avec laquel
130. ions de Microsoft Un service Web est une unit logique d application il fournit des donn es et des services Les applications acc dent aux services Web via des 26 Chapitrel La technologie des grilles protocoles web et des formats de donn es standards comme HTTP XML et SOAP sans besoin de savoir comment chaque service Web est mis en ceuvre Les Services Web combinent les meilleurs aspects de d veloppement a base de composant et de Web et ils sont la fondation des modeles de programmation de Microsoft NET D finition fournit par Sun Les Services Web sont des composants logiciels qui peuvent tres d couverts combin s et recombin s pour fournir une solution du probleme demande de l utilisateur Le langage Java et XML sont les headers des technologies Services Web Les services Web d finissent des applications en s appuyant sur XML pour mapper des programmes objets ou des Bases de donn es En XML Les Services Web d finissent le format des messages a changer sp cifient l interface de la destination d crit la proc dure du mappage et d finissent le m canisme de d ploiement et de d couverte des services Web sur les serveurs Un service est un acteur logiciel qui accomplit certaines op rations bien d finies i e fournir des services 1l peut tre invoqu dans le contexte d un grand nombre d applications Les utilisateurs sont concern s juste par les descriptions des interfaces que fournit le ser
131. isation des ressources partag es d finies par le concepteur 20 Chapitrel La technologie des grilles Il y a une multitude de protocoles qui peuvent tres impl ment s pour r pondre toutes les op rations concern es par cette couche mais ils doivent tres choisis normalis s ou limit s en nombre afin de faciliter leurs int grations et leurs d ploiements dans une vari t de contexte et d environnement 1 7 4 Couche collectif Contrairement la couche pr c dente cette couche poss de une vue globale des ressources Elle impl mente des services et des protocoles capables de g rer un nombre important de ressources et g rer leurs interactions Cette couche est responsable de l ordonnancement et la co allocation des ressources demand es elle poss de plusieurs informations globales sur les ressources ces informations lui donnent la possibilit de choisir et d allouer la ressource la plus appropri e pour la r alisation d une t che demand e Elle s occupe galement de la r plication des donn es la r cup ration et le traitement des alertes remont es par la couche ressources En d autre mot la couche collectif se charge de l orchestration des ressources disponibles sur la grille Dans cette couche on trouve des services fig s utilis s pour la gestion des ressources On cite Annuaire Le service d annuaire fourni par cette couche joue un r le important dans la gestion des ress
132. istribu s connus jusqu maintenant Cette partie fait aussi l objet de pr sentation de quelques Intergitiels r pendus et la pr sentation de technologie des services Web On termine le premier chapitre par la pr sentation du service a tat et la notion des sp cifications WSRF Le deuxi me chapitre pr sente en d tail l Intergitiel Globus sur lequel est fond e cette tude Dans un premier temps on pr sente son architecture et on se focalise sur les modules de cet Intergitiel Le troisi me chapitre est une introduction en traitement d image Il pr sente les op rations de bases en imagerie Dans le quatri me chapitre on commence par la pr sentation des syst mes CBIR des notions dans le domaine des syst mes r partis un tat de l art des syst mes CBIR bas s sur les grilles Ensuite on va pr senter l architecture de la plateforme d velopp e ses services de grille ainsi que sa gestion A la fin on donne les r sultats obtenus de quatre sc narios qui portent sur l exploitation des ressources de la grille Et pour finir l Annexe A porte sur l installation de Globus Toolkit et la construction de la grille de test les outils n cessaires et un ensemble de tests pour v rifier le bon fonctionnement des modules install s Dans l Annexe B on donne quelques bouts de codes Java et XML utilis s dans un premier temps pour l impl mentation des algorithmes en imagerie calcul de caract ristiqu
133. ity of Manchester UK Carole Goble University of Manchester UK Johan Montagnat University of Nice Frnace 2009 51 T Oinn M Greenwood M Addis and M N A et al Taverna Lessons in creating a workflow environment for the life sciences Concurrency and Computation Practice and Experience 18 10 1067 1100 August 2006 52 http www myerid org uk myGrid 53 D Lingrand J Montagnat and T Glatard Estimating the execution context for rening submission strategies on production grids In Assessing Models of Networks and Distributed Computing Platforms ASSESS CC grid 08 pages 753 758 Lyon May 2008 IEEE 54 Bo Song Guangwen Yang Qiming Fang Improving the Performance of MPI Applications over Computational Grid Grid Page s 799 806 16 18 Aug 2007 55 M J Pitkanen Xin Zhou A Hyvarinen H Muller Using the Grid for Enhancing the Performance of a Medical Image Search Engine Computer Based Medical Systems 2008 CBMS 08 21st IEEE 158 Conclusion et perspectives International Symposium on In Computer Based Medical Systems 2008 CBMS O8 21st IEEE International Symposium on 2008 pp 367 372 56 http www sim hcuge ch medgift 57 Mattias Ellert et al Advanced Resource Connector middleware for lightweight computational Grids Future Generation Computer Systems 23 2007 58 http www nordugrid org 59 http www tcs hut fi aehyvari gridjm 60 M W Vannier E V S
134. java util ArrayList public class Region implements Comparable int xPosDebut int yPosDebut int etiquette double moyenne double variance ArrayList couleurs int nbrPixels ArrayList voisins new ArrayList ArrayList listePixels new ArrayList Region Region int xPosDebut int yPosDebut int xPosFin int yPosFin int type int etiquette 136 ANNEXE B this xPosDebut xPosDebut this yPosDebut yPosDebut this etiquette etiquette nborPixels this nbrPixels xPosFin 1 xPosDebut yPosFin 1 yPosDebut voisins new ArrayList 6 2 2 Structure de fichier seg Les fichiers seg sont utilis s pour repr senter l ensemble des r gions composantes de l image ils sont repr sent s par un objet de type ArrayList avec le contenu de type R gion 6 2 3 Calcul des caract ristiques visuelles d une image M thodes pour le calcul des caract ristiques extraites de la matrice de cooccurrence d finie par Haralick L nergie private double getEnergie double cooccurreceMatrix double energie 0 for int j 0 j lt SizeM j SizeM taille de la matrice de cooccurrence g n ralement a la valeur 256 image en niveau de gris for int i 0 i lt SizeM i energie cooccurreceMatrix i j cooccurreceMatrix i j return energie 137 ANNEXE B L entropie private double getEntrepie double cooccurreceMatrix double entropy 0 for int j 0 j lt
135. l autre et personnalis s selon le cas de leur utilisation Globus est d velopp principalement pour r pondre aux besoins de la collaboration En faite l h t rog n it t un obstacle pour collaborer un ensemble de machines h t rog nes au niveau mat riel qu au niveau logiciel Les interfaces et les services que fournit Globus rendent la collaboration plus facile ils permettent aux utilisateurs d acc der aux ressources distantes comme si elles sont en local tout en masquant l h t rog n it de l environnement Globus a pass par des tapes durant son volution dans cette partie on va pr senter la boite outils dans sa version 4 GT4 a utilis OGSA et a remplac l architecture OGSI ce changement t r alis par l int gration des sp cifications WSRF afin de fournir des ressources a tats Ressources WS Ci dessus la figure 2 1 qui illustre la relation entre Globus OGSA WSRE et les services Web 35 Chapitre2 Globus Impl mente les services de haut niveau Services ad quats pour les applications de la Grille Requi rent Impl mentent OGSA WSRE OGSA Besoins en Ressources tat WSRF D finit des sp cifications Services de la Grille Utilise les interfaces WS Services Web Figure 2 1 Relation entre GT4 WSRF OGSA et les Services Web 3 Le d veloppement de Globus Toolkit a commenc la fin des ann es 90 et il est maintenant
136. l Resources with Web Services Version 1 1 03 05 2004 25 Ian Foster Globus Toolkit Version 4 Software for Service Oriented Systems 2005 26 Lee Liming University of Chicago Argonne National Laboratory Globus Primer Introduction to Globus Software OSGCC08 27 Ian Foster Globus Toolkit Version 4 Software for Service Oriented Systems J Comput Sci amp Technol July 2006 Vol 21 N 4 pp 513 520 28 W Allcock J Bresnahan R Kettimuthu M Link C Dumitrescu I Raicu I Foster The Globus Striped GridFTP Framework and Server SC 05 ACM Press 2005 29 Communicating Security Assertions over the GridFTP Control Channel Rajkumar Kettimuthu Liu Wantao Frank Siebenlist and Ian Foster 4th IEEE International Conference on e Science December 2008 426 427 30 RELIABLE FILE TRANSFER IN GRID ENVIRONMENTS Ravi K Madduri Argonne National Laboratory Illinois Institute of Technology Cynthia S Hood Illinois Institute of Technology William E Allcock Argonne National Laboratory Proceedings of the 27th Annual IEEE Conference on Local Computer Networks LCN 02 0742 1303 02 17 00 2002 IEEE 31 Performance and Scalability of a Replica Location Service A L Chervenak N Palavalli S Bharathi C Kesselman R Schwartzkopf Proceedings of the International IEEE Symposium on High Performance Distributed Computing HPDC 13 June 2004 32 Protocols and Services for Distributed Data Inten
137. lassification et lV indexation On prend cinquante images al atoires pour chaque classe on lance la segmentation et l extraction des caract ristiques Les r f rences des fichiers obtenus de l extraction des caract ristiques visuelles sont sauvegard es dans la table des classes Les r sultats obtenus de l ex cution s quentielle d indexation sur les 500 images de test sont illustr s dans la table qui suit Extraction de 6 40 min caract ristiques des r gions optimales 10 r gions toute l image Calcul de distance minimale 3 94 min et classification Tableau 4 r sultats de l indexation s quentielle sur 50 images 97 Chapitre4 Syst mes CBIR base de grilles L indexation des 50 images de test sur la grille donne des r sultats plus performants comme illustr dans la table qui suit Dans le cas des donn es r el le nombre des images a indexer sera 1000 fois plus grand et les r sultats d am lioration des performances apparaissent mieux Dans notre test on a r pliqu les donn es sur les n uds de la grille Cela nous permet de ne comparer que les temps CPU n cessaires pour l indexation Le nombre des images pour chaque domaine est de 10 et l tape de filtrage n est pas incluse Temps CPU Temps CPU pour deux pour quatre machines machines Extraction de caract ristiques 4 21 min 2 99 min des r gions optimales 10 r gions toute l image Calcul de dist
138. le mais elle repose sur les images elles m mes L utilisation des grilles augmente d une fa on perceptible les performances des syst mes CBIR elles fournissent la puissance de calcul requise et la m moire vive ou de stockage n cessaire L analyse de millier d images consomme beaucoup de temps l ex cution parall le de cette t che est le seul chemin pour rem dier ce probl me les grilles offrent la solution la moins co teuse on n a pas besoin de ressources tr s puissantes car la puissance des grilles r side dans la combinaison des ressources existantes 4 2 Etat de l art Plusieurs travaux sont port s sur l utilisation des grilles pour l augmentation des performances des syst mes CBIR leurs implications dans les moteurs de recherche des images ont t labor s par le projet IMENSE 49 Il utilise la puissance de la grille pour mettre en ceuvre des techniques et des m thodes CBIR sur un nombre important des images par distribution de la t che requise sur des milliers de n uds Avec seulement deux serveurs de stockage et de soumission de job Imense permet l analyse et l indexation d environ 25 millions d images hautes r solutions Le syst me CBIR d velopp par Imense Ltd est bas sur une analyse automatis e et de reconnaissance de contenu des images avec l utilisation d une ontologie s mantique 1l est dot e aussi par des modules d analyse pour effectuer la segmentation la classificatio
139. le CA configurations installed on this host are 119 ANNEXE A 1 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA Enter the index number of the CA you want to sign your cert request 1 Using CA 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA home globus globus usercert_request pem already exists home globus globus usercert pem already exists home globus globus userkey pem already exists A certificate request and private key is being created You will be asked to enter a PEM pass phrase This pass phrase is akin to your account password and is used to protect your key file If you forget your pass phrase you will need to obtain a new certificate Generating a 1024 bit RSA private key 4 writing new private key to home globus globus userkey pem Enter PEM pass phrase Verifying Enter PEM pass phrase You are about to be asked to enter information that will be incorporated into your certificate request What you are about to enter is what is called a Distinguished Name or a DN There are quite a few fields but you can leave some blank For some fields there will be a default value If you enter the field will be left blank Level 0 Organization Grid Level 0 Organizational Unit GlobusTest Level 1 Organizational Unit simpleCA poste4 Iri net Level 2 Organizational Unit Iri net Name e g John M Smith A private key and a certific
140. le le service sera d ploy Il fournit les informations suivantes gt Le nom du service avec le quel on peut extraire l URI gt Le chemin du r pertoire contenant le code source du service gt Le chemin de l interface WSDL du service partir duquel les fichiers WSDL sont ajout s GLOBUSLOCATION share schema gt Param tres de configuration utiles pour le d ploiement et la fa on avec laquelle il doit tre d ploy Cr ation d un fichier deploy jndi config xml utilis pour la d signation de multiple ressources pour les services E G n ration du fichier GAR 152 ANNEXE B Le fichier GAR est une structure similaire au fichier WAR pour les applications J2EE il contient le binaire des classes du service ainsi que les fichier de descriptions de d ploiement On lance la commande globus build service avec le nom du service comme param tre Exemple de g n ration du GAR du service factory globus build service factory Le d ploiement se fait par la commande globus deploy gar et on ajoute le nom du GAR g n r pr c demment On red marre le conteneur et le service sera pr t tre utilis 6 2 5 Conclusion Le d veloppement des services de grilles n cessite des connaissances profondes et durant l impl mentation des services on a trouv qu il y a un manque d outils de d veloppement et de tests efficaces Les services de ce projet ont t d velopp s en Java avec l importati
141. le mis en disposition toutes les ressources partageables On peut classer les ressources en deux cat gories principales physique contenant des calculateurs clusters ressources r seaux capteurs annuaires bases de donn es et la seconde cat gorie regroupe des ressources logiques tels que des syst mes de fichiers distribu s ou des serveurs virtuels qui n cessitent l utilisation de leurs propres protocoles de gestion internes ind pendamment de la grille Lorsque l une des couches sup rieures fait r f rence une ressource via une op ration de partage comme par exemple la demande d un emplacement m moire la couche fabrique s interface pour r pondre a cette demande des composants logiciels de la couche agissent directement sur les ressources physiques et logiques et impl mentent les op rations sp cifiques selon la demande Les ressources eux m mes doivent impl menter un m canisme d introspection pour fournir les informations qui d crient leurs structures leurs fonctionnalit s et leurs tats ces informations sont n cessaires pour interroger les ressources Des fonctionnalit s intrins ques de la couche peuvent tre cit es pour les diff rents types de ressources Ressources de calcul ce type de ressource doit impl menter des fonctionnalit s permettant de r cup rer des informations sur les caract ristiques mat riels et logiciels tel que la charge de syst me l tat des files d attente De m me ce
142. lisateur postgres et nous cr ons le r pertoire pgsql data root poste4 adduser postgres root poste4 mkdir usr local pgsql data root poste4 chown postgres usr local pgsql data En tant qu utilisateur postgres on ex cute la commande suivante postgres poste4 usr local pgsql bin initdb D usr local pgsql data tee initdb log On lance le serveur de base de donn es postgres poste4 cd usr local postgres posted local pgsql bin postmaster D pgsql data Le r sultat sera database system was interrupted at 2008 07 13 13 09 54 CET checkpoint record 1s at 0 42E904 redo record is at 0 42E904 undo record is at 0 0 shutdown FALSE next transaction ID 0 622 next OID 24579 next MultiXactId 1 next MultiXactOffset O database system was not properly shut down automatic recovery in progress record with zero length at 0 42E94C redo is not required database system is ready Pour v rifier si le serveur de la base de donn es est bien install e nous cr ons une base de donn es de test comme suit postgres poste4 usr local pgsql bin createdb test Le r sultat de cette commande est CREATE DATABASE Nous testons la cr ation de la base par cette commande postgres poste4 usr local pgsql bin psql test Le r sultat est Welcome to psql 8 2 6 the PostgreSQL interactive terminal Type copyright for distribution terms h for help with SQL commands for
143. lit 33 Chapitre2 Globus Globus Chapitre2 Globus 2 Globus Toolkit 4 2 1 Introduction L alliance Globus est un membre actif dans le Global Grid Forum GGF ce dernier vise standardiser les technologies de la grille Globus Toolkit est une collection de solutions 26 destin pour r soudre les probl mes fr quemment rencontr s dans la construction des applications collaboratives distribu es les probl mes fr quemment rencontr s sont en relation avec l h t rog n it la s curit et la standardisation Globus Toolkit est une boite outil avec une architecture ouverte base de communaut community based et code source libre open source 22 Cela a pour but d encourager les contributions et l adoption du Toolkit ainsi que pour des consid rations a prendre dans la standardisation des solutions Globus fournit un ensemble de services et de librairies logicielles 25 qui supportent les applications d ploy es sur la grille Globus assure la communication et la gestion des donn es en toute s curit 1l fournit un syst me d information pour le suivi de changement de l tat des ressources et pour la supervision de toutes interactions intra grille De m me il offre un m canisme de gestion des exceptions Le code source de Globus peut tre r utilis et adapt selon les besoins des utilisateurs et des applications ses services sont regroup s dans des modules ind pendants l un
144. lue If you enter the field will be left blank Level 0 Organization Grid Level 0 Organizational Unit GlobusTest Level 1 Organizational Unit simpleCA poste4 Iri net Level 2 Organizational Unit Iri net Name e g John M Smith A private key and a certificate request has been generated with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN user If the CN user is not appropriate rerun this script with the force cn Common Name options Your private key is stored in home user globus userkey pem Your request is stored in home user globus usercert_request pem Please e mail the request to the Globus Simple CA ahmed dib Iri annaba net You may use a command similar to the following cat home user globus usercert_request pem mail ahmed dib Iri annaba net Only use the above if this machine can send AND receive e mail if not please mail using some other method Your certificate will be mailed to you within two working days If you receive no response contact Globus Simple CA at ahmed dib Iri annaba net Signature du certificat de l utilisateur user Nous signons le fichier usercert_request pem avec la commande qui suit lanc e sous l utilisateur globus user poste4 cp home user globus usercert_request pem tmp user_usercertrequest pem globus poste4 grid ca sign in tmp user_usercertrequest pem out tmp usersigned2 pem user poste4 cp tmp usersigned2 pe
145. lusieurs recherches en physique en biologie et en informatique vont largement b nificier des performances que les grilles peuvent fournir 154 Conclusion et perspectives 155 Conclusion et perspectives R f rences 1 I Foster C Kesselman S Tuecke The Anatomy of the Grid Enabling Scalable Virtual Organizations International J Supercomputer Applications 15 3 2001 2 I Foster C Kesselman The Grid Blueprint for a New Computing Infrastructure Morgan Kaufmann 1999 3 Borja Sotomayor and Lisa Childers Globus Toolkit 4 Programming Java Services Morgan Kaufmann publisher 2006 4 Chetty M et R Buyya Weaving Computational Grids How Analogous Are they with Electrical Grids Computing in Science amp Engineering July August 2002 5 I Foster et C Kesselman editors The Grid 2 Blueprint for a New Computing Infrastructure Morgan Kaufmann publisher 2004 6 Condor http www cs wisc edu condor 7 http www npac syr edu factoring html 8 Foster I Geisler J Nickless W Smith W and Tuecke S A997 Software infrastructure for the I WAY high performance distributed computing experiment Proc 5th IEEE Symposium on High Performance Distributed Computing 1997 9 SETI Home http setiathome ssl berkeley edu 10 Distributed Net http www distributed net 11 Foster I and Kesselman C A997 Globus A metacomputing infrastructure toolkit Internation
146. m home user globus 114 ANNEXE A user poste4 mv home user globus usersigned2 pem home user globus usercert pem root poste4 chmod 644 home user globus usercert pem Nous v rifions le contenu de home user globus rw r r user user 2683 jui 20 23 04 usercert pem rw r r user user 1407 jui 20 22 48 usercert_request pem 1 user user 963 jui 20 22 48 userkey pem F Cr ation du certificat du container Le certificat du container est pratiquement n cessaire pour le lancement des services web Nous proc dons comme suit root poste4 cp etc grid security hostcert pem etc grid security containercert pem root poste4 cp etc grid security hostkey pem etc grid security containerkey pem root poste4 chown globus globus etc grid security container pem G Ajout des autorisations Ajout des autorisations pour l utilisateur globus L ajout des autorisations se fait par la cr ation du fichier grid mapfile qui garantie une communication s curis e entre les diff rents noeuds de la grille sa cr ation peut tre faite en utilisant l diteur vi sous le r pertoire grid security Pour cela nous lan ons la commande Nous ajoutons dans le fichier cr une entr e correspondante a chaque utilisateur globus et user les entr es a ajouter sont compos es du sujet et du propri taire du certificat Pour r cup rer ces derniers pour chaque utilisa
147. maine Spatialissss ssssanns naelesnectanens 53 3 22 Filtrage dans le domaine fr quentiel 4 54 3 3 SCS MENTA Oasys PE PR dra tader a tA AE didnt 54 334 M thodes Statistiques een nan at ennui ri 55 Histogrammes et Segmental oN sirarsa na a 55 B Segmentation par s lection r cursive sur histogrammes 55 3 32 Methodes Come migu Scindia ia than nie ini 55 A Croissance de r gions Region growing sesessssssssceerssssssssceeresssssssseereessssseees 55 B D composition fusion Split amp Merge 55 SOMMAIRE 3 3 3 Methodes par opun SINO easair E tiers 56 3 4 CaSe O in ra E E EG 56 A M thodes de classification automatique 56 B M thodes de classification SUD TVIS E site enidiirndete 56 C Classification AN DRASS ne E ide ide de 56 39 CO TON errr ea eer etme PE AO ee me re tet ne oo de 57 As Syst mes CBIR a base de Grilles oy Liste nn Diane Ne dt ner 59 4 1 loro duc 1011 stes AA ese hice hace eta tae a bc fines ceed a OA au ees 59 42 VANS A ON ER A A 7 atri eeu 59 4 3 Conception de plateforme CBIR bas e sur GlobUs ccciciiececccciiiiiicicccciri 76 4 3 1 lono acion ER RS Rd ome Ce are re 76 Interface de passage de message MPDens En it nie nie 76 ATENItE E tUre Par ol MSS ici san A LE nd ide te onde ia Types de t ches dans une application parall le ia D composition de PLO DLC IMC 5 45 seco cas sass econ ea etcetera TI 4 3 2 Fonctionn
148. ment de t ches sur les h tes moins charg s 92 Fisur 425 Diagramme de COmPal dl SOM 2 8 Re bat nues 94 Figure 4 24 Ordre chronologique des tapes de segmentation de 1000 images 95 Figure 4 25 stabilisation de temps de segmentation apr s la troisi me r pitition 96 Liste de figures Figure 4 26 les dix classe de Wang Deselaers 2003 97 Figure 5 1 Une vue dufichier etc prorile d JAK Sh sentent niet 105 Figure 5 2 Une vue du fichier etc profile d ant sh ss 106 Figure 553 Intertace graphique COG Sn nn A NNE 134 Figure 6 1 Structure de la table Index des images 140 Figure 6 2 environnement utilis pour le d veloppement 140 Figure 6 3 structure g n rale de l application ss 141 Figure 6 4 structure de service de segmentation 141 Fisur 6 5 classe de Service de se g mentatiofi hassan ns ne 147 Figure 6 6 classe SesinentatronQ Names iiecsicntecssiewtvaxessenddaeasencexixgndncybeewtiaanigenddaeasencexhatndeaass 147 Figure 6 7 classe SegmentationRessource ss 148 Fiour 0 8 CRSSE SCO MeMAUONPEOCES Se nn ei lente 148 Figure 6 9 classe SegmentationFactoryService ava ss 148 Figure 6 10 classe SegmentationRessourceHome ss 149 Figure 6 11 interaction entre classes de segmentation 150 Figure 6 12 interface client pour effectuer une indexation d une source de donn es 151 Figure 6 13 interface graphique pour la recherche ss 152 Liste de ta
149. met la collecte des informations des ressources 1l peut tre configur pour lancer des actions tel que notifier l administrateur par envoi de mail ou par la cr ation d un fichier log si l espace disque est inf rieure a un certain seuil ressources de stockage d un n ud distant Aggregator Framework il implique les deux services pr c demment cit s index trigger Il est utilis pour construire des services de collection et d agr gation de donn es Il fournit des m canismes et des interfaces communs pour assurer les interactions avec les sources de donn es 39 Ce framework peut tre interrog par plusieurs m thodes par des requ tes lanc es ou par des notifications requises par des WS Services ou par des programmes pour ex cuter des actions lanc es apr s v rification de certaines conditions La figure 2 10 illustre le framework d agr gation B Fournisseurs d informations Utilis s pour la collection des informations des ressources sp cifiques tel que des informations sur le host nom ID processeur taille m moire nom et version d OS ou du systeme de fichier Les informations qui peuvent tres fournies par ces fournisseurs sont ceux concernant le contr le des clusters Ganglia cluster monitor Hawkeye cluster monitor la gestion des ressources GT4 WS GRAM qui fournit les tats des taches GT4 Reliable File Transfer RFT service qui fournit des informations sur les actions de transferts
150. mps global de segmentation illustr par la figure 4 25 on trouve que ce temps se stabilise apr s la troisi me r p tition de l op ration Au d but quand les donn es n existent que sur une seule machine la charge t male quilibr e ce qui influence sur le temps total de l ex cution Le temps de segmentation se stabilise apr s un nombre de r p titions celui l est d la disponibilit des donn es n cessaires pour le traitement Le changement du n ud qui lance la demande de segmentation n influence pas sur le temps total d ex cution car la charge est quilibr e Dans le quatrieme sc nario on test le temps n cessaire pour indexer une autre base d images de Wang cr e par le groupe du professeur Wang 89 Elle repr sente un sous ensemble de la base d images Corel Elle contient 1000 images naturelles en couleurs Ces images ont t divis es en 10 classes chaque classe contient 100 images L avantage de cette base est de pouvoir valuer les r sultats Cette base d images a t utilis e pour faire des exp riences de classification 96 Chapitre4 Syst mes CBIR base de grilles Un exemple de chaque classe est pr sent par la figure 4 26 Deselaers 2003 Figure 4 26 les dix classe de Wang Deselaers 2003 Dans le but de construire la table des classes on ne lance le traitement que sur cinquante images par classe les cinquante autres sont utilis es pour le test durant la c
151. n base de r gions l analyse de sc ne la d tection d objet et impl mente des m thodes pour la reconnaissance des visages 59 Chapitre4 Syst mes CBIR base de grilles Le syst me CBIR d Imense est d ploy par l international particle physics community dans une puissante grille plus de 120 000 CPU connue sous le nom GridPP qui est une collaboration entre la compagnie Imense Ltd a Cambridge UK et Cambridge University eScience Centre Pour la gestion des processus et la soumission des Jobs Imense utilise le systeme Ganga 48 montr dans la figure 4 1 et qui est personnalisable et supporte une multitude de points d arriv s e Component i gt architecture allows TLAS LAC b Other customisation for applications J applications application catalogues other user groups A 2 File catalogues _ User terface ba sr LA L TT a data and m nager ent management Remote ue repository re Tero Experiment specific workload management systems Local NS thee Local batch systems Distributed Grid systems Ganga job archives Processing systems backends 2421391 pue aseio s e3eq Figure 4 1 Composants utilis s avec le syst me Ganga pour la d finition la soumission et le contr le des Jobs et le contr le de particle physics Grid 48 Dans des r sultats pr sent s dans 49 plus de 500 Jobs s ex cutent en parall le traduits par 500 000 images trait es en m
152. n ralement nomm e Intergitiel ce dernier masque toute sorte d h t rog n it au niveau mat riel qu au niveau logiciel cette couche permet d exploiter efficacement et en toute s curit les diff rentes ressources disponibles sur la grille Chapitrel La technologie des grilles e Application des grilles de calcul Vu la puissance offerte par les grilles de calcul la disponibilit des ressources qu elles peuvent garantir ainsi la s curit des transactions elles peuvent tres impliqu es dans plusieurs domaines d application qu on peut les classer en cing cat gories principales 1 4 1 Supercalculateur distribu Distributed Supercomputing La grille de calcul peut contenir un nombre important de calculateurs qui travaillent en synchronisation pour fournir la puissance de calcul demand e afin de r aliser une t che gourmande Les ressources agr g es peuvent tre h t rog nes Diff rentes technologies peuvent tre incluses Parmi les ressources qu on peut trouver on cite les stations de travail les grappes et les clusters Dans le domaine de supercalculateur distribu l infrastructure doit tre dot e de m canismes et d algorithmes capables de g rer l ordonnancement a grande chelle tout en garantissant des performances globales lev es qualifiantes l utilisation des grilles de calcul dans une telle infrastructure h t rog ne 1 4 2 Calcul haut d bit High Throughput Computing C est
153. n 27 12 min 8 000 102 78 min 54 95 min 29 05 min 93 Chapitre4 Syst mes CBIR base de grilles 10 000 117 13 min 64 33 min 39 98 min Tableau 2 comparaison des temps CPU de segmentation d images sur un nombre variant de machine 120 100 80 60 40 20 0 Une machine Deux machines Quatre machines Figure 4 23 Diagramme de comparaison Lorsque le nombre des images a segmenter est inf rieur ou gale au nombre des images du domaine une seule instance du service de segmentation est lanc e et le temps CPU de l ex cution s quentielle est plus performant que celui de l ex cution parall le Et dans le cas ou le nombre des images a segmenter est plus lev le nombre d instances du service de segmentation gale au nombre des images traiter divis par le nombre des images par domaine et le temps CPU de segmentation et en relation inversement proportionnel avec le nombre des machines incluses dans l op ration Le temps d ex cution devient plus stable lorsque le nombre de machine est sup rieur ou gale au nombre d instances de service de segmentation lanc es Le nombre d instance du service de segmentation est variable d une machine a l autre tout en d pendant de l emplacement des donn es sur la grille et la puissance de calcul du CPU La machine qui poss de le CPU le plus performant et la m moire physique la plus lev e acheve le traitement plus vite et ex cute la grande partie de l
154. n between incremental releases best effort suppor l Contribution Tech Preview public interfaces may change between incremental releases Deprecated Component not supported will be dropped in a future release E E E Figure 2 2 modules de Globus Toolkit 4 23 b S curit Un module qui Fournit des politiques uniformes pour diff rents syst mes de s curit c Gestion d ex cution Son objectif est de g rer le d ploiement et l ex cution des services sur la grille d Gestion de donn es Responsable de la d couverte le transfert et l acc s aux donn es distantes 37 1 Chapitre2 Globus e Syst me d information utilis pour la d couverte et la supervision dynamique des services d ploy s ainsi que les diff rentes ressources de la grille 2 2 Architecture de Globus Globus offre une collection de Service de grille qui suit les principes de architecture OGSA dans leurs implementations L architecture de Globus a volu avec l volution des technologies Web ces derniers peuvent tre utilis es pour am liorer et repondre aux besoins des grilles avec l introduction des sp cifications WSRF l volution de l architecture de l Intergitiel Globus a converg vers celle impl ment e par le Toolkit dans sa version 4 On prend une vue Client Serveur 25 de l architecture de Globus comme montr par la figure 2 3 il est compos de trois ensembles de composants CLI
155. ntre les quatre modules de Globus o celui de la s curit repr sente leur base Infrastructure de s curit Figure 2 4 Les quatre modules de Globus 39 Chapitre2 Globus 2 3 1 Module de gestion de donn es La gestion de donn es dans les grilles est un probleme complexe un seule service ne peut absolument pas r soudre ce probl me le Toolkit Globus a d velopp un ensemble de services qui peuvent tre utilis s seuls ou en combinaison avec d autres services A GridFTP extension du protocole File Transfert Protocol FTP il fournit des outils et des librairies pour effectuer un transfert a niveau lev de performance memory to memory and disk to disk transfert s curis et consistant ainsi que nouvelles fonctionnalit s de s curit GridFTP qui supporte GSS API Grid Security Infrastructure GSI et l authentification Kerberos et les m canismes de s curit SHH 29 ont t ajout es dans la couche connectivit et encore pour g rer les transferts en parallele sur plusieurs canaux pour maximiser les d bits Cinq raisons 28 pour lesquelles le protocole GridFTP est adopt par le projet Globus 1 il permet l introduction d un troisi me l ment dans les transferts de donn es third party transfers qui se traduit par la r alisation des transferts entre deux h tes finaux end hosts partir d un troisi me h te 2 il utilise des standards qui le qualifie d tre inter op rable avec
156. nu Dans le but d identifier les parties importantes de l images et qui correspondent aux objets ou aux parties de l objet recherch l image est automatiquement segment e en un ensemble non chevauch de r gions et d un ensemble de propri t s calcul pour chacune de r gions tels que la taille la couleur les formes et la texture Le nombre de r gions segment es d pend de la taille de l image et sa complexit visuelle 61 Chapitre4 Syst mes CBIR base de grilles j j J 7 Semantic descriptor extraction Object detection and recognition AVA Combine all information in index Human faces detected and analysed sex age facial expression Region classification Material and environmental categories skin cloth grass sky wood water Scene classification indoor beach sunset nighttime autumn Segmentation into regions Computation of properties size colour shape texture textures s shading etc sun above mountain Mountain 90 Figure 4 3 Vue en couche de l analyse des images et le processus de reconnaissance par Imense Ltd 49 Les r gions segment es sont automatiquement class es dans un ensemble de cat gories mat rielles et d environnement tel que le gazon ciel eau etc Des m thodes statistiques sophistiqu es de machine learning sont utilis es pour fournir une classification probabiliste optimale Une seconde tape pour la classification est de cat goriser les r gions selon leurs
157. o the following cat home saida globus usercert_request pem mail ahmed dib Iri annaba net Only use the above if this machine can send AND receive e mail if not please mail using some other method Your certificate will be mailed to you within two working days If you receive no response contact Globus Simple CA at ahmed dib Iri annaba net Visualisation des trois fichiers pem saida poste Is 1 home saida globus total 20 rw r r saida saida O jui 21 10 25 usercert pem rw r r saida saida 1408 jui 21 10 25 usercert_request pem 1 saida saida 963 jui 21 10 25 userkey pem Apres la g n ration du fichier hostcert_request pem nous devons le signer sur la machine 4 nous placons usercert_request pem dans tmp globus poste cp home globus globus usercert_request pem tmp Et nous lan ons la commande de signature globus poste4 grid ca sign in tmp usercert_request_user pem out tmp usersigend_user pem force Le r sultat sera To sign the request please enter the password for the CA key The new signed certificate is at home globus globus simpleCA newcerts 06 pem Maintenant nous allons copier le fichier sign usersigned_user pem dans le fichier usercert pem qui est vide en tapant la commande suivante saida poste cp tmp usersigend_user pem home saida globus usercert pem Visualisation des propri t s du fichier usercert pem
158. obOutput i Return Results Figure 4 5 interaction entre le T2 et EGEE via le plugin T2 gLite durant une soumission de Job Le concepteur de workflow configure les testes de T2 comme un Job de gLite La description des Jobs inclut des informations sur le fichier ex cutable et les arguments Ces propri t s sont pass es l API gLite Les donn es sont transf r es aux l ments de Stockage de EGEE et identifi es avec un ID unique g r par le Systeme de Gestion de Donn es Le protocole de transmission utilis est le standard gridFTP Pour la soumission de Job ce dernier est transmis vers un utilisateur de la VO gLite renvoi un JobID unique retenu par le plugin comme une future r f rence et aussi pour consulter l tat de l ex cution de Job au niveau de EGEE Le plugin gLite contient des m canismes de traitement d erreurs pour r duire la probabilit d chec du workflow qui est lanc dans un environnement distribu Il inclut 1 Une politique de resoumission de Job apres un certain temps d attente les Jobs sont resoumis 53 41 Une politique Round Robin pour le chargeur de Job de EGEE et 111 Resoumission des demandes de transfert des donn es en cas d erreurs pendant l op ration Les tapes suivantes r capitulent la proc dure point par point de cr ation d ex cution et de r utilisation du workflow T2 avec des processeurs gLite Cr er un workflow en utilisant Taverna Ajouter le proces
159. ode de segmentation utilis e Cette fonctionnalit permet la personnalisation de la segmentation selon les valeurs des param tres fournies par l utilisateur le r sultat de cette op ration est repr sent par un fichier seg pour chaque image segment e ou le fichier r sultant contient des informations sur les r gions issues de la segmentation telles que la taille la position les voisins de chaque r gion 78 Chapitre4 Syst mes CBIR base de grilles B Reconnaissance classification et indexation Ces fonctionnalit s sont n cessaires pour la gestion des classes des images Toutes les informations sur ces classes sont stock es dans une base de donn es locale ou distante Les tapes de reconnaissance de classification et d indexation sont l La d finition ou l ajout des classes d image cette tape est effectu e en fournissant des descriptions telles que le nom la cat gorie les caract ristiques descripteurs de la classe qui sont n cessaires dans la comparaison des caract ristiques visuelles entres images 2 La suppression et la modification des informations sur les classes d j d finies 3 Lancement de l extraction des caract ristiques visuelles des images qui appartiennent a une m me cat gorie cela r sulte un fichier descripteur des caract ristiques d une classe ce fichier sera utilis par la suite dans l tape du calcul de distance entre les nouvelles images classifier et les
160. on de quelques librairies fournies par Globus L utilisation d autres langages de programmation nous permet de b n ficier d autres fonctionnalit s tel que le langage C qui fournit plusieurs fonctions de traitement des images et qui peuvent largir le contexte de ce travail Il existe une possibilit pour instancier des classes crites avec d autre langage partir d une classe Java cela aussi ouvre beaucoup de chemins pour enrichir l application 153 Conclusion et perspectives Conclusion et perspectives Ce m moire a port sur la conception et le d veloppement d un syst me de recherche d images base de contenus et l exploitation d infrastructure de grille de calcul pour mettre en uvre des proc dures d analyse de grande quantit de donn es L am lioration des performances des plateformes CBIR est la principale motivation de ce travail Le travail r alis a men la r alisation d un manuel d installation et de configuration de l Intergitiel Globus n cessaire pour la mise en place d une grille de calcul Un but aussi atteint et qui n est pas n gligeable est qu on a acquit une exp rience dans le contexte de d veloppement des services de grilles et qui ouvre la porte vers l enrichissement de la plateforme d velopp e Avec ce travail on a arriv a minimiser le temps de segmentation d une base qui contient 10000 images en 25 du temps coul pour un traitement s quentiel ce
161. opp e est compos e de trois parties principales le c t client l ensemble des ressources et enfin le c t serveur qui va tre d ploy sur le container La figure 6 3 illustre les principales composantes simplifi es d une application de grille Ressources Figure 6 3 structure g n rale de l application Pour pouvoir g rer les ressources on doit impl menter une classe Ressources Home qui est utilis e principalement pour la localisation des ressources dans la grille donn es Et afin de pouvoir cr er une multitude de ressources pour l application on utilise une classe Factory qui instancie la classe pr c dente Ressources Home pour la cr ation effective de la ressource la figure 6 4 montre la structure g n rale pour la cr ation du service de segmentation Cot Serveur Cot Client Service2 Ressources Cr er les Ressources Figure 6 4 structure de service de segmentation 6 2 3 Outil d aide au d veloppement 141 ANNEXE B Plusieurs outils de d veloppement des Services Web sont disponibles et peuvent aider au d veloppement des services de grille avec un serveur TomCat on peut citer eclipse IBM NetBeans SUN 6 2 4 Etapes de d veloppement de service de segmentation Le d veloppement passe par cing tapes principales A D finition de l interface du service L interface repr sente une classe dans laquelle on sp cifie l ensemble de m
162. ources de la grille Il est repr sent par une base de donn es contenant toutes les caract ristiques des ressources Avec ces informations le courtier localise la ressource la plus appropri e pour r pondre la requ te lanc e il consulte l annuaire et transmit les informations n cessaires pour la localisation physique de la ressource Services d allocation et d ordonnancement afin d allouer une ressource un processus le service allocateur consulte l annuaire pour trouver celle la plus appropri e L Ordonnanceur prend l initiative de d cider quel processus doit tre ex cut et sur quelle ressource et le moment exacte de son ex cution selon la politique de l Ordonnanceur adopt e Services de contr le et de diagnostique ils donnent l utilisateur la possibilit de contr ler l tat des ressources et s assurer de leurs bons fonctionnement Services de gestion de donn es les processus lanc s ont besoin d un ensemble de donn es pour accomplir leurs t ches Les services de gestion de donn es permettent la r cup ration et le transfert de ces portions de donn es pour tres exploit es 21 Chapitrel La technologie des grilles Services de r plication de donn es leur objectif est de maximiser les performances de la grille une r plication est effectu e afin de minimiser le co t et le temps d acc s un bloc de donn es Plusieurs crit res de choix de la re
163. ours aux services de l Intergitiel Globus pour lancer les t ches distance afin de mettre jours la base 8 Chapitre4 Syst mes CBIR base de grilles de donn es comme illustr dans la figure 4 19 Dans le cas de cr ation de nouvelles classes d images le systeme r cupere les informations n cessaires telles que le nom et la cat gorie Application Mediateur Modification ajout et suppression des entr es de la BDD BDD des classes d images Figure 19 gestion des classes d images La cr ation d une nouvelle classe est accompagn e par la g n ration d un ensemble de fichiers descripteurs pour chaque image de la classe cela et r alis par l extraction des caract ristiques sur une base d images qui repr sente un objet ou une notion Cette action est faite au niveau du service d extraction des caract ristiques du module precessing Les chemins Path des fichiers descripteurs sont sauvegard s avec d autres informations concernant la nouvelle classe tel que le nom la couleur et la nature de l objet repr senter La sauvegarde est effectu e au niveau de la base de donn es des classes La cr ation d une classe n cessite une capacit de calcul qui d pend du nombre de la qualit et de la taille des images utilis es dans la repr sentation de l objet cette capacit de calcul est assur e par la grille en g n ral Le service d indexation ce service utilise une ontologie
164. pp 610 621 June 1973 41 Comparaison Entre la Matrice de Cooccurrence et la Transformation en Ondelettes pour la Classification Texturale des Images SPOT XS Abdelmounaime Safia Tahar Iftene CISTEMA2003 42 IRichard E Woods Digital Image Processing 2001 43 A K J ain Fundamentals of Digital Image Processing Prentice Hall Information and System Sciences Series Prentice Hall International London 1989 44 Shim S Choi T 2003 Image indexing by modified color cooccurrence matrix In Proc Internat Conf on Image Processing 45 A Vadivel Shamik Sural A K Majumdar An Integrated Color and Intensity Co occurrence Matrix Pattern Recognition Letters Vol 28 No 8 1 June 2007 pp 974 983 46 www ensta fr manzaner Cours AD AM_Segmentation pdf 47 Malika CHARRAD Techniques d extraction de connaissances appliqu es aux donn es du Web Ecole Nationale des Sciences de l Informatique Universit de la Manouba Tunis 2005 48 Brochu F et al 2009 Ganga a tool for computational task management and easy access to Grid resources published in arXiv 0902 2685v1 submitted to Comp Phys Comm 2009 49 Dr Chris Town and Dr Karl Harrison Large scale Grid Computing for Content based Image Retrieval ISKO UK 2009 conference 22 23 June 50 Medical Image Processing Workflow Support on the EGEE Grid with Taverna Ketan Maheshwari University of Nice France Paolo Missier Univers
165. pr cise 1l est susceptible de mal ex cuter d autres Jobs dans le futur proche sur la m me ressource En conservant les informations relatives aux Jobs chou s GridJM vite de soumettre des t ches ces ressources 72 Chapitre4 Syst mes CBIR base de grilles Dans un autre travail AGIR Grid Analysis of Radiological Data 82 83 les auteurs ont labor une structure g n rale pour les systemes de traitement d images a base de contenu d ploy s sur une plateforme de grille La figure 4 11 montre la structure de AGIR Workflow Management Responsiveness Medical data _ Management Middleware evaluation Figure 4 11 structure en couche de AGIR Dans la premiere couche on trouve les services de base fournis par Intergitiel de la grille La seconde contient les services de base d di s aux applications m dicales qui ne sont pas disponibles dans le middleware usage g n ral Dans la troisi me couche on trouve les services impl mentant les algorithmes de traitement d images m dicales ils se basent dans leurs fonctionnements sur les services sous jacents de la grille pour traiter de grandes quantit s de donn es ou pour ex cuter des calculs co teux Dans la derni re couche on trouve les applications cliniques d velopp es pour r pondre aux besoins m dicaux Dans le travail 81 l objectif de la plateforme r alis e est principalement de permettre l change et l utilisation de l in
166. provenant des meilleurs projets middleware en cours tels que Condor et le Toolkit Globus ainsi que les composants d velopp s pour le projet LCG Le produit est d une meilleure qualit 1l utilise la solution middleware de bas niveau compatible avec des gestionnaires de files d attente tels que PBS Condor et LSF De m me le produit est inter op rable et fournit les services de base qui facilitent la construction des applications bas es grille dans plusieurs domaines GLite supporte l ex cution du lot de t ches sous la forme d un syst me de soumission de Jobs le JDL simple Job Description Language est utilis pour construire les sp cifications des Jobs a soumettre Le cycle de vie des Jobs est manipul sans notification de l utilisateur ce dernier doit p riodiquement interroger le syst me pour d couvrir la progression des t ches Le transfert de donn es entre localhost de l utilisateur et les noeuds de r seau est ex cut avec des protocoles s curis s comme sFTP et eridFTP Les langages de programmations support s sont C et des API de java pour la gestion des Jobs Le pluging T2 gLite est d velopp dans le but d interfacer T2 workbench avec l infrastructure de grille EGEE Il permet l utilisateur de T2 de soumettre des Jobs EGEE via le middleware gLite sous forme de t ches de workflow L tat d ex cution des Jobs est consult r guli rement et les r sultats sont rassembl s en local l ach vemen
167. ques sont illustr es dans la table 1 Postel lri annaba net 192 168 0 5 2 CPU Intel R Core 2 Duo T7200 2GHz 667MHz 4MB RAM 2 Gio 150 GB HDD espace libre Idem Postel Poste3 lri annaba net 192 168 0 104 Idem Postel Poste4 Iri annaba net 192 168 0 101 propri taire de 2 CPU Intel R Pentium R Dual certificat CPU T2330 1 60 GHZ RAM 2 Gio 100 GB HDD espace libre Tableau 1 machine composantes de la grille de test Poste2 Iri annaba net 192 168 0 103 Le tableau 2 fait l objet d une comparaison entre le temps d ex cution des services de segmentation lanc s sur un nombre variant de postes La base des images utilis e est Wavelet based Image Indexing and Searching WBIIS de Wang 89 Stanford University elle contient 10 000 images de r solution 128x128 Dans le cas de l ex cution parall le on a fait une division de domaine ot chacun contient 1000 images Les temps d ex cution illustr s dans le tableau 2 n inclut pas le temps de transfert de r sultats vers les m dias cibles ni le transfert de donn es de domaine vers la machine d ex cution L ex cution s quentielle est lanc e sur une seule machine avec le m me algorithme de segmentation utilis par les services lanc s pr c demment sur la grille Nbr images Nbr Une seule machine Deux machines Quatre machines Machines S quentiel Parall le Parall le 1 000 12 67 min 13 82 min 13 87 min 5 000 53 26 min 38 71 mi
168. qui permet aux programmeurs de cr er leurs propres applications et leurs propres services en utilisant diff rents langages de programmation C Java et Python 50 Chapitre 3 Introduction en traitement des images Introduction en traitement des images Chapitre 3 Introduction en traitement des images 3 Introduction en traitement d images 3 1 La matrice de Cooccurrence C est une m thode statistique d ordre sup rieur propos e par Haralick 40 elle permet une analyse plus pr cise elle est largement utilis e dans l analyse de la texture des images et donne des r sultats satisfaisants pour diff rents types d images 41 Elle est plus simple a mettre en ceuvre elle permet de d terminer la fr quence d apparition d un motif form par deux pixels elle utilise deux param tres d la distance entre les pixels et l angle de la droite reliant ces 2 pixels par rapport l horizontale Une image avec un niveau de gris N est d finie par une matrice de cooccurrence d 9 de taille N La matrice de cooccurrence extraite de l image n est pas utilis e directement elle est exploit e a partir des informations qu elle peut contenir Haralick a d finit 14 caract ristiques statistiques qui permettent une meilleure discrimination entre les diff rents types de textures et d estimer la similarit entre les matrices de cooccurrence Les caract ristiques de Haralick les plus utilis es sont l
169. qui repr sente un bon d but pour d autres travaux locaux qui porteront sur le griding La gestion de la grille repr sente un grand d fi pour plusieurs projets Les r sultats obtenus sur la grille de test ont prouv la bonne gestion g r e par les services de la plateforme La bonne gestion d ex cution et la gestion des donn es sont bien traduites par la minimisation de temps d indexation des images La qualit des r sultats de la recherche des images repose sur les algorithmes impl ment s durant la phase de pr traitement et la phase d analyse des images ce qui entre dans un autre domaine de recherche Pour cela on a impl ment les m thodes les plus utilis es en imagerie et on a montr la fa on avec laquelle on peut augmenter la plateforme L impl mentation r elle de la plateforme exclut le module de retour de pertinence pour des raisons li es avec leurs temps de d veloppement et le temps de recherche n cessaire La plateforme r alis manque un syst me efficace pour permettre des ajouts sous forme de plugin dans les travaux qui suit on va focaliser sur ce point de plugin et aussi sur la r alisation d outils d aide aux d veloppements des services de grille avec plusieurs langages de programmation Le travail r alis ouvre la voie vers la mise en place d une grille a l chelle de l environnement informatique de l universit pour fournir une grille prouv e Avec de domaine de travail p
170. r l initiative healthGridl en 2002 En g n ral la plupart des applications m dicales bas es sur les grilles se concentrent sur les probl mes de calcul intensif 69 70 La plupart de ces applications se concentrent galement sur l utilisation de grandes grappes Introduction En 2002 aux h pitaux universitaires de Gen ve un projet de grille a t lanc pour identifier les d fis de cette technologie dans le domaine m dical 71 Le but tait d utiliser la technologie de grille avec un nombre important d ordinateurs de bureau 6 000 machines comme une ressource pour les projets de recherche La plupart des h pitaux ne disposent pas d infrastructure de recherche en informatique et pas de personnel pour maintenir une telle infrastructure D un autre c t un probl me de s curit des donn es m dicales a t pos Des premieres mesures concr tes pour une telle infrastructure ont t pr sent es dans 72 Plusieurs autres auteurs favorisent l utilisation des infrastructures bas es sur la technologie des grilles 61 73 Le m moire est organis comme suit Le premier chapitre pr sente la technologie des grilles son origine et l volution avec laquelle les technologies informatiques ont pass pour en arriver a la grille De m me on pr sente l architecture des grilles les diff rentes couches qui les composent les applications li es la grille quelques architectures qui ont fait la base des syst mes d
171. raid Comat g plied aula ll d 115 9 BADJI MOKHTAR UNIVERSITY ANNABA A D Va JE r L deola UNIVERSITE BADJI MOKHTAR ANNABA Aie 4 Facult Sciences de l Ing nieur Ann e 2010 D partement Informatique MEMOIRE Pr sentation en vue de l obtention du dipl me de magister Plateforme base de grid pour la gestion des connaissances application sur les syst mes CBIR Option Texte Parole et Image Par Ahmed Dib DIRECTEUR DE MEMOIRE S Mokhtar Professeur Univ Annaba DEVANT LES JURY PRESIDENT KHADIR Tarek Maitre de conf rences Univ Annaba EXAMINATEURS Dr SERIDI Hassina Maitre de conf rences Univ Annaba Dr BELLEILI Habiba Maitre de conf rences Univ Annaba Dr FARAH Nadir Maitre de conf rences Univ Annaba Remerciement En pr ambule a ce m moire je souhaitais adresser mes remerciements les plus sinc res aux personnes qui m ont apport leur aide et qui ont contribu l laboration de ce m moire ainsi qu la r ussite de cette formidable ann e universitaire Je tiens a remercier sincerement Monsieur Sellami qui en tant que Directeur de m moire s est toujours montr l coute et tr s disponible tout au long de la r alisation de ce m moire ainsi pour l inspiration l aide et le temps qu il a bien voulu me consacrer et sans qui ce m moire n aurait Jamais vu le jour J exprime ma gratitude mes parents et ma femme pour leur contribution leur soutien
172. rations et aux tats des ressources distribu es dans la grille 38 Ce collecte d informations sert au contr le et la supervision de l tat globale de la grille toutes les informations collect es sont accessibles via le Monitoring and Discovery System MDS Le MDS regroupe un ensemble de WS Services pour contr ler et d couvrir les services et les ressources de la grille MDS4 inclut MDS2 de la version 2 du Toolkit il est compos d un service d indexation un service trigger un framework d agr gation des fournisseurs 48 Chapitre2 Globus d informations et des clients WebMDS Web Service Data Browser visionneur d informations A Services de haut niveau higher level services WS MDS Index Service une extension du registre UDDI c est un service de groupe utilis pour la collection dynamique et la publication des informations sur les ressources de la grille les programmes des clients lancent des requ tes apres inscription et authentification pour retrouver les informations via le service index Ce dernier est impl ment en utilisant le Framework d agr gation Les informations peuvent tres ajout es aux services par diff rentes sources d agr gation qui sont utilis es pour fournir les informations des ressources au service index Les informations collect es par ce service peuvent tres examin es en utilisant des requ tes par exemple les requ tes XPath 23 WS MDS Trigger Service 11 per
173. rmances et de ses fonctionnalit s tel que le red marrage de transfert Ainsi le transfert de fichier avec GridFTP n cessite que le client reste actif jusqu la fin de transfert cet inconv nient a motiv le d veloppement du RFT qui n est pas bas sur la pr sence de l utilisateur ce dernier peut lancer le transfert d un ou plusieurs fichiers et en cas de d connexion du client ou une exception le RFT reprend les transferts a partir d un tat sauvegard dans sa base de donn es La figure 2 5 montre architecture du service RFT Niveau application de RFT le client lance le transfert des fichiers via le RFT Le client poss de un thread lorsque ce dernier d tecte l chec ou l alt ration du transfert il le relance a partir de l tat sauvegard dans la Base L application du client peut interroger directement le service GridFTP pour mettre fin au processus de transfert ou pour configurer la taille du cache de TCP 41 Chapitre2 Globus Interface graphique pour l utilisateur Contr le Processus de direct du transfert et transfert performances Ketose Etat des transferts Requ tes de transferts Etat de transmission de Info de donn es red marrage Fork Exec Figure 2 5 Architecture du service RFT 30 Niveau r seau de RFT le niveau r seau re oit les informations partir de TCP qui est responsable de la transmission des paquets de donn es le TCP envoi
174. rnies un classifieur pour arranger les images dans une ou plusieurs classes qui leurs sont appropri es Ils existent trois modes de classification supervis non supervis et hybride A M thodes de classification automatique Appel e aussi classification non supervis e segmentation ou galement clust risation elle consiste rechercher des groupes homog nes inconnues au d part dans une population d individus repr sent e par une ou plusieurs variables Le DataMining propose plusieurs m thodes de classification automatique telle que la classification ascendante hi rarchique la classification descendante hi rarchique la m thode des centres mobiles etc B M thodes de classification supervis e La classification supervis e cherche d terminer l appartenance d un v nement des classes pr alablement identifi es par segmentation 47 C Classification hybride Utilise les deux techniques pr c dentes classification supervis e et automatique pour rendre le processus plus efficaces et plus pr cises 56 Chapitre 3 Introduction en traitement des images 3 5 Conclusion L imagerie permet de modifier et de manipuler le contenu des images afin de tirer l information utile pour une application particuli re Beaucoup de recherches sont port es sur l analyse des images y compris le filtrage et l indexation et d autres sur l extraction de caract ristiques Jusqu a maintenant avec l
175. rnit les moyens de stockage et les ressources de calcul n cessaires pour la sauvegarde des images m dicales et le traitement des donn es en fonction des besoins des utilisateurs La figure 4 12 illustre l architecture de la plate forme la partie gauche de la figure et montre comment l information est partag e entre les h pitaux dans des endroits diff rents partie droite de la figure amp l gt 7 AMGA AMGA API Server tospital E 4 7 x a 1 il al aL ite UI Weh Service AMGA API SOAP 4 Gridsphere Portal AMGA e Server a b pm ee O lots Metadata AMGA Gridsphere Portal Web Service Server i SOAP gLite UI S89IAI8S GoM oLite API 18S dvOs gt oLite API GridSphere Q V Portal Say sageu SUOHEINUNS OED aruon ndino qor a Figure 4 12 a gestion des informations et des images travers les h pitaux b partage des informations et des images entre les h pitaux et les diff rentes stations Dans la conception de syst me une s paration a t faite entre la couche de pr sentation d velopp e avec le conteneur Gridsphere et la partie logique d entreprise qui a t d velopp en utilisant les services Web pour g rer toutes les interactions de bas niveau avec les services de la grille Cela fournit une interface personnalis e pour chaque client diff rent sans changer quoi que ce soit sur la gest
176. rvices de la Grille Figure 1 7 Relation entre WSRF OGSA et les Services Web 3 32 Chapitrel La technologie des grilles 1 9 5 Conclusion Les origines du Grid Computing sont assez floues aux alentours des ann es 70 Certains disent que le pr curseur des grilles de calcul est la soci t Apple plus pr cis ment l entreprise NeXT D autres disent que l id e serait venue de trois personnes du Docteur en Math matiques et en Informatique Ian Foster de Monsieur Carl Kesselman chercheur en informatique et de Steve Tuecke ing nieur en informatique Ces trois sont surnomm es fathers of the Grid et sont a l origine de The Globus Alliance Les grilles informatiques sont une technologie qui n est pas r cente elles repr sentent une fabuleuse alternative au calcul intensif classique r alis par des clusters Toutefois cette approche reste encore dans des phases de prototypage bien que certains projets comme Globus Alliance essaient de surmonter ce probleme ainsi que d autres probl mes li s la standardisation des protocoles et des politiques utilis s Certaines entreprises ont vite compris l int r t de ce concept En effet certaines soci t s commencent entrevoir des possibilit s de standardisation tels que Oracle avec sa base 10G G pour grille IBM avec World Grid Community qui pourrait a terme devenir un principe adoptable pour les entreprise aux vues de son succes et de sa stabi
177. s et qui demandent beaucoup de puissance de calcul 100 ANNEXE A ANNEXE A ANNEXE A 5 ANNEXE A 5 1 Manuel d installation de I Intergitiel Globus GT 4 0 6 sous Linux Fedora core4 Dans cet Annexe nous allons exposer les principales tapes d installation de l Intergitiel Globus dans sa version 4 0 6 sous le syst me LINUX Fedora 8 core4 On mentionne que la courante installation peut tre personnalis e selon les besoins des utilisateurs et leurs domaines d application Une mise en uvre d un n ud de grille de calcul consiste pr parer d abord l environnement initialiser installer l Intergitiel et enfin configurer ses services Dans notre cadre d tude nous allons mettre en place un r seau LAN constitu de quatre machines dot es d un syst me d exploitation Linux Fedora core 4 Pourquoi Linux Linux est le syst me d exploitation le plus appropri pour une installation complete de Globus ainsi il offre un environnement tr s fiable et s curis 5 1 1 Quelques commandes Linux Pr requis La plupart des commandes pr senter n cessitent d tre en mode administrateur root pour tre ex cut es La casse utilis e doit tre respect e man pour acc der la page du manuel Exemple man cp adduser ajouter un nouveau utilisateur pour le syst me Exemple adduser nouveau nom _ utilisateur su chargement d un utilisateur Exemple su nom_utilisateur
178. s ressources doivent tre dot es d un ensemble de m canismes capables de lancer des programmes de contr ler l tat des processus et de g rer les ressources a allouer Ressources de stockage Ces ressources doivent pouvoir envoyer et r cup rer des fichiers lire et crire des parties de ces fichiers fournir un m canisme de gestion de ressources allou es lors de transfert de donn es comme l espace m moire la bande passante du disque la bande passante r seau CPU charge du syst me Des fonctions d introspection sont utiles pour fournir des informations sur les caract ristiques logicielles et mat rielles utilis es durant le transfert des donn es 18 Chapitrel La technologie des grilles Ressources r seau doivent fournir des fonctionnalit s d introspection pour d terminer les caract ristiques et la charge de r seau 1 7 2 Couche connectivit Fournit des protocoles n cessaires pour l authentification et la communication des ressources travers une grille les protocoles de communication impl ment s sont principalement ceux utilis s par Internet comme TCP IP UDP HTTP DNS etc Avec une h t rog n it croissante des ressources des grilles un nombre important de protocoles t impl ment s et il reste toujours la possibilit d incr menter ce nombre selon les besoins de la communaut et des nouvelles technologies Les protocoles de communication impl ment s permettent les ch
179. s sa d connection D l gation les processus lanc s par les utilisateurs doivent porter les m mes autorisations et le m mes droits que leurs propri taires ainsi les autres applications et services interrog s par ces processus doivent avoir les m mes droits ce qui est appel d l gation des privileges 19 Chapitrel La technologie des grilles Relation d approbation si un processus fait appel a plusieurs ressources de diff rents sites et il n est authentifier qu aupres d un seule la relation d approbation assure l acc s a toutes les ressources demand es en faisant confiance aux politiques de s curit du premier site qui a autoris l utilisateur Int gration dans une grille chaque site ou fournisseur de ressources impl mente une solution interne pour s curiser ses ressources la politique de s curit g n rale de la grille doit tre capable de s interfacer avec toutes les diff rentes solutions sp cifiques adopt es par les sites 1 7 3 Couche ressources Cette couche r f re a utiliser tous les services et les protocoles qui nous permettent de g rer les ressources d un point de vu individuel Elle utilise les protocoles des deux couches pr c dentes pour collecter les informations sur les caract ristiques des ressources individuelles La gestion des ressources implique l utilisation des services de contr le d num ration et d initialisation des tats des ressources
180. s t ches demand es cela joue un r le important dans l augmentation des performances de la plateforme en question La plateforme CBIR r alis e dans cette tude porte sur l utilisation des grilles de calcul avec un middleware largement utilis Globus cela est fait dans le but d am liorer les performances d un moteur de recherche des images a base de leurs contenues L utilisateur saisit sa requ te image mots cl s le syst me analyse cette derni re 1l partage et lance les t ches n cessaires et pour terminer les r sultats sont regroup s structur s et fournis l utilisateur Afin d am liorer la qualit des r sultats d autres fonctions interactives avec l utilisateur sont disponibles La plateforme est d velopp e avec des technologies open source ce qui offre la possiblilier d ajout de nouveaux modules pour d autres fonctionnalit s Interface de passage de message MPI Utilis pour l change de message entre les processus lanc s en parall le il peut tre utilis dans le d veloppement des applications bas es sur les grilles MPI fournit une librairie pour le transfert de donn es et la communication entre les programmes en cours d ex cution sur plusieurs processeurs dans les syst mes distribu s Le standard MPI est con u pour am liorer la portabilit des applications paralleles 86 La boite outil Globus utilise la biblioth que de communication MPICH G2 ce dernier impl ment
181. saida poste Is 1 home saida globus usercert pem R sultat rw r r saida saida 2683 jui 21 10 50 home saida globus usercert pem Finalement nous lan ons la cr ation du proxy en tapant la commande suivante saida poste grid proxy init debug verify R sultat User Cert File home saida globus usercert pem User Key File home saida globus userkey pem 122 ANNEXE A Trusted CA Cert Dir etc grid security certificates Output File tmp x509up_u500 Your identity O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN root Enter GRID pass phrase for this identity Creating proxy 4 4 4 4 4 4 Proxy Verify OK Your proxy is valid until Mon Jul 21 22 55 09 2008 Ajout des autorisations Comme pr c demment on cr e le fichier grid mapfile au niveau de la machine poste et on ajout deux entr es pour les deux utilisateurs globus et saida root poste usr local globus 4 0 6 sbin grid mapfile add entry dn O Grid OU GlobusTest OU simpleCA poste4 lri net OU lri net CN globus_poste In globus Modifying etc grid security grid mapfile New entry 0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN globus_poste globus 1 entry added root poste usr local globus 4 0 6 sbin grid mapfile add entry dn 0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN root In saida Le r sultat est Modifying et
182. seur gLite au workflow 65 Chapitre4 Syst mes CBIR base de grilles Configurer les propri t s du processeur gLite Cr er un certificat du mandataire de grille pour l authentification D l guer le mandataire au middleware gLite Ajouter des entr es sorties et d autres processeurs local gLite au workflow Dans un autre travail 74 les auteurs ont fait la Griddification d un syst me d extraction d images base de contenu appel GNU Image Finding Tool GIFT 76 L objectif de cette tude t de montrer l avantage des grilles de calcul pour les applications m dicales Le middleware utilis dans ce projet est l ARC 57 Advance Resource Connector par l interm diaire du projet de recherche KnowARC financ par l Union europ enne La partie extraction de caract ristiques de GIFT t Griddifi La performance de la grille est mesur e avec la vitesse du syst me Griddifi par la pr sentation de plusieurs sc narios L utilisation de la grille montre qu en particulier des t ches de calcul intensif telles que l extraction de caract ristiques visuelles de grandes bases d images peuvent tre r alis s beaucoup plus rapidement Comme le middleware ARC doit tre install sur un syst me d exploitation Linux les auteurs ont utilis pour leurs tests des machines virtuelles VMware 75 Virtual Machine Ware install es sur des Syst me d exploitation Windows Pour chercher les images similair
183. should last before it expires default 5 years 1825 days 1825 Enter PEM pass phrase Verifying Enter PEM pass phrase creating CA config package done A self signed certificate has been generated for the Certificate Authority with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA If this is invalid rerun this script usr local globus 4 0 6 setup globus setup simple ca and enter the appropriate fields The private key of the CA is stored in home globus globus simpleC A private cakey pem The public CA certificate is stored in home globus globus simpleCA cacert pem The distribution package built for this CA is stored in home globus globus simpleCA globus_simple_ca_637244ab_setup 0 19 tar gz This file must be distributed to any host wishing to request certificates from this CA CA setup complete The following commands will now be run to setup the security configuration files for this CA GLOBUS_LOCATION sbin gpt build home globus globus simpleC A globus_simple_ca_637244ab_setup 0 19 tar gz GLOBUS_LOCATION sbin gpt postinstall setup ssl utils Configuring ssl utils package Running setup ssl utils sh scripts KR 2 lt K KE K K KE E K E K K K K K K K K KE K K KE E K K K K K K K KE K E KE E KE K K EK K K K K K K K K K K K K K K K K K K KK K K K K KK K K K K K K K Note To complete setup of the GSI software you need to run the following script as root to configure your security configuration direc
184. si les ressources loign es o le Job sera ex cut les fichiers d entr e comme d fini dans la ligne 6 de la figure 4 10 sont t l charg s par la ressource o le Job sera ex cut La ligne 2 de la description d finit le fichier qui sera ex cut sur la ressource distante Le fichier indiqu par l attribut ex cutable est galement 71 Chapitre4 Syst mes CBIR base de grilles transf r Apr s la r ussite de l ex cution du Job l Intergitiel de la grille crit les r sultats dans un fichier de sortie d fini a la ligne 9 La description du Job d finit les op rations et les parametres de grille elle est utilis e pour choisir la ressource distante Une fois le fichier ex cutable et les fichiers d entr e sont t l charg s sur la ressource distante l ex cutable est lanc comme un processus ind pendant Les auteurs ont cr un ex cutable qui se charge de coordonner l ex cution du Job d une mani re s quentielle au d marrage L ex cutable est un script Python lanc sur l ensemble de donn es en entr e et produit en cons quence une sortie Ensuite selon la description du Job les r sultats sont r dig s localement pour tre r cup r s par le client ou par l Intergitiel de la grille qui s occupe de leurs transferts vers un r pertoire distant Dans le premier cas le client doit r cup rer les r sultats des Job apr s leurs ach vements alors que dans le dernier cas les r sultats sont imm
185. sive Science B Allcock S Tuecke I Foster A Chervenak and C Kesselman ACAT2000 Proceedings pp 161 163 2000 33 Wide Area Data Replication for Scientific Collaborations A Chervenak R Schuler C Kesselman S Koranda B Moe Proceedings of 6th IEEE ACM International Workshop on Grid Computing Grid2005 November 2005 34 Numerical Relativity in a Distributed Environment W Benger I Foster J Novotny E Seidel J Shalf W Smith P Walker Ninth SIAM Conference on Parallel Processing for Scientific Computing April 1999 35 A National Scale Authentication Infrastructure R Butler D Engert I Foster C Kesselman S Tuecke J Volmer V Welch IEEE Computer 33 12 60 66 2000 157 Conclusion et perspectives 36 GT4 GRAM A Functionality and Performance Study M Feller I Foster and S Martin TERAGRID 2007 CONFERENCE MADISON WI SUBMITTED 37 http www mcs anl gov smartin gram 38 Performance Analysis of the Globus Toolkit Monitoring and Discovery Service MDS2 X Zhang and J Schopf Proceedings of the International Workshop on Middleware Performance MP 2004 part of the 23rd International Performance Computing and Communications Workshop IPCCC pp 843 849 April 2004 39 http www mcs anl gov schopf Pubs MDS4 PDJuly05 pdf MDS4 and Project Deployments 40 R M Haralick K Shanmugan and I Distein Textural features for image classification IEEE Trans Syst vol SMC 3
186. ssource appropri e peuvent tres cit s comme par exemple Des sp cifications logicielles et mat rielles ont t fournies par la requ te Des droits qui doivent tres v rifi s pour acc der une ressource R pondre a une politique d quilibrage de charge le courtier peut affecter une ressource un processus selon la charge globale de son organisation ou selon le co t n cessaire pour son exploitation 1 7 5 Couche application Elle contient les applications disponibles sur la grille cette couche peut interagir directement avec les autres couches inf rieures Les couches Collectif et Ressources sont sollicit es pour localiser les ressources demand es La couche Connectivit sera l outil d authentification Et la couche Fabrique pour y acc der 22 Chapitrel La technologie des grilles e Les Intergitiels L Intergitiel est consid r comme l infrastructure logicielle et l outil convenable pour une meilleure exploitation d une grille et une meilleur virtualisation des ressources Son objectif est de masquer toute h t rog n it et d assurer l interop rabilit 11 fournit des applications des services et des APIs application programming interfaces il utilise des standards pour offrir des fonctionnalit s requises par la grille tel que la s curisation des ressources et des utilisateurs la communication entre entit s dans une grille la gestion des ressources partage trans
187. st igobject 48619 udp iqobject vboxd 20012 udp binkp 24554 tcp binkp fidonet protocol asp 27374 tcp Address Search Protocol asp 27374 udp dircproxy 57000 tcp Detachable IRC Proxy tfido 60177 tcp fidonet EMSI over telnet fido 60179 tcp Local services gsiftp 281 1 tcp GSI FTP Nous continuons la configuration de gridFTP en cr ant le fichier gridftp conf sous etc grid security et aussi sous GLOBUS_LOCATION etc root poste4 vi etc grid security gridftp conf Et nous mettrons le contenu suivant root poste4 cp etc grid security gridftp conf usr local globus 4 0 6 etc Apres la configuration de gridFTP nous lan ons le proxy de l utilisateur globus globus poste4 grid proxy init debug verify 125 ANNEXE A Le r sultat est User Cert File home globus globus usercert pem User Key File home globus globus userkey pem Trusted CA Cert Dir etc grid security certificates Output File tmp x509up_u500 Your identity O Grid OU GlobusTest OU simpleCA poste2 Iri annaba OU Iri annaba CN globus Enter GRID pass phrase for this identity Creating proxy 4 4 4 4 4 4 Done Proxy Verify OK Your proxy is valid until Tue Jul 15 00 58 16 2008 B Lancement du service gridFTP On lance manuellement le serveur gridFTP comme suit root poste4 cd usr local globus 4 0 6 sbin root poste4 sbin globus gridftp server c gridf
188. st OU simpleCA poste4 Iri net CN Globus Simple CA A certificate request and private key is being created You will be asked to enter a PEM pass phrase This pass phrase is akin to your account password and is used to protect your key file If you forget your pass phrase you will need to obtain a new certificate Generating a 1024 bit RSA private key writing new private key to home globus globus userkey pem Enter PEM pass phrase Verifying Enter PEM pass phrase You are about to be asked to enter information that will be incorporated into your certificate request What you are about to enter is what is called a Distinguished Name or a DN There are quite a few fields but you can leave some blank For some fields there will be a default value If you enter the field will be left blank Level 0 Organization Grid Level 0 Organizational Unit GlobusTest Level 1 Organizational Unit simpleCA poste4 Iri net Level 2 Organizational Unit Iri net Name e g John M Smith A private key and a certificate request has been generated with the subject O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN globus If the CN globus is not appropriate rerun this script with the force cn Common Name options Your private key is stored in home globus globus userkey pem Your request is stored in home globus globus usercert_request pem Please e mail the request to the Globus Simple CA ahmed dib Iri anna
189. st celui le plus exploit La machine 2 a trait quatre domaines avec l utilisation de quatre instances de service de segmentation contrairement aux autres machines qui n ont trait que deux domaines pour chacune La d connexion de l une des machines durant l ex cution d une t che influence sur le temps global de l ach vement de l op ration mais pas pour le r sultat Les domaines qui non pas t trait s seront redistribu s et occuperont les ressources lib r es 96 Chapitre 3 Introduction en traitement des images TO lancement de la requ te l T1 0 1 D T3 13 T4 20 T5 25 T6 27 T7 37 T8 40 T9 50 min min in min min min min min 7 la I ol l l I l Jp AT IA T IA T la T LA T IATI D but Rep gt I P I Fin Seg D2 gt i le Fin Rep D6 i rr D2 A S Transfert deRes I 1 Fin Rep Fin Seg D6 i I Fin Rep ol D butRen D 1 DebutSegD6 I transfert deRes l I I D butSegD2 p l 1 I l la It 7 l l l l 1 Machine 1 l la 1 1 ID but Seg l l l l l l l l Fin Seg D9 Fin Seg D10 ae a DI l l Fin Seg D1 Fin Seg DS l l I Transfert de Res I l Transfert de requ te l I Transfert de Res ylransfertdeRes 1 D butSegDI0 l l Res l l l l l yp Debut Seg D5 l l rD but Seg D9 l l l l l l l l la l l 7 l 7 l l i 1 1 Machine 2 H i D but Rep Fin Rep D3 D Fin Seg D3 l
190. stop stop restart 0 stop sleep 1 0 start printf usage O startistoplrestartin gt amp 2 exit esac exit 0 On donne plus de priorit pour ce script ainsi le droit d ex cution avec la commande root poste4 chmod o x etc init d globus 4 0 6 Maintenant on lance le container comme suit root poste4 etc init d globus 4 0 6 start 127 ANNEXE A Le r sultat est Starting Globus container PID 3554 Pour v rifier la r ussite du lancement nous visualisons le fichier container log en ex cutant la commande suivante root poste4 vim usr local globus 4 0 6 var container log Le r sultat sera 2008 07 13 11 35 37 100 ERROR service ReliableFileTransferImpl main lt init gt 69 Unable to setup database driver with pooling Connection refused Check that the hostname and port are correct and that the postmaster is accepting TCP IP connections 2008 07 13 11 35 37 550 WARN service ReliableFileTransferHome main initialize 97 All RFT requests will fail and all GRAM jobs that require file staging will fail Connection refused Check that the hostname and port are correct and that the postmaster is accepting TCP IP connections Starting SOAP server at https 192 168 0 103 8443 wsrf services With the following services 1 https 192 168 0 103 8443 wsrf services AdminService 2 https 192 168 0 103 8443 wsrf services AuthzCalloutTestService 3 https 192 168 0 103 8443 wsrf
191. system was interrupted at 2008 07 13 13 09 54 CET checkpoint record is at 0 42E904 redo record is at 0 42E904 undo record is at 0 0 shutdown FALSE next transaction ID 0 622 next OID 24579 next MultiXactId 1 next MultiXactOffset 0 database system was not properly shut down automatic recovery in progress record with zero length at 0 42E94C redo is not required database system is ready On utilise la base de donn es test cr e pr c demment 129 ANNEXE A postgres poste4 usr local pgsql bin psql test R sultat Welcome to psql 8 2 6 the PostgreSQL interactive terminal Type copyright for distribution terms h for help with SQL commands for help with psql commands g or terminate with semicolon to execute query q to quit test Nous lan ons la cr ation de l utilisateur globus sous postgres en lan ant la requ te suivante test CREATE USER globus WITH PASSWORD globus CREATEDB R sultat CREATE ROLE C Cr ation de la base de donn es rftDatabase Apres la cr ation de l utilisateur on va lancer la cr ation de la base de donn es rftDatabase globus poste4 usr local pgsql bin createdb rftDatabase R sultat CREATE DATABASE On ex cute le script rft_schema sql qui nous permet de cr er les sch mas de la base de donn es globus poste4 usr local pgsql bin psql d rftDatabase f usr local globus 4 0 6 share globus_wsrf_rft rft
192. t sur un genre tres sp cifique d images d une r gion anatomique et souvent une maladie Les Systemes CBIR ont pour but de permettre la r cup ration des images ou des cas similaires sur des collections d images tres h t rogenes 61 62 63 pour aider le processus de diagnostic Avec les services de radiologie moderne produisant r guli rement des dizaines de milliers d images par jour 64 il est apparu que les infrastructures bas es sur la technologie des grilles de calcul sont n cessaires pour traiter cette masse de donn es L objectif de la grille est en g n ral d avoir un tr s grand nombre de machines g ographiquement distribu es qui peuvent tre partag es pour r aliser des t ches de calcul intensif Les syst mes ont besoin de g rer plusieurs ressources de nature h t rog nes pour cela la technologie des grilles est utilis e pour partager synchroniser et ex cuter les t ches requises De nombreuses solutions ont propos des approches techniques pour les grilles de calcul L origine des grilles remonte a la fin des ann es 1980 65 Grands et complexes FrameWorks ont apparu tels que Globus 66 dans la fin des ann es 1990 qui a cr une base de d veloppement middleware suppl mentaire Actuellement il existe une multitude d Intergitiels de grille par exemple gLite UNICORE 67 et l ARC Advance Resource Connector 68 L utilisation des grilles de calcul a t favoris e dans le domaine de la sant pa
193. t des m thodes globales au sens ou la d cision d appartenance d un pixel une r gion d pend toujours de l image enti re B Segmentation par s lection r cursive sur histogrammes L histogramme d une image repr sente la r partition des valeurs des composantes couleurs des pixels formant l image Ainsi des r gions ayant des caract ristiques communes dans l image couleur font appara tre des modes d limit s par des seuils dans les histogrammes couleurs La segmentation par l analyse de ces histogrammes consiste d tecter les modes repr sentatifs de ces r gions et d terminer les seuils appliquer 3 3 2 M thodes g om triques Ces algorithmes int grent naturellement les propri t s topologiques et aussi parfois g om triques des r gions Ils ont comme inconv nients de mal d terminer les fronti res entre r gions A Croissance de r gions Region growing Consiste regrouper les pixels v rifiant un crit re d homog n it ce crit re peut tre de diff rentes natures le plus simple tant la comparaison des niveaux de gris des pixels selon un seuil La m thode est d velopp e initialement par Muerle et Allen en 1968 Cette approche consiste choisir d abord des germes de r gions puis faire cro tre chaque germe en int grant progressivement des pixels voisins ces germes Dans cette m thode deux facteurs agissent sur le r sultat de la segmentation le premier est le choix des germes ini
194. t e par la p riode qui suit an 2003 est marqu e par des volutions tr s co teuses en introduisant les r seaux sans fl et l utilisation des capteurs pour une tentative de commercialisation des technologies des grilles La figure 1 1 montre les tapes d volution de la technologie de la grille Performance Standardisation QoS Gestion et partage des syst mes virtuels OGSA GT P2P Super Computer PC cluster GTI WS cluster Ann es 1995 2000 2005 liere Etape Standard Web 2ieme Etape Notion des grilles 3ieme Etape a Standardisation et virtualisation Figure 1 1 Chronologie de l volution technologique 5 13 14 15 Chapitrel La technologie des grilles e Notion d organisation virtuelle VO L organisation virtuelle est un concept qui signifie un ensemble d individus et d quipements informatiques qui partagent des ressources et des services soumis a des politiques de s curit sp cifiant les autorisations de ce partage On regroupe les utilisateurs qui ont les m mes besoins au sein d une VO cette derni re poss de des r gles et des strat gies de s curit adapt es le mieux ce groupe La VO peut grouper une quipe qui travail sur un m me projet un ensemble de chercheur dans un domaine commun ou avec une technologie commune un ensemble d utilisateurs qui travaillent sur les m mes ressources La VO fournit une multitude de services selon les besoins de leurs utilisateurs e
195. t avec succ s de chaque t che Les t ches sont ex cut es d une mani re asynchrone sur l infrastructure EGEE La conception et la mise en uvre du pluging sont motiv es par les objectifs suivants 1 D multiplient la puissance du mode de donn es parall le de T2 workflow 2 l Ex cution simultan e de t ches sur l infrastructure EGEE et 3 l interface Robuste et insensible aux d faillances qui peut traiter les diverses erreur g n ralement rencontr es dans un environnement de grille complexe Le plugin gLite lance des appels asynchrones de T2 au syst me de gestion des Jobs de EGEE et notifie le core de T2 d s l ach vement de l ex cution du batch La figure 4 5 montre l interaction entre T2 et EGEE via le plugin gLite T2 ex cute le processeur gLite qui contacte son tour le middleware Le plugin pr pare le Job et le soumettre EGEE il obtient un JobID et consulte le statut de la t che avec un thread ind pendant jusqu son ach vement Les t ches de T2 sont naturellement parall lis es les t ches qui n ont pas une d pendance de 64 Chapitre4 Syst mes CBIR base de grilles donn es avec les Jobs EGEE peuvent tre ex cut es d une maniere asynchrone Jusqu a l ach vement du Job les r sultats sont envoy s au gestionnaire de donn es de T2 T2 gLite Taverna2ir2 pugin gLite Activity i Pr pare Job Other Activities i Transfer Data Submit Job Get Job Output EE Return J
196. t d j lanc sinon le lancer de nouveau avec option start Le r sultat sera Stale pid file detected It will be removed Starting Globus container PID 3554 On teste le bon fonctionnement de RFT On lance la commande qui fait r f rence au fichier runtests xml globus poste4 ant Dtests jar usr local globus 4 0 6 lib globus_wsrf_rft_test jar f usr local globus 4 0 6 share globus_wsrf_rft_test runtests xml Le r sultat sera comme suit Buildfile usr local globus 4 0 6 share globus_wsrf_rft_test runtests xml init delete Deleting directory usr local globus 4 0 6 share globus_wsrf_rft_test tests classes mkdir Created dir usr local globus 4 0 6 share globus_wsrf_rft_test tests classes unjar Expanding usr local globus 4 0 6 lib globus_wsrf_rft_test jar into usr local globus 4 0 6 share globus_wsrf_rft_test tests classes runServer runTests _runCustomTests junit Running org globus transfer reliable service test PackageTests junit GSSException Expired credentials detected junit Tests run 18 Failures 0 Errors 17 Time elapsed 11 096 sec junit Test org globus transfer reliable service test PackageTests FAILED junit Running org globus transfer reliable service test client PackageTests junit Tests run 2 Failures 2 Errors O Time elapsed 0 322 sec junit Test org globus transfer reliable service test client PackageTests FAILED junit Running org globus transfer reliable service t
197. t des m canismes requis dans la construction des Services Un ensemble de librairies offertes au client pour lui permettre de programmer en Java C et Python afin d invoquer les op rations fournies par Globus ou par d autres services d velopp s par l utilisateur L utilisateur peut interroger les services avec des abstractions et des m canismes uniformes cette uniformit facilite la construction des syst mes complexes et inter op rables les principales r gles sont 1 l utilisation des messages SOAP pour la communication entre les services 2 m canisme de s curit uniforme et une infrastructure de messages permettant l interop rabilit entre les diff rentes applications et les services 3 un syst me de certification uniforme solide et base de standards permettant d assurer l acc s s curis aux diff rents syst mes d autorisation 4 les conteneurs et les services impl mentent des comportements et des interfaces standards pour la repr sentation de l tat l acc s l inscription ils facilitent la d couverte et la supervision des services d ploy s 5 l impl mentation d abstractions et d interfaces communs pour la gestion des dur es de vie et la destruction des services 2 3 Modules de Globus Dans cette section on va pr senter les quatre modules principaux de Globus concernant la gestion de s curit la gestion des donn es le syst me d information et la gestion des ex cutions La figure 2 4 mo
198. t des MAR ES esetsatiacemnaneeeleskstemuecutielsisuennnihebuhwienarieteles eee 136 6 2 1 SHUCTURS d UNE Te ION re 302 URA ae AU AA A 136 6 2 2 Struc ure Ce CR AS nn ieee A 137 6 2 3 Calcul des caract ristiques visuelles d une image ccccccieee ee eecinis 137 627 ARMM AO SR a nb et CU 140 6 2 1 6 2 2 6 2 3 6 2 4 6 2 5 SOMMAIRE Structure de la table des images index es ccecccccccceeseeeeeeeeeeeeeeaaeeeeeeeeeees 140 Environnement d d veloppement issus 140 Qurd arde AU GeV lO pPemMe sa nn nids 141 Etapes de d veloppement de service de segmentation 142 D finition de l interface AU Ser VCO nee 142 Implementation del Iter aC Cesta scot lowzanteitstausasispacnhdunraca te 02520 At 146 Developpement Cote CHeran neue 150 Configuration de d ploiement du service 152 Ceneravion du Hemer GAR RSS nine nid ent cote 152 Conch Onna td ul ene 153 Liste de figures Liste de figures Figure 1 1 Chronologie de l volution technologique icccccccccccccccicicicicicccccccccaaaceee 15 Fisure 1 2 Ar hitecture em couche des OLIMES AR elite 17 Figure 1 3 El ments de base de l architecture OGSA ccccccccccccccccececcccccccciciricicicicccecaacaeeen 25 Figure 1 4 Architecture des Services Web serres 28 Figure 15 Service Oriented architecture SOA ss Ne sn die iii 29 Figure 1 6 L architecture OGSA impl mente WSRP ss 32 Figure 1 7 Relation entre
199. t en suivant des strat gies de s curit et des politiques d finies par les concepteurs Un utilisateur peut tre affect plus d une organisation virtuelle dans ce cas son authentification se fait qu aupr s une seule ensuite il peut acc der au autres VO dont il est membre et donc a le droit de b n ficier des ressources et des services disponibles La dur e de vie des organisations virtuelles est variante ainsi leurs cr ations et leurs gestions ouvrent la voie vers d autres travaux de recherches qui incluent les projets de localisation d affectation et de partage de ressources dans une VO 16 Chapitrel La technologie des grilles e Architecture d une grille La grille est une infrastructure quip e de mat riels informatique des calculateurs des m canismes de communication et d un ensemble de services fournit par un Middleware ce dernier a comme objectif le contr le des activit s et des interactions dans la grille Cette infrastructure peut tre visualis e comme une architecture en couche qui illustre les principaux composants d une grille La figure 1 2 montre l architecture en couche d une Application Collectif grille Ressource Connectivit Fabrique Figure 1 2 Architecture en couche des grilles 1 5 Chaque couche repr sente une abstraction d un ensemble de fonctionnalit de syst me Chaque couche peut faire r f rence aux composants et aux services de n importe q
200. taab and L C Clarke Medical image archives present and future In H U Lemke M W Vannier K Inamura A G Farman and J H C Reiber editors Proceedings of the International Conference on Computer Assited Radiology and Surgery CARS 2002 pages 565 576 Paris France June 2002 61 M Costa Oliveira W Cirne and P M de Azevedo Marques Towards applying content based image retrieval in clinical routine Future Generation Computer Systems 23 466 474 2007 62 H J Lowe I Antipov W Hersh and C Arnott Smith Towards knowledge based retrieval of medical images The role of semantic indexing image content representation and knowledge based retrieval In Proceedings of the Annual Symposium of the American Society for Medical Informatics AMIA pages 882 886 Nashville TN USA October 1998 63 H D Tagare C Jalle and J Duncan Medical image databases A content based retrieval approach Journal of the American Medical Informatics Association 4 3 184 198 1997 64 H Mvuller M Pitkanen X Zhou A Depeursinge J lavindrasana and A Geissbuhler Knowarc Enabling grid networks for the biomedical research community In Healthgrid 2007 pages 261 268 Geneva Switzerland April 2007 65 M Litzkov M Livny and M Mutka Condor a hunter of idle workstations In Proceedings of the 8th international conference on distributed computing pages 104 111 San Jose California USA June 198
201. tant du m me principe nous lan ons la commande suivante sous l utilisateur user user poste4 grid cert request ca force Le r sultat sera nondefaultca true The available CA configurations installed on this host are 1 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA Enter the index number of the CA you want to sign your cert request 1 Using CA 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA home user globus usercert_request pem already exists home user globus usercert pem already exists bin chmod modification des permissions de home user globus usercert pem Op ration non permise home user globus userkey pem already exists A certificate request and private key is being created You will be asked to enter a PEM pass phrase This pass phrase is akin to your account password and is used to protect your key file If you forget your pass phrase you will need to obtain a new certificate Generating a 1024 bit RSA private key Fe Ne tere ee 4 4 ee writing new private key to home user globus userkey pem Enter PEM pass phrase Verifying Enter PEM pass phrase You are about to be asked to enter information that will be incorporated into your certificate request What you are about to enter is what is called a Distinguished Name or a DN There are quite a few fields but you can leave some blank For some fields there will be a default va
202. te jusqu 60 x 1012 op rations en virgule flottante flop et cr e environ 20 Go de donn es de pr vision l heure de sortie En outre les pr visions m t orologiques court terme sont une t che critique qui doit tre achev e en moins de deux heures Ainsi seuls les centres des ordinateurs de haute performance HPC sont en mesure d ex cuter de telles pr visions 12 Chapitrel La technologie des grilles e Evolution des technologies de la grille L volution des grilles a pass par trois tapes et elle est toujours en cours d avancement et d impl mentation de nouvelles technologies La premi re g n ration inclut des syst mes qui ont tent de lier des supercalculateurs pour b n ficier de leurs puissances r unisses Dans la seconde g n ration l accent a t mis sur les middlewares qui supportent le calcul et la mise jours des donn es grande chelle La troisi me g n ration essai de r aliser des syst mes favorisants une collaboration mondiale et distribu e 1 5 1 Premi re g n ration Les ann es 1990 sont le d but de l apparition des environnements des grilles l objectif des syst mes de cette g n ration t juste de fournir les ressources de calcul n cessaires pour r pondre aux besoins des applications haute performance Les deux projets marquants cette tape sont Fafner 7 et l T WAY 8 Les probl mes rencontr s dans cette tape sont ceux li s la communication l
203. temps totale de son ach vement la figure 4 24 illustre la chronologie des actions et le temps de chaque v nement avec un d lai AT qui repr sente l intervalle entre la fin et le d but d une autre t che N domaine Temps de Nombre Temps CPU Temps de de donn es r plication d instance de r cup ration service de de r sultats segmentation 13 70 min 24 16 min i Machine 1 lance la demande de segmentation 14 97 min Tableau 3 r sultats d taill s des principales op rations de segmentation par machine Machine 2 0 02 min 4 contient la source de donn es 1000 images Si on compare le temps global n cessaire pour l ach vement de la segmentation 50 min en incluant le temps de r plication des donn es et le temps de transfert des r sultats avec le 95 Chapitre4 Syst mes CBIR base de grilles temps de segmentation sans inclure le temps de transfert des fichiers 39 98 min a partir de tableau 1 on conclut que la gestion des donn es sur la grille joue un r le important sur les performances de la grille ce qui n cessite une impl mentation d une bonne politique pour la r plication des donn es tout en minimisant leurs duplications inutiles Avec ou sans r plication de donn es on a obtenu un temps inf rieur a celui de l ex cution s quentielle ce qui prouve l utilit des grilles dans les CBIR A partir de la table 3 on conclut que le n ud qui poss de les donn es e
204. teur nous proc dons comme suit globus poste4 grid cert info subject O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN globus On lance la commande globus poste4 whoami Le r sultat est Sous root nous ajoutons une entr e correspondante au certificat de l utilisateur globus dans le fichier grid mapfile root poste4 usr local globus 4 0 6 sbin grid mapfile add entry dn 0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Ir1 net CN globus In globus Le r sultat sera Modifying etc grid security grid mapfile New entry 0 Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN globus globus 1 entry added 115 ANNEXE A Ajout des autorisations pour l utilisateur user Nous proc dons de la m me mani re Pour r cup rer le sujet du certificat et son propri taire nous ex cutons user poste4 grid cert info subject Le r sultat est O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN user Apr s nous lan ons cette commande user poste4 whoami R sultat user Sous root nous ajoutons une entr e correspondante au certificat de l utilisateur user dans le fichier grid mapfile root poste4 usr local globus 4 0 6 sbin grid mapfile add entry dn O Grid OU GlobusTest OU simpleCA poste4 Iri net OU Iri net CN user In user R sultat Modifying etc grid security grid mapfile New
205. thodes que le service peut mettre en uvre Dans le cas des services Web et Services de grille la d finition de l interface se fait avec le langage descriptif WSDL il repose sur la notation XML WSDL permet de d crire les m thodes leurs param tres et les types de donn es utilis es ainsi que les messages d entr es et de sorties Il est compos des parties suivantes portType D finit le service les op rations et les Message chang s pour chacune d eux Message D finit les messages chang s et leurs param tres Types D finit les m thodes les types de param tres du service et les ressources disponibles ainsi que leurs type Binding Pr cise le protocole utilis et le format de message Le code suivant repr sente l interface simplifi du service de segmentation lt xml version 1 0 encoding UTF 8 gt lt definitions name AprioriService targetNamespace http www globus org namespaces examples core SegmentationService_instance xmlIns http schemas xmlsoap org wsdl xmins tns http www globus org namespaces examples core SegmentationService_ instance xmins wsdi http schemas xmisoap org wsdl xmins wsrp http docs oasis open org wsrf 2004 06 wsrf WS ResourceProperties 1 2 dra t 01 xsd xmins wsrpw http docs oasis open org wsrf 2004 06 wsrf WS ResourceProperties 1 2 draft 01 wsdl 142 ANNEXE B xmIns wsdlpp http www globus org namespaces 2004 10 WSDLPrepro
206. tiaux le second est la condition d arr t de la croissance de r gions B D composition fusion Split amp Merge L id e des algorithmes de ce type est de produire automatiquement une partition initiale de l image repr sent e par des petites r gions Split qui vont ensuite cro tre en se regroupant Merge La partition initiale Split est r alis e en appliquant un algorithme r cursif pour le 55 Chapitre 3 Introduction en traitement des images partitionnement de l image en r gions la fusion se fait entre les r gions adjacentes dont l union respecte des crit res d homog n it Ce type de m thode fait souvent appel la th orie des graphes on y retrouve les exemples partitionnement de Voronoi arbre quaternaire approches pyramidales 3 3 3 M thodes par optimisation Dans les m thodes par optimisation le probl me de la segmentation est formalis par l estimation d une fonction f bidimensionnelle en minimisant une fonctionnelle de co t K qui va d pendre de l image analys e La fonction f repr sente l image segment e par ses restrictions f sur chaque r gion R 3 4 Classification La classification consiste extraire les diff rentes caract ristiques de l image ces derniers sont li es la g om trie de l image et ses colorim tries nombre de couleurs pourcentage de couleurs satur es variations brutales de couleur histogramme Les caract ristiques extraites sont fou
207. tive Ce service applique des fonctions math matiques sur chaque pixel de l image il demande plus de ressources de calcul 3 2 Module du r sonnement Reasoning module contient un ensemble de services de grille utilis principalement pour l aide a la d cision et le classement des images Param tres utilis s dans la recherche Mots cl s ou requ tes images R sultats satisfaisants Indexation Param tres utilis s dans la segmentation et l tape de pr traitement Descriptions Figure 4 17 Informations sauvegard es dans la base de cas Le module du raisonnement utilise un CBR pour la recherche des images avec des mots cl s d ja utilis s ou avec des requ tes images dont les caract ristiques visuelles ressemblent a 85 Chapitre4 Syst mes CBIR base de grilles d autres d j trait es Le CBR sauvegarde les cas des requ tes qui ont eu des r sultats jug s satisfaisants La figure 4 17 montre les sources d informations sauvegard es dans la base des cas Le CBR est utilis pour am liorer la recherche des images en termes de temps et de qualit Le module de r sonnement est constitu d un service qui impl mente le CBR et un autre de calcul de distances entres vecteurs de caract ristiques extraites afin de classifier les images Service avec raisonnement base des cas il utilise une base de donn es pour sauvegarder les traces des op rations de recherche
208. tory usr local globus 4 0 6 setup globus_simple_ca_637244ab_setup setup gsi For further information on using the setup gsi script use the help option The default option sets this security configuration to be the default and nonroot can be used on systems where root access is not available KK 2 lt K K K 23 EK K KE E K K K K K K K K K K E K K KE E K K 2 lt K K K K E EK 2 lt KE 2 lt 2 K K K K K K K K K K K K K K K KK KK K K K K K K K K KK K K K K K K setup ssl utils Complete Installation de GSI Pour lancer l installation de GSI on tape la commande suivante 110 ANNEXE A root poste4 usr local globus 4 0 6 setup globus_simple_ca_637244ab_setup setup gsi Le r sultat est le suivant setup gsi Configuring GSI security Making trusted certs directory etc grid security certificates mkdir etc grid security certificates Installing etc grid security certificates grid security conf 637244ab Running grid security config Installing Globus CA certificate into trusted CA certificate directory Installing Globus CA signing policy into trusted CA certificate directory setup gsi Complete globus poste4 globus 4 0 6 grid cert request ca nondefaultca true The available CA configurations installed on this host are 1 637244ab O Grid OU GlobusTest OU simpleCA poste4 Iri net CN Globus Simple CA Enter the index number of the CA you want to sign your cert request 1 Using CA 637244ab O Grid OU GlobusTe
209. tp conf R sultat Server listening at poste2 lri net 56312 Le port 56312 est choisi automatiquement pour le serveur gridftp on peut personnaliser le port en ajoutant l option p num ro de port Exemple root poste2 sbin globus gridftp server c gridftp conf p 5000 Maintenant on peut utiliser le protocole gsiftp pour l envoi des fichiers Exemple globus poste4 globus url copy stripe gsiftp poste4 lri net 563 12 tmp gridftp_test file tmp copie_gridftp_test 5 1 7 Lancement du container des services web On cr e le script permettant le lancement du container Sous globus nous ex cutons la commande suivante globus poste4 vim GLOBUS_LOCATION start stop Et on ajoute le contenu suivant 126 ANNEXE A start GLOBUS_LOCATION sbin globus start container detached p 8443 stop GLOBUS_LOCATION sbin globus start container detached echo Usage globus startlstop gt amp 2 exit esac exit On donne le droit d ex cution pour ce fichier avec la commande root poste4 chmod x usr local globus 4 0 6 start stop Sous root nous cr ons un deuxi me script sous etc init d il va tre utilis pour l appel du premier cr root poste4 vim etc init d globus 4 0 6 Et on ajoute le contenu suivant bin sh e case 1 in start su globus usr local globus 4 0 6 start stop start stop su globus usr local globus 4 0 6 start
210. uelle autre couche inf rieure La couche application au sommet de l hourglass repr sente l ensemble des applications qui seront ex cut es sur la grille Si ces applications ont t d velopp es sur la structure logicielle de la grille et adapt es selon ses sp cificit s on dit qu on parle de grid aware La couche collective se charge de la coordination des ressources Elle se base sur les protocoles d information ces derniers fournissent des services d annuaire d indexation et de recherche et d autres services pour la gestion des ressources de la grille La couche collective repose aussi sur les protocoles de gestion pour coordonner l acc s aux diff rentes ressources La couche ressource poss de un ensemble d informations sur les ressources avec lesquelles elle contr le l acc s aux diff rents services et aux ressources locales elle les mise en disposition et g re leurs partages 17 Chapitrel La technologie des grilles La couche connectivit responsable de la communication et la s curisation des diff rentes interactions sur la grille La couche fabrique situ e le plus bas du mod le repr sente l infrastructure physique de la grille elle inclut des ordinateurs des medias de stockage des r seaux et tous autres mat riels informatique ou industriels qui peuvent faire partie de la grille 1 7 1 Couche fabrique Cette couche est en relation directe avec le mat riel qui constitue la grille el
211. uetage Installation d un programme configure configure Cette commande construit un fichier Makefile utile pour la compilation d un programme make permet la construction des programme Elle recherche la premi re cible dans le fichier Makefile et ob it aux instructions indiqu es Le r sultat final attendu est la construction d un fichier ex cutable make install invoque nouveau make qui recherche la cible install dans le Makefile et suit les instructions pour installer le programme L diteur vi vi est un diteur pour Linux il peut tre l un des deux modes suivants commande ou dition Le passage du premier au second se fait par la touche 1 insert le passage inverse se fait par la touche esc On peut diter en mode dition et enregistrer nos modifications en mode commande par wq pour crire dans le fichier et sortir ou par q pour quitter sans enregistrer les modification Afin de pouvoir modifier un fichier on doit avoir l autorisation en criture Exemple vi fichier Notamment ils existent d autres diteurs comme vim et nano 5 1 2 Mise en place du r seau A Installation du syst me Linux La version Linux utilis e est Fedora 8 Core version 4 en faisant attention aux points suivants 103 ANNEXE A 1 Type d installation poste de travail WorkStation 11 D sactivation de pare feu pour ne pas g ner le fonctionnement des services de l Intergitiel i
212. ul dans 33 pays le principal objectif est de construire une infrastructure d analyse et de stockage d une dizaine de million de GO de donn es produites par le LHC 1 43 Calcul la demande On Demand Computing Dans ce type d application les utilisateurs de la grille veulent exploiter les ressources afin de se b n ficier a court terme d une fonctionnalit qui n est pas offerte en local ou minimise la rentabilit du syst me comme l utilisation d un capteur sp cialis des cycles processeur medias de stockages temporaires ou m me des applications Les grilles de calcul la demande ont t con ues pour surmonter le d fi commun des entreprises d tre en mesure de r pondre efficacement les fluctuations de la demande Computer Associates HP IBM Microsoft et Sun sont parmi les plus minents dans la vente d utilisation des ressources la demande ces soci t s se r f rent la demande de leurs produits et services par une vari t d entreprises utilisateurs Des notions telles que Grid Computing utility computing autonomic computing et adaptive management sont tr s similaires la notion de calcul a la demande qui englobe tous les autres termes cit s pr c demment chacun d eux signifie quelque chose de l g rement diff rent Utility computing par exemple est une approche la demande qui allie l externalisation des ressources informatiques et la gestion des infrastructures un usage a bas
213. un terme publi par le projet Condor Miron Livny University of Wisconsin Utilise de puissants calculateurs distribu s potentially grid computing pour affecter aux processus les ressources demand es afin de terminer le plus vite possible le traitement des lots de t ches Les ressources de calcul qui peuvent tres utilis es dans ce type d application sont des serveurs centralis s comme les clusters et les Grappes ou des PCs distribu s Les applications qu on peut r aliser avec le calcul haut d bit sont les applications de cryptographie la simulation des mol cules et l analyse des ADN Plusieurs projets ont t labor s dans ce contexte on cite World Community Grid WCG 91 un projet lanc en Novembre 2004 par IBM dans le but de cr er la plus grande grille de calcul pour des projets de recherche En utilisant des cycles de processeurs non utilis s des ordinateurs connect s Internet dans le monde le projet WCG de recherche a r ussi d analyser les aspects du g nome humain le VIH la dystrophie musculaire et le cancer Large Hadron Collider LHC projet 92 c est le plus grand acc l rateur de particules mis en op ration fin 2008 par l Organisation europ enne pour la recherche nucl aire 10 Chapitrel La technologie des grilles CERN Destin s opposer des collisions de faisceaux de protons ou des ions de plomb La grille du HLC est un assemblage de plus de 140 centres de calc
214. une requ te cherchant un nom logique d une donn e le LRI retourne comme r sultat la liste de tous les LRC poss dant ce nom logique La figure 2 6 montre un d ploiement possible de RLS Figure 2 6 exemple d un d ploiement de RLS D Data Replication Service DRS C est un WS Service de haut niveau il est responsable de prendre en charge les requ tes de r plications il enregistre les nouvelles copies dans le RLS Ainsi il v rifie l existence physiques des donn es dans la grille Il interroge le service d information pour choisir le meilleur chemin de r plication il b n ficie des pr dictions fournit par le SI sur les performances du r seau et des m dias de stockage pour effectuer la r plication 32 43 Chapitre2 Globus La requ te de la r plication lanc e par le client repr sente la ressource a tat de DRS le DRS fournit les informations de la WS Ressource qui inclut 33 Etat de la r plication Status indique si la requ te de r plication est en attente active suspendue achev e ou d truite Type d action Stage indique si l op ration est un transfert recherche ou registration R sultat Result indique le r sultat de l op ration achev aucun chec ou exception Statistiques Count fournit le nombre total des fichiers transf r s avec succes et le nombre des checs Le DRS fonctionne sur la base de deux Non WS Services RLS et GridFTP et sur la base
215. urs s par es par un signe dollar Table Imagelndex Propri t s Colonnes Contraintes Param tres de Vacuum Droits SQL Nom de colonne D finition H rit de li ImagelD bigint NOT NULL ImageClasselD bigint NOT NULL ImageClasselN numeric 3 2 DEFAULT 0 ImageFilePath path ImageSize character varying 12 ImageFleSize numeric 8 2 ImageColors character varying 32 Figure 6 1 Structure de la table Index des images Un exemple simplifi d une requ te SQL g n r e a partir de l analyse de la phrase Voiture rouge est SELECT FROM INDEX WHERE ImageClasse LIKE VOITURE AND ImageColors LIKE ROUGE ORDER BY ImageClasseIN Comme une image peut appartenir a plusieurs classes d images on peut trouver plusieurs entr es pour une seule image dans la table pr c dente 6 2 2 Environnement de d veloppement Afin de pouvoir d velopper notre application de grille en Java l environnement illustr par la figure 6 2 doit tre dot e d un serveur de base de donn es PostgreSQL d un serveur sur lequel on peut d ployer notre application ANT d une JVM bien entendu et enfin d un middleware de grille qui est repr sent par le ToolKit Globus PostgreSQL j the globus project Fone lt A www globus org 4 lt lt i AN T gt Syst me d exploitation Linux Frdora Figure 6 2 environnement utilis pour le d veloppement 140 ANNEXE B L application d vel
216. ux modules de Globus sont GSI Globus Security Infrastructure qui est un module d authentification utilisant la politique cl publique et les certificats X 509 ainsi que plusieurs standards tel que SSO et TLS MDS Monitoring and Discovery Service responsable de la collection des informations des diff rentes ressources de la grille Avec un langage de sp cification ce module est interrog par plusieurs autres services 23 Chapitrel La technologie des grilles GRAM Globus Resource Allocation Manager il est responsable d allouer des ressources distantes pour y soumettre et surveille l ex cution des t ches Ainsi il fonctionne via un co allocateur dynamique de ressources DUROC GridFTP Grid File Transport Protocol responsable de la gestion des donn es il permet le transfert s curis des fichiers sur la grille Il est a la base de fonctionnement d autres services telque RFT Reliable File Transfert et RLS Replica Location Service 1 8 2 Unicore UNiform Interface to Computer Resources C est un projet Europ en qui a pour objectif d assurer un acc s s curis et uniforme a des plateformes de calcul intensif 15 11 fournit des fonctionnalit s pour la gestion de donn es la gestion des t ches de s curit et d informations L Intergitiel impl mente une architecture client serveur bas e sur le mod le trois tierce compos e de trois couches 16 Une couche utilisateur
217. vice Le service poss de des interfaces r seau et de communication et il est accessible par des standards de protocoles et de formats de donn es 24 Les services Web peuvent tre d finis selon plusieurs points de vue et selon leurs contextes d utilisation Les principales caract ristiques d un service Web sont D crit en utilisant un langage de description de services WSDL Publi dans un registre de services pour tre localis D couvert et invoqu via des APIs et des standards Interagit avec d autre Services Web tout en masquant les d tails de leurs impl mentations ou les contraintes des plateformes h t rog nes sur lesquelles 1l est d ploy B Architecture des Services Web En reposant sur la notation XML l architecture des services Web est compos e de quatre parties principales comme montr es dans la figure 1 4 La premi re partie permet la d couverte et l agr gation des Services Web elle d finit un registre connu avec le nom UDDI Universal Description Discovery and Integration Wrox 27 Chapitrel La technologie des grilles 2001 qui est un annuaire utilis pour sauvegarder et localiser les interfaces de tous les services Web d ploy s poo oe ee ge ee eM Me Me Ae eM eM eM eM ee ew ae ee ee 1 Agr gation recherche des services dans UDDI 2 D crire l interface des services en utilisant WSDL 3 L invocation des services se fait
218. volution constante de l information et avec la richesse des images en nombre et en qualit il n y a pas de m thode g n rale pour extraire la connaissance d une image Ils existent des algorithmes qui restent toujours li s a leur contexte et qui fournissent de bons r sultats dans leurs domaines de fonctionnement Ainsi ils existent certains outils qui nous offrent des moyens pour impl menter les algorithmes de traitement d images tel que Matlab net etc 57 Chapitre4 Syst mes CBIR base de grilles Systemes CBIR a base de grilles Chapitre4 Syst mes CBIR base de grilles 4 Systemes CBIR a base de grilles 4 1 Introduction Les Systemes de recherche des images a base de leurs contenus sont largement utilis s dans le domaine m dical Ainsi ils ont t introduits dans plusieurs plateformes tel que les moteurs de recherche des images comme le cas de Google les plateformes d analyse des images satellitaires et dans le domaine militaire G n ralement les syst mes CBIR peuvent r soudrent les probl mes li s avec le temps d ach vement d une op ration critique ou avec ceux qui traitent une grande quantit d images Dans le domaine m dical les syst mes CBIR aident les m decins prendre des d cisions base des cas pr c dents Pour les moteurs de recherche des images les syst mes CBIR rend l op ration de la recherche plus pr cise elle ne s appuiera plus sur la description textuel
219. x m mes cette d l gation de droits est utilis e autrement dans GRAM2 ce dernier donne la d l gation au service GRAM et aux jobs au m me temps ce qui ne permet pas le partage des droits en cas de besoins Le certificat peut prendre trois valeurs qui traduisent son opportunit 37 Aucune None aucune d l gation de certificat Partag Shared une seule d l gation de certificat est utilis e par tous les jobs Par job Per Job d l gation utilis e pour un seul job GRAMA effectue des ex cutions parall les en permettant la notion des rendez vous entre les processus GRAMA peut g rer efficacement l Ordonnancement des processus mais pour des besoins d utilisation grande chelle il utilise des composants externes comme les Ordonnanceurs Fork Condor PBS LSF Loadleveler etc De m me il utilise SUDO pour avoir plus de privileges en cas de besoins la version GRAM2 utilise tous les privil ges root ce qui donne une permission excessive aux jobs et augmente le risque de violation de s curit Les composants internes utilis s par GRAM4 sont 1 un g n rateur d v nement d Ordonnanceur Scheduler Event Generator il donne la possibilit de contr ler les ex cutions des processus et il peut s interfacer avec les autres Ordonnanceurs connus 2 Fork Starter qui lance et contr le l ex cution des jobs GRAMA utilise le langage de description des jobs Job Description Document JDD

Plateforme à base de grid pour la gestion des connaissances

Contents

Download Pdf Manuals

Related Search

Related Contents

Plateforme &agrave; base de grid pour la gestion des connaissances

Contents

Download Pdf Manuals

Related Search

Related Contents

Plateforme à base de grid pour la gestion des connaissances