Home

Système de stockage distribué à faible coût

Contents

1. S lectionnez la carte r seau ethO et cliquez sur le bouton Edit D cochez la case Configure using DHCP et entrez l adresse IP d sir e cry Page 58 SO Haute Ecole sp cialis e 30 juillet 2010 heig vd Haute Ecole d Ing nierie et de Gestion Systeme de stockage distribu a faible cout du Canton de Vaud S derstr m Johan Edit Interface eth0 Configure eth _ Configure using DHCP Activate on boot Hardware address 00 06 29 05 4D CB IP Address ao 192 las 216 Figure 76 Configuration de l adresse IP sur ethO Configurez la carte eth1 en choisissant une adresse IP de r seau local cette carte sera utilis e pour la r plication des donn es entre les deux serveurs et acc der aux cibles ISCSI Voici la configuration des cartes r seaux avec l adresse IP 192 168 1 10 sur eth1 Network Devices Active on Boot Device IP Netmask etho 10 192 49 216 255 255 248 0 eth 192 168 1 10 255 255 255 0 Hostname Set the hostname manually opentilert ex host domain com Miscellaneous Settings Gateway 10 192 101 F Wi T Primary DNS 10 19 secondary DNS 10 192 100 CEE T E Tertiary DNS Ceux Cou Figure 77 Configuration finale des cartes r seaux sis Hes so 30 juillet 2010 oiaedarianer heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan S lectionnez la zo
2. 10 8 Cr ation de nom de disques ISCSI persistants sir 46 10 9 Snapshot Sy acces cect arees ce cece cause ecesecste nnnn nnen n nenne ea nes 49 10 10 Int gration des serveurs au domaine de la Heig vd 50 10 11 Conclusion sur le syst me Openfiler rennes 50 11 D ploiement pour la Heig vd nes sense 51 12 THE 68 6 o lt 1 5 een a ee E 51 13 OAC IS UO Mcrae E ne 51 14 Sources et R f rences atic a ee D ec 52 15 ANCO S oee de aa Dee ee D ee de 53 15 1 Installation d Openfiler nn 53 15 2 Configuration des serveurs Openfiler ss 61 1521 Modilication des fichiers OC a tae 61 15 2 2 G n ration des a ee nd a 62 152 3 Editiondutichierdrbod COnNi her cerises nest ee sstees ces T 63 15 2 4 Cr ation des dossiers pour la r plication 65 15 2 5 Mise en route du service AD tihistosnsenbiniessessmes sie tesss chasses bons 65 15 2 6 Edition du fichier etc lvum lvm conf iii 67 15 gt CONHEU PAU OU Heartbeat a certeer oterert termtret re en aidian 68 16 installation de GlusterF S a a a aoe ee 71 161 Pr paration delinstalatiOi ss tenessin mener 71 16 2 Installation du serveur DrINCIDAL 2 nn rennes 71 16 3 AJOUC UN serveur AU CUS a aan mernnrate senti 72 164 Console de management du cluster sisieics nicaiionnnaneindininimnnaninnanianwannuns 73 Page 5 H e S 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage dis
3. A SC NARIO WEIS AUIO e dd ae dot de De do es 7 5 Utilisation type d unmnetudiant Er ra anden A 8 Os SONO SES a E E S 8 6 1 RE E a cseeumuetensie sae meniors 8 6 2 BOD ese aaeecti toes smu ve tecenetcmes uence T 9 6 3 Syst me de fichiers en cluster sees say fo Sauteed ea dd en 9 7 Serveur de fichiers avec stockage ISCSI esse 10 7 1 CS UI a E do nn 10 7 2 OIRO io CCE 10 Lo LopicalUnit Number ON en aan un 11 8 File Area Network CRAN a ea isons aeseounieetiecatdonnesesonien 12 9 Systemes d CXDIOIALION COSECS re iuaicoateduanniestinssibaardictiieniay rE AESi ES toc eme 13 9 1 CO a ee E 13 9 1 1 Proc dure d installation du service de haute disponibilit 13 9 1 2 installation CS fa cible IS CSI ca ae ea base ee eee 15 9 1 3 COMMEULATION de initiateur sicuceccccasivavecoetsedocavindsbeevacdcessnsnateevseeebscivindevaavecdssatneveareds 17 02 NORRIS LOL a ae te a ae a a ai a aa ae tu 20 9 2 1 Parcours des fonctionnalit s offertes par le syst me 20 9 2 2 Conclusion sur le syst me NexentaStor ss 25 D gt Opensolaris et Solaris 10 scccstescssceszcnsectexsceiesesesiseddneeieedyesnvcdssnestineiansesd eace essieu 26 9 4 CS nezanstemscenidesenariay 26 9 4 1 SE CaS CON a E S 26 9 4 2 Architecture de GlusterFS cccsccccsssscrcsssresconssectenesscneoussestoussscucussscneossrestensssencuss 27 9 4 3 Avantages et inconv nients de GlusterFS ss 27 9 4 4 T
4. a b s Volume Manager Server Manager Log Manager Resource Monitor Import Export Config GSN Time Settings Manage Storage Server Pool Add Server Shutdown Server Format Disk 14 11146 m EEA _ Cat Wlan Server 4 IP Address Data disk 4 size GB Status gluster2 dev sda2 gt 168 1 5 T3250318AS ATA 229 10 O gluster1 dev sda2 192 168 1 51 ST3250318AS ATA 229 11 Not Formatted Time Settings Manage Storage Server Pool Shutdown Server Format Disk D 1 l4 gt mh 10 Figure 92 Console de management L interface permet de formater les disques disponibles dans le cluster Clan Server IP Address Data disk 4 size GB Status STM AC ATA SAU es ATA 109 4689 405 745 47 du TOEG Tk 4 10 i 409 469 4 Ee CTIIONIATAC ATA reo an 192 166 1 51 ST3250315A5 ATA Ea 1 Eeti Time Settings Manage Storage Server Pool Add Server g Shutdown server Fermat pisk laj 1 id Fl ETE Figure 93 Formatage des disques en cours Une fois le formatage des disques effectu il est possible de cr er un nouveau volume de donn es I faut pour cela cliquer dans l onglet Volume manager comme le montre la figure suivante Import Export Config GSN Volume Manager Server Manager Log Manager Resource Monitor View All Id 4 1 1146 F110 Jan Volume name Type 4 size GB NFS CIFS 4 WebDAV 4 Status 4 No volume found View All liq 4 1 li gt 1 10 Figure 94 Volume
5. derstr m Johan KERNEL sd BUS scsi PROGRAM etc udev scripts iscsidev sh b SYMLINK iscsi c part n Dans le dossier etc udev scripts cr ez le script iscsidev sh contenant bin sh FILE etc udev scripts iscsidev sh BUS S 1 HOST S BUS e sys class iscsi_host exit 1 file sys class iscsi_host hostS HOST device session iscsi_session targetname target_name S cat S file This is not an open scsi drive if z S target_name then exit 1 fi Check if QNAP drive check_qnap_target_name S target_name if Scheck_qnap_target_name iqn 2004 04 com qnap then target_name echo S target_name fi echo S target_name Changez les droits d acc s au script avec la commande chmod 755 etc udev scripts iscsidev sh Apres la mise en place de ce script de mappage des cibles ISCSI voici la configuration de la resource vgldrbd l aide des liens symboliques cr s resource vg1drbd protocol C startup wfc timeout 0 Infinite degr wfc timeout 120 2 minutes disk on io error detach net timeout 60 Page 47 Hes 30 juillet 2010 Haute Ecole d Ing nierie et de Gestion du Canton de Vaud connect int 10 ping int 10 max buffers 2048 max epoch size 2048 syncer after cluster metadata on filer01 device dev drbd2 disk dev iscsi target1 part1 address 192 168 1 20 7
6. derstr m Johan root openfiler1 mv opt openfiler opt openfiler local root openfiler1 mkdir cluster_metadata opt root openfiler1 cp a opt openfiler local cluster_metadata opt openfiler root openfiler1 In s cluster_metadata opt openfiler opt openfiler root openfiler1 rm cluster_metadata opt openfiler sbin openfiler root openfiler1 In s usr sbin httpd cluster_metadata opt openfiler sbin openfiler root openfiler1 rm cluster_metadata opt openfiler etc rsync xml root openfiler1 In s opt openfiler local etc rsync xml cluster_metadata opt openfiler etc Edition du fichier opt openfiler local etc rsync xml lt xml version 1 0 7 gt lt CSync gt lt remote hostname 192 168 1 11 gt IP du second serveur lt item path etc ha d haresources gt lt item path etc ha d ha cf gt lt item path etc ldap conf gt lt item path etc openldap ldap conf gt lt item path etc ldap secret gt lt item path etc nsswitch conf gt lt item path etc krb5 conf gt lt rsync gt Configuration du serveur openfiler2 root openfiler2 mkdir cluster_metadata root openfiler2 mv opt openfiler opt openfiler local root openfiler2 In s cluster_metadata opt openfiler opt openfiler Edition du fichier opt openfiler local etc rsync xml lt xml version 1 0 gt lt rsyuc gt lt remote hostname 192 168 1 10 gt IP du second serveur lt item path
7. plication des donn es ainsi que les diff rentes m thodes de stockage Apr s avoir configur les serveurs bas s sur Openfiler et sur CentOS le choix du syst me de cluster de haute disponibilit n a peut tre pas t judicieux Le syst me CentOS a t cart en raison de la configuration complexe en ligne de commande mais cela a t pareil pour Openfiler Le choix de conserver Openfiler a t prise car je poss dais une plus grande exp rience dans la configuration de ce syst me d exploitation Page 51 Hes 30 juillet 2010 Haute Ecole ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 14 Sources et R f rences 1 Citation de Jeff Bonwick manager de l quipe de d veloppement du syst me de fichiers ZFS http fr wikipedia org wiki ZFS 2 Manuel d installation d Opensolaris en cluster HA http hub opensolaris org bin download Project colorado files Whitepaper OpenHAClusterOnOpenSolaris external pdf 3 Formule de calcul de l espace n cessaire au metadata du cluster drbd http www drbd org users guide ch internals htm http www gluster or http en wikipedia or http www howtoforge com high availability heartbeat centos http wiki fluidvm com index php title SAN Setup on CentOS 5 3 http www howtoforge com installing and configuring openfiler with drbod and heartbeat https project openfiler com tracker browser openfile
8. 14 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Configuration de serveur Web pour tester la haute disponibilit entre les serveurs Edition du fichier etc httpd conf httpd conf sur les deux serveurs Listen 192 168 1 12 80 Cr ation d une page html sur CentOS1 echo Serveur CentOS1 gt var www html index html Cr ation d une page html sur CentOS2 echo Serveur CentOS2 gt var www html index html Sur chacun des serveurs il faut activer le service heartbeat service heartbeat start Une fois le service d marr la page web est accessible sur l adresse http 192 168 1 12 Le serveur r pond avec le message Serveur CentOS1 Arr t du service heartbeat sur le serveur CentOS1 service heartbeat stop Acc s la page http 192 168 1 12 Le serveur r pond avec le message Serveur CentOS2 Ce premier test du service de haute disponibilit n est pas en relation directe avec le but du projet N anmoins il a permis de comprendre facilement le fonctionnement du package heartbeat l aide des trois fichiers de configuration n cessaires 9 1 2 Installation de la cible ISCSI Le serveur CentOS2 sera la cible ISCSI Pour configurer la cible le package scsi target utils est n cessaire Le serveur a t mis en dhcp afin d avoir acces internet pour l installation puis remis en adresse statique yum in
9. Additional Size Options Ce cD Fixed size C Fill all space up to MB 0 Fill to maximum allowable size _ Force to be a primary partition gx Figure 71 S l ction des disques pour le RAID R p tez l op ration de cr ation d une partition RAID pour le deuxi me disque sdb Page 56 Hes so heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t hot S derstr m Johan Une fois les trois partitions cr es cliquez encore sur le bouton RAID et s lectionnez Create RAID device default dev mdO RAID Options Software RAID allows you to combine several disks into a larger RAID device A RAID device can be configured to provide additional speed and reliability compared to using an individual drive For more information on using RAID devices please consult the Opentiler NSA documentation You currently have 3 software RAID partition s free to use What do you want to do now D Create a software RAID partition C Clone a drive to create a RAID device default dev mdo Figure 72 Cr ation du raid mdO S lectionnez le Mount Point Cela indique que le syst me sera install sur le RAID mdO S lectionnez le RAID Level en RAID1 puis cliquez sur OK Make RAID Device Mount Point File System Type ext3 RAID Device mado RAID Level RAID 1 sdai 6001 MB RAID Members sdb1 6001 MB Number of spares Op Figure 73 Choix du point
10. E g y T lH j Unk known Unknown UpToDate DUnknown Unknown ea Pa Pa CL LA ta M cl CM LC A root filer02 Figure 52 R plication du volume augment Le volume logique dev vg0drbd data est bien r pliqu sur le deuxi me serveur et le volume a t augment La r plication des informations du volume logique fonctionne donc parfaitement 10 5 5 Test de perte d une cible ISCSI sur le serveur primaire Le serveur cible ISCSI du serveur primaire a t stopp pour simuler la panne Cela a pour effet que le serveur primaire informe le secondaire que son disque est manquant et l tat drbd est mounted Primary _metadata 1 vg0drbd gldrbd froot filer0Ol Figure 53 Etat drbd avec perte d un lien ISCSI Primary Primary Connected Le probleme de cette configuration est que le serveur qui a perdu le disque reste en primaire ce qui emp che les utilisateurs d acc der aux donn es si elles se trouvaient sur ce disque Pour r tablir le Page 42 hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan bon fonctionnement des serveurs il faut imp rativement basculer le serveur secondaire en primaire Pour cela la m thode la plus rapide est d arr ter le serveur primaire Ainsi les utilisateurs peuvent continuer d utiliser les partages sans une grande interruption des services jusqu la rest
11. Openfiler puissent communiquer entre eux sur le r seau local il faut ajouter une ligne de configuration dans le fichier etc host de chacun Il est possible de modifier le fichier directement en ligne de commande ou d utiliser le logiciel winSCP exe fournit sur le DVD pour plus de facilit WinSCP Login Session Session ne Stored sessions Host name Port number Environment 192 168 1 10 72 la ne Directones 35H User name Password Preferences root LLLLLL Private key file Protocol File protocol SFTP Allow SCP fallback Advanced options About Languages Save Close Figure 80 Connection au serveur openfiler ll est d s lors facile de naviguer dans le syst me de fichier du serveur et d diter le fichier etc host Modification du fichier etc host sur openfiler1 Do not remove the following line or various programs that require network functionality will fail fae a nO ee openfilerl localhost localdomain localhost LIZ eGo T1 openfiler2 Modification du fichier etc host sur openfiler2 Do not remove the following line or various programs that require network functionality will fail 127 001 openfiler2 localhost localdomain localhost 1921081710 openfilerl Page 61 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 15 2 2 G n ration des cl SSH Pour permettre au deux serveur
12. acc s un partage Ajout d un quota pour un utilisateur sur le partage users CREATE USER QUOTA WITHIN FOLDER DATA USERS User User name Quota Example 1000K 1M 10 1T or none Beware set value to Create Figure 18 Ajout d un quota de 100M sur le partage Page 22 Hes SO 30 juillet 2010 heig vd rrr ve Haute Ecole ing nieria et de Gestion Systeme de stockage distribu faible co t du Canton de Vaud S derstr m Johan Apr s l ajout d un quota de 100M sur le partage un fichier de 621M est transf r Le transfert est interrompu et le syst me d exploitation avertit qu il manque d espaces sur le disque eS Copier l l ment Espace disque insuffisant sur data_users 192 166 1 50 O JA Mo est n cessaire pour copier cet l ment Supprimez ou d placez les fichiers pour avoir suffisamment d espace Espace insuffisant pour cet l ment data_ users 192 168 1 50 Figure 19 Erreur de transfert de fichier quota d pass Lors du transfert de fichiers il est possible de consulter les ressources utilis es par le serveur dans l interface graphique L image suivante indique l utilisation du processeur la bande passante utilis e ainsi que l criture sur le disque CPU and W O Monitor CN Vins Network JO KB Sec Seconds between Retrieves Figure 20 Ressources utilis es par le serveur Page 23 He SO 30 juillet 2010 heig vd
13. des implementations de GlusterFS sur certains syst mes linux comme le montre ce tutoriel http blogama org node 96 Page 28 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 10 Openfiler Ce syst me d exploitation est soumis la License GNU GPL version2 cela implique que son utilisation est gratuite Il permet de concevoir facilement un r seau de stockage bas sur NAS ou SAN 10 1 R sum des fonctionnalit s e Interface d administration des volumes de donn es e Support de protocoles multiples NFS SMB CIFS WebDAV FTP e Authentification des utilisateurs a l aide d un annuaire LDAP ou d un domaine Active Directory e Fonctionne comme initiateur ISCSI ou cible ISCSI e Agr gation de cartes r seau NIC Bonding e Supporte jusqu 60TB de stockage e Permet d utiliser un syst me UPS e Configuration de snapshots r guliers e Gestion de quotas par dossier partag ou par utilisateur Au vu de ces fonctionnalit s cela fait d Openfiler un candidat id al pour la r alisation d un r seau de stockage a faible cout 10 2 Utilisation du service DRBD DRBD est l acronyme de Distributed Replicated Block Device C est un syst me de r plication de bloc de donn es entre deux serveurs mis en cluster de haute disponibilit C est en quelque sorte un RAID1 sur un r seau ethernet Ce package gratuit a cependant des limit
14. elements de stockage du r seau Voici les principaux fabricants de solution FAN sur le march e Brocade e EMC e Hewlett Packard e Microsoft e Network Appliance Tous ces fabricants proposent des solutions propri taires et payantes Cette solution de stockage ne seront donc pas tudi e pour un d ploiement la Heig vd CM Page 12 SO Haute Ecole sp cialis e 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 9 Syst mes d exploitation test s 9 1 CentOS Ce syst me d exploitation est une distribution Linux libre et gratuite qui permet d administrer facilement un serveur de stockage Le but des tests sur ce syst me tait de concevoir un service de haute disponibilit entre deux serveurs CentOS R seau local 197 168 7 0 Serveur CentOs2 192 168 1 11 Serveur Centos 1 192 168 1 10 Adresse de haute disponibilit entre les serveurs 1827 168 1 12 Figure 6 Haute disponibilit sur CentOS 9 1 1 Proc dure d installation du service de haute disponibilit Afin d installer facilement le package heartbeat il est pr f rable de disposer d un acc s internet sur les deux serveurs Les serveurs ont t connect s en dhcp sur le r seau Heig vd pour l installation du package l aide de la commande suivante yum install heartbeat Page 13 Hes SO 30 juillet 2010 Haute Ecole a ing ni
15. etc ha d haresources gt lt item path etc ha d ha cf gt lt item path etc ldap conf gt lt item path etc openldap ldap conf gt lt item path etc ldap secret gt lt item path etc nsswitch conf gt lt item path etc kro5 coni gt lt rsync gt Page 69 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Configuration du heartbeat entre les deux serveurs Edition du fichier cluster_metadata opt openfiler etc cluster xml sur openfiler1 uniquement lt xml version 1 0 gt lt cluster gt lt clustering state on gt lt nodename value openfiler1 gt lt resource value MailTo it company com ClusterFailover gt lt resource value IPaddr 10 192 49 218 24 gt lt resource value drbddisk gt lt resource value LVM vgOdrbd gt lt resource value Filesystem dev drbd0 cluster_metadata ext3 defaults noatime gt lt resource value MakeMounts gt lt cluster gt Ce fichier permet au heartbeat de monter la partition dev drbdO et le volume de r plication vgOdrbd L adresse IP sp cifi e est l adresse de haute disponibilit d sir e pour le cluster Cr ation du volume group vgOdrbd sur la partition drbd1 root openfiler1 etc vgcreate vgOdrbd dev drbd1 rootGopenfilerl vocreate vo0drhd dev drbdl Volume group wq0drbd successfully created Figure 88 Cr
16. m me sup rieure la moyenne Face cette vidence il est alors n cessaire de comprendre les besoins qui engendrent cet accroissement d tudier les processus qui se mettent en uvre pour r pondre ces besoins et de mettre en place des solutions qui tentent de maitriser les co ts 2 2 Probl matique Il y a plusieurs familles de solutions pour ces besoins de stockage qui sont toutes diff rentes et qui ont chacune leur int r t mais toutes r pondent une loi fondamentale fonctionnalit s performances fiabilit co t CTE Pour notre projet nous voulons clairement baisser les co ts donc cela doit se faire au d triment des fonctionnalit s des performances de la fiabilit ou un mix des trois L tude devra proposer diff rentes solutions en fonction des crit res que l on souhaite privil gier En accord avec le mandant il s agira de choisir un bon compromis et de tester la faisabilit 2 3 Stockage pour les tudiants Les tudiants de la HEIG VD ont l obligation d avoir un PC portable pendant leurs tudes Aujourd hui tous les PC portables offrent suffisamment de performances et d espaces pour un usage normal pendant la dur e des tudes Alors quels sont les besoins autres pour du stockage pour les tudiants la messagerie officielle de l cole avec les documents annex s le partage de fichiers des espaces collaboratifs pour du travail en groupe des environnements d di s pour des logiciels
17. m Johan Il existe plus de 170 entreprises travers le monde qui utilisent ce syst me de stockage La majeure partie des impl mentations est de l ordre de 2TB 30TB avec un nombre restreint de serveurs allant de deux une dizaine Il existe cependant aussi quelques impl mentations plus volumineuses dont une qui g re 100TB avec 500 serveurs ou encore 320TB avec 34 serveurs 9 4 2 Architecture de GlusterFS La figure suivante montre comment la compatibilit entre les r seaux de stockage et les clients Windows est r alis e Une passerelle entre le stockage GlusterFS et le r seau Lan des clients est n cessaire car le syst me ne g re pas nativement les droits des utilisateurs ou des quotas sur les volumes de stockage NFS SAMBA GlusterFS Client GlusterFS Client over TCP IP Clustered Vol Manager Clustered Vol Manager Clustered 1 0 Scheduler Clustered 1 0 Scheduler NFS Samba Je I TT InfiniBand RDMA or TCP IP ne l Y Figure 25 Passerelle pour clients MS Windows 9 4 3 Avantages et inconv nients de GlusterFS Avantages Inconv nients Adaptable du hardware bon march Projet jeune Solution free bas e sur linux Architecture 64 bit Scalabilit lin aire Passerelle pour Windows Pas de serveur unique contenant les metadata Gestion des droits d acc s aux fichiers Facilit de gestion des volumes physiques 30 juillet 2010 a Hes so neig vo Haute Ecole a i
18. manager Page 73 Hes so Haute Ecole Sp cialis e 30 juillet 2010 de Suisse occidentale Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan Pour cr er un volume il suffit de cliquer sur le bouton Create Volume ce qui fournit l interface suivante Create Volume Volume name Pata Volume type None Mirror O Stripe Q Transpor type Mlthernet lf linfiniband Size in Gigabytes 229 105 Storage servers All ee 4 Capacity GB gluster2 dev sda2 229 10 Volume access contral amp Comma separated IP addresses in wildcard pattern Exported as V GlusterFS Native M NFS CIFS User name admin Password CTTIII Confirm Password Tritt Password matches Figure 95 Cr ation d un volume de donn e L interface permet de s lectionner les serveurs sur lesquels sera cr le volume Il faut cocher le Volume type en Mirror afin d activer la fonction de Raid1 et la r plication des donn es sur les serveurs Une fois le volume cr le syst me indique comment le volume peut tre mont suivant les protocoles GlusterFS NFS ou acc der directement par CIFS Pour activer ce volume il faut valider en cliquant sur Start Volume Page 74 Hes so 30 juillet 2010 Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Jo
19. metadata on filer01 device dev drbd2 disk dev sdbl address 192 168 1 20 7790 meta disk internal on filer02 device dev drbd2 disk dev sdbl1 address 192 160 1221 7790 meta disk internal Une fois le fichier drbd conf dit il est n cessaire de le copier sur le filerO2 scp etc drbd conf root filer02 etc drbd conf Ainsi nous pouvons continuer la configuration du nouveau volume vg1drbd root filer01 drbdadm create md vgidrbd root filer02 drbdadm create md vgidrbd root filer01 drbdadm attach vg1drbd root filer02 drbdadm attach vg1drbd root filer01 drbdadm connect vg1drbd root filer02 drbdadm connect vg1drbd root filer01 drbdsetup dev drbd2 primary o root filer01 drbdadm adjust vgidrbd Ces commandes ont pour effet de cr er le volume de r plication vg1drbd et de d buter une synchronisation des disques comme le montre la figure suivante Page 38 Hes 30 juillet 2010 Haute Ecole a ing nierie et de Gestion Systeme de stockage distribu a faible co t ces S derstr m Johan ll E H iT j j i A Fh Eh Eh Fh Hi fs MT H H fl iT P P co fl rp n e 54708a7d build by UpToDate e Inconsistent Il faut diter le fichier etc Ivm lvm conf et ajouter le filtre suivant filter r dev sda4 r dev sdb1 Cr ation du volume physique dev drbd2 cette op ration n e
20. sp cialis s machines virtuelles Ce travail de Bachelor doit r pondre une partie de ces besoins Page 2 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m Johan 3 But et objectifs 3 1 But du dipl me Le but du dipl me est d tudier et de mettre en place un banc d essai concernant une solution mat riel et logiciel pour la mise disposition d espaces priv s et partag s pour les tudiants sur le r seau de la HEIG VD 3 2 Sc nario retenu Afin de donner un aspect plus concret ce projet nous proposons de suivre les sc narios suivants Tous les tudiants b n ficient d un service de backup personnel pendant leurs tudes avec un volume de stockage de 50 GB qu ils peuvent acc der depuis le r seau de la HEIG VD soit en interne soit via le VPN Si l tudiant d sire plus d espace il peut demander une extension payante au service informatique Les enseignants peuvent configurer des espaces de partage individuel ou en groupe pour les travaux avec les tudiants Les administrateurs de r seau peuvent suivre l volution de l utilisation des ressources partag es et ajouter de l espace en cas de besoin Ils ont a disposition des outils qui leur permettent de g rer ces espaces facilement A la fin du projet l tudiant pourra faire les d monstrations de ces sc narios Il aura d dans ce cas impl menter les interfaces les outil
21. volume group vgOdrbd 4708 MB wi TI File File Volume Volume Volume FS used FS free EN i description Hc Erin m pe m space Sci Delete Properties Snapshots data data 2296 MB XFS 2 462M 1 86 Delete Edit Create Figure 49 Vue graphique du volume vgOdrbd Le volume logique data dispose donc d un espace non utilis il faut donc l tendre son tour afin d utiliser tout l espace disque mis a disposition lvextend dev vgOdrbd data dev drbd2 Figure 50 Extension du volume logique Voici le volume logique tendu ri 1 ft ft Figure 51 Extension du volume logique Page 41 Hes 30 juillet 2010 Haute Ecole d Ing nierie et de Gestion du Canton de Vaud Systeme de stockage distribu a faible co t Soderstrom Johan 10 5 4 Controle de r plication du nouveau volume ISCSI Pour contr ler que la r plication du volume est effective sur le serveur secondaire le serveur primaire est arr t Une fois que le serveur secondaire d tecte la perte du lien il devient serveur primaire en attente de connexion WFConnection m res sty Y O cluster metadat 3 r metadata ext l vg0drbd 2 oldrbd Troot filerd2 Logical Tol Current LE Segments Allocation Read ahead currently Connectio Primary Primary WFConnectio Primary lvdisplay ume dev voatdrbd data vg Oadrbd BmE5sml 8bgo 67 ead wW aA al Fi a a S a fl Hi
22. volumes RaidZ gestion des permissions sur les partages et des quotas des utilisateurs e Analytics affiche les statistiques d taill es sur l utilisation des ressources du serveur Page 20 Hes 30 juillet 2010 heig vd Haute Ecole d ing nierie etde Gestion Systeme de stockage distribu a faible cout hot S derstr m Johan L interface de management du serveur est simple et intuitive About Support Add Capacity Register Help Welcome Administrator Logout Settings Data Management 6 Analytics M General Fig Storage Fa Network Console Viewlog Jobs Status Launchpad An easy way to view appliance groups and component statuses o General gama Storage t Show general appliance groups and components AL Show storages status information statuses Network Show network status information Figure 14 Interface principale de NexentaStor l ajout de cibles ISCSI est fait ais ment l aide de l interface graphique suivante ISCSI INITIATOR DISCOVER TARGETS AND ATTACH DISKS Configured iSCSI Discovery Methods Parameter Type Enabled Delete 192 168 1 200 3260 discovery address Yes 192 168 1 201 3260 discovery address Yes Additional iSCSI Discovery Method iSCSI Discovery Method Target Address Discovery Method to discover new iSCSI targets SendTargets static address or SNS server iSCSI Target IP Address 192 168 1 202 3260 iSCSI Target IPv4 addre
23. www centos org docs 5 html Deployment Guide en US ch disk quotas html Le choix est donc de trouver une solution permettant une gestion des ressources plus facile et conviviale pour l administrateur du syst me de stockage Page 19 Hes so Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 9 2 NexentaStor Cette plateforme logicielle est bas e sur le syst me d exploitation SUN Solaris et permet une gestion unifi e des ressources de stockage NexentaStor utilise le syst me de fichiers ZFS qui offre de nombreuses fonctionnalit s int ressantes e Systeme de fichiers bas sur 128 bits e 2 snapshots possibles e La taille maximale du syst me de fichiers est de 16 exabytes 2 octets e Le nombre de fichiers maximal dans un dossier est de 2 1 Citation de Jeff Bonwick manager de l quipe de d veloppement du syst me de fichiers ZFS Bien que nous aimerions tous que la Loi de Moore continue de s appliquer pour toujours la m canique quantique impose quelques limites fondamentales sur les vitesses de calcul et les capacit s de stockage de n importe quel objet physique En particulier il a t montr qu un kilogramme de mati re contenue dans un volume d un litre pouvait effectuer au maximum 10 op rations par secondes sur au maximum 10 bits d information Un espace de stockage 128 bits enti rement rempli contiendrait 2 blocs 2 octets 2 b
24. 7 com openfiler ten target root filer2 If iscsiadm m node T iqn 2818 87 com openfiler ten target p 1 92 1606 1 201 op update n node startup v automatic root filer2 18 reboot_ Une fois le filerO2 red marr le service drbd a repris un tat correct mires cs st ds p mounted fstype H cluster_metadata Connected Secondary Primary UpToDatesUpToDate 1 vqghdrbd Connected Secondary Primary UpToDatesUpToDate voqildrbd Connected Secondary Primary UpTolbate UpTobate Croot filerZz 1 Cette manipulation n est pas un probl me majeur mais il faut tout de m me faire attention la d marche utilis e lors d ajout de cible ISCSI si l op ration doit tre r alis e avec les serveurs en production 10 8 Cr ation de nom de disques ISCSI persistants Pour r soudre le probl me de noms statiques des disques dans la configuration du service drbd le but est de ne plus utiliser un nom statique comme sdb1 ou sdc3 mais d utiliser le nom de la cible ISCSI connect e Deux fichiers sont n cessaires pour tablir un lien symbolique entre le nom de la cible ISCSI et son nom de disque sdX Ces op rations sont r aliser sur les deux serveurs Dans le dossier etc udev rules d cr ez un fichier 55 openiscsi rules contenant le script etc udev rules d 55 openiscsi rules Page 46 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t du Canton de Vaud S
25. 790 meta disk internal on filerO2 device dev drbd2 disk dev iscsi target2 part1 address 192 168 1 21 7790 meta disk internal Systeme de stockage distribu faible co t S derstr m Johan Cette solution de cr ation de lien symbolique entre le disque physique et le nom de la cible ISCSI permet de e Eviter le probl me de mauvaise synchronisation des disques avec drbd si un cible est manquante e lsoler rapidement une cible ISCSI d fectueuse e Simplifier la gestion de la configuration du fichier drbd conf 30 juillet 2010 Page 48 Hes heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan 10 9 Snapshot du syst me Openfiler permet de cr er un snapshot du syst me depuis l interface de management du serveur sous l onglet syst me puis Backup Restore CES CRE E vomar EX see LES ETES System section a gt Network Setu Backup Configuration 3 ow HA Cluster Setup Click download to perform an instant backup snapshot Clock Setup UPS Management Download Shutdown Reboot Ouverture de backup openfiler_filer01_wr1584 3 1_07 30 2010 05 22 t Notification p System Update Vous avez choisi d ouvrir ij Backup Restore backup openfiler_filer01_vr1584 3 1 07 30 2010 05 22 tgz D Secure Console qui est un fichier de type Archive WinRAR partir de https 192 168 1 15 446 Que doit faire Fire
26. Haute Ecole d Ing nierie et de Gestion du Canton de Vaud Systeme de stockage distribu a faible co t Travail de dipl me 2010 Etudiant Johan Soderstrom D partement Technologie de l Information et de la Communication Fili re R seaux et services Mandant Herv Le Pezennec HEIG VD Responsable Stephan Robert Date 30 juillet 2010 Haute Ecole d Ing nierie et de Gestion du Canton de Vaud Cahier des charges Systeme de stockage distribu a faible cout Projet de Bachelor 25 mars 2010 Etudiant Johan S derstr m Mandant Herv Le Pezennec HEIG VD Responsable Stephan Robert neig vo Haute Ecole a ing nierie et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 1 R sum Le Service Informatique de la HEIG VD recherche une solution de stockage a faible co t Cette solution doit s appuyer sur des serveurs x86 et tre volutive tout en maintenant un niveau de redondance minimum L objectif de ce projet est d valuer plusieurs solutions qui permettent un stockage intelligent des fichiers pour les utilisateurs du r seau de l cole Deux axes seront tudi s et une solution compl te utilisant du logiciel Open Source sera test e et mise en place Axe num ro 1 Serveur de fichier avec stockage iSCSI Les utilisateurs acc dent en CIFS Windows Samba un NAS en cluster Network Access Server Celui ci stocke ses donn es sur un nuage Cloud de serveurs i
27. Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan Il existe la possibilit de consulter graphiquement l utilisation des volumes des dossiers partag s ou encore de l espace disque Voici un exemple des quelques graphiques possibles Data x Volume Statistics Prane Reads per second Reads per second Writes per second Kilobytes read per second Volume Graphs Folder time graphs Folder Graphs Folder time graphs al Kilobytes written per second LUN Graphs Number of waiting transactions LUN time graphs Number of active transactions Fe Service time ofwaiting queue Seetee Serice time of active queue Volume space utilization Queue not empty 6 Transaction in progress NFS Statistics Average reads Average writes Figure 21 Exemple de graphique de statistiques Voici encore un exemple de statistiques disponibles Available Statistics 4 SJ TCPIP MIB statistics M TCP bytes received out of order Bytes Sec _ TCP bytes sent Bytes Sec TCP bytes received Bytes Sec SJ TcP bytes received duplicated Bytes Sec TCP bytes retransmitted Bytes Sec b C9 Number of Interrupts aggregated by CPU b CJ virtual Memory statistics t Measure aggregated CPU utilization gt E Storage VO access pattern b CJ Measure VO throughput as generated by ZFS SPA syne function TCP I
28. Johan 15 2 3 Edition du fichier drbd conf A l aide de winSCP ditez le fichier drbd conf sur openfiler1 comme suit global minor count 64 dialog refresh 5 5 seconds disable ip verification usage count no I common syncer rate 40M resource cluster metadata protocol C handlers pri on incon degr echo O gt proc sysrq trigger halt f pri lost after sb echo O gt proc sysrq trigger halt f local io error echo O gt proc sysrq trigger halt f outdate peer usr sbin drbd peer outdater startup wfc timeout O degr wfc timeout 120 2 minutes disk on io error detach net after sb Opri disconnect after sb 1pri disconnect after sb 2pri disconnect rr conflict disconnect syncer rate 10M after r2 al extents 257 on openfiler1 device dev drbdO disk dev sdc2 address 192 168 1 10 7788 meta disk internal Page 63 Hes 30 juillet 2010 Haute Ecole d Ing nierie et de Gestion du Canton de Vaud on openfiler2 device dev drbdO disk dev sdc2 address 192 168 1 11 7788 meta disk internal resource Vg0 drbd protocol C startup wfc timeout O Infinite degr wfc timeout 120 2 minutes disk on io error detach net timeout 60 connect int 10 ping int 10 max buffers 2048 max epoch size 2048 syncer after cluster_metadata
29. P MIB statistics TCP IP MIB statistics E A HA BUCO OM La orion aD LOO PADLI CORIO bd DOLJ Ooo ooooooooooooO i ee Bytes ooo LL LL D Lo Lo Lo Com Le Lo LL L D Lo LL nt Figure 22 Statistiques plus sp cifiques au serveur Page 24 Hes so Haute Ecole Sp cialis e je Suis ne PE NS ne Suisse occidentale 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m Johan Afin de garantir la fiabilit des donn es il est possible d activer une r plication automatique des dossiers ou volumes sur un autre serveur CREATE AUTO SYNC SERVICE Direction To Remote Host Direction of replication flow Local Source Data Users Folder Zvok Replicate Content Check to replicate content of selected source or leave it unchecked Frequency Period 1 x Transport rsync ssh 7 Protocol RSYNC over SSH protocol Remote Destination Host Existing remote destination host to where to replicate Periodic Interval Remote Destination Existing remote destination folder to where to replicate Folder Figure 23 Replication des donn es Ce parcours des fonctionnalit s offertes par NexentaStor n est qu un bref aper u des possibilit s 9 2 2 Conclusion sur le syst me NexentaStor Ce syst me de gestion de stockage est de qualit professionnelle son interface de management est simple et intuitive L
30. SCSI r pliqu s et redond s La probl matique de la sauvegarde des donn es doit tre abord e Snapshot etc Axe num ro 2 File Area Network FAN Les utilisateurs acc dent en CIFS Windows Samba un espace de stockage virtuel Global Namespace Cet espace virtuel va r partir les fichiers de mani re intelligente HSM ILM sur des serveurs NAS distribu s La probl matique de la sauvegarde des donn es doit aussi tre abord e Snapshot Restore Point etc Les arguments dont il faut tenir compte pour la solution a pr coniser sont dans l ordre Le faible cout par rapport a la taille du stockage L volutivit de la capacit de stockage La simplicit de gestion des strat gies de r partition des fichiers Le niveau de redondance pour tous les l ments de la solution Les facilit s de sauvegarde et r cup ration de fichiers Glossaire Hierarchical Storage Management HSM Information Lifecycle Management ILM Page 1 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 2 Introduction 2 1 Contexte Dans le monde informatique le stockage est une variable en constante augmentation on cr e de plus en plus de nouvelles donn es sans supprimer les anciennes on les copie on les sauvegarde m me plusieurs fois on les archives on les publie et on les partages La HEIG VD ne faillit pas cette r gle et doit
31. a gestion est facile et centralis e malheureusement tout cela a un co t Ce logiciel co te 13990 S pour la gestion de 128TB de donn es plus 4900 pour avoir un cluster de deux machines en actif actif Malgr les fonctionnalit s offertes par ce syst me cette solution est bien trop on reuse Page 25 Hes 30 juillet 2010 Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan 9 3 Opensolaris et Solaris10 Opensolaris est la version gratuite du syst me d exploitation de SUN Le but de tester Opensolaris tait de continuer utiliser le syst me de fichiers ZFS La version Solaris10 est devenue payante depuis le mois de mars 2010 apr s l achat de SUN par Oracle Le syst me d exploitation n est pas vendu mais il n cessite un contrat de maintenance annuel pour son exploitation Oracle s est engag fournir des correctifs pour Opensolaris uniquement pendant six mois II est donc fort possible que ce syst me ne soit plus mis jour et ne dispose pas de nouvelles fonctionnalit s Les tests de ce syst me ont donc t tr s succincts et se sont arr t s la simple configuration d un volume de donn es sur une machine virtuelle 2 Un manuel d installation d une solution de haute disponibilit bas e sur Opensolaris est fourni sur le DVD du travail de dipl me La configuration et la gestion du syst me sont enti rement faits en ligne de commande 9 4 Glu
32. age Le r sultat de cette op ration s est av r concluant pour le filer01 qui s est bien connect sur la cible mais en revanche le service drbd a rencontr un probleme Le serveur 2 ne disposant pas de disque ISCSI connect a refus de devenir le serveur primaire ce qui en soit est une bonne chose car il ne dispose pas de disque L tat drbd est pass en Secondaire Secondaire pour les deux serveurs ce qui rend les partages et la r plication inactifs comme le montre la figure suivante Page 45 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t share S derstr m Johan state change failed Refusing to be Primary without at least one UpToDate State cs WFConnection st secondary Unknown ds Diskless DUnknown r wanted i cs WFConnection st Primary Unknown ds Diskless DUnknown r root filerH2 1 service drbd status drbd driver loaded OK device status version 8 2 7 Capi sd6 proto 356 66 GIT hash 61b rf4c4fcs4fesdZacf bebbcclfc2664786a d build by phil fat tyre 8486 11 12 16 47 11 cs Et ds Pp mounte Connected Secondary secondary UpToDaterUpToDate C Connected Secondary Secondary UpToDate UpToDate C Connected Secondary Ssecondary Diskless UpToDate C Lroot filerh2e 1 Connexion de la cible ISCSI sur le filerO2 et reboot de la machine root filerZ IH iscsiadm m discovery t st p 192 160 1 201 19 168 1 281 3268 1 ign 26146 6
33. aine de milliers de francs Bien videmment le syst me pourra g rer bien plus de 100TB tr s facilement et sans probleme de performance Avec l arriv e du protocole ISCSI la technologie de SAN est devenue abordable car elle peut utiliser des r seaux et des switchs ethernet conventionnels qui ne sont pas co teux 6 3 Syst me de fichiers en cluster Il s agit d un syst me de fichiers qui est mont simultan ment sur plusieurs serveurs Cette m thode permet d interconnecter plusieurs machines physiques pour qu elles communiquent entre elles afin de stocker des donn es de mani re intelligente entre eux Le principal avantage est qu il n y a pas besoin de mat riel propri taire un fabricant sp cifique Le syst me peut tre mont sur des machines bon march et permet d augmenter facilement la capacit de stockage avec l ajout de nouvelles machines Page 9 He S S 30 juillet 2010 Haute Ecole ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 7 Serveur de fichiers avec stockage ISCSI Il existe de nombreux syst mes d exploitation permettant de monter des disques distants via le protocole ISCSI Toutes les distributions linux disposent de package installer 7 1 SCSI Initiateur Un initiateur permet de d couvrir des disques au travers d un r seau cela permet au syst me d exploitation de monter un disque distant et de l utiliser comme s il tait dire
34. as les donn es jour Il faut donc le passer en serveur secondaire afin de pouvoir ex cuter la commande Un red marrage du serveur ou un arr t du service drbd permet de faire cela Une fois la commande ex cut e sur le serveur secondaire les serveurs indiquent qu il y a eu un probl me de Split Brain et que le probl me a t r solu manuellement La figure suivante montre la r solution et l tat drbd mis jour pour le volume vg1drbd H cluster_metadata Connected secondary Primary UpToDate UpToDate C 1 vqHdrbd Connected secondary Primary UpToDatesUpToDate C Z voqldrbd WFConnection Secondary Unknoun UpTolate DUnknoun C root filerOil 18 drbd Split Brain detected manually solved Sync from peer n ode service drbd status drbd driver loaded OK device status version 8 2 7 Capi 686 proto 36 66 GIT hash b61b7 f4cefcs4fesd2acf bebbccifc2b647bbard build by phil fat tyre 2H88 11 12 16 47 11 m res cs t ds p mounted fstype H cluster_metadata Connected Secondary Primary UpToDate UpToDate 1 vqHdrbd Connected Secondary Primary UpToDate UpToDate Vgildrbd Connected Secondary Primary UpToDate UpToDate root filerfi 1 E Figure 58 R solution du probl me de Split Brain 10 7 Probl mes rencontr s lors d ajout de cibles ISCSI Lors de la mise en place de cibles ISCSI sur le filer01 un test de reboot sur le serveur primaire a t effectu afin de contr ler le login de la cible ISCSI au red marr
35. ation du volume vgOdrbd root openfiler1 rm opt openfiler etc httpd modules root openfiler1 In s usr lib httpd modules opt openfiler etc httpd modules root openfiler1 service openfiler restart Le red marrage du service openfiler cr e le fichier haresources n cessaire au fonctionnement du cluster Copiez ce fichier sur le serveur openfiler2 root openfiler1 scp etc ha d haresources root openfiler2 etc ha d haresources Pour terminer la configuration du service de haute disponibilit il est n cessaire de cr er un volume logique sur le groupe de volume vgOdrbd afin que le service heartbeat puisse d marrer correctement root openfiler1 lvcreate L 40M n filer vgOdrbd Rebootez le server openfiler1 puis le serveur openfiler2 L interface de management des serveurs est d sormais disponible sur l adresse de haute disponibilit d sir e Page 70 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t as S derstr m Johan 16 Installation de GlusterFS 16 1 Pr paration de l installation Il existe deux m thodes possibles pour l installation du syst me e Cr ation d un CD l aide de l image GlusterFS3 0 4 iso e Cr ation d une cl USB Afin d installer le syst me a partir de la cl usb il faut la formater cela n cessite un PC avec un syst me linux et les droits administrateurs Une fois la cl usb reconnue par le pc linux
36. ations la capacit maximale d un volume de r plication est de 4TB sur les systemes 32bits et de 8TB sur 64bits La configuration des cibles ISCSI utilis es permet d utiliser un maximum de quatre disques Il ne faut donc pas exc der cette taille de LUN par cible ISCSI car chaque cible va tre r pliqu e avec drbd Ce service est configurable l aide d un fichier etc drbd conf qui d finit toutes les ressources a r pliquer entre les serveurs Il n cessite la cr ation d une partition pour g rer les metadata du cluster la taille de cette partition peut tre approxim e l aide de la formule 3 Taille de la partition MB lt Capacit du syst me MB 32768 1 Dans notre configuration pour 60TB de donn es une partition de 1832MB est n cessaire Les d tails de la configuration du service sont mis dans l installation et la configuration des serveurs Openfiler est fourni en annexe Pour plus d informations sur le fonctionnement ou la configuration et r solution de problemes veuillez vous r f rer au site www drbd com Page 29 Hes 30 juillet 2010 heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t du Canton de Vaud 10 3 Sch ma du r seau de stockage R seau Heig vd Acc s des clients par SMBICIFS Open filer HA redondant en actifipassif R plication das donn es l aide du service DRED Disques locaux export s par l
37. auration de la cible manquante La r solution du probl me d pend de la panne de la cible ISCSI e Sila cible est juste momentan ment inaccessible ou que le PC a red marr mais sans perte de ses disques durs le red marrage du serveur va se reconnecter la cible et r sout ce probl me e Siles disques durs de la machine sont perdus ou que le syst me est corrompu il faut r installer une cible ISCSI et exporter une LUN de m me taille que celle perdue Une fois la cible reconnect e sur le serveur il faut encore recr er une partition sur le disque comme d crit la section 10 5 3 Une fois le disque correctement partitionn on indique au service drbd de r ajuster la synchronisation du disque avec la commande drbdadm adjust vg1drbd La figure suivante montre l tat drbd avec le disque manquant puis apres l ajustement du volume vg1drbd qui est en cours de synchronisation Pour que la synchronisation drbd fonctionne correctement il faut toutefois que la nouvelle cible ISCSI soit mapp e avec le m me nom de disque comme celle pr c demment perdue Un moyen de s assurer que chaque cible ISCSI soit correctement mapp e par le syst me sera expliqu ult rieurement Page 43 Hes 30 juillet 2010 neig vo Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 10 6 Split Brain problem Afin de tester la connexion de cibles multiples ISCSI sur un serveur
38. ble de d couvrir la cible au moyen de Iscsiadm m discovery t st p 192 168 1 11 Iscsiadm m node login root Centosl iscsiadm m discovery t st p 192 168 1 11 192 168 1 11 3260 1 ign 2010 0 centos com targetISCcsIl root Centosl iscsiadm m node login Logging in to iface default target iqn 2818 6 7 centos com targetISCSIL port al 192 168 1 11 3260 Login to iface default target ign 2010 0 centos com targetISCSI1 portal 1 97 168 1 11 3260 successful Figure 9 D couverte et connexion a la cible ISCSI Une fois l initiateur connect la cible un nouveau disque appara t dans le gestionnaire de volume logique du serveur Page 17 Hes 30 juillet 2010 heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t hot S derstr m Johan Voici uneillustration des volumes avant la connexion la cible Groupes de Volumes G Ajuster au mieux VolGroupoo gt VolGroup00 Vue PHysiqu gt VolGroup00 Vue Logique Entit s Non Initialis es gt J dev sda LogVolO1 LogVolO0 Grou pe de Volumes VolG rou poo Vue Logique sdaz Grou pe de Volumes Volt rou poo Vue PHysique Figure 10 Volumes logiques du serveur avant la connexion ISCSI Voici l illustration des volumes logiques apres la connexion ISCSI Groupes de Volumes fe le VolGroupoG gt VolGroup00 Vue PHysiqu gt VolGrou
39. ble et le fichier a bien t r pliqu sur le filer01 197 168 112 user m Nouveau dossier Norn Modifi le O CreerFichierAvecServeurl Down txt 22 07 2010 18 24 O CreerhichierAvecServeur2Down txt 22 07 2010 17 43 Gluster 3 0 3 50 28 06 2010 09 36 By WinSCP exe 08 07 2010 11 12 Figure 30 Cr ation de fichier avec le filer01 down La synchronisation des fichiers est donc correctement g r e par le service drbd entre les serveurs 10 5 2 Cr ation d un nouveau partage sur le serveur primaire sans connexion avec le serveur secondaire Network Shares A oa i i fang I Fi wgOdrbd mmt voOdrbd data mnt vg0drbd data D user SMB user fmnt vq0drbd data user Folder name TestReplicationl Create Sub folder Close Window Figure 31 Cr ation d un dossier partager Page 32 Hes 30 juillet 2010 Haute Ecole a ing nierie et de Gestion Systeme de stockage distribu a faible co t as S derstr m Johan Une fois le dossier cr il faut encore le d finir comme un partage en cliquant sur le nom du dossier La fen tre suivante apparait data mmt vg0drbd data user SMB user mnt vg0drbd data user TestReplication mnt vg0drbd data TestBReplication New folder name TestReplication Rename Folder New description TestReplication Rename Description Make Share Make Homes Share Delete Folder Close Win
40. breux travaux de laboratoires lil est donc primordial de ne pas perdre ces donn es afin de rendre les travaux dans les d lais impartis Tous les tudiants ont leurs donn es stock es sur leur PC portable mais combien font des backups r guliers de leurs donn es La perte d un disque interne n est pas tr s fr quente mais peut se r v ler particuli rement g nante si aucune sauvegarde r cente n existe Il faut donc offrir un moyen de pouvoir stocker ces donn es de mani re fiable Le cas d utilisation pr conis pour les tudiants sera la sauvegarde de ses r pertoires en rapport avec ses travaux au sein de la Heig vd ce qui ne devrait jamais d passer les 50GB 6 Solutions existantes Il existe de nombreuses solutions de stockage diff rentes Les plus courantes pour de gros volumes de stockage sont bas es sur des r seaux SAN Les protocoles de stockage couramment utilis sont Fibre Channel et ISCSI qui utilisent une baie de disques Les solutions avec une baie de disques sont les plus utilis es car la maintenance et l administration du stockage est centralis les I O de r plication des donn es sont internes la baie et ne surchargent pas le r seau 6 1 NAS Un moyen facile d impl menter un stockage de fichiers est le NAS il s agit d un serveur contenant une unit de stockage attach e directement au serveur Cette m thode n est pas optimale du point de vue de l volution de la capacit de stockage Une
41. ctement connect la machine Toutes les commandes SCSI de lecture criture sur le disque sont transport es par TCP IP qui garantit un mode connect afin de ne pas perdre de donn es 7 2 SCSI cible Une cible SCSI est un syst me d exploitation qui va offrir son disque physique sur le r seau un initiateur C est le serveur cible qui va accueillir physiquement les donn es sur le ou les disques durs mis disposition C est l initiateur qui va monter ces disques dans son syst me d exploitation et les formater afin de les utiliser comme s ils taient en interne initiateur ISCSI Disques DDA DDS DDC R seau de stockage local par ISCSI Serveur B serveur C Disque local DDE Disque local DDC Serveur A Disque local DDA Figure 3 Sch ma d initiateur et target ISCSI Les disques durs export s par ISCSI sont pr sent s l initiateur comme des LUNs Page 10 He SO 30 juillet 2010 heig vd Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t d V PE i chocs les S derstr m Johan 7 3 Logical Unit Number LUN Une LUN est un terme utilis dans le stockage des donn es Cela repr sente un num ro d unit logique qui permet de cr er des partages ou d tre export pour un syst me distant Une LUN peut correspondre physiquement un ou plusieurs disques regroup s en un volume Voici un sch ma explicatif Volume physique Volum
42. d 1 lun 1 dev sdb1 Il faut d finir les autorisations sur la LUN autrement dit qui a la permission de se connecter et d utiliser cette LUN a travers le r seau Pour cette phase de test on autorise tous les initiateurs tgtadm Ild iscsi op bind mode target tid 1 I ALL Page 16 Hes 30 juillet 2010 heig vo Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m Johan Voici l illustration de la cr ation de la LUN 1 root Centos2 tgtadm 1lld iscsi op new mode logicalunit tid 1 lun 1 b dev sdbl root Centos2 tgtadm lld iscsi op show mode target Target 1 ign 2010 0 7 centos com targetISCsI1 system information Driver iscsi State ready I T nexus information LUN information LUN Type controller SCSI ID IET 80016000 SCSI SN beafl Size 6 MB Online Yes Removable media No Backing store type rdwr Backing store path None LUN 1 Type disk SCSI ID IET 60010001 SCSI SN beafll Size 4294 MB Online Yes Removable media No Backing store type rdwr Backing store path Figure 8 Cr ation d une LUN sur CentOS 9 1 3 Configuration de l initiateur L initiateur est la machine CentOS1 Pour installer l initiateur il est nouveau n cessaire de disposer d une connexion a internet et d utiliser la commande yum install iscsi initiator utils Une fois le package initiateur ISCSI install il est possi
43. de montage du systeme Hes so 30 juillet 2010 ite Boole Specialties Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan Il est n cessaire de cr er une partition de 2000MB de swap pour les syst mes linux cette partition est cr er de pr f rence sur le troisi me disque sdc Add Partition Mount Point File System Type swap sda 12284 MB VMware VMware Virtual Allowable Drives CT sdb 12284 MB VMware VMware Virtual S sh 12284 MB VMware VMware Virtual size MB 2000 Additional Size Options Fixed size Fill all space up to MB Fill to maximum allowable size _ Force to be a primary partition x Cancel Figure 74 Cr ation de la partition de swap Une fois cette configuration des partitions termin es cliquez sur le Bouton OK La fen tre de configuration des cartes r seaux apparait Network Devices Network Active on Boot Device IP Netmask Edit Configuration ort O eth1 DHCP Any network devices you have on the system are automatically Hostname detected by the installation SR E E program and shown in the a E O Network Devices list FEE RIRENRATaRAN ER ONAN DASE Olle CO saNTaNSANARRASANAANDaESeCeGNNINN OIGS O manually ex host domain com To configure the network Miscellaneous Settings device first select the device and then click Edit In the Edit Figure 75 Configuration du r seau
44. dow Figure 32 Cr ation du partage TestReplication Une fois le dossier partag on peut changer le nom affich sur le r seau sinon le dossier apparaitra sous la forme vgOdrbd data TestReplication Edit share mnt vgO0drbd data TestReplication gt Please use unique SMB share name overrides as duplicates automatically have a suffix attached to them Existing shares with duplicate names can have their suffix changed every time more duplicates are created TestReplication Share description TestReplication Override SMB Rsync share name TestReplication Figure 33 Changement du nom SMB Share name Page 33 H e S S O 30 juillet 2010 Haute Ecole a ing nierie et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan II faut encore ajouter les permissions de lecture criture sur le dossier en autorisant le r seau acc der au partage via SMB CIFS Host access configuration mnt vgOdrbd data TestReplication Back to shares list SMB CIFS ses SMB CIFS Options NFS HTTP S WebDAV FTP Name Network Pom Rsync Options l Restart services No RO RW No RO RW Options No RO RW No RO RW No RO RW local 192 168 1 0 a Edit a o g Update Figure 34 Ajout des permissions SMB CIFS sur le partage Contr le de cr ation du partage TestR plication 192168112 gt eseau et partage Afficher les imprimantes distante
45. drbdadm create md cluster_metadata root openfiler1 drbdadm create md vgO_drbd root openfiler2 drbdadm create md cluster_metadata root openfiler2 drbdadm create md vgO_drbd Ces commandes vont utiliser le fichier drbd conf cr e pr c demment afin d initialiser correctement cluster_metadata sur la partition dev sda3 et vgO_drbd sur dev sda4 15 2 5 Mise en route du service drbd Ex cutez les commandes suivantes sur chacun des serveurs root openfiler1 service drbd start root openfiler2 service drbd start Cela a pour effet de d marrer le service drbd Si toutes les op rations se sont d roul es correctement les deux serveurs doivent accepter la mise en route du service drbd comme suit rootHopenfiler2 service drbd start starting DRED resources dicluster metadata divol drbd sicluster metadata sivql0 drbd ni Cluster metadata nivgl drbd rootHopenfilera rootHopenfilerz i Figure 83 Activation du service drbd Contr le du service drbd l aide de la commande service drbd status Page 65 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t d s i ia S derstr m Johan L tat des partitions cluster_metadata et Vg0 drbd doit tre connect et de type secondaire secondaire comme le montre la figure suivante rootHopenfilerl 3 drbd driver loaded OF Version 0 4 7 api GIT hash 6lb t4ceetcs4
46. du fichier etc ha d ha cf sur les deux serveurs auth 2 4 CEC Cr ation du fichier etc ha d authkeys sur les deux serveurs debugfile var log ha debug logfile var log ha log logfacility local0 beast ethl keepalive 5 warntime 10 deadtime 120 initdead 120 udpport 694 auto failback off node openfilerl node openfiler2 Changement des permissions du fichier authkeys pour le compte root uniquement root openfiler1 chmod 600 etc ha d authkeys root openfiler2 chmod 600 etc ha d authkeys Activation du service au d marrage root openfiler1 chkconfig level 2345 heartbeat on root openfiler2 chkconfig level 2345 heartbeat on Configuration des donn es n cessaires a openfiler Pr c demment une partition a t cr e pour accueillir les donn es n cessaires au fonctionnement du cluster Le but de cette op ration est de d placer les fichiers contenus dans le dossier opt openfiler dans la partition cluster metadata qui est r pliqu e entre les serveurs afin de conserver les param tres dans le cas de la perte d un serveur Pour le bon fonctionnement il faut cr er un lien symbolique entre le dossier opt openfiler et le dossier cluster_metadata opt openfiler root openfiler1 mkdir cluster metadata root openfiler1 mount dev drbdO cluster_metadata Page 68 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S
47. e StandAlone Une fois le lien de r plication remis entre les serveurs ils se demandent qui doit tre le serveur primaire et le secondaire Comme les deux serveurs pensent avoir les donn es a jour il y a ce probl me de cerveau partag litt ralement traduit Le r sultat est que le volume concern reste en mode StandAlone Pour r soudre cette situation il faut d cider quel serveur a les donn es jour et forcer une synchronisation manuelle l aide de la commande Drbdadm discard my data connect vg1drbd Page 44 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t cts S derstr m Johan Comme le montre la figure suivante il n est pas possible de demander au serveur primaire de forcer la synchronisation H cluster_metadata Connected Primary secondary UpToDate UpToDate C cluste r metadata ext3 1 vgHdrbd Connected FPrimary secondary UpToDaterUpToDate C Vgldrbd standAlone Primary Unknown UpToDate DUnknoun root filerHil 18 drbdadm discard my data connect vgldrbd dev drbd Failure 143 discard my data not allowed when primary Command drbdsetup dev drbdz net 192 168 1 28 7798 192 168 1 21 7798 C set de faults create device discard my data terminated with exit code 14 Lroot filerHi 1 Figure 57 Discard Data sur le serveur primaire Dans mon cas de figure c est bel et bien le serveur primaire qui ne d tient p
48. e P Partage TestReplication Figure 41 Partage TestReplication Il y a donc un petit probl me de synchronisation des partages SMB CIFS sur le n ud secondaire Le probleme peut tre facilement r solu mais il n cessite une intervention de la part d un administrateur Cela est tout de m me facheux car le but dans un syst me de haute disponibilit est de ne pas avoir intervenir lors d une d faillance d un des serveurs pour que les services continuent de fonctionner normalement N anmoins les anciens partages fonctionnent sans red marrage du service SMB CIFS 10 5 3 Extension du volume group avec une cible ISCSI Pour connecter une cible ISCSI sur le filerO1 il faut utiliser le service iscsiadm l aide des commandes suivantes suivi d un exemple sur le filer01 iscsiadm m discovery t st p AdresselP de la Cible iscsiadm m node login root filerHi J iscsiadm m discovery t st p 194 168 1 26H 192 168 1 284 3268 1 ign 2466 41 com openf iler tsn 3d44cea5664d root filerHi J iscsiadm m node login Login session liface default target igqn 4H46 1 com openf iler tsn 3d44cea5664 d portal 192 168 1 2H4 3266 SCS 1 H H 8 Direct Access OPNFILER VIRTUAL DISK A PJ B ANSI 4 sd 1 8 sdb 4126768 5124 byte hardware sectors 24114 MB zd sdb Write Protect is off sd sdb Write cache disabled read cache disabled doesn t support D FO d zd d FO or F sd 1 4 4 4 sdb Attached SCSI d
49. e de la partition cr e e 1 s l ction de la partition modifier e 8e type de la partition linux LVM e w criture de la partition Illustration du formatage du disque Lroot filerl IH fdisk zdevrsdb Command m for help n Command action E extended p primary partition 1 4 p Partition number 1 4 1 First cylinder 1 1888 default 1 Using default value 1 Last cylinder or 8ize or sizeM or sizek 1 1H46 default 1846 Using default value 1888 Command m for help t selected partition 1 Hex code type L to list codes Ge Changed system type of partition 1 to 8e Linux LUM Command Cm for help w_ Figure 44 Partitionnement d un disque ISCSI La nouvelle partition cr e est sdb1 il est n cessaire de l initialiser avant de cr er les volumes drbd dd if dev zero of dev sdb1 Cette op ration peut prendre un certain temps suivant la taille de votre partition Page 37 30 juillet 2010 neig vo Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m Johan Configuration du fichier drbd conf ajouter en fin de fichier sur le filerO1 resource vgldrbd protocol C startup wfc timeout 0 Infinite degr wfc timeout 120 2 minutes disk on io error detach net timeout 60 connect int 10 Ding ine 10 max buffers 2048 max epoch size 2048 it it it it syncer after cluster
50. e physique idev sdb idev sdc Volume group storage 1 volume logigue Volurne logique Volume lagique Ly Lva LY2 Figure 4 Explication des diff rents volumes Les disques physiques sont regroup s en un groupe dans le cas ci dessus Storage1 Une LUN est en quelque sorte une vue logique de ce regroupement de disques physiques Il est possible de cr er plusieurs LUN par group de volume Pour l initiateur ISCSI il n est pas possible de savoir quel m dia de stockage est utilis par la LUN Cela peut tre un seul disque plusieurs disques ou plus couramment un syst me de disques mont en Raid Terminologie e Un volume physique PV est un disque dur physique e Un groupe de volume VG est un regroupement de disque dur e Un volume logique LV est un disque logique cr sur un VG Page 11 Hes 30 juillet 2010 Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan 8 File Area Network FAN Un FAN est un concept qui permet de centraliser le management des donn es et ainsi de simplifier l administration du stockage Les l ments de stockage qui composent un FAN peuvent tre multiples File Area Network Backup Tier ae Seed Figure 5 File Area Network Le File Area Network peut utiliser des volumes de stockage en NAS ou en SAN Il apporte une couche de virtualisation des donn es en offrant une vue unifi e de tous les
51. e r alis e Une tentative d authentification des utilisateurs au moyen du service LDAP a t faite Le r sultat de cette op ration a rendu les deux serveurs inaccessibles travers l interface de management Web Le choix a t pris de continuer les tests sur le syst me local et d int grer les serveurs au domaine en ao t pour la d fense du dipl me 10 11 Conclusion sur le syst me Openfiler Ce syst me gratuit r pond aux attentes demand es La consultation du volume de donn es peut se faire gr ce l interface graphique ce qui est simple et rapide La configuration doit toutefois tre faite en majeure partie en ligne de commande linux ce qui est le cas pour tous les syst mes de stockage gratuits actuels Ce syst me a d j fait ses preuves en production mais il manque encore de support sur le forum d di d Openfiler Page 50 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 11 D ploiement pour la Heig vd Pour d ployer cette solution bas e sur Openfiler il est recommand d utiliser deux serveurs avec une architecture 64bits avec 4GB de ram pour le cluster de haute disponibilit Pour assurer un minimum de redondance des cartes r seau il est pr f rable d utiliser une carte d di e la r plication des donn es Les serveurs peuvent donc tre connect s via un c ble crois directement ce qui limite le risque de Split B
52. elected installation type You also can customize the partitions once they have been created a new user during a Linux installation is partitioning This process is made easier by The manual disk partitioning tool Disk Druid allows you to providing automatic create partitions in an interactive environment You can set the partitioning file system types mount points partition sizes and more O Automatically partition By selecting automatic Manually partition with Disk Druid partitioning you do not have to use partitioning tools to assign mount points create partitions or allocate space for your installation o Hide Help O Release Notes Y HR Figure 68 S l ction du partitionnement des disques Voici la page de partitionnement des disques cliquez sur la touche RAID Drive idev sda 12284 MB Model VMware VMware Virtual S ba i Free Disk Setup Drive dev sdb 12284 MB Model VMware VMware Virtual S Choose where you would like Free Openfiler NSA to be installed Drive devisde 12284 MB Model VMware VMware Virtual S If you do not know how to parition your system orifyou New Edt pese Ree need help with using the Mount Point Size manual partitioning tools refer Device RAID Volume Type Format ME Start End to the product documentation Hard Drives w dev sda If you used automatic ie dt Free Free space 12288 1 1567 partitioning you can either acce
53. eria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Pour la configuration du service de haute disponibilit entre les serveurs il est n cessaire de cr er trois fichiers de configuration dans le dossier etc ha d Les fichiers sont e authkeys fichier qui sert d finir la m thode d authentification entre les serveurs e ha cf fichier qui d finit les param tres du service comme le num ro de port utilis la carte r seau utilis e le temps avant la d tection de la perte d un serveur ainsi que les noms des serveurs e haresources fichier qui d finit les services qui utilisent le mode de haute disponibilit Edition du fichier authkeys auth 2 2 sha 1 unmotdepass Changement des permissions sur le fichier authkeys chmod 600 etc ha d authkeys Edition du fichier ha cf logfile var log ha log logfacility localO keepalive 2 deadtime 30 initdead 120 bcast ethO udpport 694 auto failback on node CentOS1 node CentOS2 Edition du fichier haresources CencOsl 192 160 1 12 httpd Ce fichier haresources d finit le serveur CentOS1 comme serveur primaire avec l adresse IP de haute disponibilit 192 168 1 12 pour le service httpd Les deux serveurs doivent disposer des m mes fichiers de configuration pour le bon fonctionnement du service heartbeat On peut donc copier le contenu du dossier ha d sur le serveur CentOS2 scp r etc ha d root CentOS2 etc Page
54. erstr m Johan 16 3 Ajout d un serveur au cluster Lors de l installation d un nouveau serveur il faut assigner e Un nom de serveur e Un nom de domaine e Une ou plusieurs adresses de serveur DNS e S lectionner les disques de stockage si plusieurs disques sont install s e Une adresse IP et le masque de sous r seau e Cocher la case pour activer la configuration par la console de management Add Server Network Configuration General eth Hostname gluster2 Domain Name gluster priv Primary DNS 1192 168 1 51 Secondary DNS Third DNS Disk Configuration Storage dev sda T3250318AS ATA 238 GB 9 Time Settings Time zone UTC Network time serwer pool ntp org example poolnip ong or 792 766 7 7 Add Server Cancel Figure 90 Configuration g n rale du serveur Add Server Network Configuration General eth Device Intel Corporation 82567LM 3 Gigabit Network Connection MAC Address b ac 6fa3 b6 92 IP Address 7197 168 1 52 Netmask 955 355 35h fl Gateway 192 168 1 1 Management Console R Add Server Figure 91 Configuration ethernet du serveur Page 72 Hes SO 30 juillet 2010 heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan 16 4 Console de management du cluster Une fois l ajout du serveur termin celui ci appara t dans l interface Web comme ci dessous GLUSTER Admin Shutdown Reboot Help Logout
55. es cibles Opentiler 10 4 Installation des serveurs Openfiler HA Veuillez vous r f rer au manuel d administration fourni en annexe Page 30 30 juillet 2010 S derstr m Johan AOOO R seau de stockage local avec les cibles 505 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 10 5 Tests effectu s Les tests ont t effectu s sur des machines virtuelles dont voici la configuration Adresse IP eth0 Adresse IP eth1 r plication filerO1 192 168 1 10 192 168 1 20 filerO2 192 168 1 11 192 168 1 21 192 168 1 200 pt 192 168 1 201 TS L adresse IP de haute disponibilit entre les serveurs est 192 168 1 12 10 5 1 Arr t du serveur secondaire et cr ation d un fichier sur un partage afin de v rifier la synchronisation des disques au d marrage du serveur secondaire Pour contr ler la r plication le serveur primaire est arr t pour que le serveur secondaire reprenne le contrdle Une fois que le serveur secondaire a d tect la perte du serveur primaire il devient lui m me serveur primaire dans un tat WFConnection car il n est plus connect avec l autre serveur mires CE st ds p mounted fstype H cluster_metadata WFConnection Primary Unknown UpToDate DUnknown C zcluste r metadata ext3 1 vgHdrbd WFConnection Primary Unknown UpToDatesDUnknown C root filere IH _ Figure 26 Statu du service drbd sur le filerO2 Les parta
56. estd systeme GlusterF Scese a metareesseecnesnearearaes 28 9 4 5 Conclusion sur le Syst me GlusterFs ss 28 10 OPENEN E bsstcnapacuatannge aabeaeaeauinman ave sseans 29 10 1 R sum des fonctionnalit s oo cssssssssssessssseessssssssseseseeseseseseseseverseseseseseseseesesesesesesesesensesesesesenenensess 29 10 2 Utilisation du service DRBD uu ssssesesssessessersesesesseseeesesseseseseeseeesaseseeesanseseeanseseentansesteatensteneanenstenss 29 10 3 Sch madu r seau d S O CK AGC caved armee sheet inner 30 10 4 Installation des serveurs Openfiler HA rennes 30 MF TS SCOR an ae ae a aa ne 31 Page 4 Hes 30 juillet 2010 neig vo Haute Ecole d Ing nierie et de Gestion du Canton de Vaud Syst me de stockage distribu faible co t S derstr m Johan 10 5 1 Arr t du serveur secondaire et cr ation d un fichier sur un partage afin de v rifier la synchronisation des disques au d marrage du serveur secondaire 31 10 5 2 Cr ation d un nouveau partage sur le serveur primaire sans connexion avec le serveur SE ONO I E a eee eee nee 32 10 5 3 Extension du volume group avec une cible ISCSI cece ceeseccceeseccceeeceeeeeeeceeeeneees 36 10 5 4 Contr le de r plication du nouveau volume ISCSI 42 10 5 5 Test de perte d une cible ISCSI sur le serveur primaire 42 10 6 SD BALE DIODES ee ee 44 10 7 Probl mes rencontr s lors d ajout de cibles ISCST nn 45
57. eur r seau Windows ne peut pas acc der 192 168 1 12 test V rifiez l orthographe du nom Autrement il y a peut tre un probl me au niveau de votre r seau Pour tenter d identifier et de r soudre les probl mes r seau cliquez sur Diagnostiquer Voir les d tails Diagnostiquer Figure 38 Contr le de la cr ation du partage Pourtant dans l interface de management du serveur le partage TestReplication est bien pr sent et il n y a pas de trace du dossier test Network Shares L Ces wgOdrbd mnt vag0arba data mmt vg0drbd data s user SMB user E TestReplication SMB T mmt vag0drbd data user ication fmnt vq0drbd data TestReplication Figure 39 Partages disponibles sur le serveur Le probleme est au niveau du service SMB CIFS du serveur il n a pas pris en compte les modifications sur les nouveaux partages Il faut donc arr ter et red marrer le service sur le serveur Manage Services Service Name Status Modification SMB CIFS server Enabled Disable Figure 40 Red marrage du service SMB CIFS T Page 35 Hes so 30 juillet 2010 Haute Ecole d Ing nierie et de Gestion du Canton de Vaud Systeme de stockage distribu faible co t S derstr m Johan Une fois le service red marr le partage appara t correctement sur le r seau 192168 1 12 seau et partage Afficher les imprimantes distantes J TestReplication J User ve Partag
58. fois le nombre maximum de disques que peut contenir l unit de stockage atteinte il n est plus possible d tendre le volume de donn es II faut pour cela racheter un autre syst me NAS Cette m thode s applique donc un environnement o le stockage ne va pas cro tre rapidement Le syst me NAS est bas sur le syst me de transfert de fichiers CIFS ou NFS tandis que le syst me SAN est bas sur le transfert de block de donn es sur ISCSI ou de Fibre Channel Cette technologie fonctionne remarquablement bien Les prix pour une solution NAS de 100TB sont d environ 30 000 frs Sur la figure suivante se trouve une illustration d un serveur NAS pour 100TB de stockage sur un r seau ethernet dont le prix est de 31 000 Page 8 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t es S derstr m Johan E vmware READY CERTIFIED ER Figure 2 AberNAS 890 LX Serie 6 2 SAN Les solutions bas es sur un r seau de stockage s par du LAN sont les plus volutives au point de vue de l augmentation de l espace de stockage II n y a presque pas de limitation du volume de stockage pouvant tre g r par un SAN Cependant les technologies d interconnexion au sein du SAN sont co teuses car ils utilisent g n ralement de la fibre optique et les switchs sont tr s on reux Le d ploiement d une solution bas e sur un SAN bas sur de la fibre se chiffre en cent
59. fox avec ce fichier a SEES SETS Ouvrir avec i Report bug Enregistrer le fichier Get support ig Forums Toujours effectuer cette action pour ce type de fichier I Admin Guide Figure 62 Snapshot du systeme La restauration du syst me se fait par la m me interface en uploadant la sauvegarde du syst me cr e pr c demment Backup Configuration Click download to perform an instant backup snapshot Download Restore Configuration Restore by upload C Users johan Downloads backup opentiler Parcourir_ Figure 63 Restauration de la configuration du systeme Page 49 Hes so e Ecole Sp cialis e se oe RE ji 30 juillet 2010 neig vo Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Pour cr er un snapshot du serveur secondaire il est n cessaire de la passer en serveur primaire et de recommencer l op ration de sauvegarde En cas de corruption du syst me Openfiler d un des serveurs il est n cessaire de recommencer l installation du serveur comme il est d crit en annexe et de reconfigurer les cibles ISCSI Cette op ration peut prendre passablement de temps Il est donc pr f rable de cr er r guli rement une image Ghost du serveur ce qui simplifie et r duit le temps de r installation d un serveur 10 10 Int gration des serveurs au domaine de la Heig vd L int gration des serveurs au domaine n a pas pu tr
60. ges sont toujours accessibles sur l adresse IP de haute disponibilit et le fichier cr sur le filer01 a bien t r pliqu 192168 1 12 user EE ee ES Nouveau dossier Nom Modifi le CreerhichierAvecServeur2Down txt 22 07 2010 17 43 Gluster 3 0 3 150 26 06 2010 09 36 N WinSCP exe 06 07 2010 11 12 Figure 27 Cr ation de fichier avec le serveur secondaire down Pour contr ler la r plication lors de la remise en route du filer01 on r p te l op ration de cr er un fichier sur le partage Le filer01 est red marre m res fstype H cluster_metadata Connected Secondary Primary UpToDate UpToDate 1 vghdrbd Connected Secondary Primary UpToDate UpToDate root filerl 18 Figure 28 Etat drbd apr s red marrage du filer01 Page 31 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Le filer01 est pass en secondaire il faut donc arr ter le filer02 afin de contr ler la cr ation du fichier sur le partage m res cs St ds p mounted fstype H cluster_metadata WFConnection Primary Unknown UpToDatesDUnknown C zcluste WFConnection Primary Unknown UpToDate DUnknown C root filerHi Jt Figure 29 Etat drbd apr s arr t du filerO2 Le filer01 est bien pass en primaire et comme pr c demment il est en attente d une connexion WFConnection avec le filerO2 qui est arr t L acc s au partage est disponi
61. han Create Volume Volume Data has been created successfully This volume can be mounted by GlusterFs mount t glusterfs 192 166 1 52 Data tcp lt YOUR MOUNT POINT gt Y B mount t nfs 192 168 1 52 nfs 7Da lt YOUR HMOUNT POINT gt IFS On Windows go to Start gt Aun a4 as 169 Loi Mate Lt Ay 1 97 1 1 LE a a 1 owe fy Da Lid Do you want to start the volume now Figure 96 Activation du volume de donn e Le syst me confirme l activation du volume Start Volume Following volumes has been started successfully Data Figure 97 Activation du volume termin e Le volume Data est pr t a tre utilis par les serveurs de haute disponibilit via le protocole NFS 30 juillet 2010 Fh Page 75 es so Haute Ecole Sp cialis e seji
62. il faut d terminer son nom Pour cela une m thode facile est d ouvrir le dossier dev et de consulter les fichiers pr sents sda sdb sdc etc Une fois la cl usb ins r e elle sera automatiquement reconnue et un nouveau fichier sera cr portant le nom sd lt Votre p riph rique usb gt d terminer Une fois le nom identifi vous pouvez formater la cl en utilisant la commande suivante dd if Gluster 3 0 4 img of dev sd lt Votre p riph rique USB gt bs 1M A Cette tape requiert une grande prudence car le formatage d un autre disque que la cl usb souhait e va entra ner la perte totale des donn es pr sentes sur le disque cible 16 2 Installation du serveur principal Une fois votre m dia d installation pr t il faut s lectionner le bon p riph rique dans le Bios du PC afin de d buter l installation du syst me GlusterFS Lors du chargement de l installation s lectionnez Start First Server Installation Gluster Storage Platform Boot drive selection For first server installation click Install first server button or Additional server installation will start in 52 Seconds Start First Server Installation Start Additional Server Installation Figure 89 Installation de GlusterFS La fin de l installation est identique l ajout d un serveur additionnel Page 71 He S SO 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S d
63. isk root filerHi 1 Figure 42 Connexion une cible ISCSI sdb 4128768 512 byte hardware sectors 24114 MB sdb Write Protect is off sdb Write cache disabled read cache disabled doesn t support D Shee oO err GB Go oo na un oe PRP un ns u i nian D E D Afin que le disque ISCI soit reconnect au d marrage de la machine il faut ex cuter Iscsiadm m discovery t st p 192 168 1 200 iscsiadm m node T iqn 2010 07 com openfiler tsn openfiler p 192 168 1 200 op update n node startup v automatic Page 36 Hes 30 juillet 2010 neig vo Haute Ecole ing nieria et de Gestion Systeme de stockage distribu a faible co t kii S derstr m Johan root filer01 iscsiadm m discovery t st p 192 m m m D s F 7 C a La E F JL iscsiadm m node T iqn 2010 07 com op 623 168 1 200 op update n node startup v automatic Figure 43 Connexion ISCSI au d marrage du serveur Une fois le disque connect au serveur il faut le partitionner comme suit fdisk dev sdb Dans le menu de partitionnement de fdsik choisissez les options dans l ordre e n Cr ation d une nouvelle partition e p Cr ation d une partition primaire sur le disque e enter S l ction du premier cylindre de la partition laissez par d faut et presser enter e enter S l ction du dernier cylindre de la partition laissez par d faut et presser enter e t Changement du typ
64. its d o la masse minimale n cessaire pour contenir les bits serait de 2 bits 10 bits kg 136 milliards de kg Cependant pour pouvoir fonctionner cette limite de 10 bits kg la totalit de la masse de l ordinateur devrait tre compos e d nergie pure Selon E mc l nergie au repos de 136 milliards de kg est de 1 2x10 joules La masse des oc ans est d environ 1 4x10 kg Il faut environ 4000 J pour lever la temp rature d un kg d eau d un degr Celsius soit 400 000 J pour r chauffer de l tat gel l bullition La chaleur latente de vaporisation ajoute encore 2 millions J kg Ainsi l nergie n cessaire pour porter bullition les oc ans est d environ 2 4x10 J kg x 1 4x10 kg 3 4x10 J Ainsi remplir en totalit un espace de stockage 128 bits consommerait litt ralement plus d nergie que de faire bouillir les oc ans Cette citation illustre bien a quel point il est pratiquement impossible d atteindre les limites de stockage offertes par le syst me ZFS 9 2 1 Parcours des fonctionnalit s offertes par le syst me L interface de management est divis e en quatre cat gories e Status permet de voir l tat du serveur du r seau ou du stockage e Settings permet de param trer le serveur Int gration au domain Windows utilisation d un serveur LDAP connexion de cibles ISCSI r plication des volumes etc e Data Management g re les disques connect s Cr ation de
65. k groups 32760 blocks per group 327665 fragments per group SU46 inodes per group auperhloack backups stored on blocks 32768 98304 163840 229376 294912 819200 884736 Writing inode tables done Creating journal 16384 blocks Figure 86 Systeme de fichiers pour la haute disponibilit entre les serveurs 15 2 6 Edition du fichier etc lvm lvm conf Remplacer la ligne du fichier lvm conf filter a Par l expression suivante filter r dev sdc3 Sdc3 doit correspondre la partition cr e pour le volume de donn es Si vous avez d modifier le fichier drbd conf il faut l adapter en cons quence avec la bonne partition Cr ation du volume physique sur la partition sdc3 root openfiler1 pvcreate dev drbd1 rootGopenfilerl pvcreate dev drbdl Physical volume dev drbdl successfull rootHopenfilerl ii Figure 87 Cr ation du volume physique Cette op ration n est a effectuer que sur le serveur primaire car cela sera r pliqu automatiquement sur le secondaire via drbd Page 67 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m Johan 15 3 Configuration du Heartbeat Le heartbeat contr le le bon fonctionnement du service openfiler entre les deux serveurs Ce service envoie des informations de mani re r guli re afin de d tecter une d faillance possible d un serveur Edition
66. ne Europe Zurich Please select the nearest city in your timezone Time Zone Selection Set your time zone by selecting your computer s physical location On the interactive map click on a specific city marked by a yellow dot and a red X appears indicating your selection Location Description You can also scroll through the Europe Zurich list of locations to select your Te LLL desired time zone L System clock uses UTC Figure 78 Selection de la zone d heure du syst me Finalement pour terminer la configuration de l installation choisissez un mot de passe pour l utilisateur root du syst me Ce mot de passe est n cessaire la configuration ult rieure du syst me The root account is used for administering the system Enter a password for the root user Confirm rar Figure 79 Choix du mot de passe root Cliquez sur le Bouton Next et l installation peut d buter Une fois l installation termin e retirez le CD d installation et cliquez sur le bouton de red marrage du serveur L installation du serveur openfiler2 est similaire au premier serveur choisissez comme adresses IP EthO 10 192 49 217 255 255 248 0 Eth1 192 168 1 11 255 255 255 0 Page 60 Hes so Haute Ecole Ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m Johan 15 2 Configuration des serveurs Openfiler 15 2 1 Modification des fichiers host Afin que les deux serveurs
67. ng nieria et de Gestion Systeme de stockage distribu a faible co t d V PE i chocs les S derstr m Johan Le syst me Gluster ne repose pas sur l indexation centralis e des metadata comme la majeure partie des syst mes de stockage Cela implique qu il n y a pas de Single Point of Failure ou de NameNode unique comme dans beaucoup de syst mes de stockage centralis s Il faut toutefois impl menter une passerelle afin de pouvoir utiliser CIFS depuis un poste utilisateur Windows L augmentation du volume de stockage du syst me est facile adapter Un n ud de stockage peut tre rajout l aide d une interface Web L installation des serveurs est expliqu e en annexe 9 4 4 Test du syst me GlusterFS Six ordinateurs ont t mis en place sur le banc de test La cr ation de volumes de donn es en Raid1 a t test e mais certains bugs sont apparus e Impossible de supprimer un volume cr e Apres d montage d un volume l interface de management ne permettait plus de remonter le volume bien que celui ci soit toujours actif et partag sur le r seau e Impossible d ajouter des serveurs un volume d j cr 9 45 Conclusion sur le Syst me GlusterFS Ce syst me est tr s facile pour mettre en place un grand volume de stockage mais il n cessite un syst me de gestion des droits des utilisateurs et des partages impl menter II n est donc pas directement adapt aux besoins de la Heig vd Il existe cependant
68. nt d augmenter Il faut donc trouver une solution volutive faible co t ce qui est le but de ce projet Page 6 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 4 Sc nario d utilisation Ce sc nario suivant refl te les cas d utilisation du syst me de stockage comme il est sp cifi dans le cahier des charges Tous les tudiants b n ficient d un service de backup personnel pendant leurs tudes avec un volume de stockage de 50 GB qu ils peuvent acc der depuis le r seau de la HEIG VD soit en interne soit via le VPN Si l tudiant d sire plus d espace il peut demander une extension payante au service informatique Les enseignants peuvent configurer des espaces de partage individuel ou en groupe pour les travaux avec les tudiants Les administrateurs de r seau peuvent suivre l volution de l utilisation des ressources partag es et ajouter de l espace en cas de besoin Ils ont a disposition des outils qui leurs permettent de g rer ces espaces facilement _ Acc s au stockage personnel G rer les espace Ajouter de l espace Figure 1 Diagramme des cas d utilisation Page 7 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan 5 Utilisation type d un tudiant Les tudiants au sein de la Heig vd sont soumis de nom
69. o Openfiler NSA During this installation you can use your mouse or keyboard to navigate through the various eens openfiler The Tab key allows you to move around the screen the Up and Down arrow keys to scroll through lists and keys expand and collapse lists while Space and Enter selects or removes from selection a highlighted item You can also Release Notes r gt IMext Figure 66 D but de l installation du syst me S l ction du choix de la langue du clavier du syst me s l ctionnez Swiss French et cliquez sur Next openfiler Select the appropriate keyboard for the system Keyboard Configuration Slovenian Spanish Choose the layout type for the Swedish keyboard for example U S English that you would like to Swiss French latin4 use for the system See denna Swiss German latin Tamil Inseript Tamil Typewriter Turkish U S English U S International Ukrainian United Kingdom a Hide Help _ Belease Notes Spo Figure 67 S l ction de la langue du clavier Page 54 Hes so Creer _ Oe sui re e Ci ole spe ldilsee necide 30 juillet 2010 Haute Ecole d ing nierie etde Gestion Systeme de stockage distribu a faible cout hot S derstr m Johan S lectionnez Manually partition with Disk Druid openfiler Disk Partitioning Setup One ofthe largest obstacles for Automatic Partitioning sets partitions based on the s
70. on openfiler1 device dev drbd1 disk dev sdc3 address 192 168 1 10 7789 meta disk internal on openfiler2 device dev drbd1 disk dev sdc3 address 192 168 1 11 7789 meta disk internal Systeme de stockage distribu faible co t S derstr m Johan ll faut faire attention aux lignes mises en vidence en rouge dev sdc2 doit correspondre la partition cr e pour les metadata du cluster et dev sdc3 correspond une partition cr e pour un volume de donn es r pliquer Il faut peut tre adapter ces lignes en fonction de votre partitionnement du syst me 30 juillet 2010 Hes Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Le serveur openfiler2 n cessite le m me fichier de configuration soit vous le copiez via winSCP o utilisez la commande root openfiler1 scp etc drbd conf root openfiler2 etc drbd conf Initialisation des partitions dev sda3 et dev sda4 sur les deux serveurs root openfiler1 dd if dev zero bs 1M count 1 of dev sdc2 root openfiler1 dd if dev zero bs 1M count 1 of dev sdc3 root openfiler2 dd if dev zero bs 1M count 1 of dev sdc2 root openfiler2 dd if dev zero bs 1M count 1 of dev sdc3 15 2 4 Cr ation des dossiers pour la r plication Il faut maintenant initialiser les metadata sur dev drbdO et dev drbd1 l aide des commandes suivantes root openfiler1
71. p0Q Vue Logique v Entit s Non Initialis es gt dev sda fdev sdb Non Initialise Entite Disque fdev sdb XN Figure 11 Volumes logiques apr s la connexion ISCSI Un nouveau disque non initialis est d sormais disponible dans cette interface de management des volumes Apr s l initialisation du disque sdb on peut l ajouter au VG VolGroup00 existant Page 18 Hes so heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan D r l Groupes de Volumes Ajouter le Volume Physique au GW S lectionnez un Groupe de Volumes auquel ajouter dev sdb1 gt VolGroup00 E Volume Groups Size VolGroupoo 9 88GB v Volumes Non Allou s v dev sdb gt Entit s Non Initialis es Figure 12 Ajout d un disque physique a un VG existant Une fois ajout au group de volumes VolGroupO0O la vue physique est sdbl sdaz Groupe de Volumes VolG rou pod Vue PHysique Figure 13 Vue physique du volume group Le groupe de volume est bien tendu avec le nouveau disque ISCSI export par le serveur CentOS2 9 1 4 Conclusion sur le syst me d exploitation CentOS Cette solution tait prometteuse et a pris passablement de temps a la configuration des initiateurs et des cibles ISCSI Ce syst me a t cart en raison de la configuration en ligne de commande de la gestion des quotas des utilisateurs expliqu e sur le lien suivant http
72. pt the current partition settings click Next or modify Free Free space 12288 1 1567 the setup using the manual _ dew scke partitioning tool _ Hide RAID device LVM Volume Group members Figure 69 Partitionnement des disques cry Page 55 1g SO Haute Ecole sp cialis e 30 juillet 2010 heig vd Haute Ecole d ing nierie etde Gestion Systeme de stockage distribu a faible cout hot S derstr m Johan Le syst me indique qu il n y pas de partitions RAID software cliquez sur OK RAID Options Software RAID allows you to combine several disks into a larger RAID device A RAID device can be configured to provide additional speed and reliability compared to using an individual drive For more information on using RAID devices please consult the Opentiler NSA documentation You currently have 0 software RAID partition s free to use To use RAID you must first create at least two partitions of type software RAID Then you can create a RAID device which can be formatted and mounted What do you want to do now Create a software RAID partition Figure 70 D but de la cr ation du RAID La fen tre suivante apparait s lectionnez un disque et fixez une taille de partition 6000MB Add Partition Mount Point File System Type software RAID sda 122684 MB VMware VMware Virtual Allowable Drives Cl sdb 12284 MB VMware VMware Virtual C sde 12284 MB VMware VMware Virtual
73. r trunk doc cluster guide openfiler ha html format raw httos forums openfiler com htto www linux ha org doc http www idevelooment info data Unix Linux LINUX ConnectingToAniSCSITargetWithOpen iSCSiInitiatorUsingLinux shtml http www drbd or http wiki centos org HowTos Ha Drbd Page 52 Hes 30 juillet 2010 neig vd reer ee Haute Eeole d ing nierie etde Gestion Systeme de stockage distribu a faible cout se S derstr m Johan 15 Annexes 15 1 Installation d Openfiler Ins rez le CD d installation d Openfiler et configurez le bios du PC afin de d marrer sur le lecteur de CD Choisissez l installation graphique du syst me d exploitation en pressant enter openfiler To install or upgrade in graphical mode press the ENTER key To install or upgrade in text mode type linux text lt ENTER Use the function keys listed below for more information boot _ Figure 64 D but de l installation du syst me Il est possible de tester le CD d installation choisissez Skip To begin testing the CD media before installation press OK Choose Skip to skip the media test and start the installation Figure 65 Test du CD d installation Page 53 Hes so 30 juillet 2010 ga sue accidentals heig vd Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t hot S derstr m Johan D but de l installation du syst me cliquez sur Next Welcome t
74. rain d crit dans le cas de la perte du switch du r seau local Les cartes ethernet du des serveurs en cluster peut tre de type TOE TCP Offload Engine Cela d charge le processeur du serveur car il devra traiter beaucoup de requ tes TCP sur le r seau de stockage et de la part des clients Ces cartes sont accessibles partir de 200Frs ce qui est abordable et donc vivement conseill Pour l interface ethernet sur le r seau Heig vd il est possible de cr er une interface agr g e avec deux cartes Les performances peuvent ainsi tre am lior es pour les utilisateurs Les cibles ISCSI peuvent tre des ordinateurs communs bas s sur 32 bits avec 1GB de m moire ram 12 Etat des lieux Une solution de stockage des donn es bas e sur un logiciel libre et gratuit est d taill e et test e sur des machines virtuelles En raison d une installation des serveurs de haute disponibilit quelque peu al atoire le fichier haresources n est pas toujours g n r par Openfiler Ce probl me est connu mais il n y a pas de solution disponible sur le forum actuellement Le banc de tests d finitifs n a pas encore pu tre install correctement Le banc de test final sera install pendant le mois d ao t pour une d monstration du fonctionnement du syst me lors de la d fense du projet de dipl me 13 Conclusion Ce projet de stockage est fort int ressant et m a permis d acqu rir de nombreuses connaissances dans le domaine de la r
75. s h TestReplication h user P Partage Partage Figure 35 Acc s au nouveau partage r seau Une fois le partage cr et visible travers le r seau le filerO2 est red marr afin de se synchroniser avec le serveur primaire 11 12 16 47 11 Tes cs Et ds p mounted fstype Cluster_metadata Connected SecondarysPrimary UpToDaterUpToDate C 1 vg drbd Connected Secondary Frimary UpToDate UpToDate C Lrootbf iler z J _ Figure 36 tat drbd du filer02 Le filerO2 appara t comme synchronis et jour On peut donc arr ter le filerO1 et contr ler la r plication du partage sur le filer02 mires CE st ds fstype H cluster_metadata WFConnection Primary Unknown UpToDate DUnknown C r metadata ext3 1 vqHdrbd WFConnection Primary Unknown UpToDate DUnknown root filerH2 J1 Figure 37 Etat drbd du filer02 avec filer01 down Le filerO2 pr sente deux partages user et test Le partage test a t cr pour une premi re exp rience de la r plication des dossiers mais ce partage a t supprim sur le filer01 avant le Page 34 Hes 30 juillet 2010 Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr m Johan commencement de l exp rience avec le dossier TestReplication Il y a donc un probl me comme le montre la figure suivante RL x Dsrherher oor RECAEMNMEF gal seau et partage Afficher les imprimantes distantes Err
76. s de communiquer entre eux sans utiliser de mot de passe il faut g n rer une paire de cl s ssh l aide de la commande root openfiler1 ssh keygen t dsa La g n ration de la cl demande une phrase comme mot de passe ce qui n est pas n cessaire Laissez la phrase vide et validez voici l illustration de la g n ration LE cootopenfilerl ssh keygen Fenerating public private dsa E potr ashrid dsaj Created directory root ssh aved in root 33sh id daa Four pue key has been saved in root 3sh 1d dsa pub MISEPE ANE 2 rootGopentilerl Figure 81 G ner ration VE cl ssh Une fois la cl g n r e il faut l exporter vers l autre serveur l aide de la commande Cette commande n cessite le mot de passe root du serveur d fini lors de l installation Voici l illustration de l exportation de la cl rootHopenftilerl scp ssh id dsa pub rootldopenfilerz ssh authorized keys rootidopenfiler s password id dsa pub 100 604 0 6KB 3 root openfilerl fi Figure 82 Copie de la cl sur l autre serveur Ensuite il faut r p ter l op ration sur le serveur openfiler2 et exporter sa cl sur openfiler1 root openfiler2 ssh keygen t dsa root openfiler2 scp ssh id_dsa pub root openfiler1 ssh authorized_keys2 Page 62 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu faible co t res S derstr m
77. s et la documentation n cessaires 3 3 D marche La premi re tape consistera d finir un sc nario qui d crit l utilisation type qu un tudiant pourrait demander une solution de stockage sur le r seau La seconde tape consistera lister les diff rentes techniques et solutions existantes en indiquant chaque fois le besoin cible les avantages et les inconv nients L objectif de cette tape sera d laborer un tableau des solutions types et de d terminer dans quel secteur du tableau nous allons continuer La troisi me tape consistera choisir la solution type qui r pond au mieux aux sc narios choisis La quatri me tape permettra d valuer des produits et des syst mes qui correspondent la solution type Un choix technologique sera fait et permettra de mettre en place un environnement de test La cinqui me tape permettra l adaptation du produit pour r pondre aux sc narios La sixi me et derni re tape consistera faire une synth se permettant d valuer la qualit de la solution mise en uvre ainsi que les moyens mettre en uvre pour son exploitation l chelle de la HEIG VD Page 3 Hes 30 juillet 2010 Haute Ecole d Ing nierie et de Gestion du Canton de Vaud Table des mati res Syst me de stockage distribu faible co t S derstr m Johan Mi REUNEA E eine eaetne aes eee 6 2 MUO CC TOME a no a 2e a ae ed a 6 MONACO a ana de ae db D ee dt ae a oi 6
78. ss and optional port number in form port Add Discovery Figure 15 Ajout de cibles ISCSI Une fois les disques connect s il est possible de cr er un volume ZFS en s lectionnant les disques connect s par ISCSI Available Disks c3tld0 iscsi disk 1 97 GB E Redundancy Type c3t2d0 iscsi disk 1 97 GB None sh Figure 16 Cr ation d un volume ZFS Page 21 Hes so 30 juillet 2010 Haute Et ole Sp cialis e de Suisse occidentale Haute cole ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Un volume Data a t cr sur ces disques puis un dossier partag users Il est tr s facile de g rer les permissions sur les dossiers en ajoutant des utilisateurs ou un groupe d utilisateurs La figure suivante montre le dossier users et les op rations possibles effectuer EDIT FOLDER DATA USERS Read Only Parameters Name Value name Data Users creation Thu Jul 29 16 31 2010 used 35K available 1 92G referenced 35K compressratio 1 00 mountpoint volumes Data Users casesensitivity mixed Edit folder quotas Access Control List found 1 ACL entry s Entity Allow Deny Delete r list_directory read_data add_file write_data add_subdirectory append_data s read xattr write xattr execute delete child write_attributes write _adcl write_owner Add Permissions for User Add Permissions for Group Figure 17 Droits d
79. st a r aliser que sur le serveur primaire pvcreate dev drbd2 dev drbd2 is a new physical volume of Physical volume j 0 Ci Ci Ci Allocated PY UUID G2mork 71HU kCO02 3LEW aTtIJ 1 01 mi Li F Figure 46 Nouveau volume physique drbd2 Une fois ce volume cr il est possible d tendre notre volume group vgOdrbd Voici le volume group vgOdrbd avant son extension Page 39 30 juillet 2010 Hente trole fe destin Syst me de stockage distribu faible co t ces S derstr m Johan Volume group VG Name yg0drbd 5 Y et ks epi I D Ai E ct fl D H A m m W fl e EL i EU 3 O0 eS j m Cur Ly m TTT Lt Pe Ii ta D ha Max PY a EF Lil 47 LJ oi ii of d a H Es s0C3 9nLR grER HGChI w005 uKY7 0Hkhwl root filer01 pvdisplay Figure 47 Volume group vgOdrbd Pour tendre ce volume il faut utiliser la commande Yolume group VG Name FoOdrbd system ID Format Lym Be d Bo m fl Lo fu H p E tay Eu g m H H tl i fl oS ha 1 3 4 00 1177 674 n J 1 y tai E F Fu fs0C3 SnLR grRR HGhI w008 ukY7 0OHEhwl1 Figure 48 Extension du volume group Page 40 Hes 30 juillet 2010 neig vo Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Dans l interface de management d openfiler le volume a lui aussi t augment Volumes in
80. stall scsi target utils chkconfig tgtd on service tgtd start ifconfig ethO 192 168 1 11 netmask 255 255 255 0 Page 15 Hes 30 juillet 2010 Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t res S derstr m Johan Pour cr er une cible ISCSI sur le serveur on utilise le package tgtd install comme suit tgtadm lld iscsi op new mode target tid 1 T iqn 2010 07 centos com targetISCSI tgtadm Ild iscsi op show mode target La figure suivante illustre la cr ation de la cible et affiche le r sultat root Centos tgtadm 1lld iscsi op new mode target tid 1 T ign 2610 O centos com targetIScsIl root Centos2 tgqtadm 1Lld iscsi op show mode target Target 1 ign 2010 6 centos com targetIScsIl system information Driver iscsi state ready I T nexus information LUN information LUN Type controller SCSI ID IET 00010000 SCSI SN beafl Size 0 MB Online Yes Removable media No Backing store type rdwr Backing store path None Account information ACL information Figure 7 Cr ation d une cible ISCSI sur CentOS Maintenant que le serveur a une cible ISCSI cr e on peut y attacher un disque une LUN Une partition de 4GB a t cr e sur le disque sdb pour tre export e par la cible Dans cet exemple on va mapper la partition sdb1 sur la LUN 1 l aide de la commande tgtadm Ild iscsi op new mode logicalunit ti
81. sterFS Gluster Storage Platform est une solution open source de stockage en cluster Ce syst me est une solution puissante et flexible qui simplifie la tache de gestion des donn es allant de quelques t raoctets plusieurs p taoctets Gluster supporte l interconnexion par Gigabit Ethernet et ne n cessite pas de syst me en rack ce qui en fait un syst me parfaitement adaptable au besoin de stockage Il supporte l agr gation de plusieurs m dias de stockage diff rents pour ne fournir qu un seul nom global l ensemble du volume de stockage 9 4 1 Qui utilise GlusterFS gt ee LP D x f T ASE 7 pen saene es gt 2 Poccus WOM Russia ie gt AOW e STS ET Aad Kazakhstan dy j y a Turkey mt gt y Algeria Libya a_i Pakis 42 lt iraq tran Afghani Saudi Egypt Arabia E S Chip UTANA Mauritania Mali Niger pe ge AN m y n8 Sudan re gt gt Me e Nigeria ma Ethiopia ee 185 pi y e 5 f F JOR Congo re Tanzania Es 7 8 Angola May it a Bolivi SE q aa y am 3 _ Botsws Madagascar Chile i South Africa S Ophea Figure 24 Carte d utilisation de GlusterFS Page 26 Hes so 30 juillet 2010 nae ole Sp cialis e re rapa oe pat aly fe i Suisse occidentale Haute Ecole d ing nierie etde Gestion Syst me de stockage distribu faible co t ho S derstr
82. tesdeact c26 y philffat tyre 2008 11 12 16 47 11 ca at ds pb mounted fstyp Sater metadata Connected Secondary secondary L vy0 drbd Connected Secondary secondary Figure 84 Statut du service drbd On peut d s lors d finir openfiler1 comme serveur primaire root openfiler1 drbdsetup dev drbdO primary o root openfiler1 drbdsetup dev drbd1 primary o On contr le la configuration du serveur rootdopenfilerl se drbd driver loaded OE Version 6 2 7 fapl 66 prot GIT hash 6lb7f4c2fc34fe3d2acfTbe6bcclfc2684708a7d build by phil YE 2008 11 12 16 47 L TE ds p mounted fstype 359547 O cluster metadata Ayncsource Primary Secondary UpToDate Llivgql drbd Pausedsynes Primary Secondary UpToDate Incons Figure 85 Contr le du serveur primaire Cr ation du syst me de fichier cluster_metatdata afin de contenir les fichiers de configuration d openfiler n cessaires la haute disponibilit root openfiler1 mkfs ext3 dev drbdO Cette commande initialise la partition en ext3 pour contenir les fichiers du cluster Page 66 Hes 30 juillet 2010 neig vo Haute Ecole a ing nieria et de Gestion Systeme de stockage distribu a faible co t ces S derstr m Johan rootldopenfilerl mkfs ext3 dev drbd inodes not usable on older systems Block size 4096 log 2 4096 log 2 241440 inodes 963661 blocks 46193 blocks 5 008 reserver the super user First data block 0 30 bloc
83. tribu a faible co t res S derstr m Johan 1 R sum Le but du projet de dipl me est d tudier et de mettre en place un banc d essai concernant une solution mat riel et logiciel pour la mise disposition d espaces de stockage priv s et partag s pour les tudiants sur le r seau de la HEIG VD Il faut que le syst me de stockage soit facilement g rable par les administrateurs et adaptable au niveau du volume de stockage mis disposition 2 Introduction Ce rapport de travail de bachelor va pr senter diff rentes solutions de stockage actuellement utilis es par de grandes entreprises L approche du stockage par NAS et SAN seront bri vement d crites ainsi que le stockage par cluster Plusieurs syst mes d exploitation test s seront d taill s avec leurs avantages et inconv nients Une solution de stockage bas e sur une distribution gratuite de linux sera d crite pour son d ploiement au sein de la Heig vd Une description des tests effectu s sur ce syst me sera document e ainsi que la r solution de probl mes divers survenus Une marche suivre pour l installation de base des serveurs est fournie en annexe 3 Motivation Ce projet est fort motivant de part son aspect pratique et par son utilit au sein de la Heig vd ou toute autre entreprise priv e d sirant avoir un espace de stockage volutif Actuellement le probl me du stockage des donn es est une pr occupation majeure car les volumes stocker ne cesse
84. trois cibles ont t mises en place La cible n cessaire au volume vg1drbd ainsi que deux autres sans partition initialis e Une cible portait un nom iqn 2006 01 com openfiler tsn49be4af9d845 comme le montre la figure suivante etc Escsl hodes m ign 2006 01 com openfiler tsn target5 di iqn 2010 07 com openfilertsn targetl Figure 55 Cibles ISCSI du filerO1 Les cibles sont class es dans le dossier dev iscsi node du serveur par ordre alphab tique Cette cible est class e avant la cible n cessaire au volume vg1drbd iqn 2010 07 com openfiler tsn target1 Lors du red marrage du serveur cela a eu pour effet de connecter la cible iqn 2006 01 en premier et donc de prendre le nom du p riph rique sdb la place de la cible voulue Comme le service drbd est bas sur des noms de p riph riques fixes le service a voulu r pliquer ses donn es sur une cible non initialis e Cela a conduit a un probl me de synchronisation entre les serveurs qui m ne au Split Brain root filerl J drbdadm adjust vgldrbd drbd2 No usable activity log found drbd Split Brain detected dropping connection Figure 56 Probleme de Split Brain Ce probleme survient g n ralement lorsque les deux serveurs perdent le lien de r plication entre eux et chacun devient serveur primaire en pensant que l autre serveur est d connect Cela implique que chaque serveur conserve l adresse de haute disponibilit et continuent de fonctionner en mod

Download Pdf Manuals

Related Search

Related Contents

Manuale operativo Serie PRO 30-MPPT  StarTech.com 30 ft Premium Stereo Audio Cable RCA - M/M  Manual TextMaker 2016  Franke NEX 221  Catálogo - Sul Imagem  ECM30/ECM60 直流高圧電源 取扱説明書  Soft-Starter Arrancador Suave Soft-Starter SSW-07  

Copyright © All rights reserved. Failed to retrieve file