Home

Manuel d`utilisation de DesEsper

1. MM yyyy DureePartiel Affiche la dur e entre le premier v nement et l v nement en cours DureeEtape Affiche la dur e entre l v nement pr c dent et l v nement en cours Numero tape Affiche le num ro de l tape position de l tape dans la s quence Exemple de s quence et du fichier XML associ Exemple de S quence une erreur de connexion est d fini par une s quence de 3 v nements s par par un interval de temps de 2 secondes maxi mumn le premier v nement doit contenir attempt 1 3 le deuxi me v nement doit contenir attempt 2 3 et le troisi me attempt 3 3 Traduction de la s quence en XML lt sequences gt lt sequence nom Afficher unique vrai gt lt etape groupe tous timeout 2000 gt lt critere champ description gt attempt 1 3 lt critere gt lt etape gt lt etape groupe tous timeout 2000 gt lt critere champ description gt attempt 2 3 lt critere gt lt etape gt lt etape groupe tous timeout 2000 gt lt critere champ description gt attempt 3 3 lt critere gt lt etape gt lt sortie gt NomSequence a dur e DureeTotale Voici les v nements qui sont apparus E C Log C E lt sortie gt lt sequence gt lt sequences gt 3 3 Le fichier Logs txt gt Le fichier pr c d de l option s est le fichier contenant le flux d v nement Le fichier peut tre un flux continu ou un fichier fini 3 4
2. description des champs des v nements se chargent au d but du lancement de DesEsper Une fois charg es elles ne peuvent plus tre modifi es sans arr ter le syst me DesEsper Exemple de commande d ex cution de DesEsper java DesEsper q sequences xml d descLogs xml s logs txt f gt gt sortie txt 2 2 Description des param tres 2 2 1 Le param tre q lt fichier gt EP Le param tre q q pour queries pr c de le nom du fichier contenant les s quences d tecter Ce param tre est obligatoire et doit forc ment pr c der un fichier xml de s quences 2 2 2 Le param tre d lt fichier gt Le param tre d d pour description pr c de le nom du fichier conte nant les descriptions des champs des v nements analyser Ce param tre est obligatoire et doit forc ment pr c der un fichier xml de description de champs 2 2 3 Le param tre s lt fichier gt Ma Le param tre s s pour source pr c de le nom du fichier contenant le flux fichier fini ou non fini Ce param tre est obligatoire et doit forc ment pr c der un fichier 2 2 4 Le param tre f la param tre f P pour file pr cise si l on veut que le syst me s arr te la fin du fichier source ou continue attendre les nouveaux v nements Ce param tre est facultatif 3 Cr ation des fichiers de configuration 3 1 Le fichier descLogs xml Ce fichier xml est pr c d
3. s toujours la m me position d une ligne l autre Un champ Alarme du debut de ligne au caract re 7 Un champ TypeEvt du caract re 8 au caract re 15 Un champ Date du caract re 16 au caract re 35 avec comme format dd mm hh ii ss Un champ Description du caract re 40 au caract re fin de ligne et de taille variable Dans cette analyse nous tudierons les d marrages de deux groupes de la centrale le groupe G1 et le groupe G2 Afin de distinguer les v nements de ces deux groupes et les v nements de disparition et d apparition quatres groupes seront cr es avec comme crit re la pr sence de G1 ou de G2 et APP ou Dis dans le champ TypeEut Description des champs en XML lt evt gt lt description gt lt champ type String debut 0 taille 7 gt Alarme lt champ gt lt champ type String debut 8 taille 8 gt TypeEvt lt champ gt lt champ type Date debut 16 taille 19 format dd mm hh ii ss x gt Date lt champ gt lt champ type String debut 40 taille 0 gt Description lt champ gt lt description gt lt groupes gt lt groupe nom APP G1 gt lt critere champ TypeEvt gt APP lt critere gt lt critere champ TypeEvt gt G1 lt critere gt lt groupe gt lt groupe nom DIS G1 gt lt critere champ TypeEvt gt Dis lt critere gt lt critere champ TypeEvt gt G1 lt critere gt lt groupe gt lt groupe nom APP G2 gt lt critere cha
4. saut de ligne d calage de caract re textes etc Les termes suivants sont r serv s et sont remplac s par leurs des criptions dans la sortie Premier affiche le premier v nement de la s quence Dernier afffiche le dernier v nement de la s quence NomSequence affiche le nom de la s quence DureeTotale Affiche la dur e totale de la s quence du premier v ne ment au dernier NumeroSequence Affiche le num ro de la s quence le num ro de la s quence correspond au nombre de fois que la s quence a t d tect e evtX N C NomDuChamp C N Affiche un champ particulier d un v nement particulier X Num ro de l v nement C NomDuChamp C Un ou plusieurs champs peuvent tre sp cifi s C Date K FormatDeLaDate C Pour le champ Date un format peut tre sp cifi respectant le format de java HH mm ss dd MM yyyy E E le texte et les termes inscrits entre les balises E sont r p t s pour chaque tape v nement Ces termes ne sont disponibles que pour chaque tape entre les balises E C NomDuChamp C affiche la valeur du champ de l v nement champ d fini dans la description des v nements plus les champs Date gt et Log gt pr d fini C Date K FormatDeLaDate C Pour le champ Date un format peut tre sp cifi respectant le format de java HH mm ss dd
5. 8 03 15 35 14 805 Message Code accept 36 2008 08 03 15 35 15 758 Message Erreur code 37 2008 08 03 15 35 16 115 Message Retrait 11 Chaque ligne de logs peut tre d coup e en 4 champs positionn s toujours la m me position d une ligne l autre Un champ Numero du debut de ligne au caract re 6 Un champ Date du caract re 7 au caract re 30 avec comme format YYYY mm dd hh ii ss xcl Un champ Message du caract re 32 au caract re fin de ligne et de taille variable Description des champs en XML lt evt gt lt description gt lt champ type String debut 0 taille 6 gt Numero lt champ gt lt champ type Date debut 7 taille 23 format YYYY mm dd hh ii ss xcl gt Date lt champ gt lt champ type String debut 40 taille 0 gt Message lt champ gt lt description gt lt groupes gt lt groupe nom Tous gt lt groupe gt lt groupes gt lt evt gt On remarque qu il n ya pas eu le besoin de cr er de groupes donc un seul groupe Tous sans crit re est sp cifi Tous les v nements arrivant appartien dront ce groupe 4 2 3 Pr paration du fichier xml de s quences Plusieurs s quences vont tre d finies afin d tablir une surveillance du distri buteur Premi re s quence d tecter une suite de 3 v nements Erreur code 500 millisecondes entre chaque v nement et envoyer le message 3 erreurs carte aval e Deuxi
6. Le fichier sortie txt gt Dans l exemple de commande donn e la sortie est redirig e dans un fichier de sortie mais peut tre redirig e vers la sortie standard vers un autre logiciel de traitement vers un flux etc 4 Exemples d analyse Le syst me DesEsper permet plusieurs possibilit s d analyse sur un flux calcule de la dur e entre deux v nements d tection de s quences r organisa tion chronologique etc Afin d illustrer ces possibilit s d analyse deux exemples seront d velopp s dans cette section 4 1 Premier exemple Etude de la dur e de d marrage d une centrale hydraulique logs fourni par EDF 4 1 1 Pr sentation des logs Les logs sont issus de l automate qui contr le la centrale hydraulique du site de Sisteron Ils contiennent des s quences de d marrage d arr t et d autre v nement de surveillance Alarme interventions etc Les logs sont enregistr s dans un fichier de 44800 v nements sur une p riode allant du 2 juin 2007 au 31 d cembre 2007 Extrait du fichier de logs Dis Gi 03 06 11H25 47 8 MARCHE POMPE REGUL Dis Gi 03 06 11H25 50 2 FREINAGE EN COURS APP G2 03 06 11H36 05 8 X R O EXCITE ALARME APP G1 03 06 11H36 05 9 DEFAUT VANNE de TETE APP G2 03 06 11H36 06 8 MARCHE POMPE VANNE de TETE APP G2 03 06 11H36 07 1 GROUPE EN MARCHE 4 1 2 Pr paration du fichier de description des champs Chaque ligne de logs peut tre d coup e en 4 champs positionn
7. Manuel d utilisation de DesEsper Stage Analyse de logs applicatifs INSA Lyon Liris EDF R amp D S bastien Gassmann 16 octobre 2008 Table des mati res 1 Introduction ES 2_ Comment d marrer A T EEEE ee a EE 2 2 1 Le param tre q lt fichier gt 2 2 4 Le param tre A a A 3 4 Le fichier sortie txt gt 8 REET E 1 4 2 Deuxi me exemple Etude sur un flux continu g n r al atoire ment message provenant d un distributeur de billet CO Co Co CO Co uw oo oo ot amp A ns 4 2 1 __ Pr sentation des v nements 11 4 2 2 Pr paration du fichier de description des champs 11 4 2 3 Pr paration du fichier xml de s quences 12 4 2 4 Ex cution de l exemple 14 1 Introduction Ce manuel d utilisation est bas sur la version 1 0 de DesEsper Cette version s utilise en ligne de commande avec deux fichiers de configuration un pour la description des champs des v nements analyser et l autre pour les s quences 2 Comment d marrer 2 1 Lancement du syst me DesEsper L outil DesEsper a t crit en java ex cutable donc sur de multiples archi tectures et des syst mes d exploitation diff rents Son utilisation se fait en mode console la configuration dans des fichiers XML Les s quences d tecter et la
8. de l option d et contient la description des v ne ments contenus dans le flux La structure du fichier xml est constitu d une section evenements entre lt evenements gt et lt evenements gt contenant les sections description et groupes La section description balises lt description gt et lt description gt contient les champs qui structurent un v nement Un champ est caract ris par les balises lt champ gt et lt champ gt contenant les attributs obligatoires type debut et taille et l attribut format n cessaire que si le type est Date L attribut type contient le type du champ String et Date et bient t int L attribut debut contient la position sur la ligne d v nement o commence le champ L attribut taille contient la valeur de la taille du champ partir de la position debut L attribut format contient le format de d tection de la date pour le champ Date Sp cification de l attribut format Une date peut tre compos e de Ann e 2 ou 4 chiffres yy YYYY Mois 1 ou 2 chiffres nm Jour 1 ou 2 chiffres dd Heure 2 chiffres hh Minutes 2 chiffres ii Secondes 2 chiffres ss dixi me 1 chiffre x centi me 1 chiffre c milli me 1 chiffre Tous les caract res diff rents de y Y d h i s x c et l gt seront i
9. gnor s La section groupes est compos d un ou plusieurs groupes d finis par les balises lt groupe gt et lt groupe gt contenant l attribut nom L attribut nom contient le nom donn au groupe Une tape de s quence portera sur un groupe Conf rer 3 2 Le fichier s quences xml Chaque groupe contient z ro un ou plusieurs crit res de s lection Ces crit res sont d finis de la m me fa on que les crit res des tapes des s quences voir ci dessous Exemple de suite d v nements et du contenu du fichier de description associ Exemple de suite d v nement un fichier de logs Dis Gi 03 06 11H25 47 8 MARCHE POMPE REGUL Dis Gi 03 06 11H25 50 2 FREINAGE EN COURS APP G2 03 06 11H36 05 8 X R 0O EXCITE ALARME APP G1 03 06 11H36 05 9 DEFAUT VANNE de TETE APP G2 03 06 11H36 06 8 MARCHE POMPE VANNE de TETE APP G2 03 06 11H36 07 1 GROUPE EN MARCHE Description des champs en XML lt evt gt lt description gt lt champ type String debut 0 taille 7 gt Alarme lt champ gt lt champ type String debut 8 taille 8 gt TypeEvt lt champ gt lt champ type Date debut 16 taille 19 format dd mm hh ii ss gt Date lt champ gt lt champ type String debut 40 taille 0 gt Description lt champ gt lt description gt lt groupes gt lt groupe nom G1 gt lt critere champ TypeEvt gt G1 lt critere gt lt groupe gt lt groupe nom G2 gt lt critere champ TypeEvt
10. gt G2 lt critere gt lt groupe gt lt groupe nom tous gt lt groupe gt lt groupes gt lt evt gt 3 2 Le fichier sequences xml Le fichier xml pr c d de l option q contient la d finition des s quences d tecter La structure du fichier se compose d une grande section sequences contenant l ensemble des s quences une s quence est encadr e des balises lt sequence gt et q q q lt sequence gt qui contiennent les attributs nom et unique L attribut nom contient le nom de la s quence et unique la valeur bool enne vrai ou faux de l unicit de la d tection D finir l unicit de la d tection vrai permet de sp cifier si l on souhaite qu une s quence ne puissent tre d tecter qu une fois pour un m me v nement A l int rieur des balises lt sequence gt et lt sequence gt est contenu les diff rentes tapes de la s quence une tape repr sente un v nement d tecter Une tape est caract ris e par les balises lt etape gt et lt etape gt contenant les attributs source et timeout l attribut source contient le nom du groupe de l v nement d tecter et fimeout la valeur en milliseconde du temps permis avant de d tecter l v nement suivant A l int rieur des balises lt etape gt et lt etape gt est contenu l ensemble des crit res que doit satisfaire l v nement pour tre d tect Le n
11. is lt sortie gt lt sequence gt lt sequence nom Troisi me s quence unique vrai gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Code accept lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Deconnexion lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Code accept lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Deconnexion lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Code accept lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Deconnexion lt critere gt lt etape gt lt sortie gt Abus Evt E C Numero C E lt sortie gt lt sequence gt lt sequence nom Quatri me s quence unique vrai gt 13 lt etape groupe Tous timeout 1000 gt lt critere champ Message gt Erreur inconnue lt critere gt lt etape gt lt etape groupe Tous timeout 1000 gt lt critere champ Message gt Erreur inconnue lt critere gt lt etape gt lt etape groupe Tous timeout 1000 gt lt critere champ Message gt Erreur inconnue lt critere gt lt etape gt lt sortie gt 3 erreur inconnue Anomalie lt sortie gt lt sequence gt lt sequences gt 4 2 4 Ex cution de l exemple L exemp
12. le tudi ici porte sur un fichier continu d v nement Il faudra lancer le g n rateur d v nement et rediriger sa sortie vers un fichier flux txt qui sera analys par le syst me DesEsper Ligne de commande ex cuter Fichier DesEsper exemple2 sh ou DesEsper exemple2 bat Il faut tout d abord lancer le g n rateur d v nement avec cette com mande Fichier EvtGenerator sh ou EvtGenerator bat V rifier que le fichier flux txt n xiste pas java EvtGenerator gt gt flux txt Et lancer le syst me DesEsper en parall le Fichier DesEsper exemple2 sh ou DesEsper exemple2 bat java DesEsper q sequence exemple2 xml d desc exemple2 xml s flux txt f Le g n rateur d v nement peut tre arr t et relanc volont sans stop per DesEsper le syst me DesEsper attendra l arriv e de nouveaux v nements R f rences Cay Bernard Caylux expressions r guli res prevert upmf grenoble fr Prog Java CoursJava Gas08 S bastien Gassmann desesper Juillet 2008
13. me s quence d tecter une suite de 2 v nements Erreur code suivi de l v nement Code accept et envoyer le message Attention la pro chaine fois Troisi me s quence d tecter une suite de 3 s quences Code accept q q P suivi de l v nement Deconnexion et envoyer le message Abus et retourner les num ro des v nements Quatri me s quence d tecter une suite de 3 v nements Erreur inconnue et envoyer le message Anomalie 12 Traduction en XML lt sequences gt lt sequence nom Premi re s quence unique vrai gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Erreur code lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Erreur code lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Erreur code lt critere gt lt etape gt lt sortie gt carte aval e lt sortie gt lt sequence gt lt sequence nom Deuxi me s quence unique vrai gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Erreur code lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Erreur code lt critere gt lt etape gt lt etape groupe Tous timeout 5000 gt lt critere champ Message gt Code accept lt critere gt lt etape gt lt sortie gt Attention la prochaine fo
14. mp Description gt FREINAGE EN COURS lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt VERROU ENGAGE lt critere gt lt etape gt lt etape groupe DIS G1 timeout 1200000 gt lt critere champ Description gt FREINAGE EN COURS lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt DISJ EXCITA FERME lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt VANNE TETE OUVERT lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt DISJ FERME lt critere gt lt etape gt lt sequence gt lt sequences gt Le timeout entre chaque tape a t fix 1200000 millisecondes temps maxi mum observ en g n ral La s quence pour le groupe G2 est la m me il suffit de remplacer G1 par 7G2 Afin de pouvoir utiliser les r sulats le format de sortie sera le format CSV ainsi la sortie sera facilement importable dans un tableur ou un outil d analyse statistique 10 Sortie en XML lt sortie gt NomSequence E DureeEtape E lt sortie gt 4 1 4 Ex cution de l exemple L exemple tudi ici porte sur un fichier fini de logs L option f sera donc utilis e pour que l analyse s arr te la fin du fichier Ligne de commande ex cuter Contenu des fichier DesEsper e
15. mp TypeEvt gt APP lt critere gt lt critere champ TypeEvt gt G2 lt critere gt lt groupe gt lt groupe nom DIS G2 gt lt critere champ TypeEvt gt Dis lt critere gt lt critere champ TypeEvt gt G2 lt critere gt lt groupe gt lt groupes gt lt evt gt 4 1 3 Pr paration du fichier xml de s quences On souhaite tudier les dur es par tape des d marrage des deux groupes G1 et G2 de la centrale Un d marrage du groupe G1 est caract ris par la s quence suivante APP G1 X R 0 EXCITE APP G1 GROUPE EN MARCHE APP G1 MARCHE POMPE REGUL APP G1 FREINAGE EN COURS Dis G1 VERROU ENGAGE Dis G1 FREINAGE EN COURS APP G1 DISJ EXCITA FERME APP G1 VANNE de TETE OUVERT APP G1 DISJ FERME Chaque v nement est repr sent par une tape de la s quence Afin de d crire l venment un seul crit re suffit il suffit de mettre le contenu attendu du champ Description Traduction en XML lt sequences gt lt sequence nom Demarrage G1 unique vrai gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt X R 0 EXCITE lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt GROUPE EN MARCHE lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere champ Description gt MARCHE POMPE REGUL lt critere gt lt etape gt lt etape groupe APP G1 timeout 1200000 gt lt critere cha
16. ombre de crit re peut tre nul et est illimit Un crit re est caract ris par les balises lt critere gt et lt critere gt contenant 7 les attributs champ comparateur et formatDate L attribut champ est indispensable il contient le nom du champ sur lequel le crit re est appliqu les attributs comparateur et formatDate sont n cessaires que si le champ est Date et que l on souhaite effectuer une comparaison de date Les valeurs permises pour le comparateur sont inf sup infegal supegal egal diff gt et pour formatDate les m mes restrictions que pour la description du champ Date dans le fichier de description des v nements Les balises lt critere gt et lt critere gt contiennent l expression r guli re d tecter ou la date selon le format d fini dans formatDate comparer Les expressions r guli res sont des expressions construites partir de constantes et d op rateurs elles correspondent aux expression r guli res utilis es par les classes Java Pattern et Matcher Pour consulter la liste des op rateurs et leurs utilisations il faut se reporter la r f rence Cay Les balises lt regle gt et lt regle gt contiennent galement un couple de balise lt sortie gt et lt sortie gt Ces balises contiennent la description de la sortie d sir e lorsqu une s quence est compl tement d tect e La sortie peut tre format e
17. xemplel sh ex cuter sous Linux ou DesEsper exemplel bat ex cuter sou Windows java DesEsper q sequence exemplei xml d desc exemplel xml s logs edf txt f gt gt resultats_exemplei csv Le r sultats est visualisable simplement en ouvrant le fichier resultats exemplel csv cr e ou en l important dans un logiciel d analyse 4 2 Deuxi me exemple Etude sur un flux continu g n r al atoirement message provenant d un distribu teur de billet 4 2 1 Pr sentation des v nements Les v nements analyser sont g n r s al atoirement et simulent le fonc tionnement basique d un distributeur de billet Voici les diff rents messages qui peuvent tre g n r s Erreur code Carte refus Code accept Retrait Consultation solde Erreur inconnue Retrait refus D connexion 4 2 2 Pr paration du fichier de description des champs Exemple d v nement 26 2008 08 03 15 35 10 266 Message Consultation solde 27 2008 08 03 15 35 11 242 Message Consultation solde 28 2008 08 03 15 35 12 108 Message Carte refus 29 2008 08 03 15 35 12 524 Message Retrait refus 30 2008 08 03 15 35 13 461 Message Consultation solde 31 2008 08 03 15 35 14 034 Message Carte refus 32 2008 08 03 15 35 14 084 Message Retrait refus 33 2008 08 03 15 35 14 189 Message Erreur code 34 2008 08 03 15 35 14 512 Message Carte refus 35 2008 0

Manuel d`utilisation de DesEsper

Contents

Download Pdf Manuals

Related Search

Related Contents