Cahier des Charges
Contents
1. idFiles INT name VARCHAR 45 index v filepath VARCHAR 512 Z FollowNext v Files_idFiles INT type VARCHAR 16 Index_Files_idFiles INT 5j H Terms_idTerms INT 5 449 modif_date VARCHAR 45 Index_Terms_idTerms INT occurrence INT size_file VARCHAR 45 gt Terms_idTerms follow INT aa gt owner VARCHAR 45 gt Terms_idTerms next INT Di o groupe VARCHAR 45 gt permission VARCHAR 3 CE gt SSS A Ol idTerms INT Term VARCHAR 45 gt Cy La base de donn es est compos e de quatre tables La table Terms regroupe la liste de tous les termes que l on peut retrouver dans l indexation Chaque terme est unique dans la table et est associ a un identifiant unique aussi qui est cl primaire La table Files regroupe la liste de tous les fichiers index s chaque ligne de la table est compos e d un identifiant unique et d une cl primaire du nom du fichier du nom du dossier contenant ce fichier de son type ex txt jpg de sa date de cr ation et de sa date de derni re modification La table FollowNext regroupe pour chaque terme un couple de pr c dent et de suivant Un attribut idFiles compl tera ce triplet Il est possible qu un triplet se r p te car il peut apparaitre dans diff rents fichiers La table Index associe un fichier ses termes On y retrouve donc un identifiant de terme avec un identifiant de fichier Chaque identifiant pouvant2. tre pr sent plusieurs fois dans la table associ e a un autre terme ou fichier Moteur d indexation L outil d indexation doit remplir la BI de fa on intelligente Par exemple 10go de donn es ne doit pas cr er une base de donn es d une dizaine de Giga octets Une impl mentation d un algorithme de remplissage efficace et la plus condens e possible est n cessaire Indexation Une particularit de l indexation utilis e est qu elle prendra pour chaque terme apparaissant dans les fichiers sa liste de pr c dents et de suivants Ceci sera utile pour une recherche a plusieurs termes Indexation invers L indexation des ressources r cup r es consiste a extraire les mots consid r s comme significatifs du corpus a explorer Les mots extraits sont enregistr s dans une base de donn es organis e comme un gigantesque dictionnaire inverse A titre de comparaison l index terminologique d un ouvrage permet de retrouver rapidement dans quel chapitre se situe un terme significatif donn Les termes non significatifs s appellent des mots vides Types de champs Les champs peuvent tre stock s et dans ce cas leurs textes sont stock s dans l index de la lettre d une mani re non invers e Les champs qui sont invers s sont appel s index s Un champ peut tre a la fois stock et index Use Case Diagramme vider ech Entrer recherche simple Aller dans param tres Entrer recherche avanc s avanc e et para
3. ve de master a l universit Paris Diderot parcours Syst me R seaux et Internet chef d quipe Enis SULJOVIC El ve de master l universit Paris Diderot parcours Syst me R seaux et Internet Victor OUDIN El ve de master l universit Paris Diderot parcours libre Marc Anthony RICHARD El ve de master l universit Paris Diderot parcours Syst me R seaux et Internet Ali BEN EL HADJ El ve de master l universit Paris Diderot parcours Syst me R seaux et Internet Pierre DARGHAM El ve de master l universit Paris Diderot parcours langage de programmation
4. que sa chaine sera tronqu e par l interface Une recherche par extension Une option suppl mentaire est offerte l utilisateur pour rendre la recherche plus pertinente Il s agit de recherche par extension Etant donn e la multitude d extension existante il est pr f rable de se restreindre certains types de fichier Voici comment il faut proc der pour param trer ce type de recherche amp SEVMAP ONE Fichier Edition Supprimer les fichiers temporaires Modifier les extensions Recherche Date de derniere modification P riode du D au a m Extension a rechercher Contenant En s lectionnant l une des ic nes pr sentes au centre de l interface une boite de dialogue s ouvrira et il sera possible de d finir les extensions chercher selon la cat gorie Une autre mani re d y parvenir est d aller dans l onglet Edition puis de s lectionner Modifier les extensions Voici la boite de dialogue correspondant Sy Extensions Y Y UY Extensions par defauts Video mov Musique mp3 Bureautique pdf Image jpeg Dans l onglet Edition il est galement possible de supprimer les fichiers temporaires Ces fichiers temporaires sont en fait des liens symboliques des r sultats de recherches pr c dentes En activant le bouton moniteur situ en bas gauche de la
5. SEVMAP Cahier des Charges Outil d indexation de fichier Par Stephane Wong Enis Suljovic Pierre Dargham Marc Richard Victor Oudin amp Ali Ben El Hadj 01 04 2013 Special 3 CICR SERRE Re NE E EEE ee EE E ere 3 B soinnon fonctionnels dad BESA UPA e ad id en er ie 4 Utilisabilite isa il asas 4 Simp Unid 5 Portable dae dent Nr 5 Bestias TONOS da 6 AC te S 13 NT SSC BS Ss la gil Rtn hag ta ie he abi sg sisi ns uc ae sh eked 20 A ARO 21 Sc nario MOM O cos teca e liada 21 P st conditions IA A NA PU a aes 21 CAS SA SR ache Geb pees cat asses Te E TRE TES ne MR A TT nn cn ne 22 Sc nario NOM A AS 22 POS tC ONIONS A AS 22 As Ps sariacasius o e se do es ches chan io 23 Sc nario AA Dil a Bela hod Gh Ole Medel Need E Met 23 POSTSCOM CMO Sse Gah ale a te ese Sense Se Sac a aca ea tad ce al es Seca 23 BOS Or Miras 24 D veloppement del appl Carty ia a IA aii 24 LU ias lada 24 Implantation A lt bs etc 24 A PRET REE ACER CEE PASE R Arn 24 A op sete tess asa cen ea ee cus ied ges a Ne Neate 25 ECOS A te in ne MR nette eas 25 Ethique a a SECRET OEE TT ROL EIPe Tear nr eT ernt anA 23 A A L1G ne riens teintes Mae tesa tg SU ES onan alam ares 25 BGS Pe Cte AVIS A TE 25 ANNERES ied NO 27 Introduction Dans le cadre de l unit de l enseignement G nie Logiciel et afin d avoir un aper u du m tier d ing nieur en informatique nous avons l occasion de r aliser un projet informatique qui reprend le cadre de ce fait en entreprise Ce
6. al ind pendant du syst me d exploitation Les syst mes propri taire MAC OSX ou Windows disposent de leur propre outils d indexation GNOME a galement d velopp le syst me d indexation Tracker qui est un logiciel libre D autres logiciels libres efficaces comme Recoll bas sur le moteur d indexation Xapian sont disponibles Les performances d un tel syst me peuvent tre mesur es selon diff rents crit res les formats de fichiers dont le contenu est examin la charge suppl mentaire g n r e par la t che de fond de pr indexation la complexit des requ tes encodant les crit res de recherche la portabilit sur diff rents syst me de fichiers etc Besoin du produit Utilisabilit La qualit de l ergonomie sera un facteur essentiel tant donn e l utilisation intensive qui sera faite de l application Un fichier d aide l utilisateur pr sentant l interface et les fonctionnalit s sera disponible Une fois le logiciel d marr l utilisateur devra pouvoir lancer une recherche en 2 clics au plus Vitesse d ex cution L outil de recherche find sur le syst me linux est assez lourd lorsqu il doit parcourir un disque entier contrario notre syst me d indexation et de recherche palliera cette lourdeur et permettra de retrouver quasi instantan ment les fichiers correspondant aux crit res recherch s Un premier r sultat de recherche doit tre fourni au maximum en 10 secondes et l en
7. ateur peut par le biais du client graphique lancer une recherche et l affiner gr ce plusieurs dates ainsi que par le type de fichier a rechercher Plusieurs types peuvent tre s lectionn s en m me temps BS SEVMAP DO Fichier Edition Recherche Date de derniere modification P riode du _ P riode du __ Mjau __ je au DS a are Extension a rechercher se Contenant Rechercher Une recherche simple Une recherche basique peut tre effectu e dans la barre de recherche comme suit r Ze Recherche Une recherche avanc e peut tre effectu e a l aide des param tres avanc s Le choix du param tre est effectu par un clic sur l ic ne Celui ci est alors surlign pour informer l utilisateur que cela a bien t pris en compte Une recherche l aide du calendrier interactif La s lection du temps pourra se faire par l utilisation du petit calendrier interactif de ce type apr s avoir cliqu sur l ic ne Su SEVMAP Fichier Edition k x lun mar mer jeu ven sam dim Extension a rechercher o To Contenant Il faut tout de m me pr ciser que chacun des champs du formulaire aura une longueur maximum respecter Celle ci sera de l ordre d une centaine de caract res et pr cis e au sein de l interface Si l utilisateur tente d entrer une chaine de caract res trop longue il pourra constater
8. cer c C audiofile_ decode C bigarrfstub c C cmmain c C confdata c cstdio C w_fork c audiofile_ decode C blocklist test c C cmmain c C ConfigFile cxx cstdio h Recherche H Pr cision des r sultats de recherche Les r sultats de recherche sont affich s au fur et mesure qu ils sont trouv s par le moteur de recherche Ainsi si une recherche prend un temps non n gligeable l utilisateur n aura pas attendre pour consulter les r sultats Les premiers d entre eux seront affich s au bout de quelques secondes Descriptions des modules Sch ma fonctionnel de l application Document Diagrammes de classes La classe Server est en attente d un client Lorsqu un client se connecte elle re oit une suite de String correspondant au document xml et appelle le parseur Xml pour r cup rer toutes les informations contenues ParserXml envoie les informations a la classe DemandeRequete qui contient donc les donn es que recherche Putilisateur Le design pattern Fabrique La classe DemandeRequete appelle de mani re diff rente les classes RequetePathname RequeteContenu RequeteFollownext selon la requ te demand e Puis ces classes lancent des requ tes la base de donn es Les donn es sont ensuite envoy es la classe Make XML qui les transmet a l interface graphique La classe icone system correspond l ic ne du bu
9. e copie de code existant ne sera utilis e Nous n aurons donc aucun souci de copyright ni de redevance quelconque Le logiciel ainsi que tous les outils utilis s pour sa r alisation seront disponibles Respect de la vie priv e L application n enverra aucune donn e sur des serveurs externes Le respect de la vie priv e sera donc garanti Evolution de l application L application pourra tre am lior e en int grant par exemple Une connexion distance permettant de conna tre le contenu de la machine distante ANNEXES Glossaire Environnement de d veloppement logiciel permettant d crire l application dans un langage d termin JAVA langage de programmation cr e par Sun Microsystems SQL langage informatique normalis servant effectuer des op rations sur des bases de donn es relationnelles SGBD Acronyme de Syst me de Gestion de Base de Donn es destin stocker et partager des informations dans une base de donn es Postgresql syst me de gestion de base de donn es relationnelle XML Acronyme d Extensible Markup Language est un langage informatique de balisage g n rique Celui ci permet de faciliter l change automatis de contenus complexes entre syst mes d informations h t rog nes DTD Acronyme de Document Type Definition est un document permettant de d crire un mod le de document XML Composition de l quipe Nom d quipe SEVMAP St phane WONG El
10. erCree FichierRenomme FichierModifie et FichierSupprime sont les classes repr sentant les fichiers envoy s par le d mon La classe state envoie des requ tes a la base de donn es Diagramme de s quence pr sentant le chemin suivi d une requ te formul e par l utilisateur TT Base de Donn e PSQL l Envoi XML index Indexation SQL I Envoi SQL par JDBC Utilisateur Formule recherche Envoi XML par TCP R ponse requ te R pond XML par TCP m affiche r sultat Y Y Y y y Moteur de recherche Ce module doit permettre de trier le r sultat fourni par la base d indexation Il s agit de conduire l utilisateur vers la s lection des fichiers souhait s via une liste des crit res hi rarchiques savoir nombre d occurrence date de derni re modification nom suite de mots contenu dans le titre ou dans un fichier intervalle de temps donn enfin la s lection de la p riode d int r t partir d un calendrier afin d acc der une p riode voulue plus rapidement partir de 2 dates La base d indexation Ce module permet de faire la transition entre le MR et le MI Il stocke les donn es que le MI lui envoie dans un SGBD Ce syst me permet de trier les donn es que le MI lui envoie ce qui lui permet de faire une recherche plus efficace des requ tes demand es par le MR Conception de la base de donn es
11. liste des boutons on peut activer d sactiver la s lection d extension rechercher comme ceci amp Fichier Edition Recherche Date de derniere modification P riode du au Extension a rechercher Contenant Script Shell Recherche hpp Des extensions de langages informatique seront propos es Une recherche vocale Une recherche vocale est galement disponible On s lectionne dans l onglet Fichier une nouvelle recherche Vocale Edition Nouvelle Recherche Ctri R Nouvelle Recherche Vocale Ctri L Fermer la fenetre Ctrl w Quitter Ctrl Q Date de derniere modification P riode du Ea au ca EN Extension a rechercher e Iv Contenant Voici a quoi ressemble la boite de dialogue a Recherche Vocale SEVMAP YU Y Enregistrement de la requete 5 secondes D marrer Redemarrer Temps d enregistrement restant R sultat de la reconnaissance vocale On d marre l enregistrement A la fin des 5 secondes le r sultat de la requ te s affiche dans le cadre r serv Cela permettra l utilisateur de corriger si l enregistrement n a pas r ussi Enfin quelques raccourcis sont laiss s la disposition de l utilisateur Ils sont indiqu s dans l onglet Recherche c t s des options offertes Un raccourci bureau est galement pr sent il est toujours actif EA ME 4 sa Nou
12. lui ci se d roule en groupe et implique une d marche pr alable avant la r alisation concr te du projet Nous allons donc pr senter le cahier des charges ci dessous les sp cifications du projet le codage proprement parler puis la livraison finale du projet avec les tests du logiciel devant le client Sp cification Objectif Sur vos disques durs se trouvent des centaines de giga octets de fichiers contenant des images du code des vid os courriers etc Pour trouver un fichier contenant une information bien pr cise par exemple les notes de cours vous devez soit tre tr s bien organis soit lancer un outils de recherche sur votre disque par exemple find sur le syst me linux Malheureusement ces outils sont assez lourd si vous avez balayer tout le disque Un syst me d indexation et de recherche de fichier pallie cette lourdeur et permet de retrouver quasi instantan ment les fichiers correspondant aux crit res recherch s Ces crit res aussi nomm m ta donn e peuvent tre le nom du fichier le contenu du fichier le format du fichier la date de sa derni re modification ou toute information significative pour le fichier en question Le r sultat de la recherche est affich tr s rapidement gr ce a une indexation des fichiers du disque effectu e au pr alable Plusieurs syst mes d indexation existent le plus connu Google Desktop qui est une adaptation du moteur de recherche un syst me de fichiers loc
13. m tres voulu Cliquer sur l option vocale rar Affiche r sultat recherche Examen des fichiers txt et HTML Parse fichiers Cr index du disque XML oteur de recherche server TCP XMUTCP Parse fichier XML Traduit recherche de recherche en requ te SQL Traduit r ponse dans fichier XML Parse fichier txt pour mot pr c dent et suivant Parse fichier XML d indexation Traduit indexation en requ te SQL Cas 1 Titre du cas d utilisation Afficher les r sultats d une requ te simple Acteurs qui participent au cas d utilisation L utilisateur Pr conditions a l ex cution du cas d utilisation L utilisateur formule une requ te dans la barre de recherche Le syst me est accessible D clencheur du cas d utilisation L utilisateur clique sur le bouton rechercher Sc nario nominal S Hi UU D re ues 7 8 L utilisateur entre une requ te dans la barre de recherche L utilisateur valide la saisie en cliquant sur le bouton rechercher Le MR envoie la requ te formul e en format xml la BI La BI r cup re les fichiers correspondant la requ te La BI envoie les donn es au MR en format xml Le MR trie range par pertinence nombre d occurrence de la requ te les donn es Le MR envoie les donn es l interface L interface affiche les r sultats Sc nario alternatifs a Si la requ te envoy e ne fournit aucun r sultat a l L interface inf
14. nforme l utilisateur que la recherche n a pu aboutir Post conditions Affiche les documents Besoin organisationnel D veloppement de l application Environnement de d veloppement emacs Eclipse Environnement d ex cution stations de l cole sous GNU Linux Mac OSX La partie base de donn es de l application sera d velopp e en PostgreSQL Les langages utilis s seront les langages Java et SQL Livraison Une version d bogu e et fonctionnelle devra tre disponible pour le 21 Mai 2013 Implantation Standard Besoin externe Interop rabilit Description du protocole Comme on peut le voir dans le diagramme de s quence Le d mon envoie un fichier Xml par TCP au moteur d indexation L indexation est ensuite envoy a la base de donn es Un fichier Xml est envoy depuis l interface au moteur de recherche Une requ te est envoy e la base de donn e La r ponse la requ te sera renvoy sous format XML en TCP l interface graphique Ces fichiers Xml servent a l interop rabilit Ethique Cette application sera disponible sous licence GPL v3 0 elle r pondra aux quatre libert s fondamentales du logiciel libre la libert d utiliser le logiciel la libert de copier le logiciel la libert d tudier le logiciel la libert de modifier le logiciel et de redistribuer les versions modifi es L galit Nous impl menterons le code dans son ensemble Aucun
15. on est lanc en arri re plan et envoie les informations de modification au moteur d indexation Simplicit Un utilisateur non averti devra pouvoir utiliser cette application sans devoir faire appel une commande sur son shell Une interface graphique intuitive sera donc disponible Une recherche basique doit pouvoir tre effectu e sans lecture du manuel d utilisation Portabilit Le logiciel devra fonctionner sur des syst mes de base UNIX ou GNU Linux un portage sur le syst me Windows n est pour le moment pas consid r Besoins fonctionnels L application doit permettre gt Un acc s quasi imm diat a la liste des fichiers correspondant aux requ tes donn es par le client gt Les requ tes peuvent tre le nom du fichier dont le contenu son format la date de sa derni re modification ou toute autre information significative gt La pr indexation des fichiers du disque sera effectu e en tache de fond gt Le syst me d indexation est compos de quatre modules 1 le moteur d indexation qui est ex cut en tache de fond 2 la base d indexation contenant les r sultats du moteur d indexation 3 le moteur de recherche qui assure l interface entre la base de donn es et l utilisateur 4 le daemon reste en arri re plan et transmet au moteur d indexation les modifications apport s sur les fichiers index s ou non Interface utilisateur Ceci est la page d accueil au d marrage du logiciel L utilis
16. orme l utilisateur qu aucun document n a t trouv b Si la requ te n est pas valide b 1 L interface informe l utilisateur que la recherche n a pu aboutir Post conditions Affiche les documents Cas 2 Titre du cas d utilisation Afficher les r sultats d une requ te avanc e Acteurs qui participent au cas d utilisation L utilisateur Pr conditions a l ex cution du cas d utilisation L utilisateur clique sur les param tres avanc s L utilisateur peut formuler une requ te dans la barre d finie Le syst me est accessible D clencheur du cas d utilisation 1 L utilisateur clique sur les param tres avanc s 2 L utilisateur clique sur le bouton rechercher Sc nario nominal 1 L utilisateur clique sur les param tres avanc s 1 1 L utilisateur peut formuler une requ te 2 L utilisateur valide la saisie en cliquant sur le bouton rechercher 3 Le MR envoie la requ te formul e en format xml la BI 4 La BI r cup re les fichiers correspondant la requ te 5 La BI envoie les donn es au MR en format xml 6 Le MR trie range par pertinence si pr cis par l utilisateur sinon par occurrence les donn es re ues 7 Le MR envoie les donn es l interface 8 L interface affiche les r sultats Sc nario alternatifs a Si la requ te envoy e ne fournit aucun r sultat a l L interface informe l utilisateur qu aucun document n a t trouv b Si la requ te n e
17. reau dans laquelle on peut appeler l interface de re cherche simple Maingui ou vocale vocalSearch La classe Maingui contient le code de l interface graphique de l application La classe ExtensionInfo d finit les diff rentes extensions propos es La classe propos est une animation pr sentant l quipe de programmeur La classe vocalSearch GUI appelle la classe Google Speech qui envoie sur google la requ te vocale et r cu p re la r ponse sous une chaine de caract re Des threads sont utilis es pour lancer simultan ment l enregistrement vocale et le timer Classe Timer qui limite le temps d une requ te 5sec makeXML et MakerLink ouvriront un explorateur de fichier et ins reront les r sultats en liens symboliques FichierOuvrableAbstract est une classe abstraite qui contient deux m thodes pour conna tre les fichiers ouvrables La classe DataXML qui est aussi une classe abstraite h rite de la classe FichierOuvrable La classe Index fait le parcours du home et modifie le fichier Daemon La connexion a la base de donn e passe par la classe SQLDiscuss2 La classe Listening coute sur le home et envoie toute modification effectu la classe ServeurBi La classe XMLTob v rifie et modifie le fichier Daemon Elle est appel par Listening La classe Parcours parcourt les fichiers et indexe chaque mot en lui associant sa liste de pr c dent et sa liste de suivant dans le fichier Les classes Fichi
18. semble des r sultats de la recherche doit tre donn en moins d une minute L application devra utiliser des algorithmes rapides et efficaces dont un algorithme de Stemming ainsi qu un algorithme d indexation invers e Le temps d ex cution de la premi re indexation du logiciel ne devra pas d passer dix minutes pour un espace de stockage raisonnable On visera une vitesse d indexation d un maximum de 10 minute pour 100go de donn es Consommation en espace L outil d indexation devra remplir une base de donn es de fa on intelligente et devra tre la plus condens e possible Par exemple 10Go de donn es ne devra pas cr er une base de donn es d une dizaine de Giga octets La taille de l index ne devra pas d passer 10 de la taille des fichiers index s Recherche L utilisateur aura la possibilit de restreindre la recherche certains types de fichiers un emplacement donn au titre et ou au contenu des fichiers La recherche sera faite par terme avec la possibilit d utiliser des expressions logiques comme AND et OR Une recherche vocale est galement disponible et s active l aide d un bouton Gestion des t ches Le syst me d indexation est compos de quatre parties 1 le moteur d indexation qui cr e et met jour l index des fichiers 2 la base de donn e contenant l index des fichiers 3 le moteur de recherche qui assure l interface entre la base de donn es et l utilisateur 4 Le daem
19. st pas valide b 1 L interface informe l utilisateur que la recherche n a pu aboutir Post conditions Affiche les documents Casa Titre du cas d utilisation Afficher les r sultats d une requ te vocale Acteurs qui participent au cas d utilisation L utilisateur Pr conditions l ex cution du cas d utilisation L utilisateur formule une requ te vocale Le syst me est accessible D clencheur du cas d utilisation L utilisateur clique sur le bouton d marrer et choisis le cas de recherche titre ou contenu Sc nario nominal NnBW NB D re ues 7 8 L utilisateur ouvre la recherche vocale dans l onglet Fichier L utilisateur appuie sur le bouton d marrer L utilisateur formule haute voix sa recherche de dur e maximum 5sec Le r sultat est affich dans la fen tre L utilisateur lance la recherche Le MR envoie la requ te formul e en format xml a la BI La BI r cup re les fichiers correspondant la requ te La BI envoie les donn es au MR en format xml Le MR trie range par pertinence nombre d occurrence de la requ te les donn es Le MR envoie les donn es l interface L interface affiche les r sultats Sc nario alternatifs a Si la requ te envoy e ne fournit aucun r sultat a l L interface informe l utilisateur qu aucun document n a t trouv b Si la requ te n est pas valide b 1 L interface i
20. velle recherche Nouvelle recherche Vocale Quitter Affichage du r sultat Le r sultat sera affich dans une fen tre semblable a l explorateur de fen tre utilis par d faut sur la distribution GNU Linux h te Exemple recherche de tous les fichiers contenant inclue R sultats de la requ te exol c w_fork c backendman ager_remo C blocklist c C CommandLin e o Ch ConfigFile cxx 0 l ment exol c w_fork c C ArchiveLooku p cx C backendman ager_remo C CdioParanoial nputPlugin C CommandLin e o C configure dialog c C C exol c C about dialog c Ch ArchiveLooku p ox C backtrace c C CdioParanoial nputPlugin C compress c C connecthost port c inversion c h C async_io c C backtrace c C checkstack c C compress c C ConvertUTF c inversion c h C async_io c C backtrace c C checkstack c C C coord list c C inversion c C C async_io c C backtrace c C checkstack c C C coord list c occurence c C C audio_ format c C backtrace c C ClientWrite ox C gt cours 02 pdf C occurence c C C audio_ format c C bigarrfstub c C ClientWrite ox C confdata c gt cours 02 pdf C C occurence c C announ
Download Pdf Manuals
Related Search