Home

Rapport technique Évaluation de l`utilisabilité d`un site Web

1. vf ei a ppl 9 rss Heng 1 Hungary fume 1d rbrerere ti Pr Pr PS taal in Tha Lh on Wire is Uist naam Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 143 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 15 Pierre Dumouchel Fiort Wine pretidant par int rin R E j Chercheur principal T l phone S14 Hi 1387 T k copiur Sia 540 1044 Courmel fa automatique de parois cu achercha automatique du loota s en par ordinate Bottin ds la rech rche Prope Pamunas Pikiao Aci be Professeur r gir D partement du g nie lectrique Ecole de technologie sup rieure 1100 Hotre Cume Guest Montr al Qu bec Canada HIC LES Professeur invite INR S TeR communications 16 Place du Commerce lke des Soeurs Quebec Canada HEE Membre du comt de R seau francophone de Mrg n ne de langue 153 91 803 Francs Publications Avec comit de lecture Actes de conf rences ou ateliers 5 J rousse Ta Cumouchel sExpenmente m
2. En sus de tarifs privileges tous es membres du CPIM be n ficent d un cr dit annuel ce 10 agp Le cr dit est applicable semis d accompagnement et d valuation technologique offerts parle personne de F 0 et du Centre de appliqu pour une prestaban minimum de S CO La moiti du co t de Ma dt pawie ect cr dit aux Series de vale offerts par ke CRIM cours offerts par CRIM Formatson tel que pr cis dans l horaire des s minaires et des cours Core ko cs duna Warsin on cours dawd lo cr dit anual est ajust on fonction de La date ce dadteson Four en conne re devantege sur les achrit s les technologies et les sensces offers explorer she ORALE Web du CRIM HT membres Tea bai deamii JON IC HUM Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 150 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 22 Information sur l adh sioin Sur Toute entreprise universe ou ongareation interess s berger des services du CRIM peut dererir membre moyennant une cotisation annuels Welez noter que les entrepnises universib s o organisations situ es l ext rieur du Canada ne pourront p
3. Eval Objet Probl me Solution Bastien et Sca d val p pin 1 B 8 Inscription For La fen tre de commentaires est trop FAUX pro mulaire de vali petite Pas de place pour entrer des bl me la fen dation commentaires un peu longs tre est petite mais on peut entrer autant de texte qu on veut 1 B 8 Inscription For Je ne sais pas comment venir ici Incitation mulaire de vali vigation pas claire J ai d taper la dation longue adresse 1 B 8 Inscription For Comment entrer le code du cours Et Probl me d mulaire de vali puis le titre Pas de champs de saisie un mauvais dation ou de s lection acc s la page i e en tapant l URL 1 8 Inscription For Pourquoi un des est il bleu alors Signifiance des mulaire de vali que les autres sont rouges codes dation 1 8 Inscription For signifie le cadenas je pr sume Signifiance des mulaire de vali transaction s curitaire mais ce codes dation n est pas clair 3 ABC 9 Politiques 1 trop long Virer tout cela et parler des Densit infor d inscription 2 Pourquoi le bla bla du d but Je politiques d inscription mationnelle cherche l inscription et ce qui est pertinent Les 4 premiers paragra phes sont inutiles ici 3 Mauvaise utilisation de l espace en en t te De plus le sigle et la des cription de CRIM Formation n ont pas d a
4. 6 102 1 14 Probl mes concernant la page propos du 5 103 ANNEXE DOCUMENTS ENVOY S AUX EXPERTS POUR L EVALUATION HEURISTIQUE 104 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique ANNEXE E R SULTATS DES VALUATIONS HEURISTIQUES PAR LES 3 ANNEXE F SAISIES D CRAN DES PAGES DU SITE WEB 129 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 1 10 1 11 1 12 Paged ACCUM LOU Moteur de recherch ss sssssssssssssssssesssscssssesssssossssssssssossssesssvsssssesssossosessssse ssessssssssssss L L NOUS JondiE siseisesrsrssisesrsrsestesssssssesie ienser esi on i r si LOS FormAtiON Cours offerts nn amener nt tee ete nn LOW Cr ation de pages WED soxcsacdasceovasdenseseapevassonsessencssemeve LOD Qui sommes nous 136 Inscription Formulaire de validation csssccsssscsssssccsssssssssssssscssesscssessseses 137 Politiques d INSCFDHON LOO Formulaire d InSCription sssccccsceoscevnssesieescevnecsesenysonsensscsssenecessonnasvecenssnnosssnsssenessione 139 Recherche et d veloppement cscsssc
5. d ses membres st cents comme des partenaires importants et agit en consequence d assure l int grit physique et osychologique de ses employes collaborsteurs favors gegin 8 caraca pariani e i ercourege 1 cr ativit j favorise trowel d quipe ke DRM dure politique d excellence et dote de pratiques d arm bor tion po approche axe gure r sultats fournit son personnel dans La mesure de ses moyers les cutis n cessaires Paccomplssement de ses E ches uns galion optimal de l ensemble de ten regicurces L engsgensent i Obrien vi OO ane Aer A Fabre le mb lsnnnbds da neler Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 155 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 27 Travailler au CRIM Trawadler au Le CRIM l preuve ywanie que notre soci t est entr s de plain ped dans le monde du sawolr Pest devenu comme tant d autres organismes bibubsire de fimaginston et des commaissances de son personne Les grands enjeux oonommques n y a pas s longtemps se tradus ent en termes d valeurs moblieres esoniment maintenant en terme de capital ham
6. DUC en Bea des Gane N e de a fete en Perici mb whe ef on accents ie bored S rminenienr architect de oneness en meaner ba tani Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 142 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 14 Publications du CRM dan pop dp Liens Ed i Leet du Sir tes Tavidi dt la HOTEro Free hunker ds iria LU punks 4 M Cech Taig cf Correction Dybe The erariga of te LL FP Flann or eh Tele Of Spiers COT Se HL Chagitreu de Leurs Fi neha l Baie Saree Feros Engrg aaar ritad Pep Entente at del Dre iiig Bees drei ity p aiai eia WL Lowe Behrami tih Softeurs Cuire miei in The dec ie Erneta of Blech end ieira Empang by John G are Mado Liet of Aoa FRE p ETS ee 1 11 Arties Seu Wang E Ci Gaon of Hilda Hirem PO Likaj Model Scene 7 11 LUS Crus 198001 Teme Leg L san
7. Avec une telle r partition des probl mes un d veloppeur de site Web peut facilement d cider o concentrer ses efforts lors de l am lioration du site Web Les probl mes de prio Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 56 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique rit 1 devront absolument tre r gl s Pour assurer une navigation facile et conserver l int r t des utilisateurs pour le site on devrait envisager galement de r gler une bonne partie des probl mes de priorit 2 Rappelons que les valuations heuristiques ont identifi un total de 72 probl mes Cepen dant seul un valuateur sur trois a fourni une priorit de r solution des probl mes un premier niveau d analyse il est donc impossible d tablir une comparaison exacte des deux approches au niveau des priorit s Ainsi sur les 72 probl mes identifi s par les valuations heuristiques 33 n avaient re u aucune assignation de priorit La t che d un d veloppeur est alors rendue plus difficile lorsque vient le temps de d cider quels pro bl mes doivent tre r gl s de fa on prioritaire De plus des solutions aux probl mes identifi s n ont t sugg r es que pour 15 probl mes sur 72 Il est souvent possible d extraire des solutions partir de la fa on dont le probl
8. Eval Objet Probl me Solution Bastien et Sca d val p pin 1 1 Page d accueil Il y a5 zones de navigation boutons e Consolider certaines Groupement Navigation sur colonne gauche onglets Page cat gories comme A Distinction cette page d accueil English barre horizontal lagenda Ca bouge Plan du site Visite virtuelle Nous au CRIM et A no joindre boite a droite a noter et ter De plus cela r enfin des hyperliens dans la zone prin duira le nombre de zo cipale De plus l information est r nes de navigation partie de fa on quelques fois surpre e Consolider la zone de nante par exemple pas clair pour navigation Plan du quoi des l ments vont dans A site sur la liste de l agenda noter et a bouge boutons de gauche au CRIM Cons quence de ce qui pr c de Dif ficult de s y retrouver sur le site partir de la page d accueil 1 A 2 Moteur de re Il faudrait si possible indiquer l ori Groupement cherche gine des pages trouv es en pr cisant Distinction un r pertoire th matique comme un catalogue 1 B 2 Moteur de re On devrait tre inform des noms des Suggestion cherche hauts dirigeants pdg vp etc 1 2 Moteur de re La recherche de base fonctionne e Offrir option Prise en compte cherche bien Toutefois certaines astuces Recherche avanc e de l exp rience usuelles par exemple
9. mgar denen des cients forte ra meer eed beeen peripe de chers eer arcs prec iip Wie Lan d s hia erie de et ches eit partes formatage Pre piir Montreal ra rz veme rer ui CE Forman CL IEL Tour si erene 90 Gharbrocte ani TEULA tes Hia 189 HEH Tikopia LH 840 1292 Informatique Pro 112 chen 5 1 Bary eh dure IS LES Peur breecripuihen id ELLES HiB Chasse seulement 5 Bien Face Beer LIBI bhad Ecmt Livesque En 1 Bernier Pear inacripdan Tps FH B T 14 MRC LES Cr dit d en La maan at boi eh Les cr dits d impdt pour les services d acdac ation fehnalogique el ba activit s Ge recherche scieniifiqu at che delineate esprit More pourait ce cr di die provincial equevatead 40 es frais d inscription CPLM Ps tan Gor sal et Epis de ee de Sol mL Remi curmabis be cu Gossererman du e at de PI fervor epee oe ls farmaton de Ge pha CRIM sat reco
10. aur la vision anificiete et le trarterment Cord rence strat gique Camelus gur le vision aniciele st te Daneman Await leu ke Rudi 18 novanbre LO La ulein amicus 1 bytes voile stati Confironces ciraitgques Rapport de vee CRIM vole strat gique Rapports de vedo af dieu Rapport da veda du CAM Vislon at diniga Las vlan ebricgle ef le traitement d image sont au PUT ce Fragen par ordinateur ie 27230 bytas CRIM voile r Confirecces Rapports de veille CRIM veille etretegqque Conferencesetrabigigues Carrefour La vision ot le traitement rage Ragaed sur industne do la Regard cur tri da ja vision hoe Hered Aidat directeur dt 16779 bytes CRIM velije sirat giquen 2 Conincs strat giques Rapports de voile vole strat gique Confdrances strab giques Carefour cur la vision article et be tratement mage Melon srtfcisle et traitement dimsge cutie robes et marches ortificiola at traitamend mag cutis mou gt marchds Shas 15311 bytes 1 strat giques Reoports de veles CAIM veille strot gque Cord rences strat giques raereches un sache e dinr ei congri Wiehe cur lie strat gie at ka de La tavsi baran topai dela convergence t b sann
11. 3 2 1 5 Fr quence d utilisation du courriel et du Web Le courriel est utilis par tous les utilisateurs de fa on r guli re si ce n est pas plusieurs fois par jour c est plusieurs fois par semaine Le Web est lui aussi utilis fr quemment mais l g rement moins que le courriel Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 24 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 5 Fr quence d utilisation du courriel et du Web Utilisation courriel Utilisation Web Fr quence Nombre Pourcentage Nombre Pourcentage plusieurs fois par jour 11 79 10 71 semaine 3 21 2 14 mois 0 0 2 14 jamais 0 0 0 0 Total 14 100 14 100 Pour la grande majorit des utilisateurs 93 le Web sert surtout la recherche d information pr cise Tableau 6 Type d utilisation faite du Web Utilisation Nombre Pourcentage plaisir seulement 0 0 surtout plaisir 1 7 information seulement 6 43 surtout information 7 50 Total 14 100 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 25 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 2 1 6 Visite du site Web
12. Jeudi 16 mars Eh 20 Organisation oon joints CRIM CERIO Ou be ci les apart aeia spende et techniques reids sue redis dinp ts Enin e libre Lin Pome into le 22 d cembre STOCKPOINTER INC at mel 21 he DEEE de CRIM Foto Louez misne Lancersent de CRIM Centre de bests de logiciel Pour aidar ks producteurs je a el st acheter de guise et les a am liorer Le quite de leurs DEMU prit logoak mininisar kurs reagues amp ophinisor lure ewesticsoments au CRIM 1 et puer de noel meres et etranger Oe al Hogan d s isi irisi PAED LPi Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 130 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 2 Moteur de recherche Eqoname Gane ingore at ing cens des conmgesences Reconnaissance ls parole Regu de Systimes Vision par ondinat mur Battin de la recherche Projets Eatnmoins Publicabons Communes ecienbhque L Heure du CRIM CESM wislon par crcnsteur 212A bytes Confira de RIH wala strates
13. 24 3 2 1 6 Visite du site Web du CRIM pr alable aux tests d utilisabilit ee 26 3 2 1 7 Langue pr f r e pour la 26 3 22 Conditions d ais cccisidesiscessensscasdeasoossssesassssessvessgorsonsodansesseaosesseasoossossecesseoesuesesssendsoseesvesseassen 27 Liliane AE E A 27 32 2 27 Matere sascccccescecctivigtzcevesacccewczaccceesaccceweaaccctuetacccaunsbicceuatacaceuaacaccewetaczeawanaeaeauanai 27 3 2 3 D roulement des tests s lt s ccssccececssecscoscestucesssececssacsercecsosedessslavcbeasecescdsus cosesedostecensseasectsacenctesesed 27 3 2 8 1 DErOUlEMON sorain a NEAR a nn E a 27 3 2 3 2 Donn es enregistr es 28 3 2 4 Sc narios t LACRES is ccccccccsacescsccecssecvetsccsescesesssech soaeecesegedsacsssucushesgesestaceatvscestcovescsedessostvonssscseceson 28 3 2 4 1 Sc nario CRIM Formation Choix de cours et inscription en 28 3 2 4 2 Sc nario Recherche La recherche au CRIM 28 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 2 4 3 Sc nario Industriel Une probl matique industrielle n cessitant les services CUCM a d 28 3 2 4 4 Sc nario Emploi L
14. au Qu bec Le CRIM est un organisme but mon lucratif cr en 1965 pour renforcer les liens entre p d ratinn de fies universit s et les entreprises petites moyenres ou grandes du secteur des fnfommatique bechnohoges de Mr ormabon participe au d veloppement t Qu bec d Le dans ka secteurs Gy pointe des technologies de Mnformation at Fiche du en des applications de l informatique achwt e racherche civeloppement transfert pdf Perpa de Mabgaton dalas malaga det Acrobat Asscer de valle ot formanon d ure mand peure hautement gubie er bre fich Regroupement de forces vires le CRIM compie sur un r seau bien d velopp de 1999 membres de partenaires et de cients qu contribuent schvement au renouvellement et il SU partsge de son patrimoine technologique Ges membres sont au nombre d une centuine petites moyennes ef grandes entreprises universit s ef organiames de D tenteur dela certification 150 8061 le obtenu en 1935 de el de d cern s parla F d ranon de Promat du Quebec ire ile Hea re Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 154 Rapport technique Evaluation de l utilisabilit d un site Web
15. pabet arpay DEEE Bee Dabei Pi Furnes L Paire of Tarte for Moreheeroenmet eih Papa bo Baducter otre Conid and Conger Goera 31 150 de QoS Biteri iman amg Tea D alenceurt L Geger L den Agarth fer cf the hurtar of Medes For pif Erimmstion of Bl Hriopera In Prosek of ha 13th Con hrana on Wikii ala ieii MEETA Tisa i Carel rr LS hebi E Lair Don w Laas 2 here ce patag de change Gang br Aniba chet dare Preceding cf tei Calg bee ou ee Wee TEn cela Epen Weiter DE 281 28 Monita qukar Carada October 1096 Pee Mii FH Leng Lot aang M Coprs Beer SO n 8 of Es oran on oni the 01 7 Babe Geman dure iin Bar Limhi 9 7 2 Eu Actor Er Mes Ta Le in EEE Cart Contes On BR del SW PTT AOL Lek ER bned LC Aimi 1 Lou Organe Factor m ibj Denier an linia Contes Gury Un the Let IEEE rriernstionel Corema on Sofies Erse POSE I SUPE Loeb LEG Mer LEZ LS HH Seah pao cpap abbas nette ty etat iyo Cankrarce Piaget a Ereerproge Merril Qabe Agu O Geptamber 2 LE
16. Page Probl me propos du CRIM Texte pas assez a r Cr ation de pages Web Les dates ne devraient pas tre crites en majus cules difficile lire Cours offerts Manque une ligne blanche avant Choisir une cat gorie de cours 4 2 2 2 Charge de travail La d finition de la charge de travail est la suivante Le crit re Charge de travail concerne l ensemble des l ments de l interface qui ont un r le dans la r duction de la charge perceptive ou mn sique des utilisateurs et dans l augmentation de l efficacit du dialogue Quelques exemples de commentaires faits par rapport la charge de travail sont les suivants Tableau 26 Concision exemples de probl mes Page Probl me Cr ation de pages Web Les codes de cours n int ressent personne et ne jouent aucun r le ici Quel int r t Tableau 27 Actions minimales exemples de probl mes Page Probl me Cours offerts Je dois scroller horizontalement pour lire le texte ou les boutons de commandes Formation Le logo de CRIM Formation prend trop de place et oblige scroller Tableau 28 Densit informationnelle exemples de probl mes Page Probl me Qui sommes nous Beaucoup de bla bla qui ne m int resse pas Je veux m inscrire Philosophie de gestion Le contenu pourrait tre raccourci de
17. ANNEXE FORMULAIRES UTILIS S LORS DES TESTS D UTILISABILITE 78 ANNEXE R SULTATS ET SOLUTIONS DES TESTS D UTILISABILITE 84 1 DESCRIPTION DETAILLEE DES PROBL MES D UTILISABILITE DU SITE DVB DRIVE RO En EE 85 1 1 Probl mes COM Er AUK mnt 86 1 2 Probl mes concernant la page d accueil et les rUDIiQUES sccssccssscsesccssscssees 88 1 3 Probl mes concernant page Pagenda Coin m dia ccsscsssscsssssesscsssceees 90 14 Probl mes concernant la page Projets cssccssscssssssscsesscssscssccsssscseaccssscssssssess 90 1 5 Probl mes concernant la page Publications ssccssccssscsssccssscsssssssscsnsccssscssees 91 1 6 Probl mes concernant les sous rubriques de R amp D essesseessescosscesseccoesocssecsoesocsseeo 92 1 7 Probl mes concernant page R amp D eessescessecsoesocsscesoesocsscescesoosscescesooesocsseesoesocsseee 93 1 8 Probl mes concernant la rubrique Un r seau de contacts et ses sous rubriques 93 1 9 Probl mes concernant la page Cours offerts cccsccssscsssscssccsssssssscsesscssscsssssseee 94 1 10 Probl mes concernant les pages de description de Cours 97 1 11 Probl mes concernant la page de validation de l inscription 99 1 12 Probl mes concernant la page Politiques d inscription 101 1 13 Probl mes concernant la page Travailler au
18. be DPHE EPAL iari ea GIS SIDON ROS Pia Gc ae H a Que Qu CPM sur bee de paiement iocirondeue ACTE Le Cored du Est reine Len r pertoire dae TS de plea decomp my Internat Dimpiation cu aa prot pa eu preion de pects et opie ce parent ineme Cette nit a CSS perry leon dun ce SITES Porte Eur E SET ajr March TEs MEN profit 2 pour d in igreton Viral dus Gremis Lac a ui be jour ais proponon du Pramit du bon ce le COTATA cee Sosa chu Lace at du yius F corerr e rasrereque at bec relations entre ertrepeieec de cen Dany une primire phe aches en iag CRIM ae Pech une primana d un plan afer pir e DEL CON gee Ges parinaan 1 cong T ae TUE ky Sere DOS di MER La SCORE Pht Cor of Feb run portal ISLET porn a Maree ORE oe otras MLAB Apena inbelligents poor l pasion do reese Ce prope ne repens dis CAIA dane be consortium europian PLAANI Mobs niga Agani for information Le de eer of dade ben tiea appre 8 La nite ges prepa Let Pe Ge een Peo CUITE lee ar y nl ar qe en al
19. pour la paniers pour de paged We eit HTML HyperText Markup Language Ce cours da ranean otra son progressive les commande HTML afin Ge perrestire ls de pages Met fort Li bre ees Andde C possez jes boites des cubis commepa et ober des popes sons boque Lint denvent Sire aches dans Puhiic otre fureteur Toube personne maynt aucune connaissance da HTAL at d sirant rende de finformation partir d un naviqabeur Web audi ben es Internet Qu suf un Best r cesser d aor sue le cours du mamy ou de pede une Grane duh D crre fenanonnement de r paration de documents G rucharer un document HTML kisar principales liquetios HTML d s magi at d s aigus Len mateni Seront manimi de Palora at Passe pratique Sujets pr sent s Structure Gacunent HTML B nis de structure Liens hypertestes Images Danes d pr sentation Taban Chagas participant dispose de som propre poste de tavai Windows Horaire Hontr al 93000 Fh 1 Momie de pum 1y Master be mers mes panier Oh Mobo do jors iy des pass s Bonin D5 AVR 2000 Sh
20. Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 137 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 9 Politiques d inscription E Lette ate b jokuewriqes da Mona y CRIM FORMATION Qu CIM Forrathe CRIM Formation une division du Centre de recherche ce Montn nl a pOur mission d r par besoin de fomnstion an indormabque des entreprises Depuis sa cr ation en 1965 1 a plus 40 000 4 ses de formation CRIH Formation est ef de fle pour fommabon en informatique de pointe au Qu bec ec se sp cialise dans formation cur Internet es les syst mes Windows MT eb UNIX bes technologies onent es objet Delphi es bases de donn es E g nis logida la s curit et la Gestion CRIM Formation est fournisseur de sohinons Centre de formation aubora inprite Banand of partenaires ccovenercial EM RIM Formation offre pr s d une centaine dactvit s 4 son cendrier de formation D organise agement des acthites de formation sur mesure pour r pondre sum besoins sptdhques de dwers entr pnses sk association vaier communiquer avec rious pour ple d infermaton Sujet CRIM Formation diffuse ses acts dams ses locaux du centre ville de Montreal et chez son pa
21. Nombre de jours DE epee Gusher O3 M4aAl 2000 Gh amp iihi Membre de pour i 1 E mere emery dt men panier di 2M 2000 Oh ishal Nombre de jours 8 0 PE sowie i mous pees Combe 14 2 2000 9h 10 Nombre de jours 0 Seiri es ome amer cot Membre 2506 Hon Mamire 296 paip Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 135 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 7 Qui sommes nous ee eee es Any CRIM FORMATION CRIM Pore bon une diemen du Ceria Sa recherche informatique de Moniniel a pour manon da riporti EE Beenie de formaban em informatiqus cee entreprises Cspase miasbon en Lier Es accel pha ce IE PETITE 4 de formation Fons cha Le on arrete de pode cies Le Borman ner bec ees Vadaa HT Dips bi bas de Tomia 18 ic ec Le geo Pcs Soe de miira are kpn boieri cf peri comer stir pres coder eiris h clear de
22. ress potentiellement plusieurs syst mes J ai d plucher les cat gories par exemple est ce que Java est dans INTERNET ou D VELOPPEMENT DE LOGICIEL 1 5 Cours offerts L hyperlien Liste de tous les cours Groupement n est pas suffisamment en vidence Distinction 1 A 6 Cr ation de pages Concision les codes de cours n int Concision Web ressent personne et ne jouent aucun role ici quel int r t 1 A 6 Cr ation de pages Les hyperliens sur CRIM ne sont pas Incitation Web pr visibles 1 A 6 Cr ation de pages Les dates ne devraient pas tre crites Lisibilit Web en majuscules difficile a lire 1 B 6 Cr ation de pages Trop long paragraphe au d but Densit infor Web mationnelle 1 B 6 Cr ation de pages Que veut dire panier de cours Incitation Web Que fait on avec cela 1 B 6 Cr ation de pages quoi sert le champ de saisie de don Incitation Web n es dans la barre du haut Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 119 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 B 6 Cr ation de pages Comment s inscrit on La commande Incitation Web Politiques d inscription n est pa
23. valuation sont sugg r s e les probl mes trouv s d pendent du choix des crit res sugg r s Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 64 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 5 4 Conclusion de la comparaison des deux approches En conclusion on constate que seulement 20 21 103 de l ensemble des probl mes identifi s sur le site Web du CRIM ont t identifi s la fois par les tests d utilisabilit et les valuations heuristiques 60 tests d utilisabilit 72 valuations heuristiques 29 probl mes communs 103 Cependant la majorit 90 26 29 des probl mes com muns aux deux approches sont de haute priorit priorit s 1 et 2 telles qu tablies par les tests d utilisabilit Chaque approche permet de d couvrir des probl mes de type diff rent Les tests d utilisabilit trouvent des probl mes reli s une t che pr cise celle ta blie par les sc narios construits tandis que les valuations heuristiques trouvent des pro bl mes plus g n raux Les tests d utilisabilit prennent plus de temps que les valuations heuristiques mais les tests eux m mes ne requi rent pas l aide d un expert L laboration des sc narios et le choix des utilisateurs peuvent en contrepartie n cessiter la supervi sio
24. valuateurs ceux ci auraient probablement d se limiter aux crit res de Bastien et Scapin En effet ils n auraient alors pas eu d id e pr cise de la t che et il aurait t plus difficile pour eux de se mettre a la place d un utilisateur Ce qui n tait cependant pas le cas ici D ailleurs un des valuateurs dit justement qu avant qu on lui demande de faire cette valuation il avait consult le site Web du CRIM pour trouver un cours de CRIM Formation Il relate les probl mes qu il avait eus alors et qui n taient toujours pas r gl s De plus tous les valuateurs ont une bonne connaissance du CRIM et des activit s du CRIM et ont donc pu comparer l information disponible sur le site l information qu ils savent disponible au CRIM Ceci a sans contredit eu un effet sur les r sultats de l valuation Cet effet ne peut tre que positif pour ce qui est de trouver des am liora Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 45 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique tions au site mais cela fait en sorte que ce ne sont pas que les crit res de Bastien et Sca pin qui ont t utilis s On constate aussi qu il y a une grande diff rence entre les probl mes relev s par chacun des utilisateurs Sur un total de 72 probl mes soulev s seulement 14 ont t
25. Description des cours Validation l inscription de L inscription aux cours est difficile Manque de feedback Ajouter messages d information Vous tes maintenant inscrits vous recevrez bient t une confirmation par le CRIM ou Vous vous appr tez quitter le module d inscription sans avoir compl t votre inscription Emp cher certaines actions si conditions pas remplies Tableau 18 Autres probl mes de nature g n rale Page Probl me Recommandation Accueil Utilisateurs ne r alisent pas que des sous rubriques viennent de s ouvrir apr s avoir cliqu sur une rubrique Mettre les Sous rubriques dans la partie centrale de la page plu t t que dans les menus OU Avoir un effet visuel ou sonore pour indiquer que des sous rubriques vien nent d apparaitre sous la rubrique principale Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 42 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Page Probl me Recommandation 2 Accueil Rubriques mal comprises Am liorer organisation e Gestion du risque et processus des rubriques et termi e Veille strat gique 0010816 Viste virtuelle ou e saad Utiliser bulles d aide pour e Test du logiciel expliquer rubriques diffi e Un r seau de contacts
26. Les titres des colonnes ont les significations suivantes d val Nombre d valuateurs qui ont identifi s le probl me val valuateur qui a identifi le probl me p Num ro de la page o le probl me a t identifi Le num ro de page correspond celui qui a t sp cifi dans le document envoy aux valuateurs Objet Page ou objet sur la page qui a un probl me Priorit de r solution du probl me tel qu identifi par l valuateur Eval Objet Probl me Solution Bastien et Sca d val 1 1 Page d accueil Page trop longue qui oblige un d file Actions mini ment males 3 ABC 1 Page d accueil Il est actif et on peut le cliquer ce Montrer visuellement qu on 5 Incitation Onglet page qui recharge la m me page est cet URL sur la page d accueil d accueil 2 AC 1 Page d accueil texte trop petit difficile a lire Pour le sigle soit l agrandir Lisibilit en particulier Sigle ISO 9001 soit l enlever 1 B 1 Page d accueil Ou trouver la liste du personnel du Donner acc s la liste et les 3 Suggestion CRIM adresses lectroniques Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 116 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique
27. sur continuer que l toile existe donner l avantage que l utilisateur pour forcer l entr e d information a remplir ces cases Dans le formulaire de validation Ajouter une option suppl mentaire 2 13 2 certains utilisateurs veulent tre dans le formulaire de validation capables de facturer leur cours pour permettre l utilisateur leur employeur mais n ont pas d inscrire toute l information n cette option cessaire pour que le cours soit fac tur son employeur L hyperlien Tarifs pr f rentiels Au lieu d indiquer le 3 13 2 n est pas clair en relation avec le droit aux tarifs pr f rentiels haut du formulaire membre vs indiquer Je ne suis pas mem non membre Certains utilisateurs bre mais j ai quand m me le se demandent s il s agit de la m me droit des tarifs pr f rentiels chose ou de concepts diff rents OU e Changer Tarifs pr f rentiels pour Organismes gouverne mentaux Centre de recherche informatique de Montr al janvier 2001 Page 99 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Probl me Solution Nbr d U P 5 Certains utilisateurs ne savent pas Indiquer l utilisateur qu il y 2 13 3 quoi faire s ils n ont pas de num ro aura des d lais s il n indique de poste ou qu ils ne veulent pas pas certaines inf
28. vant pr sente les r sultats en fonction de cette condition de pr lecture syst matique Il semble que le fait d avoir lu toutes les rubriques avant de commencer les sc narios ait eu un effet favorable pour les sc narios suivants CRIM Formation Recherche In dustriel A et Emploi A Il est cependant difficile de conclure pourquoi la r ussite du sc nario CRIM Formation B ait t influenc e par le fait de lire les rubriques avant puis que ce sc nario n a rien a voir avec les rubriques de la page d accueil Toutes les actions des utilisateurs se passent apr s avoir s lectionn un cours dans la rubrique Formation Les sc narios qui ont le plus b n fici de la pr lecture sont les sc narios Industriel A amp avec un avantage de 22 et 29 respectivement Il est concevable que le fait de consulter toutes les rubriques initialement ait un effet positif dans la recherche d information Cependant cela ne repr sente pas n cessairement le comportement r el d un utilisateur qui parcoura rapidement quelques rubriques jusqu ce qu il trouve une rubrique d int r t Il ne prendra pas non plus le temps de se demander ce que la rubrique veut dire Il la cliquera pour ensuite le d couvrir Dans un sc nario seulement la pr lecture a eu un effet inverse le sc nario Recherche B Ce r sultat peut tre d au hasard tant donn le petit nombre de participants Centre de recherche informatique de Montr
29. Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Crit res de Bastien et Scapin 1 Guidage Incitation Groupement distinction Feed back imm diat Lisibilit 2 Charge de travail Bri vet Concision Actions minimales Densit informationnelle 3 Homog n it coh rence 4 Contr le explicite Actions explicites Contr le utilisateur 5 Adaptabilit Flexibilit Prise en compte exp rience 6 Gestion des erreurs Protection contre les erreurs Qualit des messages d erreur Correction des erreurs 7 Signifiance des codes 8 Compatibilit Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 111 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 Guidage L ensemble des moyens mis en uvre pour conseiller orienter informer et conduire l utilisateur lors de ses interactions avec l ordinateur y compris dans ses aspects lexicaux e Incitation Ce crit re recouvre les moyens mis en uvre pour amener les utilisateurs effecteur des actions sp cifi ques tous les m canismes faisant conna tre aux utilisateurs les alternatives les informations permettant aux utilisateurs de savoir o ils en sont et l tat dans le quel ils se retrouvent e Groupement Distinction entre items Groupement distinction par loca
30. Of the Conference Sidon Interiors 1959 Trom Prewrem 16061 accept Saar Wain Gagnon La Bone E airborne Fusion of iiei andl Sensor for nome Surne Proc cine of the Contarnce GAWE Trom Pires 15950 Anam E Wang E Zea D 1 Gagnon L for of Lhe Humber of edad for edf eta of sui Modal Hrid amis Cris of 9128 G up n b TA Het of prci hose pome human Proceedings of the Conference Your Interface Lead 10969 accepted Sang W var D HoBnnhis 2 L Gr Lo Savery En BEN Image Aigner Ling Edge Focusing and Hasson Cane Proceedings of ih Emaar Pugin dite and SPIE Celene 16909 accapird Gapin L H abn P bebita en derbai bje Printing inaya a baron Canadae Conference on of Photoret Orta Bay 27 30 1996 D Cheng Y Gagnon L Beag L rataosan of Infered wilh Compuler Vaio Itlemetons Consents on of Paolo Ottawa Joly 27 5 1798 Gagnon L Pscieercask Mi Ghehbagian E Biese E Teste amp 1 1 for Fumon of imaging and Mon lreaging 4rbome Serene GAR
31. Profil d utilisateur Merci de r pondre ce questionnaire Toutes les donn es demeureront confidentielles 1 Nom 2 Sexe F M 3 ge moins de 20 ans 20 29 ans 30 39 ans 40 49 ans 50 59 ans 60 69 ans 70 ans et plus 4 A quel compagnie ou organisme appartenez vous 5 Quel est votre statut Y Personnel de recherche Y tudiant Y Personnel technique Y Entrepreneur Y Gestionnaire Y Aute 6 Utilisez vous un ordinateur au travail a Combien d heures passez vous l ordinateur chaque jour 0 1h 1 3 heures 3 5 heures 5 heures et plus b De quel type d ordinateur s agit il 7 Poss dez vous un ordinateur la maison a Depuis combien d ann es 0 1 an 1 3 ans 3 5 ans 5 ans et plus b De quel type d ordinateur s agit il 8 Quelle est la fr quence d utilisation du courriel qui vous correspond le mieux plusieurs fois jour plusieurs fois semaine plusieurs fois mois jamais 9 Consultez vous des sites Web souvent plusieurs fois jour plusieurs fois semaine plusieurs fois mois jamais 10 Quelle utilisation faites vous du Web Y Navigation pour le plaisir uniquement avigation pour recherche d informations pr cises uniquement herche d inf ey Y Les deux mais surtout pour le plaisir es deux mais surtout pour recherche d informations pr cises Y Lesd i p herche d informations pr ci Y NIA 11 Aviez vous d j visit le site Web du CRIM Non Centre de recherche informatique de
32. Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 2 2 Conditions de test 3 2 2 1 3 2 2 2 Lieu Les tests ont eu lieu sur une p riode allant du 8 d cembre 1999 au 10 janvier 2000 Les tests ont t effectu s par deux valuateurs un pour guider l utilisateur en lisant les sc narios et en intervenant pour obtenir plus d information certains moments et l autre pour prendre des notes sur la session de test Tous les tests ont t film s au cas o de l information suppl mentaire aurait t n cessaire lors de l analyse des r sultats Mat riel Pour la plupart des tests le mat riel suivant a t utilis Un PC avec cran de 21 pouces Windows NT 4 0 Netscape navigator Netscape Communicator 4 61 et le nouveau site Web du CRIM avec une version exp rimentale d inscription en ligne pour CRIM Forma tion qui elle n tait pas encore en ligne Deux tests ont t faits avec un cran de 15 pouces et un test a t fait avec un ordinateur portable quip d Internet Explorer 3 2 3 D roulement des tests 3 2 3 1 D roulement Chacune des sessions de test s est d roul e de fa on analogue Premi rement un texte d information a t lu aux participants pour les informer du d roulement de la session et du but des tests d utilisabilit ainsi que pour obtenir leur consentement pour l utilisation de la cam
33. ces r sultats soulignent la subjectivit de l valuation heuristique En comparant les probl mes identifi s par les tests d utilisabilit et les valuations heu ristiques on constate que seulement 20 21 103 du total des probl mes de l interface ont t identifi s la fois par les tests d utilisabilit et par les valuations heuristiques ce qui sugg re qu une approche combin e serait pr f rable On remarque heureusement que la majorit 86 18 21 des probl mes communs aux deux approches sont de priorit lev e probl mes de niveaux 1 et 2 5 1 2 Analyse qualitative Par une analyse qualitative nous nous apercevons que plusieurs des probl mes identifi s par les deux approches rel vent du guidage Le guidage est l ensemble des moyens mis en uvre pour conseiller orienter informer et conduire l utilisateur lors de ses interac tions avec l ordinateur messages alarmes tiquettes etc y compris dans ses aspects lexicaux Nous pouvons citer quelques exemples de mauvais guidage pour le site Web du Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 59 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique CRIM Le concept du panier d picerie pour s lectionner un cours est mal compris l utilisateur associant le panier d picerie un produit plut t qu
34. e Lutilisateur aimerait retrouver la liste des membres du CRIM par champ d int r t e L utilisateur aimerait avoir de information sur les co ts du membership et sur les services offerts par le CRIM 3 3 4 2 5 Suggestions concernant CRIM Formation e L utilisateur aimerait que les horaires de cours soient disponibles plus t t avant le d but de la session e L utilisateur aimerait avoir une id e de quand le cours sera offert dans le futur si le cours de la session courante est pass e L utilisateur voudrait savoir si le cours est complet Peut tre qu il s inscrit pour rien Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 40 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 4 Conclusions et recommandations des tests d utilisabilit En g n ral les utilisateurs ont t plut t satisfaits du site Web du CRIM Ils ont aim particuli rement la rapidit de r ponse du site et l utilit de l information trouv e sur le site Les pages les plus appr ci es ont t celles qui taient assez a r es et o l utilisateur n avait pas faire une lecture approfondie pour trouver l information recherch e De plus les utilisateurs ont aim la qualit et la beaut de l infographie du site Par contre les utilisateurs ont eu de la difficult trouver l information qu
35. est pas suffisamment en vidence Aucune Que signifie le cadenas je pr sume transaction s curitaire mais ce n est pas clair Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 61 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique On constate que plusieurs des probl mes identifi s par les valuations heuristiques seule ment sont d ordre g n ral et non reli une t che sp cifique ex publications en ligne sigle de la STCUM signification du cadenas Par ailleurs certains autres probl mes ont t identifi s car les valuateurs avaient une bonne connaissance du CRIM et de son type d activit s ex il manque un l ment sur la propri t intellectuelle Finalement cer tains probl mes identifi s sont reli s au fait que les valuateurs ont t capables de se mettre dans la peau d un utilisateur et de simuler une t che ex remplir le formulaire d inscription Par ailleurs on constate que parmi tous les probl mes identifi s par les valuations heu ristiques 68 appartiennent aux crit res de Guidage et de Charge de travail Bastien amp Scapin 1993 et que 22 ne peuvent tre associ s aucun des crit res de Bastien et Scapin ces probl mes correspondant plut t des suggestions des valuateurs voir la section sur les valuations heuristiques Le fait
36. l utilisateur de trouver un cours de Cr ation de pages Web tandis que la deuxi me partie demandait l utilisateur de s inscrire ce cours Tous les utilisateurs ont t capables de compl ter la premi re partie mais souvent de fa on difficile et parfois une aide a d tre apport e Cette premi re partie aurait normale ment d tre compl t e facilement par tous les utilisateurs Il est aussi noter que la majorit des utilisateurs n a consult qu un seul cours Ceci est peut tre d la formu lation des sc narios mais peut aussi d montrer une difficult trouver tous les cours re li s un m me sujet Pour ce qui est de la deuxi me partie du sc nario les r sultats sont beaucoup moins bons La moiti des utilisateurs n a pas r ussi s inscrire au cours et pire dans certains cas les utilisateurs pensaient tre inscrits et 1ls ne l taient pas Les solutions propos es visent entre autres mieux guider l utilisateur dans sa d marche ainsi qu g rer plus efficacement les erreurs Les probl mes recueillis sont donc les suivants Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 35 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Dans certains cas 4 13 lorsqu un choix de cours est fait certains utilisateurs ont tendance utiliser F
37. me est formul mais cela de mande un effort suppl mentaire de la part d un d veloppeur Il est possible d identifier les probl mes similaires que les deux approches ont permis de d celer Le Tableau 31 montre la r partition des probl mes communs aux deux appro ches Les valuations heuristiques ont identifi 29 probl mes que les tests d utilisabilit avaient eux aussi r ussis identifier pr alablement Les tests d utilisabilit avaient ce pendant regroup ces probl mes l g rement diff remment en 21 probl mes La majorit 26 29 90 des probl mes communs taient de haute priorit priorit s 1 et 2 telles que d finies par les tests d utilisabilit Tableau 31 R partition des probl mes communs aux deux approches Priorit Tests valuations telle que d termin e par d utilisabilit heuristiques les tests d utilisabilit 1 6 10 2 12 16 3 2 2 4 1 1 Total 21 29 Dans une analyse plus fine nous avons utilis le classement en quatre niveaux de priorit issu des tests d utilisabilit pour classer les probl mes des valuations heuristiques Le Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 57 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 32 montre le r sultat de cette comparaison Ce
38. offrir ses clients et ses membres disponi et sous cette rubrique donner plu ble Seulement 6 utilisateurs ont visit sieurs exemples de projets d j la sous rubrique Projets m me si un r alis s au CRIM et avec quelles sc nario demandait de trouver toute compagnies l information pertinente un sujet Mettre un hyperlien projets sous donn ce qui incluait les projets chacune des sous rubriques de Re cherche et D veloppement 9 Quelques utilisateurs s attendent Permettre le retour la page 2 14 4 que le logo du CRIM les ram ne d accueil lorsque le logo du CRIM ala page d accueil est s lectionn 10 L utilisation de la fl che rouge pour Changer la fl che rouge pour un 1 2 4 retourner en haut de la page dans hyperlien qui dit Retour en haut Mesures Fiscales n est pas instinc de la page tive Certains utilisateurs cliquent dessus et en d couvrent l utilisation par la suite Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 87 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 2 Probl mes concernant la page d accueil et les rubriques Probl me Solution Nbr d U 1 Les rubriques suivantes sont in Le nom des rubriques qui posent 1 comprises probl me sont a revoir Gestion du risque et processus 7 14 U 1 2 4
39. serv s 2001 CRIM janvier 2001 Page 124 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 14 Publications Trop long la mise en page devrait Lisibilit utiliser une tabulation pour a rer le texte 1 14 Publications l ment de menu Reconnaissance Incitation de la parole est s lectionn sans rai son Les publications ne se rapportent pas sujet 2 BC 14 Publications 1 Je ne sais pas si je peux avoir des Suggestion tir s part des articles ou chapi tres 2 Pourquoi n a t on pas acc s aux versions lectroniques 3 Pourquoi ne peut on consulter les documents des ann es ant rieures 1 15 Pierre Dumou e Pourquoi n a t on pas acc s aux S il y a un Aper u sur la Suggestion chel publications reconnaissance de la pa e Pourquoi ne pas avoir un lien vers role offrir d y acc der par les publications du CRIM organi un hyperlien s es par chercheur ou projet ou th me 1 16 A Pagenda Coin Je dois scroller de fa on horizon Actions mini m dia tale dans la page viter males 1 16 A Pagenda Coin Pourquoi les l ments du menu sont Homog n it m dia ils de couleurs diff rentes Pourtant Coh rence ils sont de m me statut C
40. soulev s par plus d un valuateur Ceci montre la grande subjectivit d une valuation heuristique On peut m me sp culer que les probl mes trouv s auraient t diff rents si les valua teurs avaient fait leur valuation une autre journ e influence de l humeur du temps dis ponible etc La variabilit entre les valuateurs est tr s grande Pour certaines pages un valuateur peut trouver plusieurs probl mes tandis qu un autre n en trouve aucun C est le cas de la page Cr ation de pages Web Pour cette page deux valuateurs combinent un total de neuf probl mes tandis que le troisi me ne voit aucun probl me particulier Il est noter que chacun des valuateurs a utilis de l quipement diff rent cran ordi nateur d finition d cran fureteur etc Ce qui n est pas mauvais en soi mais qui est tout de m me diff rent des situations de tests d utilisabilit Pour avoir une id e de la variabilit des valuations heuristiques le tableau suivant pr sente le nombre de probl mes trouv s par chacun des valuateurs On voit facilement que l valuateur B a relev plus de deux fois le nombre de probl mes trouv s par l valuateur A et presque deux fois plus que l valuateur Par contre il semble que l valuateur ait t influenc dans sa navigation par les consignes donn es dans le do cument d valuation En effet le fait que l valuateur ait eu vis
41. tests d utilisabilit versus valuation heuristique 1 26 Philosophie de gestion Eh cecphas de gerion Le CRIM personnalit sa philosophie de gestion ses valeurs personnal Dans son rae d rassembleur et de chef de fle des technologies de linformatien Qu bec e CRIM vaut OT parlenaited lutte des ces Qouwyerneneridux b m ileur effet de kvier possible En sens i dent cistinguer par cing caract ristiques bien prices Soit pon expertise Son agb sa perspicact con etla de oes services a philosophie de La phikeeephie de geshon dune organization se nt comme un enpemble de valeurs et de prinopes Gis partagent les membres Pure concernant leg rapon avec be personas internes ai extemes les services la technologie et organisation C est ls manire dans la fa on de faire es choses Fes valeurs Les mendes apr s de leremble ui personnel du CRIM ont d snbfier crises vaine gui donert s0us terdea la af We ections du GRIM plus programet ke quatre suivantes Le respect dare son sccepton la plus large se site en fete de Este le respect tH oul est compris et wou par chacun quelle que soit le d tnition qu en donne L siprt d quipe wu comme uns lagon de order une synergie at Lang au plan profeauonnel que parmormel La cr athit cette
42. un service cours De plus l inscription au cours est difficile entre autres parce qu il manque de r troaction feedback pour que l utilisateur sache quel est l tat de son inscription un moment pr cis Comme le montre le Tableau 33 39 probl mes ont t identifi s par les tests d utilisabilit seulement La moiti de ces probl mes appartiennent aux priorit s 1 et 2 et m ritaient donc d tre r gl s Or ces probl mes n auraient pu tre identifi s si seules les valuations heuristiques avaient t men es Le Tableau 34 montre des exemples de pro bl mes que seul les tests d utilisabilit ont pu rep rer Tableau 33 R partition des probl mes identifi s seulement par les tests d utilisabilit Priorit Tests telle que d termin e par d utilisabilit les tests d utilisabilit 1 8 2 12 3 9 4 10 Total 39 Tableau 34 Exemples de probl me identifi s seulement par les tests d utilisabilit Priorit Probl me 1 Certaines rubriques 8 au total sont incomprises des utilisateurs 1 Certains utilisateurs ne r alisent pas que des sous rubriques viennent de s ouvrir apr s avoir cliqu sur une rubrique 1 Le panier et le bouton Confirmer l inscription sont trop loin l un de l autre pour que l utilisateur tablisse un lien entre les deux 2 L information sur le site est trop g n ral
43. 1996 Wood 1997 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 12 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tel qu indiqu dans le sch ma pr c dent l application de principes et recommandations ergonomiques est possible plusieurs tapes du d veloppement d une interface Ces li gnes directrices normes et standards sont tr s abondants et proviennent de sources va ri es telles e la recherche Bastien amp Scapin 1993 1995 Mayhew 1992 Nielsen 1994 Smith amp Mosier 1986 Vanderdonckt 1994 e l industrie Apple Computer Inc 1987 1992 Hewlett Packard Co 1990 IBM Systems Application Architecture 1990 1991 Microsoft Corp 1995 1999 e les organismes publics dans des secteurs sp cialis s Department of Defense USA 1999 International Standards Organisation 1999 National Aeronautics amp Space Administration NASA 1995 Les lignes directrices offrent un apport int ressant lors de la conception d interfaces mais elles sont souvent difficiles 4 appliquer Elles sont soit trop g n rales quelques unes pour couvrir un grand spectre et de ce fait difficiles a interpr ter par exemple les crit res ergonomiques de Bastien amp Scapin 1993 ou trop sp cifiques et alors tr s nombreu ses et elles se contredisent entre elles par ex
44. 5 6 7 9 Veille strat gique 3 14 U 2 5 12 Visite virtuelle 3 14 U 4 12 14 Test du logiciel 4 14 U 4 6 10 14 Un r seau de contacts 2 14 U 4 14 l agenda Coin m dia 5 14 U 1 4 7 13 14 L Art du CRIM 2 2 U 13 Essaimage 3 3 U 12 2 La majorit des utilisateurs ade la Ajouter une Rubrique Membres 13 14 1 difficult trouver de l information du CRIM relative au membership confusion des termes Membres et Clients 3 Certains utilisateurs ne r alisent pas e Mettre les sous rubriques dans 3 14 1 que des sous rubriques viennent de la partie centrale de la page s ouvrir apr s avoir cliqu sur une plut t que dans les menus c est rubrique Le probleme est plus d ailleurs cet endroit que le marqu lorsqu il y a peu de sous regarde de l utilisateur se porte rubriques voir Probl mes concer apr s avoir s lectionn une ru nant la page l agenda Coin m brique dia OU Deux utilisateurs ont fait des com e Avoir un effet visuel ou sonore mentaires sp cifiques ce sujet pour indiquer que les sous rubriques viennent d appara tre Il est difficile d valuer exactement sous la rubrique principale combien d utilisateurs n ont pas vu les sous rubriques appara tre mais le probl me semble fr quent 4 Plusieurs utilisateurs visitent Etre Ajouter une Rubrique Membres 9 14 client au CRIM pour trouver de du
45. Conetrened murs Lioshhood Estrachon of Tengara Fostures for Speech Apecgnition 1900 Horie Eurcepeach it Ta BL Meuh Leonard 88 F Currouch l information for inynooment m Speaker Bocognition feepTambre 1999 Eurocpooch 009 Taj Durouetrel P Ouellet GM beaded pastar uing Traning minier of Minune In CASSER ee Seattle Mar 1999 Gude E E aag and madak for taet indkpandent dentiicabore bi Speaker recogrbon and ts commercial and applications workshop L vignon France avri 1998 Taj Dumai P bari CMS Tor bn Euro paoch 97 iodo Greco 22 27 September 7 Ta Dumouchel P Powter FDO based kewword spotter which incorporates a sorei superviced aming for porary processing In Eurospesch 27 Aodos Greece 22 27 Septenber 97 Chapitres de livre Dumouche E Wergin E O Shaughnecey D aLa foconmaiscance automatique dela park on fran aise In ACFAS Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 144 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 16 l agenda Coin m dia laganda con madia Vous foimeart dans cette sechon les informations de derra re heure concern
46. F RENCES bees Sibi di nt nn OS 7 1 Ergonomie des interactions Humain ordinateur et 68 7 5 SRIWARY SG business nt etant OO Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 7 2 1 Techniques de collecte de donn es seen 68 1 22 Analyse de LACE 055055 co sc estesssoesstassasdenssesceenssassesdsvesspedscds shad sensleasossseussoossussesssepessasesesdvassesasnesscassed 68 7 3 Conception interfaces 69 7 3 1 Lignes directrices normes standards ss 70 7 3 2 Conception de sites Web ssseeeeenenensennnnsnsnssesssenennseees 71 7 3 3 URL de r f rence pour la conception de sites Web ssseneeneenessee 71 TSA OS nee PC 72 F4 By ANU MEO cz ns nan a 72 74 1 Tests d utilisabilit et valuation heuristiQue ssssssessesseeseneeeneeneesee 72 7 4 2 Comparaison tests d utilisabilit Vs valuations heuristiques ss 73 7 4 3 valuation de sites 74 ANNEXE A DESCRIPTION DES SCENARIOS PRESENTES AUX UTILISATEURS 75
47. Grrsractions Tinara iasa The kar cf Computer and Taleconmmurecasare Mabworte Di ira Leurs H i aias A L le pou bed DELIEG Loboat gen de annie neie d 1P Hagen L asus Agente and fort eee for Giara era Thriath Cena Conference on Sica niaig Foriri Gute Canada 114 17 ma Mei 1 P Se A to 1 Lin Berea Chatarina end Canta puna PA Ci BFL Ld EL Petra gt Lich Cheeni WP EA ihig or dieing fel in Suen ters 7 Slee Ciel id Series LI een A 2 Linch Ehana il Tank Es madiel fr Gran of concurrent Welter Auber Control ancl Computer sms 2 Ei HA Miria BG 1 UP a ee de eed d Garish Tree Gowers Dariya n Cried Gein Cow iF Deere M Paija PL LENS Web Teeny Sa EE CDS aa ROUTES 1 PS men E ati Anata of ynd aaia for Choc Loa Contre n Paeria ET Trees om Control Syste Terek SS y 1211
48. Je consulterais le site Web du CRIM partir de chez 10 3 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 38 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Note Moyenne sup rieure 2 5 satisfaction Moyenne inf rieure 2 5 insatisfaction 2 5 neutralit 3 3 4 2 Suggestions des utilisateurs non reli es des probl mes d utilisabilit Les deux derni res questions du questionnaire de satisfaction visaient recueillir des commentaires g n raux sur le site et des suggestions sur ce que le site devrait contenir La section qui suit fait une br ve num ration des commentaires g n raux et des sugges tions qui n ont pas t trait s dans les probl mes d utilisabilit mentionn s plus haut Chacune de ces suggestions n a pas n cessairement t mise par plusieurs personnes mais l ensemble des suggestions peut constituer une source int ressante d id es pour de futures am liorations au site 3 3 4 2 1 Suggestions g n rales Le plan du site devrait tre plus vident L utilisateur aimerait savoir quels types de services le CRIM offre L utilisateur aimerait voir les pr sentations venir au CRIM sans avoir cliquer sur une rubrique L utilisateur semble avoir peu d int r t pour la visite virtuelle L utilisateur aimerait avoir une page a
49. Orland awil 2000 L Gagnon M Lalonde Wislon artificelle et traitement d images outils millew et march Rapport de veille strat gique CRIM novembre 1999 H Londe L Gagnon Les applications de vision artificielle Cerection Informatique novembre 1934 L Gagnon M Lalonde Coup d oell sur la vision Girection Informatique juin 1999 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 147 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 19 Langis Gagnon Bott de recherche Langs Gegron Langh Gagner Charter EI 20 1205 poste 059 14 GAD LEH Courriel Ronnie nt Li Ergan lt iran ie et WELT Domaines de a riick Traitement bi dire Coulon f rentisles non is Lint presences conneees Membre aramid Denie de Rederier Math matiques d Monika T G12 cenie Monien 377 Professeur Departement de math matique et dnfemeque mro nwersite de Sherbrooke bou de Share qudi ened ILE ZF Sy pR DONG recente avec comit de lecture Actes de conferences ou ateliers D Harchend P and Sher V Giby L Dapon L of inig re meje Or sano shinee
50. Synth se 4 Sc narios de t ches laboration d un mod le d interface vy 4 4 Evaluation r Principes et recommandations ergonomiques __ y 5 Prototype mA y y 6 valuation lt y m gt 7 Sp cifications techniques y 8 Impl mentation 9 Suivi Figure 1 D marche de conception et d valuation ergonomiques de l interface utilisateur 2 1 Analyse Chacune des tapes de ce cycle analyse conception valuation a fait l objet de nom breuses publications Par exemple analyse de la t che est un point de d part important qui permet de bien conna tre l existant de s assurer que les probl mes et les irritants de la t che seront corrig s ainsi que de s assurer d utiliser la terminologie propre la t che Cette tape est discut e par les auteurs suivants Aubin Robert amp Engelberg 1994 Grant amp Mayes 1991 Hackos amp Redish 1998 Kirwan amp Ainsworth 1992 De la m me mani re l analyse des besoins est abord e par Maguire 1997 et Preece amp al 1994 Par ailleurs pour tre en mesure de faire une bonne analyse une collecte de donn es ad quate doit tre faite Cet aspect du cycle de conception est aussi couvert par diff rents auteurs Diaper 1989 Robert 1999 Wixon amp Ramey eds
51. Utilisation de l ordinateur au travail et a la maison Afin de mieux appr hender l exp rience en informatique des utilisateurs des questions leur ont t pos es sur Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 23 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique e utilisation de l ordinateur au travail et la maison e Jeur utilisation de l Internet courriel Web site du CRIM Les r sultats sont d crits dans cette section et dans les sections suivantes Tous les utilisateurs ont un ordinateur au travail et l utilisent plusieurs heures par jour La majorit l utilise pour 5 heures ou plus par jour De plus tous les utilisateurs poss dent un ordinateur a la maison La plupart des ordinateurs maison et travail des utilisateurs sauf trois sont de type PC ou portable Les trois autres ordinateurs sont des Macintosh Tableau 4 Utilisation de l ordinateur au travail et a la maison Travail Type PC Macintosh Portable Portable Total Nombre 11 Pourcentage 79 7 14 100 Heures Oat 1a3 3a5 5 et Nombre 0 1 3 10 414 Pourcentage 0 7 21 71 100 Maison Type PC Nombre 11 Pourcentage 79 14 7 100 Ann es 0 1 3a5 5 et plus 10 14 Nombre 1 1 2 Pourcentage 7 7 14 71 100
52. adapter autor un spatie un mouse bocubeur Dans be tutur les specialises acroatrant eur champ dexpertise en y budiant le probl me du entre um humain et ordinateur kanma Sp ciabstes Pere Cumouchel PRO 1995 INRS T kcomemunicatons 14 are d eape rience dans b domare Paii san ED en math matiques 1 are decpdrerce dais amp domaine Giles Boullerie MS 15 ae Eepinen dard l domains Jule Brouitsegu maire 6 d crans dans donee Pera Bac en informatique 2 ans d xp nenos trois lues diplime s dont un tudiant de doctorat ALL HE LE a Ma Cora eer ne de La racterche Pram Tam omis EED FEU Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 141 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 13 Projets Det AO pour 1350 1354 ALCAN Etude ep tciiration de syst me eqpert of abcde oS PRET moyen terme pour be Groupe de gestion des ressources Ce propel Ste peeved thet mes La Gabon un bride base de coast LS BC Gala la prika Se peiron pour la Groupes Gao Higa A mrs
53. al janvier 2001 Tous droits r serv s 2001 CRIM Page 30 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 10 Taux de r ussite des sc narios en fonction d une pr lecture de toutes les rubriques Avec pr Sans pr Diff lecture lecture Sc nario But R ussite R ussite CRIM Formation A Trouver cours 5 5 100 8 8 100 0 CRIM Formation B S inscrire au cours 4 5 80 3 8 38 37 Recherche A Trouver information sur 6 6 100 8 8 100 0 Reconnaissance de la parole Recherche B Trouver chercheur le 5 6 83 8 8 100 17 plus senior et envoyer courriel Recherche C Trouver pr sentations 4 6 67 4 8 50 17 scientifiques venir Industriel A Trouver information sur 6 6 100 7 8 88 22 Vision par ordinateur Industriel B Trouver information sur 4 6 67 3 8 38 29 membership Emploi A Trouver mission du 4 6 67 4 8 50 17 CRIM Emploi B Prendre connaissance 6 6 100 8 8 100 0 des offres d emplois Finalement on pourrait croire que le fait de ne pas tre expos de fa on syst matique toutes les rubriques d s le d part favoriserait l utilisation du moteur de recherche Ce pendant cette tendance n est pas confirm e puisque 2 utilisateurs sur 6 i e 33 dans le premier groupe ont utilis le moteur de recherche compar 3 sur 8 i e 38 dans le deuxi me groupe Tableau
54. d imaginer of qui n est paset qui pousse cecum aller plus boon inner La transparence qui engendre ly combance et et qui favorise une communication ouverte at efficace Hoire phionophie de gestion s exprime selon ies six param tres Les ressources Humaines ke CRM scoomplt sa mission dans respect de son personnel et de ses collsborsteurs de ces Membres de bes parbenaires et de ses chert i poraira son p rgonne L plus importante d pig i reconnait eur comp tence et leur apport collect i met an valeur les connaissances les aptitudes les er et les r sheshions de chun i manure le af le I un mat d odlaborahon entre les employes i fat confiance son personnel et ses colsborsteurs et leur come des sourit 4 uns politique Jaguh Les communications I faverse communication Marche et directs j ponele les id es et suggestions des employes et coluborsteurs staqisires tudiants professeurs et chercheurs miksi Of jute l change rergegnenents of la ire des means laboration des Wicher i favorise chez b personnel une comprihenson de tous les aspects de leur travai et de leur contribution Tarente det objects de ke CAM d t gen collaborateurs un
55. des interfaces humain machnie Notes de cours Ecole Polytechnique de Montr al Document in dit Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 70 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique SCAPIN Dominique L 1986 Guide ergonomique de conception des interfaces homme machine RT 0077 Rocquencourt INRIA France SMITH S L MOSIER S L 1986 Guidelines for Designing User Interface Soft ware Report ESD TR 86 278 MITRE Bedford MA SMITH Wanda J 1996 ISO and ANSI ergonomic standards for computer pro ducts A guide to implementation and compliance Upper Saddle River N J VANDERDONCKT J 1994 Guide ergonomique des interfaces homme machine Presses universitaires de Namur Belgique 7 3 2 Conception de sites Web CRIM Formation 2000 Cours du CRIM Conception de sites Web ergonomiques intranet et extranet Centre de recherche informatique de Montr al FORSYTHE Chris GROSE Eric RATNER Julie 1998 Human factors and Web development Lawrence Erlbaum Associates JOHNSON Jeff 2000 GUI Bloopers Don ts and Do s for Software Developers and Web Designers Morgan Kaufmann Publishers LYNCH Patrick J HORTON Sarah 1999 Web style guide Basic design princi ples for creating Web sites Yale University Press NIELSEN Jacob 1998 Cost of user testing a Web
56. du CRIM pr alable aux tests d utilisabilit Plusieurs des utilisateurs avaient d j visit l ancien site Web du CRIM comme l indique le tableau suivant Cependant un seul utilisateur avait d j visit le nouveau site Web du CRIM Ceci est un facteur important prendre en compte pour mesurer la facilit d utilisation sans apprentissage d s la premi re visite Tableau 7 Nombre de visites du site Web du CRIM ancien et nouveau Ancien site Nouveau site 3 2 1 7 Langue pr f r e pour la navigation Seulement 14 des participants aux tests d utilisabilit pr f rent l anglais pour leur na vigation sur le Web Ce r sultat n est pas surprenant puisque le choix des utilisateurs s est fait parmi une population de francophones En effet le site Web valuer tait dis ponible en fran ais uniquement La majorit des utilisateurs a donc soit pr f r le fran ais ou tait indiff rente la langue pour la navigation sur le Web Tableau 8 Langue pr f r e pour la navigation sur le Web Visite Nombre Pourcentage Nombre Pourcentage 0 3 21 13 93 1 5 7 50 1 7 6 10 2 14 0 0 11a19 0 0 0 0 20et 2 14 o Total 14 100 14 100 Langue Nombre Pourcentage Fran ais 5 Anglais 2 Indiff rent 7 Total 14 100 Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 26
57. ils cherchaient et dans certains cas le niveau de d tail de l information tait insuffisant Des probl mes ont donc t relev s suite l analyse des tests d utilisabilit et il est n cessaire d y apporter des solutions Les probl mes les plus importants se retrouvent au niveau de la s lection et de l inscription aux cours de CRIM Formation En effet l inscription aux cours de CRIM Formation a t difficile pour plusieurs utilisateurs M me si tous les utilisateurs ont t capables de trouver le cours qu ils cherchaient cette premi re tape a t inutilement difficile et longue Dans certains cas les utilisateurs ont m me d recevoir un peu d aide pour permettre la poursuite du sc nario C est au niveau de l inscription que les probl mes ont t les plus s v res La moiti des utilisateurs n a pas r ussi s inscrire au cours et pire dans certains cas les utilisateurs pensaient tre inscrits et 1ls ne l taient pas Les probl mes suivants devront donc tre corrig s Les solutions propos es visent entre autres mieux guider l utilisateur dans sa d marche ainsi qu g rer plus efficacement les erreurs Tableau 17 Probl mes relatifs l inscription au cours de CRIM Formation Page Probl me Recommandation 1 Cours offerts Apr s choix de cours les utilisateurs liminer la rubrique ont tendance utiliser Formulaire Formulaire d inscription d inscription s
58. intenet interactian Visio les strategies et les anjers 15076 bytes Qui eer Miri Cam ours offers Mew Page Cours offerte cows ls artificielle ai du tratement dimage pargu de ls vision mirets du Traiterant dimage S055 La walon wet finterpr tation 29774 bytes CHE strotiginges Conf rences strat giques Rapports de CHIH vole strat gique Conf rences strat giques Camelour sur la yalan ais et orage Cor en dtr b eu Carrefour dur la Wako al ia bademert dimage await lieu be jud noverbre Le vision Topet bytes S offerte format accescibie efficace Cami re Procurerswoue be troie rapoort de vole strat gique du CRIM 1 W sion ot dimage weant faire ly pont sur les dee coe dh coin bein jour noire 5 bytes CRIM i recherche diweloppenient 2 Gane logiciel at roro des conmatksaces Peconnaisance do la paroko Edeagaur de b l cormmunesthons Syst mes mulkicagents Villon par ordinateur Bathn de is recherche mjas Patrons Commana A continu Hut du CRIS Lie bition recherche 0 Cen
59. la satisfaction de l utilisateur et pour identifier clairement les r gions causant des probl mes Par exemple un questionnaire de satisfaction pour un site Web information nel pourrait comporter des questions sur la facilit trouver l information recherch e l utilit de l information trouv e la quantit d information trouv e le choix des rubri ques et la vitesse de r ponse du site Les r ponses chacune des questions devraient permettrent d obtenir des r sultats r v lateurs Une s lection de r ponses telle que tr s insatisfait plut t insatisfait plut t satisfait tr s satisfait permet de conna tre l opinion de l utilisateur de fa on assez pr cise Des suggestions ainsi que des commen taires g n raux peuvent aussi tre recueillis pour enrichir les r sultats des tests 2 3 2 valuation heuristique L valuation heuristique fait appel un sp cialiste en utilisabilit ou en ergonomie qui est peu ou pas impliqu directement dans le projet Le sp cialiste analyse le produit en fonction de principes d utilisabilit ou d ergonomie provenant de la recherche et de la litt rature en ergonomie par exemple Bastien et Scapin 1993 Nielsen et Molich 1990 Ravden amp Johnson 1989 Nielsen note que certaines heuristiques peuvent tre plus difficiles appliquer que d autres heuristiques relatives aux sorties provide clearly marked exits et aux erreurs des utilisateur
60. lectionn e par d au deuxi me menu Cours faut Tous les cours pour que si une personne veut choisir directement dans le deuxi me menu d roulant tous les cours y apparaissent e Ajouter un effet visuel qui indi que que lorsqu un choix est fait dans le premier menu le deuxi me menu est filtr e Pour ce qui est du moteur de recherche sp cifique aux cours le d placer vers la droite pour qu il ne soit pas en ligne avec les deux menus pr c dents Augmenter l espace ou faire une d marcation pour indiquer que l utilisation du moteur de recherche est une autre alterna tive possible pour trouver un cours et non une continuation de la d marche de s lection dans les menus d roulants pr c dents Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 94 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Probl me Solution Nbr d U P 3 Dans Cours offerts certains utili e Mettre le bouton plus en vi 3 13 2 sateurs ne pensent pas qu il doivent dence couleur grosseur posi peser sur le bouton Choisir pour tion et remplacer Choisir continuer Les utilisateurs pensent par Visionner s lection que Choisir est seulement une ins OU truction et non un bouton e liminer le bouton d s qu une s le
61. leg cours annonc s pur ste l m iphon d dure de Marketing Pour L a On Cours pr offert sur demand a mog lou e oe chaz be cient uri maximum d 50 du co t de la formation peut tre au cr dit e reste tant factur Les d penses directes belles que le transport l h bergement et les repas ne peuvent tre par es per le cr dit Toute pri s dur le dent tre approuv e par b responsabi par ch forganigaiion La date Timputation du saci aat ka Gabe laquelle k aerva aat rendu at la date cinscriptan Pour cormaitre k rem de votre du cr dit communique avec madame Cominge M nard au S14 40 1251 OU Infp fermabonicrn cy d impst remboursabh d la formation ef foi a HOLE Les mesures Hecate concernant le GRIM Les cr dits dump pour l Serviced d adaplaton t activities Ge recherche acantha ot d d wabpearant cap renantal Votre entreprise pourrait Etre admisib un cr dit prowincial quivalent 440 des frais insoiption PIM Fomin est reconnus DOCS 742 dans ls cadre du crocramme de cr dit dimou Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 138 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 10 Formulaire d inscription 97 Cara
62. les trois valuateurs De plus seulement 11 probl mes ont t identifi s par deux valuateurs la fois Le reste des probl mes 58 n ont t identifi s que par un seul valuateur Les trois probl mes identifi s par les trois valuateurs ne sont m me pas tous des probl mes majeurs Seulement un des probl mes est identifi comme ayant une priorit forte Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 48 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 21 Nombre de probl mes trouv s par plusieurs valuateurs Prob trouv s par de prob Priorit 1 des val Priorit de prob 3 valuateurs IN 5 Aucune 2 valuateurs 1 2 4 5 Aucune 1 valuateur 58 D O ID JH D Jo Jo JH jo Jj Aucune o 4 Total 72 ISyntax Error Signification de la priorit B 1 Tr s fort 2 Fort 3 Moyen 4 Faible 5 Tr s faible 4 2 2 Problemes soulev s en fonction des criteres de Bastien et Scapin Noter que cette priorit n a t fournie que par l valuateur Il avait t demand aux valuateurs d valuer le site Web du CRIM selon les crit res er gonomiques de Ba
63. lignes mationnelle d informations utiles sur les postes offerts Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 128 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Annexe F Saisies d cran des pages du site Web visit es Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 129 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 1 Page d accueil Le Centre de recherche informatique de Montr al on lieu unique pour La recherche at la d walopoament an technologies de l information Consors OCTAS 2000 Er pu a bouge au CRIM j ji mari Lai du CRIW pooled voulant iara gaint r 7 rapide et constants des beech Ge Cintomaton Sorin CE 7 CRI le D mars cecusde industrielle Pore du mam rique gt Ou S ence Minfarmation Phase sens rn aa ge nsestassmencs d une valeur de PME par latence sore Bel TELUS Habiky ot COM portes toutes Entr e libre antai ire cima
64. mecalage et fusion d images cphosimiques Propet de coop ration CRIM Universite Univ de Montr al fusion d images satelites Compl t s Prager d SIPS Gigi WAT GUD mieu et march fin novembre 1995 Elude de dum syshtme de d tecton automatique de panre dans des orouts imprim s mages infra rouge fin octobre 1973 Propet de coop rabon CRM Universit de Technotege Supddeure caract risation dob pis fin 1999 Propet de coop ration CRIM Universit Univ de Montr al extraction de routes dans les images satellites An d cembre 1 9a CRIM Image Mining Enviroment SIME environnement de travel pour la inanipulation d imegis de cartes et de dessine techniques en Vus d en la conwermion num rique M mars 1996 Bigum at Projet PCO rum nssation de cartes de t s decires fin octobre 1597 Interacts Image Technologies OT d tection de panneaux routiers suhi de chies repr sentabon de connaissance en vision artiddke fn mers 1997 Pr sentation Powe Faint de certains projets depuis 1955 Publications Hi Ldonde L Gagnon M C Boucher Non recursive paired tracking for wsdl axtracton tram petina inches Interface 2000 Monreal mai SOC P Lesage L Gagnon Experimenting Level Set Based Snakes for Contour Segmentation in Radar imap Proceedings of the SPIE Conference visual Information Processing
65. ont d montr qu un double sp cialiste c est dire un sp cialiste qui est aussi expert de la technologie particuli re utilis e par le produit est plus efficace qu un sp cialiste qui ne poss de pas cette expertise Pour les double sp cialistes 1l faut de 2 3 valuateurs pour trouver la majorit des probl mes 81 90 pour l tude en question L tude d montre sp cifiquement que les doubles sp cialistes ont trouv plus de probl mes non pas parce qu ils taient de meilleurs sp cialistes en uti lisabilit mais bien parce qu ils avaient une exp rience sp cifique avec les probl mes A utilisabilit du type d interface valu e 2 3 3 valuations heuristiques versus tests d utilisabilit Lorsque vient le temps d valuer une interface la question de la technique utiliser re vient toujours Quelle technique donnera les meilleurs r sultats aux co ts les plus bas cette question il n existe pas de r ponse claire Certaines tudes ont tent d y r pondre Desurvire et al 1991 Jeffries et al 1991 Nielsen 1992 Jeffries amp Desurvire 1992 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 19 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Karat et al 1992 Bailey et al 1992 Les r sultats de ces tudes r v lent que chaque techniqu
66. par les utilisateurs lors de la consultation du site Les erreurs et les r ussites pour chacun des sc narios ont t no t s Une grille d observation a t remplie pour chaque utilisateur un exemplaire de cette grille est disponible l Annexe 3 2 4 Sc narios et t ches 3 2 4 1 3 2 4 2 3 2 4 3 3 2 4 4 Au total quatre sc narios ont t pr sent s aux utilisateurs Les sc narios ont t cons truits de mani re refl ter diff rentes utilisations possibles Les sc narios ont permis aux utilisateurs de naviguer sur le site la recherche d information et d ex cuter certaines ac tions propres r aliser des t ches pr cises Les sc narios pr sent s aux utilisateurs sont les suivants La formulation des sc narios tels que pr sent s aux utilisateurs est disponi ble l Annexe Sc nario CRIM Formation Choix de cours et inscription en ligne Dans ce sc nario l utilisateur devait en premier lieu trouver un cours sp cifique Cr a tion de pages Web et s assurer que ce cours se donnait en d cembre et Montr al Par la suite l utilisateur devait s inscrire ce cours en utilisant la fonction d inscription en li gne du site Web Sc nario Recherche La recherche au CRIM Dans ce sc nario l utilisateur avait trouver toute l information disponible sur la recon naissance de la parole Il devait aussi envoyer un courriel au chercheur le plus senior en reconnais
67. probl mes disent 52 Tableau 28 Actions minimales exemples de 52 Tableau 29 Densit informationnelle exemples de probl mes 52 Tableau 30 Suggestions xempl s 4 surement 53 Tableau 31 Nombre de probl mes identifi s par les tests d utilisabilit 56 Tableau 32 R partition des probl mes communs aux deux 57 Tableau 33 Comparaison des r sultats des tests d utilisabilit versus Il inspection cca es GA nf An ee 59 Tableau 35 R partition des probl mes identifi s seulement par les tests d utilisabilit 60 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 36 Exemples de probl me identifi s seulement par les tests d utilisabilit 60 Tableau 37 R partition des probl mes identifi s seulement par les valuations Sn een a a A RE NS hate 61 Tableau 38 Exemples de probl me identifi s seulement par les valuations heuristiques61 Tableau 39 Avantages et inconv nients des deux 64 Centre de recherche informatique de Montr al janvier 2001 T
68. ra Par la suite le participant tait libre de poser des questions s il le voulait Deuxi mement un questionnaire de profil d utilisateur a t rempli par le participant Ensuite l utilisateur a t questionn sur ses attentes et sa compr hension des diff rentes rubriques de la page d accueil Il est noter que seulement les 6 premiers utilisateurs ont t questionn s de la sorte avant le d but des sc narios Cette pratique a t arr t e parce qu on a observ qu elle biaisait les r sultats des tests Ensuite les quatre sc narios ont t pr sent s l un apr s l autre aux utilisateurs L ordre de pr sentation des sc narios a vari pour viter tout biais d apprentissage Finalement un questionnaire de satisfaction a t rempli par les utilisateurs et ceux ci ont aussi mis leurs suggestions et commentaires g n raux par rapport au site Chaque session a dur environ 45 minutes et aucun des participants n a t r mun r pour sa participation aux tests Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 27 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 2 3 2 Donn es enregistr es Pour chaque utilisateur l cran tait film Tous les liens qui ont t s lectionn s par l utilisateur ont t pris en note ainsi que les commentaires faits
69. recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 17 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 2 3 1 3 2 3 1 4 rios ne sont pas labor s de mani re toucher toutes les fonctionnalit s d un syst me certains probl mes importants peuvent ne pas tre d tect s Choix des sc narios Les sc narios de t ches sont des repr sentations de travail r el que les utilisateurs sont susceptibles de vouloir accomplir avec l interface Les sc narios de t ches sont des ver sions enrichies des t ches r elles originales Ils fournissent un contexte et le rationnel de l utilisateur pour l accomplissement des t ches r elles originales Dans plusieurs cas le sc nario sera compos de plusieurs t ches puisque c est de cette fa on que les utilisateurs font leur travail dans la r alit Rubin 1994 Questionnaire de satisfaction Pour les interfaces traditionnelles la satisfaction d utilisation est habituellement un bon indice de leur utilisabilit Cependant pour les sites Web les utilisateurs peuvent appr cier un site par exemple pour son design graphique parce qu il semble int ressant sans pour autant y trouver l information qu il recherche utilisabilit Spool 1999 C est pourquoi le questionnaire de satisfaction doit tre assez pr cis pour valuer diff rents as pects de
70. site Web tests d utilisabilit versus valuation heuristique 3 Tests d utilisabilit Cette section du document d crit les tests d utilisabilit qui ont t faits sur le site Web du CRIM La m thodologie est d crite en d tail et le choix des sc narios est discut Les points forts du site sont mentionn s ainsi que les probl mes principaux Un profil d utilisateur est tabli et la satisfaction des utilisateurs est aussi d termin e 3 1 Objectifs des tests d utilisabilit Les objectifs des tests d utilisabilit du site Web taient les suivants e v rifier la facilit naviguer sur le site e d terminer si l information sur le site est compl te et facile trouver e valuer le nouveau module d inscription en ligne du site CRIM Formation e valuer la satisfaction des utilisateurs par rapport au site e recueillir les commentaires suggestions et attentes des utilisateurs 3 2 M thodologie Les tests d utilisabilit ont tous t effectu s sur les lieux du CRIM sauf un Au total 14 utilisateurs ont particip aux tests Les utilisateurs ont t recrut s parmi les employ s du CRIM les clients de CRIM Formation et certaines entreprises de Montr al Le profil des utilisateurs est d crit plus bas 3 2 1 chantillon 3 2 1 1 Sexe M me si le sexe des utilisateurs ne semble pas vraiment important dans l utilisation d un site Web cette information a tout de m me t compi
71. un site Web tests d utilisabilit versus valuation heuristique probablement pas connu cit deux fois valuateur C De plus deux autres probl mes ont aussi t limin s dans le comptage valuateur B et ces probl mes sont Plan du site ne me donne pas le plan de la partie formation cette remarque n est pas exacte Comment entrer le code du cours formulaire de validation ce probl me est d au fait que l valuateur a atteint cette page en tapant l URL ce qui ne donnait pas les fonc tionnalit s normales Le tableau peut donc tre reformul comme suit Tableau 20 Nombre de problemes trouv s pour chacun des utilisateurs problemes similaires limin s Evaluateur de probl mes A 22 B 41 C 26 Malgr ces modifications les observations faites plus haut quant aux proportions de pro bl mes trouv s par chacun des valuateurs restent valides La subjectivit des valuations heuristiques est mise en relief d une fa on assez impres sionnante dans le Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 47 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 21 Le tableau montre en effet que les trois valuateurs ont trouv un total de 72 probl mes Mais de ces 72 probl mes seulement trois ont t identifi s par
72. utiliser Indiquer sur la page de de l utilisateur autour d une cha ne de mots affichage r sultats l utilisation des des toiles pour montrer la pertinence toiles pour montrer la des r sultats ne sont pas indiqu s pertinence des r sultats l utilisateur Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 117 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 B 3 Nous joindre Je ne sais pas comment joindre une Donner acc s a la liste des Incitation personne en particulier a partir de cette employ s et a leur coordon page n es y compris leur adresse lectronique C est ici la place pour le faire 1 3 Nous joindre Pour un tranger le sigle de la Placer en l gende la d fini Signifiance des Carte d acc s STCUM n est probablement pas tion du sigle codes connu 1 A 4 Formation Le logo de CRIM Formation prend Actions mini trop de place et oblige a scroller males 1 B 4 Formation Plan du site ne me donne pas le plan FAUX de la partie formation 1 B 4 Formation A quoi sert le champ de saisie dans la Incitation barre de menus Je dois essayer pour le trouver Donc pas transparent 1 B 4 Formation Je veux
73. 11 Utilisation du moteur de recherche en fonction d une pr lecture de toutes les rubriques Avec pr lecture Sans pr lecture Condition Nombre Pourcentage Nombre Pourcentage Utilisation du moteur de 2 6 33 3 8 38 recherche L utilisation du moteur de recherche semblerait plut t tre reli e au type d utilisateur En effet tous les participants 100 qui ont utilis le moteur de recherche ont obtenu 7 r ussites ou plus sur un total de 9 r ussites possibles Par contre chez les participants qui Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 31 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique n ont pas utilis le moteur de recherche seulement 56 ont obtenu 7 r ussites ou plus Donc les meilleurs participants utilisent le moteur de recherche Tableau 12 Nombre d utilisateurs ayant obtenu 7 r ussites et plus en fonction de l utilisation du moteur de recherche 7 r ussites et plus Condition Nombre Pourcentage Utilisation du moteur de 5 5 100 recherche Non utilisation du moteur 9 9 56 de recherche 3 3 3 Description des probl mes d utilisabilit du site Web du CRIM Une description des probl mes majeurs recueillis lors des tests d utilisabilit est faite dans cette section Des solutions sont aussi pro
74. 24 Pour un contact Enlever le texte en gras difficile a lire Lisibilit d affaires et marque une insistance un saut de voix qui n a pas sa place ici 1 25 A propos du Texte pas assez a r Lisibilit CRIM 1 25 A propos du Du texte seulement Ordinaire Animation Vid o des Suggestion CRIM trucs 1 25 A propos du Il manque un l ment sur la propri t Suggestion CRIM intellectuelle 1 25 A propos du Il faut un emplacement plus appropri Groupement CRIM pour l hyperlien vers la FIQ cette Distinction navigation est difficile trouver 2 AC 26 Philosophie de 1 Long ennuyeux et inint ressant Densit infor gestion 2 Le contenu pourrait tre raccourci mationnelle de plus de 50 sans perte de substance Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 127 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 26 Philosophie de Le paragraphe sur Ses valeurs est Lisibilit gestion trop long pour l cran 2 27 Travailler au Paragraphe le premier est ennuyeux Oter le paragraphe philoso Densit infor CRIM Ne m est pas vraiment utile phique et donner 2 3
75. 6 13 1 savoir que CRIM est Montr al et que Pro CRIM deviendrait CRIM Format est a Qu bec 4 Montr al Qc et Pro Format deviendrait Pro Format Sillery Qc En cliquant sur l hyperlien une seule carte apparaitrait celle qui correspond l hyperlien s lec tionn Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 98 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 11 Probl mes concernant la page de validation de l inscription Tous droits r serv s 2001 CRIM Probl me Solution Nbr d U P Il n est pas clair qu il est possible Dans la page de validation donner 2 13 2 de s inscrire ligne 2 choix clairs 1 Inscription en ligne 2 Inscription par fax Le m me probl me est soulev dans la page Cours offerts Dans le formulaire de validation Mettre une note d explication juste 2 13 2 l utilisation d toiles rouges pour avant la premi re information forcer l entr e de certains champs remplir pour indiquer que les n est pas claire Les utilisateurs champs qui ont une toile rouge remplissent tous les champs S ils doivent tre remplis obligatoire ne les remplissent pas tous il com ment Expliquer pourquoi ces prennent par la suite en cliquant champs doivent tre remplis 1 e
76. CRIM l information sur le membership C est seulement en deuxi me qu ils vont sous la rubrique Un r seau de contact s ils y vont Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 88 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Probl me Solution Nbr d U P 5 Pour recevoir de l information sur Ajouter une Rubrique Membres 7 12 1 le membership plusieurs utilisa du CRIM teurs enverraient un courriel une des deux personnes retrouv es sous Pour un contact d affaires 6 L ordre et le regroupement des Revoir l ordre et le regroupement 3 14 2 rubriques causent un probl me a des rubriques certains utilisateurs Les utilisa teurs ont de la difficult s y re trouver 7 Les lettres utilis es pour le nom des Si possible utiliser une fonte diff 1 3 3 rubriques sont difficiles lire Un rente et plus grosse seul utilisateur en a fait la remarque 2 utilisateurs ont utilis un moni teur de 15 pouces Les autres uti lisateurs ont utilis un cran de 21 pouces Un utilisateur a utilis un ordinateur portable 8 Les pointill s utilis s entre certai L organisation des sous rubriques 1 14 3 nes sous rubriques sont mal com est revoir On peut se poser la pris par certains utilisate
77. Centre de recherche 550 rue Sherbrooke Ouest bureau 100 informatique de Montr al Montr al Qu bec H3A 1B9 z T l phone 514 840 1234 T l copieur 514 840 1244 C RIM http www crim ca CRIM Documentation Communications Rapport technique valuation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Premi re version CRIM 01 01 08 Mario Boutin Agent de recherche D veloppement et transfert technologique Odile Martial Chercheure mai 2001 Collection scientifique et technique ISBN 2 89522 008 5 Pour tout renseignement communiquer avec CRIM Centre de documentation Centre de recherche informatique de Montr al CRIM 550 rue Sherbrooke Ouest bureau 100 Montr al Qu bec H3A 1B9 T l phone 514 840 1234 T l copieur 514 840 1244 Tous droits r serv s 2001 CRIM Biblioth que nationale du Qu bec Biblioth que nationale du Canada ISBN 2 89522 008 5 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique TABLE DES MATIERES GE TET ET T 22 Conception DDL Sites EEN OINO IOANE ORO ERIO ENE IA 13 2 3 1 Tests ssia aeaa aa aeaa 15 2 3 1 1 Pron gas sutiliSatOUrs inienn a E aT a rm EEEa TO 17 2 3 1 2 Nombre d utilisateurs requis pour les 17 2 3 1 3 C
78. ES 06 Gmattia diy 8 10 1900 A Gag L Shaft E waki Puran of milh Sercor Raporte ly Meagsonege FUSION Las Voges 5 9 1B Gagron L Mepis Darg for GAR of Shear he Pastel a OS oe Sale OTe Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 20 Un r seau de contacts rioa de comtacts Le CRIM un r seau de contacts Regroupement de forces vives le CRIM compte sur un r sesu bien d welopp de membres partenaires et cents qui contribuent activement au partege et au rencuveiement Ge son patrimoine bechroicgique Sa centaine d membres sant des petites moyennes t grandes entreprises des untwersit s et des organises d services Derni re heure gt membres demis ke 22 d cembre STOCEPOINTER ING et SEDERTA IMC Le CRIM compte mant 110 METRE Tam bah hanin 8 EC CFIN Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 149 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 21 Privileges aux membres
79. IM ily des de Haul be ces de maitre de dacterat Erc emte leg be eilreprises af be erganieres dang diff rence projets de rechercha procompetities ef Le personnal de recherche du CRIM est galement ma dans a communaut scientifique pps ondel at Derni re heure pi at TT a g ree det carted ded diac il dt dir cterreent foguk lori quill tat gabon Mine du OFM du U0 f sir karri de MML el de ven L Mihail Wiesn de School of Commuter Granis cnrs un de Ektensibie Markup Large at sen du Groupe des bechnologies stratd gues de Mitel Entr e bbe de Le Ehrman sex E In Dam mirer Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 140 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 12 Reconnaissance de la parole Pacsnna sines d La parai Lee aiotes en reconnaissance de la parole du CAM inc res ent la duking de parce et au vocabulaire mite Laa rana misent d augmenter le nombre d mots du et
80. Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 79 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Si oui environ combien de fois 1 5 fois 6 10 fois 11 19fois 20 fois et plus 12 Dans quelles langues tes vous le plus l aise pour naviguer sur le Web Fran ais Anglais Indiff rent Autre 13 Aimeriez vous que le site Web du CRIM soit dans une autre langue Anglais Autre Questionnaire de satisfaction Merci de r pondre ce questionnaire Toutes les donn es demeureront confidentielles Pour r pondre veuillez encercler l nonc qui se rapproche le plus de votre choix N A L nonc ne me concerne pas 1 En g n ral mon opinion de ce site Web est la suivante Tr s insatisfait Plut t insatisfait Plut t satisfait Tr s satisfait N A 2 Mon opinion sur la facilit trouver l information que je cherche est la suivante Tr s insatisfait Plut t insatisfait Plut t satisfait Tr s satisfait N A 3 Mon opinion sur la vitesse de r ponse d un cran l autre de ce site est la suivante Tr s insatisfait Plut t insatisfait Plut t satisfait Tr s satisfait N A 4 Mon opinion sur l utilit de information pr sent e sur ce site est la suivante Tr s insatisfait Plut t insatisfait Plut t satisfait Tr s satisfait N A 5 Mon opinion sur le choix de titres des rubriques et de
81. Pacte Quatac ce Le Arve ken comprehen de riusan kisii st t bara de ce partners ipiga Girs kzi ahora ls comers a dine La fest durs mirhon GRZ su marg barge du terms Subs prope ume phate arireprins pear dui lamest an nea 199 Cour Pour qr i chaque Given quails chti mdan courier Ariomma carrer trerebrebls derah 1 ae cotes onhe comme miare pais ae ie bantene de partenaires Son mani orania 8 be eee prar le nian prope st Diag du race d culty st ces Conan du Gates er lee partenaires dang harg cho techno et beac ee Bami deen ba La See EPS veu deter le ibat Auri ees rd ee Cr para fee er eee at de recherche Ce asus paraitre un amra bo ureeruibaras du Guibas hipi st TEL CFO ain Perte reeurar aparina dam un contacts acca da ntendesson des d penser Lise Gere Seem du permet ports our lepimi cs Fnisroprat t dec tecendiges du conmorbum st leur hb invent uns minis technologie Cette So ONE OU CODEN Oe Gee DOr ee que La Beer La ec kg pi d entripnges Le iges BRC eat seu Tun prijet de rahinga
82. TML est somme toute assez facile apprendre et une pl iade d outils de conception est disponible Ce qui est difficile c est qu il n y a pas de recette miracle pour arriver concevoir un site de qualit On en conna t tout de m me les grandes tapes la d finition des besoins de l entreprise des buts du site Web et du public vis l analyse des objectifs et besoins des utilisateurs et de leur profil l laboration d un concept et d une maquette le choix d une architecture des moyens de navigation les tests de qualit du site v rification du HTML pour qu il soit interpr table par les diff rents navigateurs CRIM Formation 2000 D autres aspects sont aussi consid rer l indexation du site aupr s des moteurs de re cherche l h bergement du site la s curit des transactions faites sur le site etc Il faut aussi tester l utilisabilit du site avant de le mettre en ligne C est de ce dernier point dont il sera question dans ce rapport Quelle technique est la plus ad quate pour tester l utilisabilit d un site Web Deux techniques tr s populaires seront confront es les tests d utilisabilit et les valuations heuristiques Pour ce faire une revue de la litt rature actuelle sera pr sent e Par la suite les r sultats des tests d utilisabilit et des valuations heuristiques faites sur le site Web du CRIM http www crim ca seront pr sent s et compar s Les avantage
83. Web tests d utilisabilit versus valuation heuristique Sc nario Emploi Les emplois au CRIM Sc nario Emploi A Vous avez entendu parler du CRIM et avez obtenu l adresse de son site Web Vous aimeriez avoir de l information g n rale sur le CRIM De plus vous aimeriez conna tre sa mission Pages valuer de fa on heuristique 25 propos du CRIM http www crim ca index epl selec 8000 amp href a_propos index htm 26 Philosophie de gestion http www crim ca index epl selec 8 100 amp href a_propos philosophie htm Sc nario Emploi B Vous voulez aussi prendre connaissance des offres d emplois au CRIM Pages valuer de fa on heuristique 27 Travailler au CRIM http www crim ca index epl selec 9000 amp href offres_emplois index epl 28 Directeur technique Centre de tests http www crim ca index epl ances amp selec 9000 amp href offres_emplois index epl amp mo de read amp id 35 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 109 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique valuation heuristique du site Web du CRIM page Priorit Objet Probl me Solution Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 110 Rapport technique
84. accorder la r solution du probl me mentionn La si gnification des chiffres utilis s dans cette colonne est la suivante 1 Entra ne un chec du sc nario 2 Ralenti consid rablement l utilisateur 3 Irrite l utilisateur 4 Souhaits de l utilisateur Dans chaque section les probl mes sont class s par priorit Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 85 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 1 Probl mes g n raux Tous droits r serv s 2001 CRIM Probl me Solution Nbr d U P La majorit des utilisateurs ne S interroger sur le niveau de d tail 9 14 2 trouve pas le niveau de d tails de l information que l on veut pr qu elle recherche senter sur le site Pr senter de l information g n rale et utiliser des hyperliens pour aller vers l information plus sp cifique Certaines pages sont trop charg es Mettre quelques lignes 2 14 2 Les utilisateurs lisent peu et d information par sujet et utiliser s attendent avoir l information des hyperliens pour diriger sous forme de points ou de listes et l utilisateur vers de l information de retrouver du texte en caract re plus pr cise gras pour indiquer ce qui est im Dans le cas o les hyperliens aug portant menteraient trop le nombre de pa S
85. age qui ne contient que l information sur les politiques l information sur les politiques d inscription d inscription Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 101 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 13 Problemes concernant la page Travailler au CRIM Tous droits r serv s 2001 CRIM Probl me Solution Nbr d U P L utilisateur ne trouve pas adresse Ajouter l adresse postale et lectro 3 14 4 des ressources humaines postale et nique sur la premi re page apr s lectronique s il d sire envoyer avoir s lectionn Travailler au son CV CRIM L utilisateur ne sait pas l attention Indiquer le nom d une personne 1 14 4 de qui il doit envoyer son CV contact aux ressources humaines g n ral et pour chaque description de poste Centre de recherche informatique de Montr al janvier 2001 Page 102 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 14 Probl mes concernant la page propos du CRIM Tous droits r serv s 2001 CRIM Probl me Solution Nbr d U P Plusieurs utilisateurs sont incapa D placer Mission Personnalit et Valeurs 7 14 1 bles de trouver la mission du CRIM de Philos
86. ages et les inconv nients de l utilisation des tests d utilisabilit par rapport aux valuations heuristiques Tableau 37 Avantages et inconv nients des deux approches Approche Avantages Inconv nients Tests d utilisabilit identification de probl mes e longs tant donn l volution ra majeurs d utilisabilit pide du contenu des sites Web les les probl mes identifi s sont problemes soulev s peuvent avoir sp cifiques reli s a la tache chang lorsque le rapport de test est publi e grande quantit de probl mes identifi s et de sugges Co teux tions d am lioration e choix d utilisateurs repr sentatifs pas toujours facile e peuvent n cessiter des d place ments chez les utilisateurs e compilation laborieuse des r sul tats valuations rapides e grande variabilit dans les probl ristiques e co t relativement faible mes soulev s d un valuateur SE l autre e donne une id e g n rale des probl mes e probl mes soulev s fortement in identification de probl mes fluenc s par l expertise sp cifique ws des experts majeurs li s au guidage et a la charge de travail e besoin de plusieurs experts pour identifier un ensemble significatif de probl mes e probl mes identifi s sont d ordre g n ral et non reli s la t che e faible disponibilit des experts e tr s subjectives m me si des crit res pr cis d
87. an Au CRM cette fa on de penser se concr tise dans fa qualit des avec le personmel et dans l action tous bes puri Tras Sara que Pr gident direcheur garara du TEP Offres d emplods i Coeur 1 pidaia Centre de tests Agani d cata harhau d cent d d Decor unica Con Tene beds ee mi 4 OEE Vile de Bonizeg Montreal sirup st Les tros dy dE Soc dt Montre La Tole Cathar wits das doux Mantis mm Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 156 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 28 Directeur technique Centre de tests sie au COI Directeur Contre de tests Directeur technique Gentine de bests Ce poste ect supenis per le directeur c r ral du Centre de ginie logics OGLA Descriptions ches i Response des operations Techniques du Centre de tests et d la des sanne oliris a identifier et diffuser bs prettier de feats aupr s det entreprises Transferer ces connaissances en m thodologie de tect ek fournir des renseignements str
88. ant be CRIM ses membres st ses partenaires de ja Malson des hautes technologies communiqu s br ves v nements Conf rences Lise des membres Bulletin CRIM a du EHT Vous disirar a bie aisd des hous organises parle CRIM pes membres ek ges partenaires de ja Maison det hautes technologies programm s cori rerces cours enqu tes abr ic E recevoir les derni res nouvelles provenant du CRIM de ses membres et de nes partenaires de la Maison des hautes technologies communiqu s rapports artides te Abonnez vous bulletin CRIM dainui une fot par mots vous d s ieira une adresse decronique comolte nemenin de domaine Soumission daders mince pas le morn de domaine sera automatiquement reims d sre recevor b bullebn Ws acabit 4 4 8 0 omens les accents Was commentaires sur le site Le bulletin est disponible en Irama seulement Inscrpbon aubulebn Taa ria Hens ere Fa Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 145 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 17 Pagenda LT ii Calendrier des S nat de CRIM ent DAH Parren kii L eara Daien Green par Le ial Mo
89. aring user interface evaluation methods on a new telephone based in terface ACM SIGCHI Bulletin 23 4 October pp 58 59 DESURVIVE 1994 Chapter 7 Faster Cheaper Are Usability Inspection Methods as Effective as Empirical Testing In Usability Inspection Methods Nielsen J and Mack R L Eds John Wiley and Sons New York 1994 pp 173 202 JEFFRIES R DESURVIRE H 1992 Usability testing vs heuristic evaluation Was there a contest SIGCHI Bulletin 24 4 pp 39 41 JEFFRIES R MILLER J R WHARTON C UYEDA K M 1991 User inter face evaluation in the real world A comparison of four techniques Proceedings of CHP91 New Orleans LA April 27 May 2 1991 ACM New York pp 119 124 KARAT C M CAMPBELL R FIEGEL T 1992 Comparison of empirical tes ting and walkthrough methods in user interface evaluation Proceedings of 92 Monterey CA May 3 7 1992 ACM New York pp 397 404 KARAT H 1994 Chapter 8 A Comparison of User Interface Evaluation Me thods In Usability Inspection Methods Nielsen J and Mack R L Eds John Wiley and Sons New York 1994 pp 203 233 MOLICH R BEVAN N BUTLER S CURSON KINDLUND E KIRAKOWSKY J MILLER D 1998 Comparative Evaluation of Usability Tests In Proceedings of UPA 98 Usability Professional Association 1998 Confe rence Washinton DC pp 189 200 NIELSEN J 1992 Finding usability problems through heuristic eva
90. at giques et techniques aux dirigssnts des entreprises G rer les investissements en matitre de recherche et d veloppement Participer aux activ s reli es M valution bechnologique du domaine du test a Fournir des cours d appoint dans le domaine du best Qusitications requises 1 Formation acad migue bachelier en g nie informatique ou tout autre disapline pertinent Etre reconmu comme tant un chef de fle dare le domaine du g nie togidel et compter plus de ong ann es d exp rience dans cethe dogpine et 10 ans dans des projets ce d veloppement indus bris Connaissance des approches ubls es dans le domane du test Posc der Ure seperate de prestatons de teste et Gu d outils s y rattachant Experience dans un mieu sceritifigue Exp rience reconnue en gestion de projet recherches Autonomie et esprit d initiative d communication s Esprit d quipes Maike orae af doite des largues Marea af Le poste est combler d s maintenant Votre cardkiature devia bire au Service hs reggqurces Mumanses Si l emploi pour lequel vous postulksz n est derementidenut votre damarda n pad oordiderde VWeullez envoyez vobre cunculum viae t kcopiaur su num ro suhant 514 840 1244 ou courrier dectronique ce OPE TEE rd Centre de recherche informatique de Montr al
91. avoir un compte d achat choisir des utilisateurs repr sentatifs du public cible du site tablir la m thodologie qui sera utilis e les quipements qui seront utilis s les personnes impliqu es les fa ons de mesurer la performance nombre de clique de souris temps pour accomplir une t che les sc narios utilis s Pearrow 2000 Pour ce qui est des valuations heuristiques les crit res ergonomiques utilis s sont eux aussi semblables ceux des interfaces traditionnelles par exemple minimiser la charge mentale de l utilisateur tre coh rent fournir du feed back l utilisateur pr venir les er reurs etc Nielsen amp Molich 1990 Par contre certains crit res ergonomiques peuvent tre ajout s pour mieux refl ter les situations rencontr es dans les sites Web Par exem ple Pearrow 2000 e regrouper l information semblable chunking e utiliser le style d criture de la pyramide invers e mettre ce qui est le plus important au d but mettre l information importante au dessus du pli Ceci est une analogie aux m dia crits tels les journaux Le pli correspond ce qui est vu avant que l utilisateur ait besoin de scroller e viter l usage gratuit des nouvelles technologies e faire des pages qui sont faciles balayer du regard scannable e conserver les temps de t l chargement et de r ponse bas Le reste du document pr sente plus en d tail deux d
92. cation des entrevues l analyse des r sultats la r daction du rapport de tests Typiquement et selon la pratique du CRIM il faut compter 40 jours personne pour un test d utilisabilit complet Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 62 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 5 2 2 valuations heuristiques Pour ce qui est des valuations heuristiques le temps coul entre l envoi des consignes d valuation et la r ception de la derni re valuation a t d un mois En revanche les experts disent avoir pass de 3 4 heures pour faire l valuation proprement dite le d lai de r ponse s expliquant par l horaire charg des experts Apr s r ception des valuations il faut aussi pr voir un temps de compilation des r sultats et de r daction d un rapport Typiquement et selon la pratique du CRIM une valuation heuristique correspond 6 jours personne de travail Cela peut devenir co teux si les experts externes sont r mun r s Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 63 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 5 3 Avantages et inconv nients des deux approches Le tableau suivant montre les avant
93. chances d tre lev e Pour r ussir concevoir des interfaces de qualit une bonne connaissance des principes ergonomiques est essentielle mais n est pas suffisante Une m thodologie rigoureuse de conception doit tre adopt e La philosophie de conception centr e sur l utilisateur sert de base une telle m thodologie Cette philosophie de conception centr e sur l utilisateur a t propos e par Gould amp Lewis 1983 et s appuie sur les principes sui vants e attention imm diate et continue aux utilisateurs e conception int gr e tout volue en m me temps interface manuel d utilisateur etc e valuation imm diate et continue aupr s des utilisateurs e conception it rative Cette philosophie de conception se traduit ensuite en diff rentes tapes op rationnelles telles que montr es la Figure 1 Robert amp Fiset 1992 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 11 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 D finition du but y 2 Analyse du contexte gt gt Analyse de la t che Revue de litt rature Analyse des Analyse des possibilit s et des m et de syst mes utilisateurs y limites techniques gt gt Analyse des besoins 3
94. chnique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique La m thodologie utilis e dans l approche formelle bas e sur les m mes crit res que les exp riences scientifiques comporte les points suivants e formulation d une hypoth se e choix de participants au hasard et association a des conditions exp rimentales e contr les serr s effectu s e groupe t moin e chantillon de participants assez grand pour que des diff rences statistiquement signi ficatives soient mesurables La m thodologie utilis e dans l approche informelle des tests d utilisabilit est la sui vante e d veloppement d nonc s de probl mes et d objectifs de tests plut t que d hypoth ses e utilisation d un chantillon repr sentatif d utilisateurs qui peut tre choisi au hasard ou non e repr sentation de la situation r elle de travail e observation des utilisateurs qui ont des interactions avec le produit en question e collecte de donn es quantitatives et qualitatives de performance des utilisateurs et de leurs pr f rences e formulation de recommandations pour l am lioration de la conception du produit Peu importe la m thodologie choisie diff rents outils pourront tre utilis s pour recueillir l information pertinente aux tests par exemple e micros pour enregistrer les commentaires des utilisateurs qui seront invit s
95. cile cerner Il est bien entendu que plus il y aura d utilisateurs participer aux tests meilleures seront les chances de trouver un maximum de probl mes Cependant plus le nombre d utilisateurs est grand plus les co ts associ s aux tests sont lev s et plus les d lais sont allong s moins que les ressources disponibles soient illimit es ce qui est rarement le cas dans le march comp titif d aujourd hui on voudra optimiser le nom bre d utilisateurs qui participeront aux tests Virzi 1992 a tudi la question sp cifique du nombre d utilisateurs versus le nombre de probl mes d tect s Virzi a ainsi trouv que la majorit des probl mes taient d tect s par les quelques premiers utilisateurs et que les chances que d autres probl mes soient d couverts diminuaient pour chacun des utilisateurs additionnels Les probl mes les plus graves sont susceptibles d tre d cou verts par les quelques premiers utilisateurs et cons quemment plus le nombre d utilisateurs est grand plus on augmente les chances de d couvrir des probl mes de moindre importance Suite ses tudes Virzi a conclu que dans la majorit des cas cinq utilisateurs seraient en mesure de d tecter approximativement 80 des probl mes d utilisabilit les plus graves Il faut noter que ces chiffres sont valables en autant que les sc narios permettent de tester l ensemble des fonctionnalit s d un syst me Si les sc na Centre de
96. ciles e l agenda Coin m dia e L Art du CRIM e Essaimage 3 Accueil Difficile de trouver de l information rela Ajouter une rubrique tive au membership confusion des Devenir membre termes Membres et Clients 4 propos du CRIM Difficult de trouver la mission du D placer Mission vers la CRIM premi re page obtenue en s lectionnant pro pos du CRIM S assurer que l information ajout e au site est au bon endroit Pour une revue compl te des probl mes recueillis lors des tests d utilisabilit le lecteur est invit consulter les tableaux de l annexe C Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 43 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 4 Evaluations heuristiques Cette section du document pr sente les r sultats des valuations heuristiques du site Web du CRIM faites par trois valuateurs experts Cette section pr sente les probl mes soule v s par les experts de mani re pouvoir apporter des am liorations au site Web du CRIM Le but de cette section est aussi de comparer les r sultats obtenus d un expert a l autre de mani re avoir une meilleure id e du type d information qu il est possible d obtenir d valuations expertes Une d finition de ce qu est une valuation heuristique est disponible dans
97. consultation d cider que le site visit est trop compliqu ou qu il ne semble pas contenir l information d sir e ce qui est tout fait dif f rent d une interface traditionnelle De plus tant donn la rapidit de l volution du Web les directives qui sont ad quates aujourd hui peuvent ne pas l tre dans un an Il faut se rappeler que les meilleurs sites Web doivent combiner un design visuel int res sant un contenu informationnel utile et une navigation facile Si un de ces l ments est manquant le site en souffrira Les ouvrages qui traitent de la conception et de l valuation des sites Web reposent par fois sur l exp rience personnelle des auteurs Johnson 2000 Nielsen 1999 Veen 1997 sur des tudes pouss es Spool amp al 1998 ou sur une s rie de r f rences tablie Lynch amp Horton 1999 Pour ce qui est de la partie valuation du cycle de d veloppe ment les techniques diff rent peu de celles utilis es pour les interfaces traditionnelles Par exemple pour les tests d utilisabilit 1l faut conna tre l objectif du site Web tester tablir une liste de points v rifier ex Est ce que les utilisateurs sont capables de Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 14 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique s inscrire pour
98. csssssssscssscssssssscseescssscssssssescsssesssssssscsessees 140 Reconnaissance de la parole ssccccssssssccssssssccssssssccccssssscccssssssccssssssssscssssssccsees LAL PROJ CUS U P 1 14 1 15 1 16 1 17 1 18 1 19 1 20 1 21 1 22 1 23 1 24 1 25 1 26 1 27 1 28 PUD CAG ONS sez teiseste Pierre Dumouchel 144 Pagenda Coin m dia c csssscsssessessssssssssssssssessessesssssssssssssssssssessessssssssesssesseseees 145 A ETLI E DOTENA ANIIS EIEEE LAO Vision par ordinateur 147 Langis Un r seau d contacts siisiacedcsccccsidsvccdccsecassicedsccececscesssdevscddcasedetatscsesssidessedececdssseviee 149 Privil ges aux membres ccescdervessseesocrssvoanssnevooecosedorsudososcencsvoursseasenssvsncsersteseesedossee LOU Information sur l adh siOin ccccscscccssscccssscccssccessccssssccssssccessscsessssecessseesess 51 client au 152 Pour un contact d affaires L53 propos du CRIM sis 154 Philosophie de gestion LOD Travailler au CRIM emmen s LOO Directeur techniq
99. ction de du moteur de recherches see 32 Tableau 13 Priorit de r solution de probl mes 33 Tableau 14 Nombre de probl mes associ s a chacune des priorit s pour les sections du BILE TOUCHEES par ES TESTS 33 Tableau 15 Rubriques mal comprises OU INCOMPTISES eeeeceeeseceeseeeeesteeeesneeeeaees 34 Tableau 16 Nombre de r ponses obtenues pour chacune des questions reli es la On 38 Tableau 17 Probl mes relatifs l inscription au cours de CRIM 41 Tableau 18 Autres probl mes de nature g n rale 42 Tableau 19 Nombre de probl mes trouv s pour chacun des 46 Tableau 20 Nombre de probl mes trouv s pour chacun des utilisateurs probl mes Similaires elimi NS cece E A de does see 47 Tableau 21 Nombre de probl mes trouv s par plusieurs 49 Tableau 23 Probl mes soulev s en fonction des crit res de Bastien et Scapin 50 Tableau 24 Incitation exemples de probl mes 51 Tableau 25 Groupement Distinction exemples de probl mes 51 Tableau 26 Lisibilit exemples de probl mes ss 52 Tableau 27 Concision exemples de
100. ction est faite envoyer Putilisateur au bon endroit 4 Iln est pas clair qu il est possible Indiquer qu il est possible de 2 13 2 de s inscrire en ligne s inscrire de 2 fa ons En ligne ou par fax Seulement 2 utilisateurs ont fait la remarque mais comme le sc nario disait de s inscrire en ligne les utilisateurs devaient donc trouver le moyen de le faire sans se poser la question si cette option tait dispo nible Le m me probl me est soulev dans la page de validation d inscription 5 La liste des cours en ordre alpha e serait pr f rable de trierou 2 13 2 b tique est difficile consulter structurer la liste dans le menu Choisir un cours et Phyperlien Liste de tous les cours e Si une liste compl te de tous les L utilisateur doit la parcourir au cours offerts au CRIM est pr complet pour trouver le cours qui sent e les titres auraient avan l int resse De plus les titres ne tage a tre standardis s comme sont pas standardis s ce qui rend dans un bottin t l phonique cette recherche encore plus diffi cile Il est noter que la formulation du sc nario aid la recherche tant donn que Cr ation de page Web existait tel quel dans la liste et tait au d but de la liste des cours Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 95 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabil
101. da recherches islamique da Monia CRIM FORMATION FORMULAIRE DE DEMANDE D TNRCRIPTION Moss ous inpre toarpliter 1 nous envoyer ce foaire d adcophan Par 514 240 1252 wo par CRIM Famin Tour suet 50 ue Carai Berau 140 Montreal HIA 184 PARTICIPANT Nom Poun Frinam Mans Fonction Ter Camiel cr Organisme Adresses cu Sherbrooke oen rune 100 Ville Montr al Code pormal HOA 1E5 T l phone 514 240 1244 Paste Faz Cr 40 1244 COURS Cadr Tire Date Enix ann membre Corr Citation de pages Web 14 FEV 2000 295 008 Tatal partiel 205 06 20 656 TQ ET a 21 0 Taral AMIE PAIEMENT ___ lamen de Der menbres de CEE _ YEA Master Cad Ho Exp Hemne La carte Lee frais ftre ac pott e en enter ana le d ba du coure Te pra dee pobbguer Siracnphon e d annulation Signature de parapat Liste Sygate do du cr dit menbre Dimman Pour 5141 540 1251 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 139 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 11 Recherche et d veloppement Becher appa ri mr Au coeur de RAO CR
102. devriez tre en mesure de naviguer sur le site et de vous rendre aux pages indiqu es sans probl me Il serait int ressant si vous pouviez faire cette valuation d ici la fin janvier Merci beaucoup pour votre aide pr cieuse Mario Boutin T l 840 1234 poste 5404 Fax 840 1244 Courriel mboutin crim ca Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 105 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Pages valuer de fa on heuristique 1 Page d accueil http www crim ca 2 Moteur de recherche 3 Nous joindre http www crim ca index epl href coordonnees htm Sc nario C Form S lection d un cours et inscription Sc nario C Form A Vous d sirez suivre un cours au CRIM sur la cr ation de pages Web Vous tes disponibles en d cembre et souhaitez prendre ce cours a Montr al Pages a valuer de facon heuristique 4 Formation http www crim ca index epl selec 3000 amp href formation index htm 5 Cours offerts http www crim ca index epl selec 3200 amp href formation cours index epl amp mode form 6 Cr ation de pages Web C072 http www crim ca index epl ances amp href 2F formation 2Fcours 2Findex epl amp mod e read amp selec 3200 amp basket amp id C072 amp B 1 Choisir Sc nario C Form B Vous d cidez de vous inscrire en utilisant la
103. dison Wesley Publishing Co Rea ding MA TRENNER Lesley BAWA Joanna Eds 1998 The politics of usability A practical guide to designing usable systems in industry Springer Verlag WOOD Larry E Ed 1997 User interface design Bridging the gap from user requirements to design CRC Press Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 69 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 7 3 1 Lignes directrices normes standards Apple Computer Co 1987 Apple Human Interface Guidelines The Apple Desk top Interface Addison Wesley Waltham MA Apple Computer Inc 1992 Macintosh human interface guidelines Addison Wesley Publishing BASTIEN J M Christian SCAPIN Dominique L 1995 Evaluating a user inter face with ergonomic criteria RR 2326 INRIA France BASTIEN J M Christian SCAPIN Dominique L 1993 Ergonomic criteria for the evaluation of human computer interfaces RT 0156 INRIA France BROWN C Martin L 1998 Human computer interface design guidelines Intel lect Department of Defense USA 1999 Human engineering design criteria for military systems equipment and facilities MIL STD 1472F Hewlett Packard Company 1990 Corporate Human Factors Engineering Soft guide guidelines for usable software IBM Systems Application Architecture Commo
104. e 2 Le bouton de retour la page d accueil est difficile trouver 2 Dans Cours offerts certains utilisateurs ne pensent pas qu ils doivent peser sur le bouton Choisir pour continuer 2 Dans le formulaire de validation certains utilisateurs veulent tre capables de facturer leur cours a leur employeur mais n ont pas cette option 2 La page sur les tarifs pr f rentiels ne contient pas les mots tarifs pr f ren tiels L utilisateur est incapable de localiser l information qu il recherche En analysant les exemples de probl mes que seul les tests d utilisabilit ont permis de d couvrir Tableau 34 on r alise la particularit des tests d utilisabilit Par exemple il est Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 60 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique impossible autrement que par les tests d utilisabilit de d couvrir qu elles sont les rubri ques qui sont incomprises des utilisateurs De m me il est difficile de d couvrir tous les besoins des utilisateurs sans en rencontrer ex d sir de facturer un cours son em ployeur De plus certains probl mes ne seront d couverts que par des mises en situation ex bouton Choisir dans la page Cours offerts Le Tableau 35 montre la r partition des probl mes qui n ont t
105. e Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique d val val Objet Probl me Solution Bastien et Sca pin 2 BC 12 Reconnaissance de la parole Rien sur les travaux effectu s dans ce th me liste de th mes de re cherche de rapports techniques de publications de domaines d application vis s etc L information disponible est tr s d cevante parce que incompl te Brevets bases de donn es logi ciel prototype etc Pas un probleme d utilisabilit mais le texte ne me dit utile Le lien avec des projets et la des cription de ces derniers serait tr s utile Suggestion 13 Projets Il manque un classement des projets par domaine de recherche ex voix ergonomie Groupement Distinction BC 13 Projets 1 Encore ici peut on lire se pro curer les rapports les publi cations les d mos d velopp s etc C est incomplet Il manque de l information qui dois je m adresser pour en savoir plus sur un projet Ajouter des liens vers les partenai res et quipes de recherche par exemple de NORI au groupe pa role et vice versa La description des projets devrait tre plus d taill e avec des liens vers les publications Suggestion Centre de recherche informatique de Montr al Tous droits r
106. e 86 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Probl me Solution Nbr d U P 5 Le bouton de retour la page Augmenter la taille du bouton et 5 8 2 d accueil est difficile trouver grossir les deux petites fl ches qui Les utilisateurs qui veulent indiquent un retour en arri re l utiliser le cherchent et ne le voient pas 6 Les bo tes d information compl Regrouper les liens internes en haut 4 14 2 mentaire pr sent es dans la partie de la liste des informations com de droite de la page portent pl mentaires et indiquer Liens confusion Certains utilisateurs internes ou CRIM Mettre les pensent que c est de l information liens externes au bas de la liste des relative au CRIM ce qui n est vrai informations et indiquer Liens que dans certains cas vers d autres sites 7 Le moteur de recherche dans le Agrandir la case du moteur de re Aucune 3 coin droit est difficile rep rer 4 cherche Cela faciliterait aussi les donn e personnes ont utilis recherches qui n cessitent plusieurs ce mots i e permet d en v rifier sujet Vorthographe plus facilement 8 L utilisateur a de la difficult Ajouter une rubrique qui pr sente Aucun 3 trouver des exemples de projets rait les services que le CRIM peut chiffre r alis s au CRIM
107. e a ses forces et ses faiblesses Les paragraphes suivants noncent les avantages et les inconv nients de chacune des techniques 2 3 3 1 Avantages des valuations heuristiques Efficaces pour identifier les t ches o des probl mes sp cifiques d utilisabilit se produiront Peuvent tre utilis es t t dans le cycle de d veloppement avec des maquettes ou des prototypes qui ne sont pas compl tement fonctionnels un moment o diff rentes alternatives d interfaces sont consid r es Dans une certaine tude l valuation co t b n fices probl mes trouv s par heure personne r v le que les valuations heuristiques ont un avantage de 12 pour 1 par rapport aux tests d utilisabilit Jeffries et al 1991 Pour obtenir ces r sultats plu sieurs experts doivent cependant tre utilis s Faibles co ts Identifient beaucoup plus de probl mes ce qui peut tre un avantage ou un inconv nient Trouvent des probl mes mineurs qui ne sont souvent m me pas vus lors de tests d utilisabilit Nielsen 1992 Nielsen dit que ces probl mes bien que mineurs sont de vrais probl mes et qu ils ne devraient pas tre n glig s Trouvent une proportion plus lev e de probl mes majeurs d utilisabilit que de pro bl mes mineurs Les experts font plus attention aux probl mes majeurs sans toutefois n gliger les probl mes mineurs Nielsen 1992 2 3 3 2 D savantages des valuations heuristiques Ne
108. e et l exactitude de l information donn e aux utilisateurs sur la nature des erreurs commises et sur les actions entreprendre pour les corriger e Correction des erreurs Concerne les moyens mis la disposition des utilisateurs pour leur permettre de corriger leurs erreurs 7 Signifiance des codes et d nominations Concerne l ad quation entre l objet ou l information affich e ou entr e et son r f rent Des co des et d nominations signifiants disposent d une relation s mantique forte avec leur r f rent 8 Compatibilit Se r f re l accord pouvant exister entre les caract ristiques des utilisateurs m moire percep tons habitudes etc et des t ches d une part et l organisation des sorties des entr es et du dia logue d une application donn e d autre part Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 114 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Annexe E R sultats des valuations heuristiques par les 3 valuateurs Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 115 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Les probl mes identifi s dans le tableau suivant sont class s par num ro de page et par valuateur
109. emple les crit res ergonomiques compil s par Vanderdonckt 1994 Des groupes de travail sp ciaux s int ressent d ailleurs la fa on d utiliser les lignes directrices par exemple l International Workshop on Tools for Working with Guidelines Biarritz France 7 8 octobre 2000 2 2 Conception La litt rature est aussi abondante au niveau de la conception d interfaces ce titre le th me de l utilisabilit est commun plusieurs ouvrages par exemple Bias amp Mayhew 1994 Constantine amp Lockwood 1999 Helander amp Landauer 1988 Mayhew 1999 Shneiderman 1997 L application des diff rents principes nonc s dans abondante litt rature traitant de la conception ne garantit cependant pas une interface parfaite C est d ailleurs pour cette raison que des tapes d valuation sont pr sentes apr s l laboration d un mod le d interface et apr s le prototypage et que ces valuations donnent lieu une boucle pour une conception it rative voir Figure 1 tapes 4 amp 6 La phase d valuation est tout fait indispensable C est de cette phase qu il est question dans cette revue de litt rature 2 2 1 Sites Web Pour ce qui est des guides de conception relatifs aux pages Web la litt rature sous forme d ouvrage n est gu re abondante car le sujet est r cent En revanche plusieurs sites Web abordent la cr ation et l valuation de sites Web All Things Web Human Fact
110. enda Coin m dia 1 0 0 0 1 Probl mes g n raux 0 6 2 2 10 Page de Validation de l inscription 0 4 3 3 10 Sous rubriques de R amp D 0 2 0 1 3 Page Politiques d inscription 0 2 0 0 2 Rubrique Un r seau de contact 0 1 1 0 2 Page Projets 0 1 0 0 1 Page Publications 0 1 0 0 1 Page R amp D 0 0 1 0 1 Page travailler au CRIM 0 0 0 2 2 3 3 3 1 Probl mes g n raux du site e Certains utilisateurs 3 14 ne r alisent pas que des sous rubriques viennent de s ouvrir apr s avoir cliqu sur une rubrique Le probl me est plus marqu lorsqu il y a peu de sous rubriques par exemple A l agenda Coin m dia Solution Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 33 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Mettre les sous rubriques dans la partie centrale de la page plut t que dans les me nus c est d ailleurs cet endroit que le regard de l utilisateur se porte apr s avoir s lectionn une rubrique OU Avoir un effet visuel ou sonore pour indiquer que des sous rubriques viennent d appara tre sous la rubrique principale e Plusieurs rubriques sont mal comprises ou pas comprises du tout Tableau 15 Rubriques mal comprises ou incomprises Rubrique N N possible Pourcentage Gestion du risque et processus 7 14 50 Veille
111. es coordonn es pour obte membership sur le site Web Placer nir de l information sur le mem le formulaire de demande bership d information dans une sous rubrique ex Pour plus d information 2 Certains utilisateurs ont exprim M me solution que pr c demment 2 14 3 leur insatisfaction par rapport la quantit trop faible d information qu il trouve sur les membres Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 93 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 9 Probl mes concernant la page Cours offerts Probl me Solution Nbr d U 1 Dans certains cas lorsqu un choix de liminer la rubrique Formulaire 4 13 1 cours est fait certains utilisateurs ont ten d inscription dance utiliser Formulaire d inscription sous la rubrique Formation gauche ce qui m ne au formulaire papier 2 Dans la page Cours offerts les e Organiser les menus d roulants 8 13 2 deux menus d roulants et la case pour que le premier serve de Rechercher ne sont pas bien com filtre au deuxi me comme c est pris Plusieurs utilisateurs pensent ce quoi la majorit des utili qu ils doivent tout remplir Les sateurs s attendent utilisateurs pensent que le premier e Rajouter la cat gorie suivante menu Cat gorie servira de filtre qui serait s
112. es emplois au CRIM 28 33 R sult ts ris tn rien ete nn nine tree 29 3 3 1 Forces Qu Sitevsssccsscsssesecvniecdersesenssetsscdsenseeaosessepeodenseasssecsesesseesucesssssaseckvosadestesadsensessoseasonvessadscsve s 29 3 3 2 R sultats par rapport la r ussite des SCEMATIOS cscsssscssscsessesssssessscesessccsessecsecsesssseees 30 3 3 3 Description des probl mes d utilisabilit du site Web du CRIM ssccscsssssssecsssscsseeees 32 3 3 3 1 Probl mes g n raux du site 33 3 3 3 2 Probl mes relatifs l inscription aux cours de CRIM 35 3 3 4 R sultats du questionnaire de satisfaction cscsccscsssssscscssscssssecssssesssssscssccsessesssssesseseees 38 3 3 4 1 Questions choix multiple ss 38 3 3 4 2 Suggestions des utilisateurs non reli es des probl mes d utilisabilit 39 3 4 Conclusions et recommandations des tests d utilisabilit 41 4 EVALUATIONS HEURISTIQUES semer 44 4 1 4 4 1 1 Experts contactes yess 44 4 1 2 D roulement et consignes pour les valuations esse 44 4 1 3 SCOMAVIOS 55isecccesscccutestsccesscostetessscsesescsievescusestsoussatvendecdstovtesosvsedesentsecdoscvesdesuseeediscedsictbestcassbedesever 45 42 R s ltats nan aie iene RE eect ead 4 2 1 Diff rences entre les Eva
113. es probl mes n cessitant de nou velles approches Aujourd hui vous avez un probl me pr cis d analyse d image vison artificielle et vous aimeriez savoir si le CRIM peut vous venir en aide et si oui qui pourrait le faire Pages valuer de fa on heuristique 18 Vision par ordinateur http www crim ca index epl selec 2600 amp href rd vision htm 19 Langis Gagnon http www crim ca index epl menu menug amp ances root_ 2000 2700 amp selec 2700 amp href rd personnes langis_gagnon htm Sc nario Indust B De plus vous aimeriez tre membre du CRIM mais jugez qu il vous manque d information avant de prendre une d cision clair e Comment faites vous pour obtenir plus d informations relatives au membership Pages a valuer de facon heuristique 20 Un r seau de contacts http www crim ca index epl selec 6000 amp href reseau index htm 21 Privil ges aux membres http www crim ca index epl selec 6300 amp href reseau privileges htm 22 Information sur l adh sion http www crim ca index epl selec 6400 amp href reseau adhesion htm 23 Etre client au CRIM http www crim ca index epl selec 7000 amp href client index htm 24 Pour un contact d affaires http www crim ca index epl selec 7400 amp href client contact htm Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 108 Rapport technique Evaluation de l utilisabilit d un site
114. es techniques les plus populaires pour valuer les sites Web soit les valuations heuristiques et les tests d utilisabilit 2 3 Evaluation La conception centr e sur l utilisateur emploie diff rentes techniques tout au long du d veloppement d un produit pour s assurer que le produit sera bien adapt aux besoins de Vutilisateur qui veut accomplir sa t che Ces techniques s appliquent une vari t de produits dont les interfaces humain ordinateur et les sites Web Selon l tape de d ve loppement d un produit et les ressources disponibles temps argent personnel qualifi etc l une ou l autre ou une combinaison de ces techniques sera utilis e Cette revue de litt rature vise les tests d utilisabilit et les valuations heuristiques 2 3 1 Tests d utilisabilit Pour les tests d utilisabilit Rubin Rubin 1994 d finit deux approches principales l approche formelle et l approche informelle L approche formelle utilise des tests cons truits comme de v ritables exp riences scientifiques dans le but de confirmer ou d infirmer des hypoth ses sp cifiques L approche informelle utilise une approche it ra tive compos e d un cycle de tests qui ont pour but de faire ressortir les probl mes d utilisabilit d un produit et d am liorer graduellement le produit Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 15 Rapport te
115. eulement 2 utilisateurs ont fait le ges du site diviser l information en commentaire que les pages taient paragraphe et ajouter des caract res trop charg es mais lors des tests on gras pour attirer ceil de se rend compte que les utilisateurs l utilisateur ne lisent pas beaucoup quand les pages sont trop charg es Le moteur de recherche retourne Des modifications pourraient tre 2 4 2 des informations dont les descrip apport es au moteur de recherche teurs sous le titre principal sont actuel tous semblables Certains utilisa Modifier les descripteurs pour cha teurs ont de la difficult faire un que rubrique choix parmi tous les r sultats obte nus De plus le nombre d toiles n est pas toujours significatif de la quan tit d information trouv e sous la rubrique L information sur le site est trop R organiser l information pr sen 3 14 2 L utilisateur de la t e sur le site Par exemple dans difficult trouver l information les sous rubriques de Recherche et qui l int resse Trois utilisateurs D veloppement chaque sous ont explicitement fait la remarque rubrique pourrait avoir des hyper mais le probl me a t v cu par liens qui m nent vers toute plusieurs l information disponible ce sujet exemple projets publications conf rences venir personne contact chercheurs Centre de recherche informatique de Montr al janvier 2001 Pag
116. ffaires l Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 122 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 B 9 Politiques On y lit Remplir le formulaire Incitation d inscription d inscription O est il 1 9 Politiques Intitul et ligne le reliant l hyperlien Groupement d inscription d sactiv est inutile Distinction Ligne entre hy perlien Politiques d inscription et intitul Politique d inscription 1 10 Formulaire Incitation le message de validation du Incitation d inscription c t serveur est inutile je ne veux pas recevoir une page qui m indique de retourner en arri re c est le ser veur lui m me qui devrait faire ce tra vail videmment 1 10 Formulaire Je ne sais pas ot le trouver Alors je Incitation d inscription tape formulaire d inscription dans le champ de saisie du haut Mais ce n est pas le formulaire De plus le texte est modifi et n a pas de sens 1 11 Recherche et textes du menu trop serr s difficiles Lisibilit d veloppement lire Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 123 Rapport techniqu
117. fonction d inscription en ligne que vous offre le site Web du CRIM Pages a valuer de facon heuristique 7 Qui sommes nous http www crim ca index epl selec 3600 amp href formation infos htm 8 Inscription Formulaire de validation https www crim ca index ep selec 3200 amp href formation cours valider valider epl 9 Politiques d inscription https www crim ca index epl selec 3800 amp href formation politiques htm 10 Formulaire d inscription L URL du formulaire d inscription change selon les informations entr es dans les cases du formulaire de validation item pr c dant il est donc impossible de l indiquer ici On peut atteindre le formulaire d inscription en s lectionnant le bouton Continuer gt gt sur la page 8 Inscription Formulaire de validation Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 106 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Sc nario Rech La recherche au CRIM Sc nario Rech A Vous avez entendu dire que le CRIM faisait de la recherche sur la technologie de la reconnais sance de la parole et vous voulez tout savoir sur ce sujet par exemple l tat de la recherche les publications les chercheurs qui travaillent sur le sujet les projets en cours au CRIM etc Pages valuer de fa on heuristique 11 Recherche e
118. fortement de la cr dibilit des experts Avantages des tests d utilisabilit e Identifient les probl mes s rieux et r currents e Evitent les probl mes de faible priorit e Identifient des vrais probl mes que les utilisateurs auront e Permettent de mesurer l effet r el que les probl mes ont sur les utilisateurs et ainsi permettent d tablir une priorit de r solution e Offrent des r sultats qui ont un impact r el sur les concepteurs des interfaces que les valuations heuristiques ne peuvent pas galer e D couvrent des probl mes qu il serait improbable de d couvrir avec d autres techni ques D savantages des tests d utilisabilit Difficiles appliquer avant qu une interface existe e Longs et co teux trouvent habituellement pas les probl mes de coh rence de 1 interface En conclusion le choix de la technique d valuation d pend des buts de l valuation du genre de probl mes recherch et des ressources disponibles Dans l tude de Jeffries 1991 les valuations heuristiques ont manqu peu pr s la moiti des probl mes sou lev s par les tests d utilisabilit et inversement Les probl mes trouv s par diff rentes techniques sont diff rents Ces techniques sont donc compl mentaires Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 21 Rapport technique Evaluation de l utilisabilit d un
119. ge de travail deux des crit res ergonomiques sugg r s pour l valuation Elles ont n cessit peu de temps et la compilation des pro bl mes identifi s a t plus facile tant donn le nombre moindre de sources 3 valua teurs compar aux tests d utilisabilit 14 utilisateurs Cependant tr s peu de probl mes ont t identifi s par l ensemble des valuateurs et le genre de probl mes soulev s pouvait diff rer consid rablement d un valuateur l autre Ceci montre bien la d pen dance des r sultats par rapport la cr dibilit des experts et l importance d utiliser plu sieurs experts lors d valuations heuristiques En terminant il faut mentionner que seuls 20 de l ensemble des probl mes identifi s par les deux approches ont t identifi s la fois par les tests d utilisabilit et par les Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 66 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique valuations heuristiques Cette derni re constatation confirme la compl mentarit des approches et la vari t des probl mes identifi s selon la technique employ e Le CRIM travaille actuellement sur un guide une sorte de grille qui permettra de pr ciser concr tement les crit res et de codifier l valuation heuristique dans le but de faire en sorte que
120. hoix des sc narios 18 2 3 1 4 Questionnaire de satisfaction 18 2 3 2 valuation REUFISTIQUE aisisssssesessssassossvassossoosesassussees sovessessecsdesasecesons ER en da een een ado sense See 18 2 3 2 1 Choix des riean narod aoaea aaea a ia aa aa ea andaa a 19 2 3 3 valuations heuristiques versus tests d utilisabilit ee 19 2 3 3 1 Avantages des valuations heuristiques 20 2 3 3 2 D savantages des valuations heuristiques 20 2 3 3 3 Avantages des tests d utilisabilit cece ceeeeeeeeeeeeeeeeeeeeeeeeteaeeeseaeeneeeeees 21 2 3 3 4 D savantages des tests 21 3 TESTS D UTILISABILIT ennteativleineu ean aean 22 3 1 Objectifs des tests d utilisabilite ssccssscssscsssccsssssssscsssccssscssssssssssesscssscssssees 22 3 2 M thodologie tnseetadeontentatcackeneamome senate 22 FD Ms D LE DL LEE 1 NS SE 22 SONO RAR Ne Sn Sr E A 22 3 21 27 M nee anna a a En RE EE 23 3 2 1 3 Groupe d appartenance si 23 3 2 1 4 Utilisation de l ordinateur au travail et la maison 23 3 2 1 5 Fr quence d utilisation du courriel et du Web
121. i avoir t introduits Par exemple au ni veau du choix des utilisateurs Les utilisateurs recrut s faisaient partie d une culture commune C est dire qu ils sont tous des utilisateurs r guliers de l ordinateur du Web et du courrier lectronique Ils proviennent tous d entreprises o la technologie occupe une grande importance Ils ont tous un ordinateur la maison Finalement le fait que plusieurs utilisateurs avaient d j visit le site Web du CRIM m me si c tait l ancien site a pu introduire des biais dans les tests 3 3 1 Forces du site En g n ral les utilisateurs ont aim l aspect esth tique du site et l aspect sobre des cou leurs choisies Le fait que certaines pages n taient pas trop charg es a t appr ci par les utilisateurs Les nouvelles courantes sur la page d accueil ont t jug es importantes pour l utilisateur qui revient sur le site de temps en temps L utilisateur esp re d ailleurs que ces nouvelles sont mises jour r guli rement Le fait que le site ne contenait pas d image ou d animation superflue a t appr ci des utilisateurs au niveau de la rapidit de r ponse du site C est d ailleurs au niveau de la rapidit de r ponse que le site obtient le meilleur pointage dans le questionnaire de satisfaction Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 29 Rapport technique Evaluation de l ut
122. identifi s que par les valuations heuristiques la priorit 1 est tr s forte tandis que la priorit 5 est tr s faible Ces probl mes sont au nombre de 43 On remarque que pr s de la moiti n ont re u au cune priorit pour leur r solution Quelques exemples de probl mes sont num r s dans le Tableau 36 Tableau 35 R partition des probl mes identifi s seulement par les valuations heuristi ques Priorit Q sue Evaluations telle que d termin e par heuristiques un seul des valuateurs 1 4 2 5 3 4 4 5 5 5 Aucune les autres valuateurs 20 Total 43 Tableau 36 Exemples de probl me identifi s seulement par les valuations heuristiques Priorit Probl me 1 On y lit Remplir le formulaire d inscription O est il 1 Pourquoi ne pas avoir acc s aux publications en ligne Je suis sur Internet 1 Il manque un l ment sur la propri t intellectuelle 2 Je ne sais pas comment rejoindre une personne en particulier a partir de cette page page Nous joindre 2 Ou est la liste des personnes et leur adresse qui font de la formation au CRIM 2 Que signifie Membre Vs Partenaire Aucune Pour un tranger le sigle de la STCUM n est probablement pas connu Aucune Le logo de CRIM Formation prend trop de place et oblige a scroller Aucune L hyperlien Liste de tous les cours n
123. ilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 3 2 R sultats par rapport la r ussite des sc narios Il est important de noter que m me si certains sc narios sont class s comme r ussis dans le tableau suivant cela ne veut pas n cessairement dire qu ils ont t r ussis facilement Les sc narios qui ont n cessit que l utilisateur re oive de l aide de la part des valua teurs ont t class s comme des checs Enfin tant donn des probl mes techniques un des utilisateurs n a pas pu faire le sc nario CRIM Formation Tableau 9 Taux de r ussite des sc narios par les utilisateurs Sc nario But R ussite CRIM Formation A Trouver cours 13 13 100 CRIM Formation S inscrire au cours 7 13 54 Recherche A Trouver information sur Reconnaissance de 14 14 100 parole Recherche B Trouver chercheur le plus senior et envoyer 13 14 93 courriel Recherche C Trouver pr sentations scientifiques a venir 8 14 57 Industriel A Trouver information sur Vision par ordinateur 13 14 93 Industriel B Trouver information sur membership 7 14 50 Emploi A Trouver mission du CRIM 8 14 57 Emploi B Prendre connaissance des offres d emplois 14 14 100 Pour les 6 premiers utilisateurs des questions ont t pos es quant a la signification de chacune des rubriques de la page d accueil avant le d but des sc narios Le tableau sui
124. ilisateurs recrut s Par exemple le fait de forcer l utilisateur effectuer une t che particuli re en lui pr sentant un sc nario ne repr sente pas une situation r elle d utilisation m me si le sc nario se veut le plus repr sentatif pos sible d une t che type En for ant l utilisateur effectuer une t che le test d utilisabilit tend relever plus de probl mes que si l utilisateur tait laiss lui m me De plus le fait que l utilisateur doive respecter des limites de temps pour l accomplissement d une certaine t che ne repr sente pas n cessairement une situation r elle En effet la prise de d cision lors de l inscription un cours ne se ferait probablement pas l int rieur de quelques minutes Par exemple l utilisateur consulterait en premier la description du cours et quitterait ensuite le site Il pourrait comparer cette description des cours offerts par d autres institutions ou voudrait en discuter avec ses amis Il pourrait ensuite revenir sur le site et voir si d autres cours dans le m me domaine sont offerts et voir si ces cours conviendraient mieux ses besoins etc C est donc possiblement apr s quelques visites du site et du temps pass comparer les options que l utilisateur prendrait une d cision On peut donc comprendre qu un test d utilisabilit ne peut pas repr senter la r alit de fa on parfaite Dans le cas pr sent d autres biais peuvent auss
125. insatisfait 4 Tr s satisfait Comme l indiquent les tableaux suivants les utilisateurs ont t plut t satisfaits du site Web du CRIM Les aspects les plus appr ci s sont la vitesse de r ponse du site et de l information pr sent e sur ce site Par contre l information a pu tre jug e utile la condition que celle ci ait t trouv e par l utilisateur En effet l utilisateur ju g qu il tait difficile de trouver l information qu il cherchait et que l information sur le site bien qu utile tait incompl te Tableau 16 Nombre de r ponses obtenues pour chacune des questions reli es la satisfaction Nombre de reponses Moyenne Affirmation 1123 4 1 En g n ral mon opinion de ce site Web est la suivante 051613 2 9 2 Mon opinion sur la facilit trouver l information que je 1 8 O 2 5 cherche est la suivante 3 Mon opinion sur la vitesse de r ponse d un cran l autre 0 3 11 3 8 de ce site est la suivante jest la suivante 7 2 2 8 5 Mon opinion sur le choix de titres des rubriques et de leur 0 signification est la suivante 5 0 4 Mon opinion sur l utilit de l information pr sent e sur ce site 0 5 eral 6 Mon opinion sur le fait que l information que j ai trouv e sur 0 Ice site tait compl te est la suivante Nombre de r ponses Affirmation Oui Non Ind cis 7
126. iption sous forme d hyperlien qui m ne aux mesures fiscales Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 96 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 10 Problemes concernant les pages de description de cours Tous droits r serv s 2001 CRIM Probl me Solution Nbr d U L inscription aux cours est difficile 1 aucun cours n est choisi 7 13 ji Plusieurs utilisateurs ne r ussissent rendre inactif le bouton pas s inscrire ou pensent qu ils Confirmer l inscription Ou in sont inscrits alors qu ils ne le sont diquer un message d erreur pas Vous devez mettre un cours dans votre panier lorsque le bouton est cliqu e Dans l encadr Inscription au cours indiquer l utilisateur qu il doit mettre un cours dans son panier avant de cliquer sur le bouton Confirmer l inscription e Lorsque l inscription est com pl t e donner un message l utilisateur indiquant qu il est inscrit et qu il recevra une confirmation du CRIM par t l phone courriel etc e Si Tutilisateur se rend au for mulaire de validation et qu il en ressort sans terminer l inscription indiquer l utilisateur qu il n est pas ins crit Le concept du panier pour mettre Voir solution propos e pour r gler 2 13 1 les cour
127. it versus valuation heuristique Probl me Solution Nbr d U P 6 Quelques utilisateurs cherchent le e Si possible ajouter une page 2 13 2 calendrier de tous les cours offerts avec le calendrier de tous les l automne comme dans la ver cours pour une session donn e sion papier de Crim Formation OU mais cette information est inexis e Si cette page tait trop charg e tante permettre l utilisateur de faire une recherche de cours par date ex cours offerts au mois de septembre cours offerts entre telle et telle date etc 7 La majorit des utilisateurs ne Faire en sorte que le menu d rou 12 13 3 consultent qu un seul cours celui lant Choisir une cat gorie filtre le qui s appelle Cr ation de pages deuxi me menu d roulant Choisir Web Ils ne vont pas voir si un cours d autres cours existent peut venir d un probl me avec la formulation du sc nario 8 Le titre Liste de tous les cours A chaque fois qu une liste de plu 1 13 3 m indique pas que des dates seront sieurs cours est pr sent e les dates disponibles dans cette liste auxquelles ces cours sont offerts L utilisateur ne voit pas l avantage pourraient tre indiqu es aller voir sous cette liste 9 L utilisateur ne sait pas comment Sur la page Cours offerts o l on 1 13 4 obtenir 40 de rabais sur les cours parle d pargne de 40 mettre pargner 40 sur les frais d inscr
128. iter certaines pages dont les adresses lui taient disponibles et compte tenu de contraintes de temps a pu modifier sa fa on de naviguer compar la navigation qu il aurait adopt e s il n avait pas eu de pages pr cises visiter De plus certains commentaires faits par l valuateur B indiquent qu il s est rendu une page en tapant l URL qui contournait le bon fonctionnement du site et qui a donc cr une s rie de probl mes qui n auraient pas t soulev s autrement Tableau 19 Nombre de probl mes trouv s pour chacun des utilisateurs valuateur de probl mes B 48 rrr e S aa En tenant compte des restrictions voqu es plus haut par rapport l valuateur B en par ticulier on peut ajuster le nombre de probl mes trouv s pour que ce nombre repr sente mieux la r alit Ainsi les probl mes qui sont exactement les m mes et qui sont cit s plusieurs endroits seront compt s comme un probl me seulement C est le cas des v nements suivants Je dois scroller horizontalement dans la page pour lire le texte cit cinq fois valuateur B quoi sert le champ de saisie de donn es dans la barre du haut cit deux fois valuateur Pour un tranger le sigle de la STCUM n est Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 46 Rapport technique Evaluation de l utilisabilit d
129. janvier 2001 Tous droits r serv s 2001 CRIM Page 157
130. l Pourquoi n a t on pas acc s aux publications Pourquoi ne pas avoir un lien vers les publica tions du CRIM organis es par chercheur ou projet ou theme S il y a un Aper u sur la reconnaissance de la parole offrir d y acc der par un hyperlien Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 53 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 4 3 Conclusions et recommandations des valuations heuristiques Cet section du rapport a pr sent les r sultats des valuations heuristiques effectu es sur le site Web du CRIM Au total trois valuateurs experts ont contribu identifier des probl mes sur des pages pr cises du site Les pages s lectionn es pour l valuation heu ristique ont t choisies en fonction des pages visit es par les utilisateurs lors de tests d utilisabilit effectu s plus t t cette ann e Un total de 28 pages ont t v rifi es par les valuateurs Les crit res de Bastien et Scapin ont t utilis s Au total 72 probl mes diff rents ont t identifi s Certains de ces probl mes ont t identifi s par plus d un valuateurs Ainsi trois probl mes ont t identifi s par les trois valuateurs Onze probl mes ont t identifi s par deux valuateurs Le reste des pro bl mes a t identifi par un valuateu
131. l e Les r sultats sont pr sent s dans le tableau suivant Tableau 1 Sexe des utilisateurs Sexe Nombre Pourcentage F minin 5 36 Masculin 9 64 Total 14 100 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 22 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 2 1 2 Age La majorit des utilisateurs se retrouve dans la fourchette d ge de 30 49 ans Aucun des utilisateurs n avait moins de 19 ans ou plus de 59 ans Tableau 2 R partition des utilisateurs par groupe d age ge Nombre Pourcentage 20ans 0 0 20 29 2 14 30 39 7 50 40 49 4 29 50 59 7 60 69 0 70 et 0 0 Total 14 100 3 2 1 3 Groupe d appartenance Les utilisateurs appartiennent diff rents groupes La majorit du personnel technique et des gestionnaires ont t recrut s par le biais de CRIM Formation ce qui repr sente bien la client le vis e pour l utilisation du site Web du CRIM sp cialement pour le nouveau module d inscription en ligne de CRIM Formation Tableau 3 Groupe d appartenance des utilisateurs Groupe d appartenance Nombre Pourcentage Personnel de recherche 3 21 Personnel technique 5 36 Gestionnaire 4 29 Etudiant 1 7 Autre 1 7 Total 14 100 3 2 1 4
132. la sous rubrique ex Reconnaissance page et en hyperlien Cet hyperlien de la parole il s attend ce que les ne renverrait l utilisateur qu aux Publications soient en rapport avec publications relatives la sous la sous rubrique consult e rubrique visionn e Des commentaires similaires peu vent tre fait pour la sous rubrique Projets Certains utilisateurs ne savent pas Indiquer clairement le nom d une 1 14 4 si les personnes list es sous Vision personne contact pour chacun des par ordinateur sont des personnes axes de recherche au CRIM qu ils pourraient contacter ou seu lement des chercheurs Centre de recherche informatique de Montr al janvier 2001 Page 92 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 7 Probl mes concernant la page R amp D Probl me Solution Nbr 1 Certains utilisateurs trouvent que Enlever toute information qui n est dans la page principale de R amp D il y pas directement reli e a la rubrique a beaucoup de texte non pertinent consult e Dans ce cas ci enlever l information Derni re heure 1 14 3 1 8 Probl mes concernant la rubrique Un r seau de contacts et ses sous rubriques Probl me Solution Nbr d U P 1 L utilisateur ne veut pas avoir Donner plus d information sur le 1 6 2 donner s
133. la section revue de litt rature du pr sent document 4 1 M thodologie 4 1 1 Experts contact s Pour les valuations heuristiques trois experts ont t contact s Tous les experts choisis ont plusieurs ann es d exp rience et font de la formation dans leur domaine d expertise Les experts contact s ont accept de faire les valuations b n volement 4 1 2 D roulement et consignes pour les valuations Chacun des experts a re u les m mes consignes par le biais d un document lectronique Le document en question peut tre consult Annexe D Les pages du site Web vis es par l valuation heuristique ont t choisies en fonction des pages qui avaient t visit es lors des tests d utilisabilit effectu s plus t t Au total 28 pages devaient tre valu es Les consignes ont t envoy es aux valuateurs le 11 janvier 2000 Les derni res va luations ont t compl t es 10 f vrier 2000 Dans les consignes il tait sp cifi que les crit res d valuation utiliser taient ceux de Bastien et Scapin Une copie des crit res accompagn s d une br ve description a t fournie aux valuateurs Une grille d valuation permettant aux valuateurs d identifier la page valu e les objets valu s les probl mes rencontr s les solutions propos es ainsi que la priorit accorder la r solution des probl mes a t fournie Le sc nario associ chacune des pages a t fo
134. les r sultats de l valuation heuristique soient similaires quel que soit l valuateur impliqu Le CRIM s int resse aussi aux techniques de communications qui permettraient de faire des tests d utilisabilit distance Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 67 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 7 R f rences 7 1 Ergonomie des interactions Humain ordinateur et utilisabilit BIAS Randolph G MAYHEW Deborah J Eds 1994 Cost justifying usability Academic Press CHAPANIS A 1988 Some generalizations about generalization Human Factors 30 pp 253 267 NORMAN Donald A 1990 The Design of everyday things Reissue edition New York Currency Double Day ROBERT Jean Marc 1997 IND 6402 Interfaces humains ordinateur Notes de cours Ecole Polytechnique de Montr al Document in dit SANDERS Mark S McCormick Ernest J 1992 Human Factors in Engineering and Design 7 edition McGraw Hill College Div 7 2 Analyse Maguire M 1997 RESPECT User requirements framework handbook HUSAT Research Institute PREECE Jenny ROGERS Y SHARP H BENYON D 1994 Human computer interaction Addison Welsey Publishing Co 7 2 1 Techniques de collecte de donn es DIAPER Dan 1989 Task observation for human computer interaction dans Task a
135. leur signification est la suivante Tr s insatisfait Plut t insatisfait Plut t satisfait Tr s satisfait N A Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 80 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 6 Mon opinion sur le fait que l information que j ai trouv e sur ce site tait compl te est la suivante Tr s insatisfait Plut t insatisfait Plut t satisfait Tr s satisfait N A 7 Je consulterai le site Web du CRIM partir de chez moi Non Oui Vitesse de ma connexion Internet Dimension de mon cran Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 81 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Suggestions J aimerais retrouver l information suivante sur le site Commentaires g n raux Si vous poss dez une connexion Internet la maison nous appr cierions vos commentaires sur l acc s distance notre site Nous vous serions reconnaissants si vous pouviez nous donner votre perception de la rapidit du site a partir de chez vous Vous pourriez nous envoyer vos commentaires ainsi que la vitesse de votre modem l adresse suivante mboutin crim ca Merci de votre collaboration Centre de reche
136. ley amp Sons NIELSEN Jakob 1994 Usability engineering Morgan Kaufmann Publishers RAVDEN Susannah JOHNSON Graham 1989 Evaluating usability of human computer interfaces a practical method Ellis Horwood limited RUBIN J 1994 Handbook of usability testing John Wiley amp Sons SCERBO M W 1995 Usability testing In WEIMER J Ed Research techni ques in human engineering Englewod Cliffs N J Prentice Hall pp 72 111 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 72 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique SPENCER Richard H 1985 Computer usability Testing and evaluation En glewood Cliffs N J Prentice Hall TREU Siegfried 1994 User interface evaluation A structured approach New York and London Plenum Publishing Corp VIRZI R A 1992 Refining the test phase of usability evaluation How subjects is enough Human Factors 34 pp 457 468 WEIMER J BANKS W 1992 Effective computer display design Prentice Hall Englewood Cliffs N J 7 4 2 Comparaison tests d utilisabilit Vs valuations heuristiques BAILEY ALLAN RAIELLO 1992 Usability testing vs Heuristic evaluation A head to head comparison Proceedings of HFS 92 409 413 DESURVIRE H LAWRENCE D ATWOOD M 1991 Empiricism versus jud gement Comp
137. lisation Concerne le positionnement des items les uns par rapport aux autres dans le but d indiquer leur appartenance ou non appartenance une m me classe Ce crit re concerne aussi l organisation des items dans une m me classe Groupement Distinction par le format Concerne les caract ristiques graphiques format couleur etc permettant de faire appara tre l appartenance ou la non appartenance d items une m me classe e Feedback imm diat Concerne les r ponses de l ordinateur cons cutives aux actions des uti lisateurs lesquelles peuvent tre le simple appui sur une touche ou l entr e d une s quence de commandes Dans tous les cas une r ponse aussi imm diate que possible doit tre fournie l utilisateur le renseignant sur l action accomplie et son r sultat e 1151011 Concerne les caract ristiques lexicales de pr sentation des informations sur l cran pouvant entraver ou faciliter la lecture de ces informations 2 Charge de travail Concerne l ensemble des l ments de l interface qui ont un r le dans la r duction de la charge perceptive ou mn sique des utilisateurs et dans l augmentation de l efficacit du dialogue e Bri vet Concerne la charge de travail au niveau perceptif et mn sique la fois pour les l ments individuels d entr e et les l ments de sortie et les s quences d entr es Il s agit ici de limiter autant que possible le travail de lecture d entr e et les tapes
138. lit avec lesquelles des uti lisateurs donn s peuvent atteindre des buts donn s dans des environnements particuliers L efficience fait allusion aux ressources d ploy es en fonction de la pr cision et de l int gralit des buts atteints La satisfaction adresse le confort et l acceptabilit du sys t me de l interface pour ses utilisateurs et pour les personnes qui sont affect s par le syst me L utilisabilit englobe aussi les qualit s suivantes d un syst me utile par rap port la t che accessible aux utilisateurs s curitaire facile d apprentissage et facile d utilisation Robert 1997 Par exemple une interface facile d utilisation peut entre au tres se distinguer par le fait que l utilisateur sait facilement quoi faire 11 sait o il se trouve d o il vient et o il peut aller La facilit d apprentissage d une interface peut se traduire notamment par l utilisation de conventions propres un ensemble d interfaces connues coh rence entre les interfaces liminant ou diminuant ainsi la n cessit d apprendre des notions nouvelles Une interface pourrait tre facile utiliser et ap prendre mais si elle ne permettait pas l utilisateur d effectuer son travail alors l interface ne serait pas utile et en cons quence son utilisabilit serait donc faible pour cet utilisateur en particulier Si les concepts pr c dents sont respect s la satisfaction de l utilisateur a toutes les
139. lsen 1992 Il est utile de fournir au sp cialiste une fiche pour enregistrer les probl mes et pour sug g rer des solutions tel que sugg r e par Ravden et Johnson Ravden amp Johnson 1989 Cette fiche devrait aussi pr voir un moyen pour accorder une priorit chaque probl me pour faciliter l allocation des ressources de d veloppement Dans le cas o plusieurs sp cialistes participent a l valuation il est encore plus important d tablir un bar me de priorit clair pour qu il y est une homog n it entre les valuateurs et pour ainsi faciliter le classement de l ensemble des probl mes Choix des sp cialistes La litt rature s entend dire qu il est n cessaire d impliquer plusieurs sp cialistes lors d valuations heuristiques si on veut esp rer trouver un maximum de probl mes Des r sultats d tudes rapport s par Nielsen dans Cost justifying Usability Bias amp Mayhew 1994 sugg rent de 3 5 experts Trois experts permettent de trouver environ 60 des probl mes tandis que 5 experts permettent de trouver environ 75 des probl mes La raison pour laquelle il est pr f rable de ne pas utiliser plus de 5 experts se trouve au niveau des co ts engendr s par l valuation En effet la courbe du ratio des b n fices par rapport aux co ts augmente jusqu environ quatre experts et commence d j dimi nuer au cinqui me expert Par ailleurs des recherches Nielsen 1992
140. luateurs cccccscssscecssssescesssssessscesesscssesscsscsesssssecsesssssecsssssesseseeee 45 4 2 2 Probl mes soulev s en fonction des crit res de Bastien et Scapin ss 49 42211 51 4 2 2 2 52 4 3 Conclusions et recommandations des valuations heuristiques 54 5 COMPARAISON ENTRE LES TESTS D UTILISABILITE ET LES EVALUATIONS HEURISTIQUES c ccccsscosssrossorssccsssccosscocssrossonssccsscccssnecsonsososscoscens D 5 1 Comparaison des r sultats obtenus avec les deux approches 56 5 1 1 Analyse quantitative ssssssssessssseneseneneneneenenenennenenenennnesnsensesenseese 56 5 1 2 Analyse Qualitative ic ssecccecscseasscscscsseascsncsesscseosenseasesecsvecsoseseasocsesesessvetadeessebscensenbasnesenteceasonavets 59 5 2 Comparaison du temps d analyse associ aux deux 62 5 2 1 Tests d utilisa bilit s sicccccsJscvcscavccessscvessesseccessecevessesdeccossscudesccvscsessevescsscedstscsvstcossecescecsvessaccossevasses 62 5 2 2 Evaluations heuristiques seen 63 5 3 Avantages et inconv nients des deux approches cssccssscsssccssscsesccssscsssssssscees OF 5 4 Conclusion de la comparaison des deux approches csscccssssssccssssssccssssssreeees 65 6 CONCLUSION GENERA EB OO 1e R
141. luation In Proceedings of CHI 92 Monterey CA May 3 7 ACM New York 372 380 NIELSEN J PHILLIPS V L 1993 Estimating the relative usability of two inter faces Heuristic formal and empirical methods compared Proceedings of INTERCHI 93 Amsterdam the Netherlands April 24 29 ACM New York pp 214 221 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 73 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique e RANTANEN J 1992 Usability testing of a scheduling system How different usa bility testing methods support redesign of the user interface In Rees M J and Ian nella R Eds OZCHI92 Australian CHISIG Conference Proceedings 36 43 7 4 3 Evaluation de sites Web NIELSEN Jacob 1998 Cost of user testing Web site http www useit com alerbox 980503 html Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 74 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Annexe A Description des sc narios pr sent s aux utilisateurs Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 75 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus val
142. mmes 1 Pour inscription est tout en bas de Relocaliser et abr ger le Incitation nous la page texte a la fin de cette page 2 Le texte d crivant CRIM Forma tion est coup par la carte d acc s Il n y a aucun incitatif et peu d indication l effet que de l information utile est la fin de la page 1 7 Qui sommes Voir remarque sur la carte d acc s au Signifiance des nous CRIM codes 1 A 8 Inscription For Deux fautes d orthographe identiques Lisibilit mulaire de vali POST dans le formulaire et dans le dation alert du JavaScript 1 A 8 Inscription For Validation d ficiente du Javascript ne Protection mulaire de vali v rifie aucunement la nature des contre les er dation champs obligatoires format num ri reurs que alphanum rique 3 ABC 8 Inscription For manque d incitation mise en page Au lieu de coder des carac Incitation mulaire de vali revoir t res en rouge les dation Que signifient les rouges apr s les afficher en noir avec leur champs de saisie signification 1 B 8 Inscription For Je dois scroller horizontalement Actions mini mulaire de vali males dation Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 121 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique
143. n comme feet sardine par Le de Empii es de Cyekopgenent def responce humare gt Li nn CSC de ea Sert Seiya heres d fee port e da Le Seche Lad Pirie pel ce pour der bu dormer at pour La quad du ter quee d armement nue bend Roy done of une forrest de qualita Sue dorms pear dies epeng dae vert duree charg Len coins Wis nee Peer Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 136 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 8 Inscription Formulaire de validation PARTICIPANT aka Prinom fen SSO Fonction faa Goual Orgeniune Bufsinaribra Linte den membres aa Villa arma Coda postal Tiliphone Fiat emisa poti Fen PAILMENT Je le droit bacs preferential Je wean payer tout de sulto par carte de oiii on spant pris connatssance dos politiques d inepription ot ben Marar Date d aspiration Deus Mom sur la carte veut te paii par terre A CRIM Porman COMMENT AIRES continuer Fasi btm er
144. n d un expert En comparant les r sultats des valuations heuristiques on se rend compte de la grande variabilit des probl mes identifi s d un expert l autre On note aussi l influence du type d expertise de l expert sur le type de probl mes identifi s Cela veut donc dire que m me si une valuation est faite par un expert plusieurs experts doi vent tre consult s pour esp rer trouver une quantit similaire de probl mes ceux iden fi s par les tests d utilisabilit Il faut aussi mentionner la faible disponibilit des experts et du m me coup leur faible int r t pour l valuation heuristique de sites Web de fa on r p t e De plus s agissant d un travail de recherche les experts ont ici accept de tra vailler b n volement alors que leur r mun ration aurait fait augmenter sensiblement le co t de cette technique Finalement peu importe l approche choisie pour l valuation d un site Web il faut d s le d part s assurer que des ressources seront suffisantes pour faire les am liorations propo s es par l une ou l autre des approches De plus les am liorations propos es devraient tre sp cifiques et claires pour qu il soit facile un d veloppeur de faire les modifications qui s imposent On devrait aussi pr voir un suivi des modifications pour s assurer qu elles sont en ligne avec l esprit des recommandations faites et que d autres probl mes ne sont pas introdui
145. n leu et se comordtigent jour apr s jour des ives ot Gee MacOS Qui Et Trarc onm ent n produits af services bMS opus comment vous pautar dosgrer jusqu a 40 sur es fae our Olu Tandek R meares Noces Parin datara Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 152 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 24 Pour un contact d affaires Cour DOME parcouru hobre sike ot vous cooper que be CRIM peut vous alder trouver des solutions proftables Pour des r ponses 4 vos questions contactez M Vincent Barberger ou Mme Manon Labelle tous deur membres de notre quipe de d veloppement des affaires 514 0 12 Mas Mason Labelle d affaires Adjcnte Ala mcs poludence d veloppement des airt S14 840 1255 pute 3224 Lise aterm i Fa Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 153 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 25 A propos du CRIM Au coeur des technologies de
146. n user access advanced interface de sign reference SC 34 4290 00 First Edition October 1991 IBM Corporation IBM Systems Application Architecture Common user access guide to user interface design SC34 4289 00 October 1991 IBM Corporation International Standards Organisation 1999 Ergonomic requirements for office work with visual display terminals 150 9241 parts 1 17 All parts have final draft inter national standard status or international standard status MAYHEW Deborah J 1992 Principles and guidelines in software user interface design Prentice Hall Microsoft Corp 1995 Windows Interface Guidelines for Software Design Win dows 95 Microsoft Press Microsoft Corporation 1999 Microsoft windows user experience Microsoft Press National Aeronautics amp Space Administration NASA 1995 Man systems inte gration standards NASA STD 3000 Revision B Morgan Kaufmann Publishers NIELSEN Jakob 1994 Usability engineering Morgan Kaufmann Publishers NIELSEN J and MOLICH R 1990 Heuristic evaluation of user interfaces Pro ceedings CHI90 Conference on Human Factors in Computer Systems New York ACM pp 249 256 Open Look 1990 Graphical user interface application style guidelines Sun Micro systems Inc ATT Addison Wesley Reading MA Open Software Foundation 1990 OSF Motif Style Guide Prentice Hall Engle wood Cliffs New Jersey ROBERT Jean Marc 1990 Les facteurs d utilisabilit
147. naire 1 20 Un r seau de Que signifie Membre Vs Signifiance des contacts Partenaire codes et d no minations 1 20 Un r seau de Ot est la liste des membres du CRIM Suggestion contacts Je veux savoir si mon organisation est membre 1 20 Un r seau de Plut t bizarre cet endroit car on a Groupement contacts des sections existantes pour ces infor Distinction mations noter Page d accueil Paragraphe Coin m dia Derni re heure Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 126 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 22 Information sur dois scroller horizontalement Actions mini Vadh sion pour lire le texte males 1 22 Information sur La page donne tr s peu d information Incitation Vadh sion sur l adh sion Soit la rendre plus informative l liminer ou la renom mer Contacts De plus la navi gation Un r seau de contact gt Privil ges aux membres est inattendue Pourquoi pas un coin membres simplement rebaptiser le bouton 2 23 Etre client au Couper le premier paragraphe en 2 Lisibilit CRIM parce que un peu long pour l cran Du bla bla plus ou moins utile 1 A
148. nalysis in human computer interaction Ellis Horwood Chichester pp 210 237 ROBERT Jean Marc Automne 1999 Analyse ergonomique du travail mental Ecole Polytechnique notes de cours WIXON Dennis RAMEY Judith editors 1996 Field methods casebook for soft ware design John Wiley amp Sons New York WOOD Larry 1997 Semi structured interviewing for user centered design Inte ractions March April 1997 pp 49 61 7 2 2 Analyse de tache AUBIN F ROBERT J M ENGELBERG D 1994 From task analysis to user interface design In Proceedings of the International Ergonomics Association 94 IEA 94 GRANT S MAYES T 1991 Cognitive task analysis In Human computer inte raction and complex systems Academic Press pp 147 167 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 68 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique HACKOS Joann T REDISH Janice C 1998 User and task analysis for interface design John Wiley amp Sons KIRWAN B AINSWORTH L K 1992 A guide to task analysis Taylor amp Francis Publishers 7 3 Conception interfaces BAILEY Robert W 1996 Human performance engineering designing high qua lity professional user interfaces for computer products applications and systems Third edition Prentice Hall BAUERSFELD Penny 1994 Softwa
149. ntre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 58 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 32 Comparaison des r sultats des tests d utilisabilit versus l inspection heuristique Tests Eval Eval Identifi s Identifi s Communs utilis Exp Exp par tests par val aux deux 2 3 utilisabilit heur techniques seulement seulement Pb niveau 1 14 9 3 8 4 6 Pb niveau 2 24 9 2 12 5 12 Pb niveau 3 11 6 1 9 4 2 Pb niveau 4 11 15 5 10 10 1 Non class s 0 18 2 15 0 20 0 Total des 60 22 41 26 39 43 21 problemes Lorsque l on compare les tests d utilisabilit une valuation heuristique faite par un seul expert les tests d utilisabilit sont toujours sup rieurs Lorsque la m me comparaison est faite avec deux experts et que seul le nombre total de probl mes est compar les tests A utilisabilit sont encore sup rieurs ou quivalents selon les experts choisis Les tests d utilisabilit tendent cependant trouver une plus grande proportion de probl mes de haute priorit probl mes de niveaux 1 et 2 Ceci signifie que dans le cas le plus fr quent dans la r alit conomique actuelle o on aurait fait appel un seul des trois experts pour valuer le site Web tr s peu de probl mes auraient t trouv s Par ailleurs
150. oin m dia Ce n est pas bleu A l agenda jaune vraiment un probleme lien d ja visit Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 125 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 16 l agenda Coin Am ne une page intitul e 2 probl mes 1 solution Incitation m dia l agenda Coin m dia mais il y D finir les buts vis s et les a maintenant 2 hyperliens sous le pages permettant de les at Bouton colonne bouton intitul s respectivement _ teindre gauche lagenda et Coin m dia lagenda Coin e De plus la page l agenda m dia Coin m dia sert s abonner au bulletin du CRIM 1 A 17 AVagenda Trop long devrait pr senter une vue Densit infor globale calendrier mationnelle 2 BC 18 Vision par ordi Pourquoi ne pas avoir acc s aux publi Suggestion nateur cations en ligne Je suis sur Internet 2 BC 19 Langis Gagnon Pourquoi ne pas avoir acc s tous ces Suggestion articles en ligne 1 20 Un r seau de Le titre Un r seau de contacts n est Incitation contacts pas tr s transparent si je cherche Vinformation pour devenir membre ou parte
151. on de probl mes majeurs que mineurs Elles ont toutefois les inconv nients qu elles n cessitent plusieurs experts alors que ceux ci sont peu nombreux qu elles trou vent plusieurs probl mes reli s la pr f rence des valuateurs et qu elles d pendent fortement de la cr dibilit des valuateurs De plus chaque technique trouve des pro bl mes de nature diff rente Les valuations du site Web du CRIM arrivent aux m mes conclusions Les tests d utilisabilit ont en effet identifi plusieurs probl mes reli s des t ches sp cifiques comme l inscription des cours de CRIM Formation L importance de ces probl mes a t rendue vidente par le fait que plusieurs utilisateurs les ont rencontr s Gr ce aux tests d utilisabilit il a t possible d identifier clairement les l ments de chaque page Web qui posaient probleme De plus il a t possible d identifier les rubriques qui n taient pas bien comprises par les utilisateurs et le genre d interpr tation que ceux ci pouvaient faire des rubriques Les tests d utilisabilit ont par contre t longs il a parfois t difficile de trouver des utilisateurs et d tablir un horaire de test La quantit norme d informations recueillies a galement engendr de longs d lais dans l analyse des r sul tats Les valuations heuristiques ont trouv plusieurs probl mes la majorit de ceux ci re group s au niveau du guidage et de la char
152. on heuristique est conjointe des tests d utilisabilit qui ont t men s r cemment sur le site Web du CRIM Pour ces tests quatre sc narios avaient t labor s ce qui a permis aux utilisateurs de visiter plusieurs pages du site Web et nous a permis de recueillir diff rents commentaires par rapport ces pages Nous aimerions maintenant comparer les r sultats obte nus l aide des tests d utilisabilit avec ceux que l on peut obtenir avec une valuation heuristi que faite par un expert Nous aimerions donc vous demander d valuer certaines pages du site Web du CRIM l aide des crit res de Bastien et Scapin voir annexe A la suite de ce document Pour chacun des sc narios nous vous donnerons quelques pages valuer Une grille d valuation est jointe ce document pour que la fa on de pr senter les probl mes recueillis et les solutions propos es soit semblable d un expert l autre Vous pouvez remplir la grille d valuation manuellement et la faxer au num ro suivant 840 1244 ou remplir la grille l ordinateur et l envoyer par courriel l adresse suivante mboutin crim ca Les pages valu es peuvent tre identifi es par le num ro indiqu gauche de la description de la page Les adresses des pages URL sont indiqu es au cas o il vous serait difficile de vous rendre une page donn e ou si vous n tes pas certain d tre la bonne page Normalement vous
153. ophie de gestion vers la pre page obtenue en s lectionnant A parce que celle ci se trouve sous propos du CRIM philosophie de gestion Les utili sateurs ne s attendent pas a retrou ver la mission a cet endroit L utilisateur trouve que le titre de Remplacer Direction par Conseil 1 1 2 la rubrique Direction est mal choisi d administration Certains utilisateurs s attendent Donner l option de voir les mem 2 2 4 voir les noms dans la sous rubrique bres de la direction sous forme Direction par ordre hi rarchique au d organigramme ou en ordre alpha CRIM et non par ordre alphab ti b tique Mettre des hyperliens Or que ganigramme et Ordre alphab tique Ces hyperliens pourraient mener vers d autres pages ou plus bas sur la m me page Centre de recherche informatique de Montr al janvier 2001 Page 103 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Annexe Documents envoy s aux experts pour l valuation heuristique Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 104 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique valuation heuristique du site Web du CRIM Cher valuateur Merci d avoir accept de faire cette valuation heuristique Cette valuati
154. ormations ou fournir certaines informations que sa demande ne pourra tre num ro de fax position etc Ils trait e Permettre l utilisateur tentent d entrer des caract res quel de continuer apr s avoir pris conques pour passer c t de cette conscience de cette mise en obligation garde OU e Mettre une toile rouge seule ment c t des champs qui sont absolument n cessaire et indiquer que remplir les autres champs facilitera l inscription 6 Certains utilisateurs ne savent pas Indiquer l utilisateur qu il doit 2 7 3 s ils doivent imprimer le formulaire utiliser la fonction d impression de en utilisant la fonction son fureteur pour imprimer le for d impression du fureteur mulaire 7 L utilisateur ne sait pas si le gou e Au lieu d indiquer le 2 2 3 vernement f d ral est membre Le droit aux tarifs pr f rentiels probl me vient de la confusion indiquer Je ne suis pas mem entre membres non membres et bre mais j ai quand m me le tarifs pr f rentiels droit des tarifs pr f rentiels Lorsque l hyperlien Tarifs pr f rentiels est s lectionn la page pr sent e ne contiendrait que les informations sur les ta rifs pr f rentiels OU e Changer Tarifs pr f rentiels pour Organismes gouverne mentaux 8 Dans le formulaire de validation Remplacer Nom par Nom de fa 1 13 4 l utilisateur remplit son nom au mille complet pr nom et nom dans la ca
155. ormulaire d inscription sous la rubrique Formation gauche ce qui m ne au formulaire papier Ce probl me est cependant d l utilisation de la version b ta de la section CRIM Formation dans laquelle la sous rubrique Formulaire d inscription aurait d avoir t enlev e Solution Eliminer la rubrique Formulaire d inscription Il est difficile pour plusieurs utilisateurs 6 13 de savoir que CRIM est Montr al et que Pro Format est a Qu bec Solution Dans la page de description des cours les hyperliens CRIM et ProFormat pourrait tre modifi s CRIM deviendrait CRIM Montr al Qc et Pro Format deviendrait Pro Format Sillery Qc En cliquant sur l hyperlien une seule carte apparaitrait celle qui correspond l hyperlien s lectionn Dans la page Cours offerts les deux menus d roulants et la case Rechercher ne sont pas bien compris Plusieurs utilisateurs 8 13 pensent qu ils doivent tout remplir Les utilisateurs pensent que le premier menu Cat gorie servira de filtre au deuxi me menu Cours Solution Dans la page Cours offerts le premier menu d roulant Cat gorie de cours pour rait filtrer le contenu du deuxi me menu d roulant Cours comme c est ce quoi les utilisateurs s attendent Dans la page Cours offerts certains utilisateurs 8 13 ne pensent pas qu il doivent appuyer sur le bouton Choisir pour continuer Les utilisateurs
156. ors Usa bility First Usable Web useit com Jakob Nielsen s Web site Voir les r f rences la Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 13 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique fin du document et plusieurs compagnies se sp cialisent dans le domaine Le probl me avec l information de conception ou d valuation de sites Web trouv e sur le Web est sa nature plut t d cousue un peu d information ici et l et l absence d tudes contr l es pour supporter les affirmations faites On doit cependant mentionner apport consid ra ble du W3C World Wide Web Consortium dans laboration de lignes directrices pour la conception de sites Web et sp cialement pour la prise en consid ration des besoins d utilisateurs ayant des incapacit s accessibilit des sites Web voir les r f rences la fin du document Le cycle de conception de sites Web peut ressembler a celui d une autre interface tel que le cycle d crit plus haut mais il arrive souvent que certaines parties de ce cycle soient omises tant donn les pressions argent et temps impos es lors de leur laboration De plus comme les sites Web sont appel s voluer rapidement pour suivre l volution de la technologie et pour r pondre aux nouveaux besoins des utilisateurs les concepteurs sont
157. our des g ographiques beaucoup d avantoges des services offerts membres du CRM Vous pores obtenir ous d information sur las services offerte en parcourant rubies Priull ques imemires A vous souhaitez en savor plus sur les modalit s d adh sion communiquer avec Manon Labelle au 514 a B40 1295 poste FIG lisser nous wor coondonm es Lad memeri iu CRI baz pa TERRES dg Mort pee L Tire _ 955 re risation Adresse MO Code postal T l phone T l cop eur i Infommabon aur LE J Adresse lectronique 2 Adresse du ate web 1 Tes bei chose Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 151 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 23 Etre client au CRIM La tru bure unique de n tre orngsnisation son posibonnement t ds en font une valeur sire pour nos membres pour la Communaut scientifiques et technologique et pour la sod t en g n ral Une structure Qui correspond sux de joncion ducation entrees gouvernement Un organisme une interface le monde du sarcir et cui des applications concr tes un feu animation technologique une source de maillage et de r seaubege efficace Li
158. ous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique LISTE DES FIGURES Figure 1 D marche de conception et d valuation ergonomiques de l interface MIS ROUES SR E 12 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 Introduction Depuis son arriv e au d but des ann es 1990 le Web a connu une croissance exponen elle Pour une entreprise avoir son site Web est presque devenu une obligation Avoir un site Web assure la visibilit de l entreprise En revanche qui d entre nous internautes n a pas fait l exp rience frustrante de naviguer sur un site mal con u o l information d sir e est quasi impossible trouver Quelle est alors notre r action aller naviguer ailleurs et surtout aller acheter ailleurs En fait la conception d un site Web n est pas une mince affaire Un grand nombre de d tails doivent tre consid r s et plusieurs personnes doivent participer sa r alisation Il n est pas rare de voir les gens s improviser concepteurs de sites Web Ce n est d ailleurs pas surprenant puisque cr er une page Web n est pas tr s compliqu Le H
159. ous la rubrique Formation gauche ce qui m ne au formulaire papier 2 Description des cours Difficile de savoir que CRIM est Remplacer CRIM Montr al et que Pro Format est Qu CRIM Montr al Qc bec et Pro Format par Pro Format Sillery Qc Apr s s lection une seule carte doit ap paraitre 3 Cours offerts Menus d roulants et case Rechercher Le premier menu d rou mal compris Les utilisateurs pensent lant Cat gorie de cours que le premier menu Cat gorie servi doit filtrer le contenu du ra de filtre au deuxi me menu Cours deuxi me menu d rou lant Cours Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 41 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Page Probleme Recommandation 4 Cours offerts Les utilisateurs pensent que Choisir est seulement une instruction et non un bouton D s qu un cours est choisi envoyer l utilisateur au bon en droit sans action sup pl mentaire Description des cours Concept du panier mal compris Bou ton Confirmer l inscription et panier trop loin de l autre Panier trop petit Rapprocher le panier et la bo te Inscription au cours lun de l autre Placer ces deux items plus pr s du haut de la page
160. par lesquelles doivent passer les utilisateurs e Concision Concerne la charge de travail au niveau perceptif et mn sique pour ce qui est des l ments individuels d entr e ou de sortie Ne concerne pas le feedback ni les messages d er reur Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 112 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Actions minimales Concerne la charge de travail quant aux actions n cessaires l atteinte d un but l accomplissement d une t che Il s agit ici de limiter autant que possible les ta pes par lesquelles doivent passer les utilisateurs Densit informationnelle Concerne le charge de travail du point de vue perceptif et mn si que pour des ensembles d l ments et non pour des items 3 Homog n it Coh rence Se r f re la fa on avec laquelle les choix de conception de l interface sont conserv s pour des contextes identiques et sont diff rentes pour des contextes diff rents 4 Contr le Explicite Concerne la fois la prise en compte par le syst me des actions explicites des utilisateurs et le contr le qu ont les utilisateurs sur le traitement de leurs actions Actions explicites Concerne la relation pouvant exister entre le fonctionnement de l appli cation et les actions des utilisateurs Le syst me doit ex cuter seulemen
161. pensent que Choisir est seulement une instruction et non un bouton Solution D s qu un cours est choisi le site pourrait se diriger vers la description du cours sans que l utilisateur ait appuyer sur un bouton Le concept du panier pour mettre les cours choisis n est pas bien compris choix de produits vs choix de services De plus le panier et le bouton Confirmer l inscription sont trop loin l un de l autre pour que l utilisateur tablisse un lien entre les deux Il Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 36 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique est aussi difficile de voir que l encadr de Confirmer l inscription a chang lorsqu un cours a t s lectionn Finalement le panier est trop petit l utilisateur ne le voit pas Solution Dans la page de description de chacun des cours 1l serait int ressant de rapprocher le panier pour la s lection d un cours et la bo te Inscription au cours l un de l autre de mani re ce que le feedback cons cutif la s lection d un cours soit imm diat De plus ces deux items auraient avantage tre plac s plus pr s du haut de la page L inscription aux cours est difficile Plusieurs utilisateurs 7 13 ne r ussissent pas s inscrire ou pensent qu ils sont inscrits alors
162. penser tout haut e cam ras pour analyser les actions de l utilisateur l cran et ses mouvements physi ques e enregistrement de toutes les entr es au clavier e analyse de la direction du regard e questionnaires de profil d utilisateurs e questionnaires de satisfaction des utilisateurs e miroir sans tain vision possible d un seul c t Encore une fois le choix des outils d pendra des ressources disponibles et du degr de d tails n cessaires a la conception Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 16 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 2 3 1 1 2 3 1 2 Profil des utilisateurs En ergonomie la connaissance des utilisateurs et de leurs taches est essentielle Plusieurs auteurs en parlent dont Scerbo 1995 qui mentionne l importance de conna tre les utili sateurs lors de la conception Les aspects suivants de la connaissance de l utilisateur sont mentionn s scolarit langue maternelle capacit de lecture exp rience et connaissan ces par rapport la t che etc Certains formulaires standards ont aussi t d velopp s pour appr hender cette connaissance de l utilisateur Weimer et Banks 1992 Mayhew 1992 La liste de v rification checklist du profil de l utilisateur de Mayhew re groupe les caract ristiques des
163. perts Malgr que l on ait demand aux valuateurs d attribuer une priorit la r solution des probl mes soulev s seulement un des valuateurs l a fait De plus des solutions n ont pas toujours t sugg r es dans la colonne solution Cependant habituellement d apr s la formulation du probleme il est possible d en extraire une solution Les paragraphes qui suivent d crivent les diff rences de r sultats entre les valuateurs les cat gories de probl mes trouv s selon les crit res de Bastien et Scapin ainsi que quelques exemples de probl mes pour chaque cat gorie Une liste compl te des probl mes peut tre consul t e l Annexe E 4 2 1 Diff rences entre les valuateurs Bien qu ils soient des experts et qu on leur ait demand d valuer le site selon certains crit res pr cis les valuateurs ont tendance trouver des probl mes qui sont rapproch s de leur domaine d expertise Par exemple l valuateur avec beaucoup d exp rience en conception de pages Web a mentionn la validation d ficiente du Javascript pour certains champs obligatoires dans le formulaire d inscription de CRIM Formation On note d ailleurs que les valuateurs ne se sont pas limit s aux crit res de Bastien et Scapin Ce ci peut venir du fait qu eux m mes auraient facilement pu tre des utilisateurs du site Web Si l interface valuer avait t tr s sp cialis e et dans un domaine inconnu des
164. pin gr Forces ent robii p r POST din eed deeded De Geb Le CLIM fi CNE Que Nepean de lampe du Mol Cet Los bd Suis da MIAML Par Geter correction Fos care CR ES bent r seau oraa que dai uen price 1 ganten du coeds mebi at a haben ch propcafions acre MIT de d veloppement de la DPT 7 er iret CDS Spona Le d porba pour malaji CTI et HDG Brent Cotas apo SHEL Tediye de recherche per Erara adjon an reconnais aulomalique ce he parce Cobpectf de cs prop dibuder une manak proche de recherche dame un pour ure coca ben d omina abarapa ce la parc Les piriga de cette approche ast Pinorms potential Rise offs dure pet por deg enhon n cepoment un r s grand mi Li rer ere de parole Ce proper D ane le Let Mea Le Verte on pene DL si r cscope via lene Sante pour ie diegncestique et pamayanan Cinerument de cage par heisen medica cen peu eet Ds lee fers cu temp cphisenoicge Oe pie be patiri miegie dec rages vis la pe tence conf rant cet mameri une mete vakir Gere Freer cui Ce prope ce phimijeoms CMSs d pipka ure colon CET peste heisen retical paise en
165. plus de 50 sans perte de substance Voici les probl mes qui ne pouvaient pas tre class s dans les crit res de Bastien et Sca pin et qui repr sentaient plut t des suggestions des valuateurs Les quelques probl mes Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 52 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique num r s ici sont ceux dont la priorit a t class 1 tr s fort Les autres suggestions sont pr sent s l annexe E Tableau 29 Suggestions exemples Page Probl me suggestion propos du CRIM Il manque un l ment sur la propri t intellectuelle Reconnaissance de la parole Rien sur les travaux effectu s dans ce th me liste de th mes de recherche de rapports tech niques de publications de domaines d application vis s etc L information disponi ble est tr s d cevante parce qu incomplete Brevets bases de donn es logiciel prototype etc Pas un probl me d utilisabilit mais le texte ne me dit rien d utile Le lien avec des projets la description de ces derniers serait tr s utile Vision par ordinateur Pourquoi ne pas avoir acc s aux publications en ligne Je suis sur Internet Langis Gagnon Pourquoi ne pas avoir acc s a tous ces articles en ligne Pierre Dumouche
166. plut t r ticents investir beaucoup de temps et argent pour concevoir leur site De plus certaines tapes du cycle de conception sont plus difficiles cerner que dans le cas d une interface ordinaire Par exemple qui est la client le cible et quelle sera la t che que les utilisateurs auront en t te lorsqu ils visiteront le site Web Les visiteurs qui vi siteront un site donn le feront ils uniquement pour le plaisir ou chercheront ils de l information pr cise Au niveau de la conception plusieurs l ments qui n existent pas dans les interfaces tra ditionnelles doivent tre consid r s les hyperliens les applets les animations la plus grande utilisation des images l acc s a l information avec diff rents types de navigateurs Netscape Internet Explorer navigateur texte seulement utilisation de revues d cran avec synth se vocale pour les utilisateurs non voyants etc La conception doit aussi te compte de l indexation du site dans les moteurs de recherche et de la rapidit de l quipement utilis pour acc der aux sites ordinateur modem connexion Internet CRIM Formation 2000 Il faut aussi consid rer que l utilisateur n est pas oblig d aller sur un site contrairement a l utilisation d une interface particuli re qui peut lui tre im pos e dans le cadre de son travail ou qu il a d cid d acheter En effet l utilisateur peut apr s seulement quelques secondes de
167. pos es pour r gler ces probl mes Tous ces probl mes ont t r pertori s et class s par ordre de priorit La liste compl te des probl mes soulev s peut tre trouv e l Annexe Au total 60 probl mes ont t iden tifi s La pr sente section ne fait que rapporter les probl mes majeurs class s priorit 1 La priorit a t d termin e selon l effet que le probl me a eu sur le d roulement des sc narios Voici donc les priorit s associ es chacun des effets sur le d roulement Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 32 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 13 Priorit de r solution de probl mes Priorit Effet sur le d roulement des sc narios 1 Entra ne un chec du sc nario L utilisateur ne peut accomplir la t che demand e 2 Ralenti consid rablement l utilisateur 3 Irrite l utilisateur 4 Souhaits de l utilisateur Tableau 14 Nombre de probl mes associ s chacune des priorit s pour les sections du site touch es par les tests Priorit 1 2 3 4 Total Section Page de description de cours 6 0 0 0 6 Page d accueil et rubriques 5 1 2 1 9 Page cours offerts 1 5 2 1 9 Page A propos du CRIM 1 1 0 1 3 Page l ag
168. qu ils ne le sont pas Plusieurs utilisa teurs 5 13 s attendent ce que lorsqu ils cliquent sur Confirmer l inscription le cours qu ils sont en train de consulter soit automatiquement inscrit L utilisateur ne sait pas s il est en train de s inscrire sans le savoir Solution Des messages pour indiquer l tat de l inscription l utilisateur pourraient tre ajout s par exemple Vous tes maintenant inscrit vous recevrez bient t une confirmation par le CRIM ou Vous vous appr tez quitter le module d inscription sans avoir compl t votre inscription De m me certaines op ra tions pourraient tre impossibles effectuer si certaines conditions ne sont pas res pect es par exemple Confirmer l inscription si aucun cours n est s lectionn pr alablement Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 37 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 3 4 R sultats du questionnaire de satisfaction 3 3 4 1 Questions choix multiple Un questionnaire de satisfaction a t rempli par les utilisateurs apr s les tests Cette section d crit les r sultats obtenus l aide de ce questionnaire Pour chacune des ques tions les utilisateurs pouvaient r pondre selon la grille suivante 1 Tr s insatisfait 3 Plut t satisfait 2 Plut t
169. que plus d un probl me sur cinq ne soit pas associ aux crit res d valuation sugg r s au d part montre une certaine subjectivit des valuations heuristiques ou une limite de l utilisation des crit res ergonomiques Si des valuateurs diff rents avaient t choisis des probl mes diff rents sp cialement parmi ces 22 auraient probablement t soulev s 5 2 Comparaison du temps d analyse associ aux deux approches 5 2 1 Tests d utilisabilit Les rencontres avec les utilisateurs pour les tests d utilisabilit se sont tendues sur une p riode d environ trois semaines tant donn que les utilisateurs taient choisis en majo rit parmi les clients de CRIM formation un maximum de deux entrevues tait planifi par jour Th oriquement il serait possible d avoir plus qu une ou deux entrevues par demi journ e Cependant quatre ou cinq tests de 45 minutes par jour sont certainement un maximum tant donn l nergie et la concentration d ployer par les exp rimenta teurs lors de ces tests De plus les r sultats doivent tre compil s peu de temps apr s les tests quand les commentaires des participants sont encore frais la m moire des exp ri mentateurs l exception du temps accord pour les tests eux m mes il faut pr voir du temps pour la cr ation de sc narios l laboration de grilles de collecte de donn es et de questionnaires la s lection des participants la planifi
170. que qui qu ils doivent cliquer sur ces liens vient d tre ouverte Utiliser un parce qu ils croient d j tre au bon nom de rubrique diff rent ex endroit venir pour mener aux rubriques l agenda et Coin m dia 1 4 Probl mes concernant la page Projets Probl me Solution Nbr d U P 1 Plusieurs utilisateurs ont de la diffi Un hyperlien des projets pour 5 6 2 cult trouver un projet reli un rait exister sous chacun des sujet pr cis dans la sous rubrique axes de recherche du CRIM Projets parce que les projets ne sont Cet hyperlien renverrait pas class s par cat gorie Les utili Vutilisateur aux projets pour un sateurs doivent regarder et lire toute axe de recherche donn la page pour trouver le projet qui e Si une sous rubrique projets est les int resse conserv e avec tous les projets du CRIM les projets pour raient tre class s par th mes ou un moteur de recherche sp cifi que aux projets pourrait tre fourni Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 90 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 5 Probl mes concernant la page Publications Probl me Solution Nbr d U P 1 Les publications ne sont pas clas s es par th mes L utilisateur doit regarde
171. r Les travaux portent sur des projets de F D en vision artificale at traitement d image GTI et ont pour objech d laborer des solubons a des probl matiques concr tes de vision par ordinateur exprim es par les membres du CRIM et les utiissteurs de cette technologie Sp cialistes en visien 7 Lange Gagnon PM O Liners de Montr al 1086 Mart Lakin M Ge A Boole de 19944 de Expertise Satine 2nclutnon sewienent jer domaines ou WT mais aussi der domaines conneses de Minformanque et de Won Car Uintetigence and riches ae Reconnaissance de formes statishque de Braise d image recormasaerce Masque segmentation coubiur 7 Tratement de dourent ore diner cartes Copa Pique 3 JE dare d s mages 20 Interpretation our let d infcemnmetion g coraphque Rehsussementianshrse d imsges radar et rsdiologiques Trakement de signal Repr sentation des connaissances Projets internes ef contractuels depuis 1405 Etude de d un RETSOPT d veloppement dun syst me d aide au diagnosio pour ls r tinopathie diab tique Propet de ooog raton CRIM Universite Univ de Sherbrooke d tection des inchosteurs dela r tinopathe diab bque Projet de coop ration CRM Ur versit Univ Laval
172. r et lire toute la page pour trouver la publication qui l int resse Un hyperlien des publications pourrait exister sous chacun des axes de recherche du CRIM Cet hyperlien renverrait l utilisateur aux publications pour un axe de recherche don n S1 une sous rubrique publica tions est conserv e avec toutes les publications du CRIM les publications pourraient tre class es par th mes ou un mo teur de recherche sp cifique aux publications pourrait tre fourni 4 5 Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 91 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 6 Probl mes concernant les sous rubriques de R amp D Tous droits r serv s 2001 CRIM Probl me Solution Nbr d U P La majorit des utilisateurs ne Ajouter les sujets en rapport avec la 11 14 2 trouve pas que l information est sous rubrique dans la page en assez d taill e dans les sous question Ces sujets pourraient tre rubriques de R amp D ex reconnais d crits en une ligne ou deux avec sance de la parole et vision par or un hyperlien pour trouver plus dinateur d information sur les sujets Lorsque l utilisateur s lectionne Mettre la sous rubrique Publica 4 5 2 Publications l int rieur d une tions dans la partie centrale de
173. r seulement Les probl mes de guidage et de charge de travail occupent eux seuls 68 des com mentaires faits Presque tous les autres commentaires 22 sont des suggestions des valuateurs et ne repr sentent pas proprement parl des probl mes d utilisabilit Malgr le fait que tous les valuateurs aient re u les m mes consignes on remarque qu il existe une tr s grande variabilit dans les probl mes soulev s Cette variabilit peut tre d l exp rience diff rente des experts contact s ou du temps pass faire l valuation De fa on g n rale les recommandations suivantes peuvent tre faites e Am liorer le guidage sur le site Sur chacune des pages du site on doit s assurer que l information est regroup e de fa on logique et qu n importe quel moment on fournit l utilisateur des informations claires qui lui permettent de savoir exactement o il s en va On ne devrait jamais prendre pour acquis que parce qu une information est claire pour le concepteur elle le sera pour l utilisateur On doit aussi s assurer que tout ce qui appara t l cran est lisible Si ce n est pas lisible alors a ne m rite pas d appara tre l cran Diminuer la charge de travail de l utilisateur L information pr sent e devrait tre di recte et sans d tour Si un paragraphe peut tre r sum en une ligne il devrait l tre L utilisateur n a pas le temps d extrai
174. rche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 82 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Grille de collecte de donn es Date Utilisateur Sc nario Heure de d but R J Page Commentaires Erreurs Heure de fin Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 83 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Annexe R sultats et solutions des tests d utilisabilit Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 84 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 Description d taill e des probl mes d utilisabilit du site Web du CRIM Les probl mes recueillis lors des tests d utilisabilit sont d crits dans cette section Des solutions pour chacun des probl mes sont aussi propos es Dans les tableaux la colonne Nbr d U indique le nombre d utilisateurs qui ont prouv le probl me Le chiffre droite du signe indique le total d utilisateurs possible pour le probl me mentionn La colonne P indique la priorit
175. re by design Creating people friendly soft ware for the Macintosh M amp T Books New York CONSTANTINE Larry L LOCKWOOD Lucy A D 1999 Software for use A practical guide to the models and methods of usage centered design Addison Wesley Pub Co COOPER A 1995 About face The essentials of user interface design Foster City California IDG Books Worldwide FERNANDES Tony 1995 Global interface design Boston AP Professional GOULD J D LEWIS 1983 Designing for usability Key principles and what designers think In Proceedings of the 1983 CHI conference on human factors in computing systems 12 15 December Boston HY ACM 50 53 HELANDER Martin LANDAUER Thomas K Eds 1988 Handbook of human computer interaction New York North Holland MANDEL Theo 1997 The elements of user interface design John Wiley amp Sons New York MAYHEW Deborah J 1999 The usability engineering lifecycle A practitioner s handbook for user interface design Morgan Kaufmann Publishers MULLET K 1994 Designing visual interfaces Communication oriented techni ques SunSoft Press Prentice Hall ROBERT Jean Marc FISET Jean Yves 1992 Conception et valuation ergono mique d une interface pour un logiciel d aide au diagnostic une tude de cas ICO vol 4 no 1 2 67 73 SHNEIDERMAN Ben 1997 Designing the user interface Strategies for effective human computer interaction Third edition Ad
176. re de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 132 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 4 Formation Le Caria du vecburkes nianie oe Morka l CRIM FORMATION ore Derni re heure Vener verter notre nouvel hoars d hrer S000 avec ses mouse pour De mouras milinara Midt Coni nences du CEIM Pour acer une oo compos our l roltion des inconveez aus amp notre mine de Lai Dam pi pour iame d adaptation technologie et lee adiri de cherche et de ddvabopenant asp rirerrtal Votre eotregrise pourrait ire aimiisible em coat impel previncial dqeivalent an wa dew brain d imirription CRIM Formation est recon por Mo O00S7 dans le cadre du de m dt dirett remboursable de du Guirec et de la fariant da lomain d l De piis CRI Formation est connu comme tabiessment diansmgrement aconddibe par ke mnst re de Fredo ot de fimmgraten Die des ressens humana Tam memm Ai Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 133 Rapport technique Evaluation de l utilisabilit d un site Web tes
177. re l information cach e dans un paragraphe De plus l information devrait tre pr sent e en petits morceaux pour qu elle soit facile ment assimilable e Ajouter de l information sur le site Par exemple ajouter de l information dans les sous rubriques de Recherche et D veloppement ex Reconnaissance de la parole Une liste de th mes de recherche de publications de domaines d applications vis s brevets bases de donn es logiciel prototype etc De l information sur les employ s du CRIM et sur comment les contacter D autres id es d information pertinente ajouter pourrait s rement tre prise partir des appels re us au CRIM et des informa tions demand es par les clients du CRIM Toute information qui appara tra sur le site Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 54 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Web n aura pas besoin d tre transmise par t l phone pour les clients branch s In ternet Pour une revue compl te des probl mes identifi s par les valuateurs le lecteur est invit consulter l annexe E Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 55 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation he
178. rel anarem pi Le 10 mars 2G once Enr eral CHA anode 5 Man WE CNE St Gest CHA Foren Gas Le paphon kerr J 05 ATT a aati Lin ds Bimini 1 aac fiscal of PO ee ee Le mars hornet Dares angen par be CR Le i mari 1 bec Cverereert qemi be bai pita aie da cha takani Galera any par ie CHH Le 30 2006 coter Sie Cee Genre TER Einem organic par CH Le mari 2000 Soni yews ERIA aT agar par be Le D4 mal HHD Cape ER aged parla EEA AR aT panel paris CRIM Le 10 mal RE Honiria ie Las ee els nan CHI Le 10 HD Cuita ie Le non Cee angen parle CHH Le D juin Custar Evenement La HOD Porte at par ia CH Le 15 HEI Chitar ane rer Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 146 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 18 Vision par ordinateur gt Wise par ordinateu
179. rtenaire Informatique Pro Format pour La r gion de Qu bec La fornetion est donn e dans des locaux sp cialement r nag s at quede de palmes la pointe da technologies Les r fructeurs sont choisie pour eur expertise recarmi leur domaine et pour la qualit de leurs techniques d enseignement vous benefice donc dune formation de qualit sup rieure donn e par des superts dans divers domaines dats un cadre m s propice 4 lang rent age Four vous marie ure d mos activites remplr Armar a Faecnenminer CRI Formaten par courrier par aecironqueranty ROLE Connor voira INSCN POON par Courrier MONO par Toner ou par d s r ception du formulaire Les frais de cours doivent Etre acquittes en entier ayant le d but du cours La et la Tug sont en sus Les cartes de oddt VSA et Master Card sont accept es Nous vous mitos d vous insotire be plus bot Dassie car le nombre de places est ims Foltiques bon La de PCD egt Sans freak ma Gel mous tre cornes be pia posate Toute annulate colt mous par done au plus tard omg 5 jours want le d but du cours diar de quel des frais sdministrstis de 20 seront exig s SE d s Pme Toute organisation qu membre du CRIM ou qui renouvelle son biride dun cr dit smu Aen entre autres 4 Hour
180. s vi dente Je ne sais donc pas aller 1 B 6 Cr ation de pages Combien d unit s de formation ou Suggestion Web cr dits ce cours me procure t 11 1 B 6 Cr ation de pages Qui donne le cours Parce que je veux Suggestion Web viter certains professeurs 1 A 7 Qui sommes Page trop longue et trop lourde t l Densit infor nous chargement mationnelle 2 AB 7 Qui sommes 1 Sujet trop diversifi Densit infor nous 2 Beaucoup de bla bla qui ne mationnelle m int resse pas Je veux m inscrire 1 B 7 Qui sommes Je dois scroller horizontalement Actions mini nous dans la page pour lire le texte ce n est males pas bien 1 B 7 Qui sommes Je ne m attends absolument pas a de Incitation nous voir venir ici pour m inscrire 1 B 7 Qui sommes Pas d inscription en ligne Ce n est Incitation ou nous pas croyable Plus haut dans le site formulation de on parlait d inscription en ligne il me l valuation semble Et puis ce n est pas accepta heuristique ble qu au CRIM on ne puisse pas s inscrire en ligne Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 120 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 2 BC 7 so
181. s Nielsen 1992 Dans ces cas Niel sen sugg re de porter une attention particuli re ces heuristiques et d adopter des moyens pour compenser ces faiblesses Le point de vue adopt par le sp cialiste est celui d un utilisateur de la population cible sp cifique du produit en question Rubin 1994 Le sp cialiste peut choisir une approche d exploration libre ou d exploration bas e sur des sc narios Cependant Karat sugg re que le fait de fournir des sc narios qui repr sentent des exemples riches et complexes de t ches typiques des utilisateurs est de nature Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 18 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 2 3 2 1 a aider significativement l valuation des interfaces Karat et al 1992 L valuation peut prendre la forme d une seule session de quelques heures ou peut s tendre sur quel ques semaines pendant lesquelles le sp cialiste valuera l interface pour une dur e qu il jugera acceptable Selon Nielsen l valuation heuristique peut tre faite avec des prototypes papier de l interface ou avec des syst mes compl tement op rationnels Cependant il peut tre plus difficile d identifier des l ments d interface manquants sur des prototypes papier que sur des syst mes compl tement op rationnels Nie
182. s choisis n est pas bien le probl me 1 compris choix de produits vs choix de services Le panier et le bouton Confirmer Mettre l horaire le panier et 6 13 1 l inscription sont trop loin l un de l encadr Inscription au cours l autre pour que l utilisateur ta en haut de la page suivis de la des blisse un lien entre les deux De cription du cours plus il est difficile de voir que l encadr de Confirmer V inscription a chang lorsqu un cours a t s lectionn Le panier est aussi trop petit l utilisateur ne le voit pas Centre de recherche informatique de Montr al janvier 2001 Page 97 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Probl me Solution Nbr d U P 4 Plusieurs utilisateurs s attendent Voir solution propos e pour r gler 5 13 1 que lorsqu ils cliquent sur Confir probl me 1 mer l inscription le cours qu ils sont en train de consulter sera au tomatiquement inscrit 5 L utilisateur ne sait pas s il esten Ajouter une note comme celle ci 1 13 1 train s inscrire sans le savoir Lorsque vous serez inscrits vous recevrez le message suivant Vo tre inscription est compl t e et sera confirm e par le CRIM par t l phone courriel etc dans x jours 6 ll est difficile pour plusieurs utilisateurs de Changer les noms d hyperliens
183. s dans ses aspects lexicaux Quelques exemples de probl mes relev s par rapport au guidage sont les suivants une revue compl te des probl mes est disponible a l Annexe E Tableau 23 Incitation exemples de probl mes Page Probl me Cr ation de pages Web Les hyperliens sur CRIM ne sont pas pr visibles Cr ation de pages Web Comment s inscrit on La commande politiques d inscription n est pas vidente Je ne sais donc pas o aller Un r seau de contacts Le titre Un r seau de contacts n est pas tr s transparent si je cherche l information pour devenir membre ou partenaire Tableau 24 Groupement Distinction exemples de probl mes Page Probl me Page d accueil Difficult de s y retrouver sur le site partir de la page d accueil cause qu il y a 5 zones de navi gation boutons de la colonne de gauche onglets page d accueil et English version barre horizontale bo te noter droite et les hyper liens dans la zone principale Projets Il manque un classement des projets par domaine de recherche ex voix Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 51 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Tableau 25 Lisibilit exemples de probl mes
184. s et les inconv nients de chacune des approches seront discut s Plusieurs raisons justifient le choix du site Web du CRIM pour cette tude D abord il s agit d un site Web informationnel complet utilisant une base de donn es et offrant la possibilit d inscription et de paiement en ligne De plus le site a fait l objet d une d marche ergonomique suivie dans les tapes d analyse et de conception et la pr sente tude offre donc l occasion de finaliser le d veloppement et de valider certains choix de conception avant la mise en ligne de l inscription aux cours de CRIM Formation Il est aussi facile d exp rimenter et d essayer diff rentes am liorations tant donn le contr le direct que l on a du site Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 10 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 2 Revue de litt rature L ergonomie des interfaces a pour but la conception d interfaces de qualit Une des me sures de qualit privil gi e lorsqu on parle des interfaces est leur utilisabilit La norme ISO 9241 International Standards Organization 1999 introduit trois concepts lors qu elle d finit l utilisabilit l efficacit effectiveness l efficience efficiency et la satisfaction L efficacit invoque la pr cision et l int gra
185. sance de la parole aussit t que l utilisateur avait trouv comment envoyer le courriel la t che tait arr t e Finalement l utilisateur devait trouver si des pr senta tons scientifiques taient pr vues au CRIM dans un avenir rapproch Sc nario Industriel Une probl matique industrielle n cessitant les services du CRIM Dans ce sc nario l utilisateur devait trouver si le CRIM pouvait l aider r soudre un probl me d analyse d image et de vision artificielle et aussi qui au CRIM pouvait l aider L utilisateur devait en plus trouver de l information relative au membership au CRIM Sc nario Emploi Les emplois au CRIM Dans ce sc nario l utilisateur devait trouver la mission du CRIM et prendre connaissance des offres d emploi au CRIM Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 28 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 3 3 R sultats Cette section d crit les r sultats obtenus lors des tests d utilisabilit Les forces du sites sont mentionn es les probl mes majeurs sont expliqu s et des solutions aux probl mes sont propos es Il est important de noter que m me si les tests d utilisabilit ont t la bor s avec le plus de rigueur possible certains biais existent soient inh rents au type de tests d utilisabilit choisi ou aux ut
186. savoir si des cours Internet Suggestion sont en pr paration Si oui je vais attendre qu ils se donnent 1 B 4 Formation Je veux savoir s il y a des cours dis Suggestion tance sur Internet lesquels o est la liste 1 B 4 Formation est la liste des personnes et leur Suggestion adresse qui font de la formation au CRIM Je veux savoir si Bodain donne un cours 1 A 5 Cours offerts Choix trop complexe probl me d in Incitation citation 1 B 5 Cours offerts Je dois scroller horizontalement Actions mini pour lire le texte ou les boutons de males commandes Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 118 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Eval Objet Probl me Solution Bastien et Sca d val p pin 1 B 5 Cours offerts Manque ligne blanche avant Lisibilit Choisir une cat gorie de cours 1 5 Cours offerts Cette page est un exemple parfait de Pourquoi ne pas utiliser le Groupement ce qu il faut viter format de votre excellent Distinction catalogue sur papier J ai tent de l utiliser avant de partici per cette valuation heuristique Mon but tait d identifier ce qui tait disponible d ici mai 2000 j tait int
187. se nom 9 Ce n est pas clair pour l utilisateur Indiquer l utilisateur quoi faire 1 13 4 s il peut imprimer le formulaire apr s avoir rempli le formulaire d inscription en ligne i e il n a pas imprimer le for mulaire de validation Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 100 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Probl me Solution Nbr d U P 10 I n y a pas de bouton de retour Ajouter un hyperlien pour le retour 1 7 4 lorsque l utilisateur est dans le for la page pr c dente sur le formu mulaire pr t a imprimer laire a imprimer Vutilisateur doit utiliser le bouton Back du fureteur 1 12 Problemes concernant la page Politiques d inscription Probl me Solution Nbr d U P 1 La page sur les tarifs pr f rentiels La page affich e lorsque 5 5 2 ne contient pas les mots tarifs pr l hyperlien Tarifs Pr f rentiels est f rentiels L utilisateur est incapa s lectionn pourrait ne contenir que ble de localiser information qu il l information sur les Tarifs pr f recherche rentiels 2 La page Politiques d inscription est L hyperlien sur les politiques 2 2 2 trop charg e et mal divis e d inscription pourrait mener une l utilisateur est incapable de trouver p
188. site http www useit com alerbox 980503 html NIELSEN Jacob 1999 Designing Web usability The practice of simplicity New Riders Publishing PEARROW Mark 2000 Web site usability handbook Charles River Media Inc Rockland MA SIEGEL D 1997 Creating killer Web sites Second edition Indianapolis Hayden Books SPOOL Jared M amp al 1998 Web site usability A designer s guide Morgan Kaufmann Publishers VEEN J 1997 Hot wired style Principles for building smart Web sites Wired Books San Francisco 7 3 3 URL de r f rence pour la conception de sites Web All things Web The Usable Web http www pantos org atw usable html useit com Jakob Nielsen s Website http www useit com index html Keith Instone Website http instone org keith Usability First http www usabilityfirst com Usable Web http www usableweb com Human Factors http www humanfactors com Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 71 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 7 3 4 Accessibilit CAST 2000 Bobby 3 2 outil de validation de l accessibilit des sites Web Center for Applied Special Technology http www cast org bobby Letourneau Chuck Freed Geoff 2000 Curriculum for Web Content Accessibility Guidelines 1 0 World Wide Web Consortium ht
189. sont pas bonnes pour trouver des solutions Desurvire 1991 N cessitent plusieurs experts des interfaces utilisateurs 3 5 au minimum et ces ex perts sont peu nombreux Si des experts n taient pas utilis s les avantages des va luations heuristiques tels que rapport s dans la majorit des tudes seraient beaucoup moins grands Trouvent plus de probl mes de pr f rences 1 e pr f rence des valuateurs Trouvent une grande quantit de probl mes de faible priorit ce qui augmente la ta che d tablir une priorit de r solution de la part de l quipe de d veloppement Quels probl mes r glerions nous en premier Lorsque faites par un seul valuateur elles donnent toujours les pires r sultats par rapport aux tests d utilisabilit Tendent trouver un grand nombre de faux probl mes c est dire que plusieurs pro bl mes sont identifi s et ces probl mes n ont aucun lien avec la performance des uti lisateurs ou avec leur pr f rence pour une interface donn e Bailey et al 1992 Ne permettent pas de d terminer objectivement l importance relative de chacun des changements sugg r s par les valuations heuristiques Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 20 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 2 3 3 3 2 3 3 4 e D pendent
190. stien et Scapin Seulement un des valuateurs a associ explicitement les probl mes trouv s aux crit res de Bastien et Scapin Apr s r ception des valuations les probl mes ont donc t analys s et ont t class s selon les crit res de Bastien et Sca pin Certains probl mes n ont pas pu tre associ s un crit re en particulier Ces pro bl mes repr sentaient plut t des suggestions des valuateurs qui ont endoss l habit de Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 49 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique l utilisateur lors des valuations Le tableau suivant pr sente les r sultats de ce classe ment Tableau 22 Probl mes soulev s en fonction des crit res de Bastien et Scapin Crit re Nombre de probl mes soulev s Total Qt selon les valuateurs A AC ABC Guidage Incitation 3 12 2 1 2 20 Groupement Distinction 1 1 6 8 38 53 Feedback imm diat Lisibilit 6 2 1 1 10 Charge de Bri vet travail Concision 1 1 11 15 Actions minimales 2 1 3 Densit informationnelle 2 1 1 1 1 1 7 Homog n it 1 1 1 1 Coh rence Contr le expli Actions explicites 0 0 cite Contr le utilisateur Adaptabili
191. strat gique 3 14 21 Visite virtuelle 3 14 21 Test du logiciel 4 14 29 Un r seau de contacts 2 14 14 l agenda Coin m dia 5 14 36 L Art du CRIM 2 2 100 Essaimage 3 3 100 noter que L art du CRIM et Essaimage ne sont compris par aucun des utilisateurs qui ont rencontr ces rubriques Il faut rappeler que selon le d roulement de la session les utilisateurs devaient dire ce quoi ils s attendaient de chacune des rubriques Toutes les rubriques taient pass es une par une au d but de chaque session de tests Ce d roulement est vrai pour les 6 premiers utilisateurs Pour la deuxi me moiti des utilisateurs aucune question au sujet des rubri ques n a t pos e au d but des tests Un retour sur les rubriques non visit es a cepen dant t fait la fin de la p riode de tests ce moment les utilisateurs devaient dire ce que signifiait pour eux chacune des rubriques non visit es Solution L organisation des rubriques et la terminologie pourraient tre am lior es S il est impossible de trouver des mots qui d crivent mieux les rubriques des bulles d aide qui offriraient une d finition du mot pourraient tre utilis es lorsque l utilisateur pointe sur une rubrique par exemple pour Veille strat gique Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 34 Rapport technique Evaluation de l utilisabilit d un site Web te
192. sts d utilisabilit versus valuation heuristique 3 3 3 2 e majorit des utilisateurs 13 14 de la difficult trouver de l information rela tive au membership confusion des termes Membres et Clients Solution Ajouter une rubrique Devenir membre e Plusieurs utilisateurs 7 14 sont incapables de trouver la mission du CRIM parce que celle ci se trouve sous philosophie de gestion Les utilisateurs ne s attendent pas retrouver la mission cet endroit En soi ce probl me ne semble pas tr s grave puisque ce ne sont pas tous les utilisateurs qui voudront conna tre sp cifiquement la mission du CRIM Cependant ce probl me d note une mauvaise classification de l information dans une sous rubrique C est un point auquel il faut tre attentif dans l ensemble du site Solution Les paragraphes Mission Personnalit et Valeurs l int rieur de la sous rubrique Philosophie de gestion pourraient tre d plac s vers la premi re page obtenue en s lectionnant propos du CRIM De m me une attention particuli re pourrait tre apport e lors d ajout d information suppl mentaire pour que celle ci soit dans la bonne sous rubrique Probl mes relatifs l inscription aux cours de CRIM Formation L inscription aux cours de CRIM Formation a t difficile pour plusieurs utilisateurs Le sc nario pour CRIM Formation tait compos de deux parties La premi re partie de mandait
193. t Flexibilit Prise en compte de 1 1 1 1 l exp rience Gestion des Protection contre les 1 1 erreurs erreurs 1 1 Qualit des messages d erreur Correction des erreurs Signifiance des 1 3 4 4 6 codes Compatibilit 0 0 Suggestion de 10 1 5 16 16 22 l utilisateur Total 16 29 13 1 8 2 3 72 72 99 Note Le total des pourcentage n est pas gal 100 parce que les pourcentages ont t arrondis Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 50 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 4 2 2 1 On constate que la majorit 68 des probl mes se retrouvent sous les crit res de gui dage et de charge de travail Tous les autres crit res mis ensembles ne regroupent peine que 9 des probl mes Finalement pr s du quart 22 des commentaires ne peu vent tre class s parmi les crit res de Bastien et Scapin et repr sentent des suggestions des valuateurs Les paragraphes suivants pr sentent des exemples de probl mes trouv s en fonction des crit res Guidage La d finition du guidage est la suivante Le guidage est l ensemble des moyens mis en uvre pour conseiller orienter informer et conduire l utilisateur lors de ses interactions avec l ordinateur messages alarmes labels etc y compri
194. t d veloppement http www crim ca index epl selec 2000 amp href rd index htm 12 Reconnaissance de la parole http www crim ca index epl selec 2200 amp href rd parole htm 13 Projets http www crim ca index epl selec 2800 amp href rd projets htm 14 Publications http www crim ca index epl selec 2a00 amp href rd publications htm Sc nario Rech B Apr s avoir consult certaines pages du site vous d cidez d envoyer un courriel au chercheur le plus s nior en reconnaissance de la parole pour avoir plus d information sur le sujet Pages valuer de fa on heuristique 15 Pierre Dumouchel http www crim ca index epl selec 2700 amp href rd personnes pierre_dumouchel htm Sc nario Rech C Vous aimeriez savoir si des pr sentations scientifiques s en viennent bient t au CRIM Pages valuer de fa on heuristique 16 lagenda Coin m dia http www crim ca index epl selec 1000 amp href agenda_media index htm 17 A agenda http www crim ca index epl selec 1100 amp href agenda_media agenda epl Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 107 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Sc nario Indust Une probl matique industrielle n cessitant les services du CRIM Sc nario Indust A Dans votre contexte de travail vous avez souvent r soudre d
195. t les op rations de mand es par l utilisateur et pas d autres et ce au moment o il les demande Contr le utilisateur On entend ici le fait que l utilisateur doit toujours avoir la main pouvoir contr ler le d roulement ex interrompre reprendre des traitements informatiques en cours 5 Adaptabilit Concerne la capacit du syst me a r agir selon le contexte et selon les besoins et pr f rences des utilisateurs Flexibilit Concerne les moyens mis la disposition des utilisateurs pour personnaliser l interface afin de rendre compte de leurs strat gies ou habitudes de travail et des exigences de la t che Le crit re correspond aussi au nombre de fa ons diff rentes mises la disposi tion des utilisateurs pour atteindre un objectif donn Prise en compte de l exp rience de l utilisateur Concerne les moyens mis en uvre pour respecter le niveau d exp rience de l utilisateur Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 113 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 6 Gestion des erreurs e Protection contre les erreurs Concerne les moyens mis en place pour d tecter et pr venir les erreurs d entr es de donn es ou de commandes ou les actions aux cons quences n fastes e Qualit des messages d erreur Concerne la pertinence la facilit de lectur
196. tp www w3 org WAI weag curric WAI 2000 Techniques for Web Content Accessibility Guidelines 1 0 Web Ac cessibility Initiative World Wide Web Consortium http www w3 org TR WCAG10 TECHS WAI 2001 User Agent Accessibility Guidelines 1 0 Web Accessibility Initiative World Wide Web Consortium http www w3 org W AI UA WD UAAG10 20010113 7 4 valuation CHRISTIE B GARDINER M M 1995 Evaluation of the human computer inter face In WILSON John R CORLETT E Nigel Eds Evaluation of human work a practical ergonomics methodology Second edition London Taylor amp Francis NIELSEN Jakob 1992 Finding Usability Problems Through Heuristic Evaluation Proceedings CHI 92 pp 373 380 7 4 1 Tests d utilisabilit et valuation heuristique ANDERSSON Ulf Lennart 1999 Humanware Practical usability engineering Victoria B C Trafford Publishing DUMAS J S REDISH J C 1999 A practical guide to usability testing Revised edition Intellect MAYHEW D J 1991 The user profile chap 2 dans Principles and guidelines in software user interface design Prentice Hall Englewood Cliffs N J pp 30 79 NIELSEN J 1989 Usability engineering at a discount In SALVENDY G SMITH M J Eds Designing and using human computer interfaces and knowled ged based systems Amsterdam Elsevier Science Ltd pp 394 401 NIELSEN J MACK R L Ed 1994 Usability inspection methods John Wi
197. tre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 131 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 3 Nous joindre Mer sa dom Vous d sirer joindre Les coordonn es som La r ception T liphons 504 Bede 1754 T copeur 1514 1244 L quos do hivelopparant des Tl pons 504 640 1254 poste 3224 Taliioopieur 519 1744 Formana Fi 4 1 amp 1 Teleco peur 1514 Bo 12S Courriel CRIM Centre de beets du leyda T l phone 514 840 1215 poste 1316 T l copieur 514 B40 1248 TRIM Leni de rie boc T l phone 514 040 1295 posts 212165 piqu COLA Taksopieur 14 244 pigmen Le temi Ges EL 840 1239 T l copieur 514 M 13 CaTa La resporsabk du site eb T copeiur 514 1244 Cuis wepmesire main Four TOU autre contact notre 514 B40 12S4 dirigera votre Les CRIM sont Hhu s sy i 1 D 8 880 rus Sherbrooke Ouest i Bursu 100 Montr al guika i i i imi dimisi EAD Riad Cent
198. ts d utilisabilit versus valuation heuristique 1 5 Cours offerts Cour oferta Rothari da Crins titre de centre de bsson et de tronafert CRIM Formation ast le seul centre ce mation on informatique de porte pouvoir vous dpargrar 40 de fra dimerphon Choir une cat gorie de cours secure ou Choisir un cours Admingitghon un serveur 1S sous Windows ou Chercher par moe cle due ep Votre paner des ast ie s joutar cou pare ur aniis panio Lag Cookies diiss Bing activites dares wore Centre de recherche informatique de Montr al Tous droits r serv s 2001 CRIM janvier 2001 Page 134 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 6 Cr ation de pages Web Cours pliang auri Erian d pagis Web de pages ru COTE 0 Votre paneer des Le difinon cinforpaban teste oon megap fes queries par Le Hm COLET d un Web asten irain da suppllanter las aubes midias do communication Les sur Web work sumi ben pour de Mnfarmabon nterne Ajostar l cours que de information berne par le bas interet Le code de forrratege
199. ts en essayant de r gler les probl mes originaux Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 65 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 6 Conclusion g n rale Ce rapport visait comparer deux techniques d valuation d interfaces les tests d utilisabilit et les valuations heuristiques Les deux techniques ont t appliqu es a l valuation du site Web du CRIM La litt rature existante qui s applique aux interfaces g n rales plut t qu aux sites Web en particulier montre que les tests d utilisabilit et les valuations heuristiques ont chacun leurs avantages et leurs inconv nients Par exemple les tests d utilisabilit ont comme avantages qu ils identifient les probl mes s rieux et r currents les vrais probl mes que les utilisateurs auront et permettent de mesurer l effet r el que les probl mes ont sur les utilisateurs et ainsi permettent d tablir une priorit de r solution Les tests d utilisabilit ont par contre les d savantages d tre longs et co teux et ne permettent habituellement pas de relever les probl mes de coh rence de l interface En contrepartie les valuations heuristiques ont comme avantages d tre peu co teuses d identifier beaucoup de probl mes la fois majeurs et mineurs et de trouver une plus forte proporti
200. uation heuristique Sc nario CRIM Formation Choix de cours et inscription en ligne e Sc nario CRIM Formation A Vous d sirez suivre un cours au CRIM sur la cr ation de pages Web Vous tes disponi bles en d cembre et souhaitez prendre ce cours a Montr al e Sc nario CRIM Formation B Vous d cidez de vous inscrire en utilisant la fonction d inscription en ligne que vous of fre le site Web du CRIM Sc nario Recherche La recherche au CRIM e Sc nario Recherche Vous avez entendu dire que le CRIM faisait de la recherche sur la technologie de la re connaissance de la parole et vous voulez tout savoir sur ce sujet par exemple l tat de la recherche les publications les chercheurs qui travaillent sur le sujet les projets en cours au CRIM etc e Sc nario Recherche Apr s avoir consult certaines pages du site vous d cidez d envoyer un courriel au cher cheur le plus senior en reconnaissance de la parole pour avoir plus d information sur le sujet e Sc nario Recherche Vous aimeriez savoir si des pr sentations scientifiques s en viennent bient t au CRIM Sc nario Industriel Une probl matique industrielle n cessitant les services du CRIM e Sc nario Industriel A Dans votre contexte de travail vous avez souvent r soudre des probl mes n cessitant de nouvelles approches Aujourd hui vous avez un probl me pr cis d analyse d image vison artificielle et vous aimerie
201. ue Centre de tests sscscsccssssssssssssssscssssscesssssssessesssssessssceees 157 Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique LISTE DES TABLEAUX Tableau 1 s S xe des wtilisateurs xs tn nn ios ces 22 Tableau 2 R partition des utilisateurs par groupe 23 Tableau 3 Groupe d appartenance des utilisateurs 23 Tableau 4 Utilisation de l ordinateur au travail et la maison 24 Tableau 5 Fr quence d utilisation du courriel et du Web 25 Tableau 6 Type d utilisation faite du Web 25 Tableau 7 Nombre de visites du site Web du CRIM ancien et 26 Tableau 8 Langue pr f r e pour la navigation sur le Web 26 Tableau 9 Taux de r ussite des sc narios par les utilisateurs 30 Tableau 10 Taux de r ussite des sc narios en fonction d une pr lecture de toutes les TUDTIQUES nn 31 Tableau 11 Utilisation du moteur de recherche en fonction d une pr lecture de toutes les TUBTIQUES ee hs Sie ee E 31 Tableau 12 Nombre d utilisateurs ayant obtenu 7 r ussites et plus en fon
202. ur ni de mani re donner l valuateur un contexte de visite des pages Le nom de la page ainsi que son adresse URL ont t fournis Il tait mentionn aux valuateurs que l URL tait fourni seulement au cas o ils auraient de la difficult atteindre une page ou pour v rifier qu ils taient la bonne page Normalement la navigation sur le site per mettait l valuateur d atteindre la page valuer sans probl me Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 44 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 4 1 3 Sc narios Bien que l valuation heuristique ne n cessite pas de sc narios tant donn que cette valuation heuristique a t faite conjointement aux tests d utilisabilit il a t jug bon de fournir aux valuateurs une copie des sc narios qui avaient guid les tests d utilisabilit Ceci permettait de donner aux valuateurs un certain contexte d valuation De plus comme mentionn dans la revue de litt rature pr sent e plus haut les sc narios permettent de donner une description riche de t ches typiques ce qui favo rise l identification des probl mes Une description d taill e des sc nario se trouve l Annexe A 4 2 R sultats Cette section pr sente les r sultats des valuations heuristiques faites par les 3 ex
203. uristique 5 Comparaison entre les tests d utilisabilit et les valuations heuristiques Cette section compare le type de probl mes trouv s ainsi que le temps d analyse associ a chacune des approches Un portrait des avantages et des inconv nients des deux appro ches est dress et des conclusions sont tablies 5 1 Comparaison des r sultats obtenus avec les deux approches Cette section compare les r sultats obtenus avec les tests d utilisabilit et les valuations heuristiques Le type de probl mes et la quantit de probl mes sont compar s 5 1 1 Analyse quantitative Nous nous sommes livr s une premi re analyse quantitative avant de faire une analyse plus qualitative des r sultats compar s Comme nous l avons indiqu au chapitre 3 les tests d utilisabilit ont permis d identifier 60 probl mes pour lesquels un degr de priorit a t valu Les niveaux de priorit ont t d finis comme suit 1 Entra ne un chec du sc nario L utilisateur ne peut accomplir la t che demand e 2 Ralenti consid rablement l utilisateur 8 Irrite l utilisateur 4 Souhaits de l utilisateur Le tableau suivant montre la r partition des probl mes soulev s par les tests d utilisabilit selon la priorit accorder leur r solution Tableau 30 Nombre de probl mes identifi s par les tests d utilisabilit Priorit Nombre de probl mes 14 11 4 11 Total 60 D
204. urs question Est ce que cette sous rubrique appartient vraiment la rubrique principale Des chan gements ou des ajouts de rubriques pourraient tre consid r s 9 Le cadre principal bouge avec le Mettre un cadre fixe Seulement 1 14 4 reste de la page Cela fait que la page centrale bougerait Pour ce partie sup rieure des menus n est qui est des sous rubriques qui d pas visible quand l utilisateur re roulent sous les rubriques princi garde au bas d une page qui pales elles n auront pas de place contient beaucoup d information d rouler si le cadre est fixe Alors Inversement quand il y a peu mettre les sous rubriques dans la d information le cadre trop long partie sup rieure de page centrale provoque I apparition de l ascenseur droite ce qui fait croire l utilisateur qu il y a quel que chose d autre au bas de la page Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 89 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique 1 3 Probl mes concernant la page A l agenda Coin m dia Probl me Solution Nbr d U P 1 Plusieurs utilisateurs comprennent Mettre les sous rubriques en hy 8 14 1 mal les sous rubriques lagenda perliens dans la partie centrale de la et Coin m dia Ils ne pensent pas page plut t que sous la rubri
205. utilisateurs en cat gories caract ristiques psychologi ques style cognitif niveau de motivation etc connaissances et exp rience scolarit exp rience avec le syst me connaissance des ordinateurs etc caract ristiques de l emploi et de la t che fr quence d utilisation importance de la t che etc caract risti ques physiques daltonien droitier gaucher etc Selon Scerbo une bonne connaissance de l utilisateur permet de d velopper une interface qui r pondra correctement aux objec tifs d utilisabilit fix s Une connaissance ad quate de l utilisateur est aussi n cessaire lors des tests d utilisabilit Les utilisateurs devraient tre choisis parmi le groupe d utilisateurs cible du syst me valuer de mani re ce que le recommandations manant des tests soient applicables la population qui utilisera le syst me Scerbo 1995 Dans le cas d un site Web il peut tre difficile de d terminer quelle est la population cible Dans les situations o un syst me s adresse la population en g n ral une grande vari t d utilisateurs de vrait tre s lectionn e Tel que mentionn par Chapanis 1988 les r sultats seront plus g n ralisables si les donn es ont t recueillies parmi des chantillons h t rog nes de participants Nombre d utilisateurs requis pour les tests Le choix du nombre d utilisateurs pour participer aux tests est un sujet important et la fois diffi
206. vec les grands sujets qui sont trait s au CRIM m me si ces sujets ne correspondent pas exactement aux divisions du CRIM L utilisateur aimerait avoir une liste de tous les employ s au CRIM et un moyen de les contacter L utilisateur aimerait connaitre les compagnies avec qui le CRIM a fait affaires le type d aide et les r sultats obtenus 3 3 4 2 2 Suggestions concernant la page d accueil et les rubriques L utilisateur aimerait avoir des rubriques Conf rences et S minaires Dans Nous joindre l utilisateur s attend trouver un bottin de personnes qui travail lent au CRIM L utilisateur aimerait pouvoir refermer les sous rubriques en cliquant a nouveau sur la rubrique principale 3 3 4 2 3 Suggestion concernant la page l agenda Coin m dia L utilisateur s attend a voir les sessions de formation qui s en viennent sous la rubri que A l agenda 3 3 4 2 4 Suggestions concernant la rubrique Un r seau de contacts et ses sous rubriques Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 39 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique e Dans la liste des membres et sous chacune des pages des membres l utilisateur aime rait retrouver le nom d une personne contact chez le membre une personne qui serait famili re avec le lien qu a eu le membre avec le CRIM
207. z savoir si le CRIM peut vous venir en aide et si qui pourrait le faire e Sc nario Industriel B De plus vous aimeriez tre membre du CRIM mais jugez qu il vous manque d information avant de prendre une d cision clair e Comment faites vous pour obtenir plus d informations relatives au membership Sc nario Emploi Les emplois au CRIM e Sc nario Emploi A Vous avez entendu parler du CRIM et avez obtenu l adresse de son site Web Vous ai meriez avoir de l information g n rale sur le CRIM De plus vous aimeriez conna tre sa mission Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 76 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique e Sc nario Emploi Vous voulez aussi prendre connaissance des offres d emplois au CRIM Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 77 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Annexe B Formulaires utilis s lors des tests d utilisabilit Centre de recherche informatique de Montr al janvier 2001 Tous droits r serv s 2001 CRIM Page 78 Rapport technique Evaluation de l utilisabilit d un site Web tests d utilisabilit versus valuation heuristique Questionnaire

Rapport technique Évaluation de l`utilisabilité d`un site Web

Contents

Download Pdf Manuals

Related Search

Related Contents

Rapport technique &Eacute;valuation de l`utilisabilit&eacute; d`un site Web

Contents

Download Pdf Manuals

Related Search

Related Contents

Rapport technique Évaluation de l`utilisabilité d`un site Web