Home

avaliação de usabilidade para os computadores de mão: um estudo

1. 3 4 Minic meras para avalia o de usabilidade dos computadores de 3 5 Pr tica nas empresas seen 3 6 Escolha das tr s abordagens para os ensaios de intera o CAPITULO 4 DESCRI O DO EXPERIMENTO 4 1 Defini o do produto a ser avaliado iiii 4 2 Defini o do contexto de USO ee eeeeerr rrer esere nr nreeern nn 4 3 Defini o dos diferentes contextos de avalia o 4 3 1 Contexto de avalia o 1 dentro do laborat rio utilizando um SIM Ula O PENERE E E TAEAE TEA 4 3 2 Contexto de avalia o 2 dentro do laborat rio utilizando o telefone celular e uma c mera de documentos a 4 3 3 Contexto de avalia o 3 fora do laborat rio utilizando o telefone celular e uma minic mera sem fio e erereeaaaaaaaanes 4 3 4 O emulador e o telefone celular essere 4 3 5 Defini o da amostra de participantes s 4 3 6 Defini o do script das tardias ima ida astsaanara dis oa aids cala a iara ndad 4 3 7 Escolha das medidas e m tricas de usabilidade 4 3 7 1 Usabilidade para os computadores de m o 4 3 7 2 Efic cia da LARGA causas cuuduses sina raerdacedddedadesvivamuteiused sdesscdanccured iva ns 4 3 7 2 1 Tarefa COMpletada o oo eeeeeecceeeeeeeeeeceeeeeeeeeeeeeeeeeeeeeseaaaeeeeeeeeneeaees 131
2. ia Figura 58 Frequ ncia dos problemas de usabilidade distribu dos por impacto Figura 59 Raz o benef cio custo por contexto de avalia o Figura 60 Grau de instru o dos participantes Figura 61 Ocupa o dos participantes nenene Figura 62 Tempo como usu rio da Internet Figura 63 Frequ ncia de acesso Internet Figura 64 M dia de tempo de acesso a Internet eceeeeeeeeeeeeeeeeeeeeeeeeeees Figura 65 Tempo como usu rio de e mail Figura 66 Tempo como usuario de telefone celular Figura 67 Frequ ncia de leitura e envio de SMS Figura 68 Opini o sobre o tamanho da tela do telefone celular Figura 69 Opini o sobre o tamanho do teclado do telefone celular Figura 70 Opini o sobre a navega o em um telefone celular Figura 71 Opini o sobre o tempo de conex o Figura 72 Opini o sobre a qualidade do conte do Figura 73 Opini o sobre o custo de acesso LISTA DE QUADROS Quadro 1 Diferen as entre o computador de m o e o computador de MESA assis ese E E ga CRUEL CA Tg eu Ga 31 Quadro 2 Atributos do contexto de USO succes ccs Selective sriasascninedenissaicaineits 61 Quadro 3 Descri o das lalelaS pas pena toa a
3. De 1 a3 anos m De 3 a 5 anos oO Mais de 5 anos Figura 66 Tempo como usuario de telefone celular Com que frequ ncia voc l mensagens de texto no seu telefone celular Nunca 5 56 4 vez por m s Mais de uma vez 5 56 por dia 27 18 1 vez por semana 25 00 1 vez por dia 36 11 Com que frequ ncia voc envia mensagens de texto do seu telefone celular Mais de uma vez por dia 19 44 Nunca 30 56 1 vez por dia 16 67 1 vez por m s 5 56 1 vez por semana 27 78 Figura 67 Frequ ncia de leitura e envio de SMS 5 4 Question rio Avalia o geral sobre WAP Ao final dos ensaios de intera o foi solicitado ao participante que respondesse a algumas perguntas para avaliar qual a sua percep o em rela o utiliza o dos servi os de Internet m vel Os resultados deste question rio est o apresentados a seguir 170 Entre os 36 participantes 31 nao sabiam dizer se o seu aparelho de telefone celular tinha acesso Internet m vel e entre os 48 que sabiam que tinham telefones com este recurso nenhum havia utilizado esses servi os anteriormente Estes dados provavelmente resultam da falta de informa o sobre o que este servi o o que ele pode oferecer quanto custa e como ele pode ser acessado Um total de 87 dos participantes disseram nao ter conhecimento sobre os diversos servi os oferecidos pela Internet m vel mas de maneira geral todo
4. Tarefas Tarefas Tarefas Medidas e m tricas de usabilidade Medidas e m tricas de usabilidade Medidas e m tricas de usabilidade Figura 34 Componentes dos Contextos de Avalia o 4 3 1 Contexto de avalia o 1 dentro do laborat rio utilizando um emulador O primeiro grupo realizou os ensaios de intera o dentro do laborat rio utilizando o emulador no computador O computador conectado Internet possu a monitor de 17 e mouse Embora o emulador permitisse o uso do teclado o mesmo foi retirado para que o participante utilizasse apenas o mouse desta forma a entrada de dados s foi poss vel clicando com o mouse nos bot es do telefone celular que est o presentes na tela do computador como em uma situa o real de uso com o aparelho Todo o sistema estava conectado atrav s de placa de v deo e adaptador a uma televis o de 20 integrada a um v deo cassete Desta forma foi poss vel gravar em fita de v deo toda 115 a interagao do usuario com a interface Um microfone tamb m foi conectado para gravar o audio da sess o A figura 35 ilustra o ambiente deste ensaio de intera o Figura 35 Ambiente do contexto de avalia o do emulador N o havia c meras filmando o participante a imagem gravada em fita somente a da tela do computador figura 36 Figura 36 Imagem da intera o no contexto de avalia o do emulador O avaliador se encontrava na mesma sala que o participante observando a inter
5. Weiss S Handheld Usability England John Wiley amp Sons Ltd 2002 Winter E M W Introdu o a Bioestat stica Departamento de Estat stica Universidade Federal do Parana 2002 Woolrych A Cockton G Why and when five test users aren t enough Proceedings of IHM HCI 2001 Conference Toulouse France 2001 202 APENDICE A Roteiro com as informa es fornecidas ao participante Muito obrigado pela sua presen a Voc est aqui hoje para me ajudar a avaliar o uso de algumas aplica es de Internet m vel para telefones celulares Atrav s do telefone celular e da tecnologia WAP poss vel ter acesso a uma s rie de informa es e servi os como e mail not cias lazer esportes transa es banc rias etc Eu vou pedir que voc utilize alguns destes servi os e depois voc vai me dar a sua opini o sobre o que voc achou dessa experi ncia O nosso objetivo colher a sua opini o em rela o usabilidade destas aplica es Eu sei que esta n o uma situa o usual para voc mas por favor tente agir da maneira mais natural poss vel como voc agiria se estivesse sozinho Eu lhe darei as tarefas uma de cada vez e voc vai execut las normalmente como voc faria se estivesse realmente naquela situa o Quando voc considerar que completou a tarefa pe o que voc fale em voz alta a informa o que voc encontrou Voc pode fazer perguntas entretanto nem sempre eu poderei respond las poi
6. o A performance e a satisfa o do usu rio n o est o diretamente relacionadas o usu rio pode apresentar uma tima performance embora n o goste do sistema e vice versa Macleod 1997 Muitos aspectos da usabilidade podem ser melhor estudados simplesmente fazendo perguntas ao usu rio principalmente quando estes aspectos est o ligados a quest es relacionadas satisfa o subjetiva do usu rio As medidas de satisfa o descrevem a usabilidade como ela percebida pelo usu rio em rela o ao sistema como um todo O uso de question rios e entrevistas um m todo til para avaliar a opini o do usu rio Este m todo tamb m pode ser utilizado para avaliar poss veis ansiedades dos usu rios pois mesmo que seja poss vel fazer uso de medidas objetivas como batimentos card acos e frequ ncia respirat ria ou at mesmo da observa o de postura e movimentos do corpo do usu rio estas medidas dificilmente s o utilizadas nos projetos de desenvolvimento de software Nielsen 1993a 70 Os question rios podem conter quest es abertas mais raras de serem respondidas pelo usu rio ou quest es fechadas Nielsen 1993a Normalmente eles s o compostos por escalas que podem ser escalas Likert ou escalas de diferencial sem ntico Jordan 1998 As escalas Likert apresentam uma frase qual o usu rio deve indicar o seu grau de concord ncia em uma escala de 1 5 ou 1 7 figura 23 1 Discordo 2 Discordo 3 Neutr
7. o no projeto e consequentemente mais facilmente os requisitos de usabilidade podem ser incorporados ao produto Esta abordagem iterativa figura 25 reduz custos e evita reformula es muito grandes ou s vezes at imposs veis de serem realizadas quando o produto j se encontra em suas vers es finais S o diversas as t cnicas de usabilidade que podem ser utilizadas durante o desenvolvimento de um projeto o trabalho de Ivory 2001 lista 39 t cnicas diferentes N o existe uma nica t cnica capaz de identificar todos os problemas de usabilidade de uma interface As t cnicas s o complementares e a sua escolha depender principalmente das diferentes fases do ciclo de desenvolvimento do projeto dos objetivos da avalia o e dos recursos humanos f sicos e financeiros que estiverem dispon veis As t cnicas diferem quanto ao tipo e quantidade de problemas que identificam sistematiza o de seus resultados facilidade de aplica o e s chances que seus resultados apresentam para convencer os projetistas das necessidades de mudan as na interface Cybis 2002 72 An lise identificar os usu rios seus objetivos as tarefas e o ambiente especifica o projeto prototipa o avalia o de usabilidade produto final Figura 25 Avalia o de usabilidade no desenvolvimento de um produto Fonte Adaptado de Weiss 2002 Os resultados de uma avalia o de usabilidade fornecem subs di
8. 26 computadores de m o e particularmente sobre as avalia es de usabilidade destes equipamentos Fez se necess ria tamb m uma extensa pesquisa documental em publica es administrativas da ANATEL e de outros rg os internacionais para levantar os principais ndices estat sticos que permitiram identificar um expressivo crescimento do uso dos computadores de m o no mundo inteiro e particularmente no Brasil Estas fontes forneceram indicadores importantes n o s sobre os equipamentos mas tamb m sobre o comportamento do usu rio m vel em rela o utiliza o dos servi os e aplica es dispon veis para os computadores de m o Uma vez definida a avalia o de usabilidade dos computadores de m o como objeto deste estudo e os diferentes componentes dos contextos de avalia o como as vari veis que s o capazes de influenciar nos resultados das avalia es para testar a hip tese levantada foi realizada uma pesquisa experimental de abordagem quantitativa e qualitativa A partir da pesquisa bibliogr fica e documental foi poss vel definir as seguintes etapas para esta pesquisa experimental e Defini o dos contextos de avalia o para a realiza o dos ensaios de intera o incluindo equipamentos condi es da avalia o e crit rios para escolha da amostra de participantes tarefas e medidas e m tricas de usabilidade e Defini o dos indices de desempenho para comparar os resultados obtidos nos tr s con
9. 4 3 7 3 Efici ncia do USM ANG wicca euat dic ctene one de nana vats ud Dota candela e ese R Ena ines 132 4 3 7 4 Efici ncia relativa do usu rio em rela o ao usu rio especialista 132 4 3 7 5 Per odo PLOGUIINO fice acre cess ont sas Doo jair ai Saleen deel es ee dee 132 4 35 26 Satisfa o GOUSUANO mosir et ire hee ias SE saio beeen acs Eai 134 4 3 7 7 Avalia o da carga de trabalho 135 4 4 Defini o dos crit rios para compara o dos desempenhos das AVANA ES cera ssp o E a SD D 137 4 4 1 Atribui o de graus de severidade aos problemas de usabilidade 137 4 4 2 Defini o das medidas e m tricas de desempenho das avalia es 139 4 5 Condu o dos ensaios de intera o nene 139 4 5 1 Introdu o do participante ao ambiente de teste 139 4 5 2 Treinamento do participante aaa 140 4 5 3 EXECU O das TARGfaS amu dimasiandasis a traga sia lindo as aE 141 4 5 4 QUESTONGNOS asides iadedeskorsstinanses DQegea ade berra saudita ccereedeeneeees 141 455 OSC UNG oie aie e ad de hs 142 4 6 Levantamento dos dados ra 142 4 7 An lise das fitas de Video cccccccccccceessseteeeeeeeeesseeeeeeeeeeseeeaees 142 4 8 An lise dos problemas de usabilidade ccccccccecceesteeeeeeeeee 144 4 9 An lise estat stica e eeeererereresaeeeereeerenea 144 CAP TULO 5
10. Figura 9 Telefone celular com tela de toque Figura 10 Figura 11 Figura 12 Shackel Figura 13 NII ido ca EA aa of RODA Daio A techie Sl DOE AIRE ER AT DA CR REA Figura 14 Teclado virtual por infravermelho s Teclados virtuais com SENSOFEG cccccceeeeeeeeeeeeeeeeenneceteeeeeeeeeees Modelo de atributos de aceitabilidade de um sistema segundo Modelo de atributos de aceitabilidade de um sistema segundo Modelo de qualidade para um produto de software ISOMEC 926 ipinia i dO adriana Figura 15 Processo de avalia o de produto de software fo O 4 Cea na A Te eT RN aCe ee ree Figura 16 Figura 17 Figura 18 Figura 19 Figura 20 Figura 21 Figura 22 Figura 23 Figura 24 Figura 25 Figura 26 Ciclo de projeto centrado no usuario ISO 13407 As normas e a USADIIDAAE ccccccceeeeceeeeeseeeseseesenaeaaaaeeeeeeeess Componentes da experi ncia do usu rio m vel Modelo de medida da usabilidade segundo Nielsen Componentes da usabilidade eeeeeeneeeeeerrn nn rerrren ne Etapas do M todo de Medida da Performance Rela es entre as medidas e m tricas de usabilidade no Exemplo de escala Likert aaa Exemplo de escala de diferencial sem ntico Avalia o de usabilidade no desenvolvimento de
11. RESULTADOS eee 147 5 1 Usabilidade medida nos tr s contextos de avalia o 147 5 1A Efic cia da tall Olas iria nina a asda dana add no ad 147 5 1 2 Efici ncia do LSUALNO ses sasdsiniririereo nt sasasidaa Deriva sushi e Duda dbada dedos ueniniii irado 151 5 1 3 Efici ncia relativa do usu rio em rela o ao usu rio especialista 153 5 1 4 Per odo proQUINO sra eta aaa i een Cat 155 5 1 5 Satisfa o do USUAMO ias srta sa Uc radio raid en taguead anda bias b ea ida 156 5 1 6 Avalia o da carga de IrabalhO zsz 20 es acugasa faca lasioabas Pagani pasira dados aaa 157 5 2 Medidas e m tricas de desempenho das avalia es 159 5 2 1 Quantidade de problemas de usabilidade 159 5 2 2 Severidade dos problemas de usabilidade cccceeeeeeeeeeseeeeeeeees 162 5 2 3 Raz o DeNePICIO CUSTO cssessseccececceeeeeeeeeeeseeeeeseseeeeeeeeeaaaaaaeeeeeeeeess 164 5 3 Question rio Perfil do Usu rio a 165 5 4 Question rio Avalia o Geral sobre WAP 169 CAPITULO 6 CONCLUS O eee 175 6 1 An lise dos resultados ccccccccccccceseeeeeeeeeecseeeeeeeecesssneeeeeeeeseseaaees 175 6 1 1 Usabilidade medida nos tr s contextos de avalia o 176 6 1 1 1 Efic cia efici ncia e satisfa o e re 176 6 1 1 2 Per odo pro
12. determinadas tarefas 45 Para que a usabilidade possa ser avaliada e medida Nielsen 1993a a define em fun o destes cinco atributos e Aprendizagem o sistema deve ser de f cil aprendizado para que o usu rio possa come ar a utiliz lo rapidamente e Efici ncia o sistema deve ser eficiente no sentido de que uma vez que o usu rio aprenda a utiliz lo ele o fa a com alta produtividade e Memoriza o o sistema deve ser de f cil lembran a ou seja ao passar um determinado per odo sem utilizar o sistema o usu rio pode utiliz lo novamente sem ter que aprender tudo novamente e Erros a taxa de erros deve ser baixa Erros de extrema gravidade n o devem ocorrer Ao cometer algum erro o usu rio deve ter a possibilidade de recuperar o sistema para o estado imediatamente anterior ao erro e Satisfa o os usu rios devem gostar do sistema Ele deve ser agrad vel de ser utilizado para que as pessoas se sintam satisfeitas com o seu uso 2 1 3 Usabilidade segundo Jordan Jordan 1998 apresenta uma vis o de usabilidade baseada inicialmente em tr s componentes intuitividade aprendizagem e performance do usu rio com experi ncia Jordan et al 1993 apud Jordan 1998 e que mais tarde teve uma extens o com a adi o de mais dois componentes potencial do sistema e re usabilidade Jordan 1994 apud Jordan 1998 Cada um desses componentes definido como e Intuitividade o custo para o usu rio em termos de te
13. pois sabiam que estavam participando de uma avalia o e que o avaliador estava pr ximo tamb m pode ter ajudado a aumentar a concentra o nas tarefas que estavam sendo executadas 183 De maneira geral a minicamera acoplada ao telefone nao prejudicou a manipula o do aparelho Os participantes se sentiram a vontade no contexto da c mera sem fio que proporcionou uma situa o mais pr xima da realidade de uso deste tipo de equipamento Analisando os contextos de avalia o sob a perspectiva do avaliador o contexto da c mera sem fio se mostrou como o ambiente mais desconfort vel para a realiza o dos ensaios de intera o O laborat rio de testes um ambiente mais confort vel para o avaliador um local seguro sob controle e com o qual o avaliador j est acostumado um local silencioso onde todo o ambiente j est preparado para as avalia es com todos os equipamentos prontos e conectados O ambiente externo um local novo e totalmente imprevis vel Neste ambiente o avaliador estava mais exposto a interfer ncias externas que praticamente n o existem dentro do laborat rio Como o ambiente era p blico e bastante movimentado a qualquer momento uma pessoa poderia se aproximar para saber o que estava acontecendo interrompendo a avalia o muito grande tamb m a preocupa o do avaliador n o s em rela o seguran a e ao bem estar do participante mas tamb m em rela o aos equipamentos Al m
14. 123 foram escolhidos um emulador da Openwave com uma imagem de telefone padrao e o software UP Simulator Openwave v 4 1 1 Openwave 2003 na versao compativel com a vers o do browser do telefone celular selecionado O modelo de telefone celular escolhido foi o BD 4000 da LG que opera na rea de cobertura da Vivo usando a rede 2 5G na tecnologia CDMA 1X A disposi o e a funcionalidade das teclas para entrada de dados sele o e navega o s o rigorosamente as mesmas no emulador e no telefone celular figura 44 Tecla de fun o F1 Tecla SEND Teclas para navega o E OWG1 Openwave DER Fie Info Edit Settings Location Help Go http WAP SELIG COM BR v gt openwave Teclado alfanum rico Tecla de fun o F1 fun o F2 Tecla END Tecla CLR Teclado alfanum rico Tecla SEND Teclas para navega o Figura 44 Emulador e telefone celular Os textos e menus da aplica o s o apresentados na tela seguindo a mesma disposi o entretanto h duas diferen as principais em rela o s duas telas o 124 numero de linhas na tela e a barra de rolagem O emulador apresenta na tela duas linhas a mais de texto em rela o ao telefone celular e a indica o da barra de rolagem de texto que aparece no canto direito do telefone celular n o existe no emulador figura 45 Hora no Mundo Barra de rolagem Duas l
15. Adaptado de Nielsen 1993a Para obter informa es mais detalhadas poss vel tamb m utilizar laborat rios port teis compostos normalmente de laptop c mera de v deo microfone e software para an lise que permitem que o local de trabalho do usu rio rapidamente seja convertido em um local de teste USI 2002 Para determinar o que os usu rios est o pensando os analistas podem utilizar a t cnica de verbaliza o simult nea think aloud na qual solicitado ao usu rio que comente em voz alta o que ele est pensando enquanto interage com a interface O analista pode fazer algumas perguntas durante a intera o para esclarecer algumas atitudes do usu rio desta forma poss vel saber n o s o que o usu rio est fazendo mas o porqu de sua atitude No entanto alguns autores consideram que esta t cnica pode interferir na performance do usu rio pois ao ter que verbalizar suas atitudes e pensamentos sua aten o desviada da tarefa Cybis 2002 76 Nielsen 1993a Jordan 1998 Uma alternativa a realiza o da verbaliza o consecutiva debriefing que uma entrevista com o usu rio realizada imediatamente ap s o t rmino do ensaio na qual ele comenta sobre as tarefas que acabou de executar Para que o usu rio se lembre mais facilmente de suas atitudes podem ser utilizadas as fitas de v deo como forma de apoio Os analistas n o devem interferir nas a es dos usu rios e devem tomar todas as medidas
16. Dispon vel em http Awww usablemobile com Acesso em janeiro de 2003 Vaananen K Vainio Mattila Ruuska Satu Designing Mobile Phones and Communicators for Consumers Needs at Nokia In Bergman Eric Information Appliances and Beyond interaction design for consumer products San Diego CA Academic Press 2000 Valdehita S R Ramiro E D La medida de la carga mental de trabajo Il Procedimientos subjetivos Boletin Factores Humanos 21 Diciembre 1999 Valente A C Perspectivas Futuras dos Servi os Moveis ANATEL Ill Semin rio de Qualidade do Servi o M vel Celular e Pessoal Brasilia 20 e 21 de novembro de 2002 201 Virzi R A Refining the test phase of usability evaluation how many subjects is enough Human Factors 34 4 1992 VKB Dispon vel em http Awww vkb co il Acesso em janeiro de 2008 Vyas D Investigating usability issues in WAP applications MSc Dissertation for Advanced MSc in Distributed Interactive Systems Lancaster University September 2002 Waterson S Landay J A Matthews T In the lab and out in the wild remote Web usability testing for mobile devices Extended Abstracts of ACM CHI 2002 Conference on Human Factors in Computing Systems Minneapolis MN April 2002 Weiser M The Computer for the Twenty First Century Scientific American pp 94 10 September 1991 Weiss S Kevil D Martin R Wireless phone usability findings Usable Products New York January 2001
17. Oquist 2002 tinha como objetivo comparar diferentes formas de apresenta o de texto em um PDA Participaram deste estudo dezesseis pessoas com uma m dia de idade de 25 anos todos com experi ncia pr via no uso de computador e sete com experi ncia pr via no uso de PDA Os usu rios fizeram os testes em um laborat rio com recursos de udio e v deo O usu rio ficava sozinho na sala de testes e o observador o acompanhava em uma outra sala atr s do espelho falso Cada participante deveria ler dois textos um curto e um longo Ao final o participante deveria preencher dois question rios o primeiro sobre o conte do do texto lido para avaliar qual foi a sua compreens o e o segundo para avaliar o esfor o cognitivo empreendido na leitura Foi tamb m medido o tempo que o usu rio levava para ler cada um dos textos Al m das c meras de v deo alguns autores utilizam ferramentas de software que registram as intera es do usu rio no pr prio equipamento atrav s de arquivos gerados durante a utiliza o do sistema Alguns desses estudos est o descritos a seguir O trabalho de Ericsson 2001 teve como objetivo verificar se o aparelho de telefone celular e se o browser t m influ ncia na usabilidade do servi o WAP Dez participantes com idades entre 22 e 61 anos participaram das avalia es com dura o de uma hora e meia Todos os participantes tinham experi ncia no uso da 98 Internet e de varios modelos de telefones celulares
18. Unknown source characters 362 encoded bytes Latin1 Figura 27 Exemplo de emulador no computador Emulador Nokia Mobile Internet Toolkit v3 1 Fonte Nokia 2003 Copyright 2003 Nokia Todos os direitos reservados Kaasinen 2000 realizou um estudo sobre como adaptar servicos disponiveis na Internet para que possam ser acessados por computadores de mao O autor utilizou emuladores no computador para realizar duas avalia es de usabilidade de dois servi os WAP diferentes A avalia o da primeira aplica o envolveu seis usu rios entre 13 e 52 anos com experi ncias variadas quanto ao uso de telefone celular e ao uso de Internet Em sess es com dura o de duas horas o usu rio avaliou a aplica o utilizando dois emuladores diferentes um emulador de telefone celular que o usu rio manipulava diretamente pela tela do computador e um emulador de PDA operado com o mouse A avalia o da segunda aplica o foi realizada com quatro usu rios entre 22 e 25 anos todos com experi ncia no uso de telefone celular e Internet as sess es tiveram dura o de uma hora e foram realizadas com um emulador de telefone celular operado com o mouse Essas avalia es tiveram 86 como objetivos saber a opiniao dos usuarios sobre o sistema a utilidade e a facilidade de uso da aplica o e identificar como era realizada a navega o entre as p ginas Os dados resultantes das avalia es foram baseados nas anota es dos avaliadore
19. a n o ocorreu nas demais tarefas ou seja como a perda de tempo ocorreu somente para a primeira tarefa poss vel concluir que possivelmente os participantes levaram um tempo um pouco maior para se acostumar com a interface do emulador Todos os participantes eram usu rios de computador e estavam habituados a navegar na Internet e apesar de terem sido treinados no uso do emulador nenhum deles havia utilizado uma interface similar anteriormente A interface do telefone celular foi mais familiar aos participantes uma vez que todos j estavam habituados com o seu uso e mesmo havendo diferen a entre os modelos com o treinamento recebido eles foram capazes de mapear as teclas e fun es que eles j estavam habituados a utilizar em seus pr prios aparelhos 5 1 5 Satisfa o do usu rio O resultado da aplica o do question rio SUS SUS 2003 para medir a satisfa o do usu rio em rela o intera o com o sistema nos tr s contextos de avalia o est ilustrado na figura 53 157 Os resultados mostram que a satisfa o do usuario em rela o intera o com o sistema foi significativamente reduzida no contexto da c mera de documentos em rela o aos outros dois contextos de avalia o para a 5 F 3 32 4 60 p 0 01 Estes resultados comprovam que as condi es de realiza o dos ensaios de intera o no contexto de avalia o da c mera de documentos impactaram negativamente sobre a usabilidade medida n
20. equipamento montado sobre um trip o usu rio deve estar sentado e o aparelho n o pode ser movimentado para que seja poss vel filmar com boa qualidade tanto a tela quanto o teclado do aparelho Pearrow 2002 Weiss 2002 poss vel utilizar tamb m microfones e outras c meras de v deo para registrar as rea es do usu rio Estes sinais podem ser combinados gerando uma fita de v deo onde a tela est dividida em duas metades na primeira metade aparecem as imagens da c mera de documentos que mostram a intera o com o equipamento e na outra metade est o as imagens da c mera de v deo que mostram a face do usu rio 92 Figura 29 Cameras de documentos a camera ELMO b camera PCDC 3 c usuario realizando a avalia o a Fonte ELMO 2002 b Fonte USI 2002 c Fonte Davies 2002 O Copyright 2000 2002 ELMO O Copyright 2002 Usability O Copyright 2002 3G Lab Todos os direitos reservados Systems Inc Todos os direitos reservados Todos os direitos reservados Weiss 2001 utilizou uma c mera de documentos em seu estudo para avaliar a usabilidade de um telefone celular e dos servi os dispon veis pela operadora de telefonia m vel Foram escolhidos 6 participantes com idades entre 21 e 44 anos variando de inexperientes at usu rios frequentes da Web Todos eram usu rios de telefone celular e nenhum tinha profiss es relacionadas s reas de Internet inform tica telefonia ou marketing Os testes foram
21. mulheres distribu dos uniformemente por faixa et ria entre 21 e 40 anos Todos eram usu rios de computador e telefone celular mas nunca haviam usado WAP anteriormente Nenhum deles conhecia o telefone celular modelo LG BD 4000 aparelho usado nos experimentos Al m dessas caracter sticas a partir da an lise das respostas ao question rio Perfil do Usu rio foi poss vel tra ar um perfil mais detalhado sobre todos os participantes deste experimento Quanto ao grau de instru o 67 dos participantes possu am n vel superior completo ou mais os restantes 33 possu am n vel superior incompleto figura 60 166 E Superior Incompleto E Superior Completo ou mais Figura 60 Grau de instru o dos participantes Os 36 participantes eram estudantes e ou profissionais de diversas reas como Direito Administra o Marketing Processamento de Dados Fisioterapia Jornalismo Biologia Recursos Humanos Desenho Industrial Educa o F sica Rela es Internacionais Psicologia Engenharia Civil Engenharia Qu mica Engenharia El trica Turismo Com rcio Contabilidade Pedagogia Publicidade e Propaganda Medicina Engenharia Eletr nica Assist ncia Social figura 61 EB Funcion rio de empresa 6 privada E Funcion rio p blico Profissional liberal Aut nomo m Empres rio m Estudante 8 11 m Desempregado Figura 61 Ocupa o do
22. o utilizando uma minic mera sem fio 3 5 Pr tica nas empresas Para avaliar como as avalia es de usabilidade para computadores de m o est o sendo conduzidas na pr tica pelas empresas foi realizada no m s de novembro de 2002 uma pesquisa com os participantes de um grupo de discuss o da Internet Usablemobile 2002 um dos principais f runs para troca de informa es sobre usabilidade de interfaces para equipamentos m veis Esta pesquisa teve por objetivo verificar quais ferramentas est o sendo utilizadas nos testes de usabilidade e com que frequ ncia as empresas realizam os testes fora do laborat rio A pesquisa foi enviada por e mail a todos os participantes do grupo Usablemobile Doze pessoas representando sete pa ses figura 31 responderam a esta pesquisa Todos as respostas vieram de profissionais envolvidos com a avalia o de usabilidade para computadores de m o pertencentes a grandes empresas e centros de pesquisa em computa o m vel no mundo 109 Qual seu pais Suecia 8 Noruega Finlandia O 8 26 Israel 8 Canad 8 Inglaterra EUA 25 17 Figura 31 Pa ses que responderam pesquisa As respostas sobre os equipamentos utilizados indicam que tanto os emuladores quanto as c meras de documentos representam ferramentas importantes nas avalia es de usabilidade sendo usados respectivamente por 80 e 70 dos profissionais figura 32 90 80
23. os podem ser consultados a qualquer momento a partir de qualquer lugar que esteja dentro da rea de cobertura da operadora de telefonia m vel como aeroportos shoppings hot is restaurantes escrit rios ou resid ncias N o necess rio nenhum pr requisito para acessar este servi o e qualquer pessoa que possua um telefone celular pode ser considerada um potencial cliente 4 3 Defini o dos diferentes contextos de avalia o Foram definidas tr s abordagens distintas para a realiza o dos ensaios de intera o a partir dos contextos de avalia o Estes contextos diferem somente quanto a dois aspectos o equipamento utilizado para a navega o no portal WAP telefone celular ou emulador e as condi es da avalia o que compreendem o local de realiza o dos ensaios e os equipamentos utilizados para registrar a 114 intera o Os demais componentes do contextos de avalia o s o exatamente os mesmos para as tr s abordagens como ilustra a figura 34 CONTEXTO DE USO a CONTEXTO DE AVALIAGAO 1 CONTEXTO DE AVALIA O 2 CONTEXTO DE AVALIA O 3 Equipamento Emulador Equipamento Telefone celular Equipamento Telefone celular Condi es Dentro do laborat rio Condi es Dentro do laborat rio Condi es Fora do Computador C mera de documentos laborat rio C mera sem fio Crit rios para escolha dos Crit rios para escolha dos Crit rios para escolha dos participantes participantes participantes
24. resultados em experimentos realizados dentro do laborat rio o mesmo n o se repetia quando o produto era usado no mundo real Estas pesquisas trouxeram novamente tona a import ncia do contexto de uso na avalia o Maguire 2001 O contexto de uso definido a partir dos usu rios do produto das tarefas que eles t m que executar dos ambientes t cnico organizacional e f sico e at mesmo do dia e da hora em que o produto est sendo utilizado Bevan 2002 A figura 20 ilustra todos os componentes da usabilidade e as rela es entre eles Desta forma para especificar ou medir a usabilidade necess rio definir os objetivos de uso o contexto de uso e as medidas de usabilidade Bevan 2002 Cada um destes itens est detalhado a seguir e Objetivos Primeiramente devem ser descritos os objetivos de uso do produto ou seja quais objetivos o usu rio espera atingir ao utilizar aquele determinado produto Estes objetivos podem ser decompostos em sub objetivos e servir o posteriormente como orienta o para a descri o das tarefas 60 ambiente pessoal resultados pretendidos usuarios objetivos ambiente f sico intera o satisfa o do usu rio resultado de uso ambiente produto y efici ncia A social e organizacional ambiente t cnico y efic cia medidas de contexto de uso usabilidade Figura 20 Compon
25. s da compara o feita entre os dados coletados no teste tradicional no laborat rio e no teste remoto Dez participantes utilizaram um PDA para navegar em um site WAP com o objetivo de encontrar informa es sobre autom veis Metade dos participantes fez o teste no laborat rio da forma tradicional com o PDA sobre a mesa e com c meras gravando em udio e v deo a intera o do usu rio com o equipamento Um avaliador estava presente para registrar coment rios e para responder a qualquer quest o do participante Os outros cinco participantes receberam o PDA e foram liberados para fazer as tarefas solicitadas onde e quando eles desejassem sem a presen a do avaliador e sem c meras Para estes foi usado o teste remoto com a ferramenta WebQuilt para an lise de logs Atrav s de uma interface para visualiza o dos dados coletados era poss vel obter informa es sobre quais p ginas Web foram visitadas onde cada participante clicou em cada p gina e quais os caminhos mais utilizados pelos participantes para realizar a tarefa As instru es sobre as tarefas os dados sobre os participantes e o question rio respondido ao final do teste foram apresentados ao usu rio no pr prio PDA A an lise de logs foi feita para os dez participantes do teste Em seu estudo sobre a usabilidade do WAP Nielsen 2000 entregou um telefone para cada usu rio utilizar durante uma semana e pediu que eles anotassem suas experi ncias em um di rio O autor cla
26. trabalho n o teria sido realizado We have to break away from the tried and true methods of the computer and face up to design under new constraints different environments and restricted technology The new world of interactive consumer centered products poses interesting usage requirements No longer can we assume a single user the user maybe a group No longer can we assume undivided attention the user maybe driving an auto walking down the street or engaged in other activities No longer can we assume a keyboard a large screen and a pointing device Each product category poses novel challenges Donald A Norman RESUMO BETIOL Adriana Holtz Avaliagao de usabilidade para os computadores de mao um estudo comparativo entre tr s abordagens para ensaios de intera o 2004 210f Tese Doutorado em Engenharia de Produ o Programa de P s Gradua o em Engenharia de Produ o UFSC Florian polis A usabilidade dos computadores de m o e das aplica es para estes equipamentos um fator determinante do sucesso deste segmento da computa o m vel As necessidades e caracter sticas do usu rio m vel o contexto de uso dos computadores de m o as caracter sticas das aplica es e as limita es f sicas destes equipamentos s o fatores que ir o influenciar a intera o e devem ser considerados tanto no projeto das interfaces quanto na avalia o de usabilidade destes equipamentos Esta pesquisa teve com
27. 0 00021 F 3 32 3 60 p 0 03 F 3 32 5 89 p 0 0064 F 3 32 7 62 p 0 0018 respectivamente Entretanto nestas mesmas tarefas nao houve diferen a significativa para as m dias nos contextos da c mera de documentos e do emulador Considerando que n o foi constatada diferen a significativa para a efici ncia do usu rio especialista nos tr s contextos de avalia o na realiza o das tarefas podemos concluir que de maneira geral os participantes tiveram um desempenho mais pr ximo do usu rio especialista no contexto da c mera sem fio em rela o aos outros dois contextos de avalia o Ou seja a efici ncia do usu rio nos ensaios realizados dentro do laborat rio ficou de forma geral bem abaixo da efici ncia do especialista realizando as mesmas tarefas no mesmo local Uma vez que n o houve diferen a entre as m dias obtidas nos contextos do emulador e da c mera de documentos n o poss vel atribuir esse baixo desempenho ao telefone celular ou ao emulador poss vel concluir que o local de realiza o dos ensaios pode ter influenciado os participantes pois no ambiente externo eles conseguiram um desempenho superior em rela o ao laborat rio Isto indica que possivelmente a realiza o dos ensaios de intera o fora do laborat rio se mostrou como uma situa o mais natural para todos 5 1 4 Periodo produtivo 155 A analise das m dias do periodo produtivo figura 52 mostrou que houve diferen as estatist
28. 2 Etapas do M todo de Medida da Performance cccceeeeeeereeeeees 62 2 2 3 Medidas e m tricas de usabilidade do MUSIC ceeeeeeeeeeeeeeeeeee 64 2 2 BIN Efa laaa PR O RR RD ORA PRE datas RR RR 66 2 2 9 2 BTCI NCIA rss eaten and ah a dt 67 2 2 3 2 1 Efici ncia termporal ceeecccccceeeeeseeeeeeeeeeeeaeeeeeeeeeesencaeeeeeeeeeeaaaaes 67 2 2 3 2 2 Efici ncia FOIANVAS xisto onda sa narietrs aa ego siheeedetncucet es gos fu dese epetedeaueeast 67 2 2 3 3 Per odo OGURA RS len nada do Pe eras 68 2 2 3 4 Medidas de SatisfaGao ceeeeccecceceeeeeeeeeeeeeeeeeeeeeneeeeeeeeeeeeeaeeeeeeeeeees 2 3 As t cnicas de usabilidade no ciclo de desenvolvimento do DIOGUIO sn ae naa nde ANS ahaa nah a 2 3 1 Ensaios de IMelaCaO nasua ia yo as datas ein Nae mt ee ees 2 3 1 1 Numero de usu rios em um ensaio de intera o 2 3 1 2 Validade e confiabilidade dos ensaios de intera o 2 4 Crit rios para compara o entre t cnicas de avalia o de usabilidade aia ude a auido dia Gaga gra CAP TULO 3 AVALIA O DE USABILIDADE PARA OS COMPUTADORES DE MAO ccccccccccscssesesesescsseseseseeneseseseaneaesesneneeneess 3 1 Avalia o de usabilidade com emuladore cccccceeeeeeenees 3 2 Avalia o de usabilidade com o equipamento real 3 3 Avalia o de usabilidade fora do laborat rio
29. 2002 certo que a computa o onipresente Ubiquitous Computing como foi vislumbrada em Weiser 1991 ainda est mais para a realidade dos laborat rios e centros de pesquisa do que incorporada ao nosso dia a dia Defini es de padr es e protocolos maiores velocidades de conex o e pre os acess veis s o requisitos necess rios para aplica es economicamente vi veis Dentro deste novo universo uma rea que vem crescendo rapidamente em todo o mundo a da Internet m vel definida por Taurion 2002 como o uso de tecnologias de comunica o sem fio para acesso a informa es e aplica es Web a partir de dispositivos m veis como telefones celulares ou PDA s A telefonia m vel juntamente com a Internet s o consideradas as duas tecnologias de comunica o que mais cresceram em todos os tempos Segundo a International Telecommunication Union o acesso Internet atrav s de um telefone celular deve ser a nova revolu o nas comunica es ITU 2002 A figura 1 mostra o crescimento surpreendente dessas duas tecnologias na ltima d cada 19 Usuarios milhdes e densidade por 100 pop 000 C Assinantes telefonia m vel 800 EI Usuarios Internet er Densidade telefonia m vel 600 O Densidade Internet 400 200 1992 93 Figura 1 N mero de usu rios de telefonia m vel e Internet no mundo Fonte International Telecommunication Union ITU 2002 O Brasil considerado atualmente o maior merca
30. 2003 Mizobuchi S Mori K Ren X Michiaki Y An empirical study of the minimum required size and the minimum number of targets for pen input on the small display Proceedings of Mobile HCI 2002 Fourth International Symposium on Human Computer Interaction with Mobile Devices Pisa Italy September 2002 Mobinet 5 Mobinet Index 5 A T Kearney University of Cambridge The Judge Institute of Management Studies UK August 2002 Mohageg M F Wagner A Design consideration for Information Appliances In Bergman Eric Information Appliances and Beyond interaction design for consumer products San Diego CA Academic Press 2000 NASA TLX NASA Task Load Index Human Performance Research Group NASA Ames Research Center Moffett Field California 1986 NBR 9241 11 Requisitos ergon micos para trabalho em escrit rios com computadores Parte 11 Orienta es sobre Usabilidade Norma equivalente a ISO 9241 11 1998 ABNT 2002 Nielsen J Usability Engineering San Francisco CA Morgan Kaufmann 1993a Nielsen J Noncommand user interfaces Communications of the ACM 36 4 83 89 April 1993b 198 Nielsen J Landauer T K A mathematical model of the finding of usability problems INTERCHI 93 Amsterdam the Netherlands 24 29 April 1993c Nielsen J Mack R L Usability Inspection Methods USA John Wiley amp Sons 1994 Nielsen J Ramsay M WAP Usability report Nielsen Norman Group December 200
31. E o ambiente mais emulador e do equipamento real podem Ter grande impacto na usabilidade tanto para melhor quanto para pior E necess rio que o participante seja usu rio de computador desfavor vel para o avaliador Este estudo mostrou que nas condi es em que os ensaios de intera o foram realizados neste experimento foi poss vel identificar o maior n mero de problemas de usabilidade dentro do laborat rio no contexto da c mera de documentos 185 Mesmo para o contexto do emulador os resultados obtidos foram satisfatorios E importante salientar que a interface escolhida para o emulador foi a mais semelhante possivel a interface do equipamento real Garantida esta condi o este contexto pode fornecer bons resultados a um custo baixo em termos de horas e de equipamentos necess rios para registrar a avalia o O contexto da c mera sem fio tal como preparado neste trabalho mostrou se particularmente indicado para auxiliar a reproduzir poss veis situa es reais de uso deste tipo de equipamento O sistema envolvendo a minic mera sem fio e o suporte desenvolvido especialmente para esta aplica o mostrou ser uma excelente solu o para auxiliar na realiza o de ensaios de intera o sempre que for necess rio registrar as imagens e o udio da intera o do usu rio com um computador de m o A mobilidade do usu rio aliada liberdade de manipula o do telefone celular torna po
32. Finland September 8 9 2003 Oquist G Goldstein M Towards an improved readability on mobile devices evaluating adaptative rapid serial visual presentation Proceedings of Mobile HCl 2002 Fourth International Symposium on Human Computer Interaction with Mobile Devices Pisa Italy September 2002 Pearrow Mark The Wireless Web Usability Handbook Hingham MA Charles River Media 2002 199 Perfetti C Landesman L Eight is not enough Dispon vel em http world std com uieweb Articles eight_is not enough htm Acesso em mar o 2008 Pers J Hove W Theuws J Noldus L A new wireless camera for usability evaluation of mobile devices Presented at Mobile HCI 2002 Fourth International Symposium on Human Computer Interaction with Mobile Devices Pisa Italy September 2002 Petrie H Furner S Strothotte T Design lifecycles and wearable computers for users with disabilities First Workshop on Human Computer Interaction with Mobile Devices Glasgow UK 1998 QUIS Questionnaire for User Interaction Satisfaction Dispon vel em http www cs umd edu hcil quis Acesso em fevereiro de 2008 Rao D O A study of input devices used on personal digital assistants PDAs Serco Usability Services London 2000 Rischpater R Wireless Web Development Berkeley CA Apress 2000 Rocha H V Baranauskas M C Design e Avalia o de Interfaces Humano Computador Campinas NIED 2008 Rubin J Handbook o
33. Nielsen 1993a Neste experimento todos os participantes eram usu rios com pelo menos um ano de experi ncia no uso da Internet Mesmo assim a medida do per odo produtivo mostrou que eles apresentaram dificuldades iniciais com o uso da interface do emulador apesar do treinamento recebido no in cio da sess o Por outro lado o usu rio de um computador de m o n o precisa ser necessariamente um usu rio de computador Ou seja a realiza o de outro experimento verificando o comportamento do usu rio novato no uso do computador forneceria novos resultados n o s para determinar o seu comportamento face interface do emulador mas tamb m em rela o navega o na aplica o de Internet m vel que segue um modelo hier rquico de menus j bem conhecido do usu rio de Internet A segunda conclus o importante se refere realiza o dos ensaios no ambiente externo O simples fato de realizar os ensaios de intera o fora do laborat rio n o implica necessariamente em que o usu rio estar em uma condi o mais pr xima condi o real de uso A condi o real de uso de um 188 computador de mao nao nica h v rias poss veis situa es Neste experimento foi definida uma delas com o usu rio sentado usando o computador de m o em um local p blico bastante movimentado e com v rias fontes de poss vel distra o Entretanto o fato do avaliador estar presente aliado utiliza o dos equipamentos para registr
34. as Orienta es sobre usabilidade e define usabilidade como sendo a efici ncia a efic cia e a satisfa o com as quais determinados usu rios realizam determinadas tarefas em um determinado contexto de uso Onde efic cia a exatid o e completude com as quais os usu rios atingem objetivos espec ficos Efici ncia s o os recursos gastos em rela o exatid o e completude com as quais os usu rios atingem os objetivos Satisfa o o conforto e a aceitabilidade no uso E o contexto de uso consiste de usu rios tarefas equipamentos hardware software e materiais e os ambientes f sico e social em que o produto utilizado NBR 9241 11 2002 Esta defini o ressalta que a usabilidade n o uma propriedade isolada do produto mas que depende de quem o est utilizando com quais objetivos e em que contexto de uso ou ambiente o produto est sendo utilizado A ISO 9241 11 explica como identificar as informa es que s o necess rias para especificar ou avaliar a usabilidade em termos de medidas da performance do usu rio e de sua satisfa o S o dadas orienta es na forma de princ pios e t cnicas sobre como descrever explicitamente o contexto de uso do produto e as medidas relevantes de usabilidade 2 1 4 2 ISO IEC 9126 A norma ISO IEC 9126 1 2001 Engenharia de software Qualidade do produto uma norma para avalia o de qualidade de produto de software Esta norma traz o conceito de
35. citadas para justificar um pequeno n mero de usu rios nos ensaios de intera o seus resultados s o questionados por v rios autores Caulton 1999 Spool 2001 Woolrych 2001 78 Em seu estudo Spool 2001 encontrou somente 35 dos problemas de usabilidade com os primeiros cinco usu rios Entretanto como o pr prio autor reconhece este estudo foi realizado em um ambiente mais complexo em rela o aos estudos de Virzi e Nielsen pois os usu rios navegaram em sites Web de e commerce com a tarefa de comprar qualquer coisa que desejassem desde que n o ultrapassassem um determinado valor em dinheiro estipulado previamente As particularidades de cada participante influenciaram claramente estes resultados pois nenhum usu rio comprou o mesmo produto que outro e nenhum percorreu os sites da mesma maneira Segundo o autor para avaliar a complexidade das interfaces Web cinco usu rios n o um n mero suficiente Para Caulton 1999 e Woolrych 2001 o n mero cinco s pode ser aplicado quando a probabilidade de um usu rio encontrar um problema for alta 31 ou mais e similar para todos os usu rios ou seja as diferen as individuais entre o perfil dos usu rios deve ser m nima pois quanto mais heterog neos forem os grupos mais usu rios ser o necess rios para que todos os subgrupos possam estar representados Para Caulton 1999 os resultados de Nielsen 1993c podem ser aplicados a testes de usabilidade mais simples que t m como
36. computadores de m o Neste sentido o sistema envolvendo uma minic mera sem fio desenvolvido especialmente para este trabalho mostrou ser uma excelente solu o para auxiliar na realiza o de ensaios de intera o sempre que for necess rio registrar as imagens e o udio da intera o do usu rio com um computador de m o independentemente do local da avalia o Palavras chave avalia o de usabilidade computadores de m o ensaios de intera o telefone celular intera o humano computador ABSTRACT BETIOL Adriana Holtz Usability evaluation of mobile devices a comparative study of three approaches for usability testing 2004 210f Thesis Doctorate in Production Engineering Post Graduation Program in Production Engineering UFSC Florian polis The usability of the mobile devices and their applications is a key factor for the success of mobile computing The needs and characteristics of the mobile user the usage context of the mobile devices the characteristics of the applications and the physical limitations of these equipments are factors which will influence the interaction and should be considered in the design of the interfaces as well as in the usability evaluation The main objective of this research was to investigate the influence of the evaluation context in the results of usability tests conducted to evaluate the user interface of a mobile Internet application for mobile phones The usability tests wer
37. da necessidade de instalar todos os equipamentos no momento do teste a minic mera o receptor e a filmadora funcionam a bateria o que implica na necessidade de levar unidades sobressalentes caso alguma bateria apresente algum problema durante o teste Apesar das baterias utilizadas terem autonomia suficiente para registrar a intera o durante uma hora de teste esta foi uma fonte de preocupa o 184 constante para o avaliador Todos esses fatores podem interferir no seu nivel de aten o e concentra o O quadro 6 apresenta um resumo da an lise da compara o dos resultados obtidos nos tr s contextos de avalia o Quadro 6 Resumo da compara o dos resultados nos tr s contextos de avalia o Contexto do Emulador C mera de Documentos Contexto da Contexto da C mera Sem Fio Ambiente controlado Ambiente controlado o ambiente mais Pontos E o contexto de A situa o de teste natural para o usu rio positivos avalia o mais favoreceu o Maior flexibilidade simples pois n o aparecimento dos para manusear o exige equipamentos problemas de telefone celular especiais para usabilidade registrar a intera o e Melhor raz o n o necess rio benef cio custo possuir o aparelho considerando custo real como horas de avalia o As pequenas Fo ambiente mais Ambiente Pontos diferen as existentes desfavor vel para o imprevis vel negativos entre as interfaces do usu rio
38. da quantidade da informa o encontrada A quantidade era calculada como 30 para o advers rio correto 35 para a data correta e 35 para o hor rio correto A figura 49 ilustra dois exemplos de telas no emulador e no telefone celular para esta tarefa x Paysandu Pa 18 00 Internacional RS x Guarani SP 21 05 2003 16 00 Bahia B x Volta Figura 49 Telas da tarefa 1 no emulador e no telefone celular Todos os participantes acertaram o adversario Guarani entretanto a maioria fez confus o com a data Ao ler a informa o os participantes acharam que a data seria dia 21 09 quando na realidade a data correta era 20 09 que n o est mais vis vel na 150 tela A mesma confusao aconteceu com o horario quando muitos pensaram que seria 16 00h e na realidade o horario correto era 18 00h No contexto do emulador 50 dos participantes encontraram todas as informa es corretas enquanto que os outros 50 acertaram o advers rio e o hor rio mas falaram a data errada No contexto da c mera de documentos somente 8 3 1 participante conseguiu encontrar todas as informa es corretas 33 3 acertaram o advers rio e o hor rio enquanto 58 3 acertaram somente o advers rio No contexto da c mera sem fio 41 6 encontraram todas as informa es corretas 8 3 acertaram o advers rio e o hor rio enquanto 50 acertaram somente o advers rio Essa diferen a na efic cia para a tarefa 1 nos contextos do emulador e da c mera
39. de intera o um assunto ainda muito pol mico Uma das primeiras pesquisas sobre este assunto foi o trabalho de Virzi 1992 que modelou o n mero de problemas de usabilidade encontrados em fun o do n mero de usu rios utilizados na avalia o Nesta pesquisa o autor chegou a tr s conclus es a 80 dos problemas de usabilidade s o encontrados por quatro ou cinco participantes b medida que aumenta o n mero de participantes estes revelam cada vez menos informa es novas c os problemas de usabilidade mais graves t m maior probabilidade de serem revelados pelos primeiros poucos participantes Uma pesquisa semelhante foi realizada por Nielsen 1993c que constatou a partir de v rios estudos realizados que em m dia 31 dos problemas de usabilidade s o encontrados por um nico usu rio Com base nesse valor o autor conclui que cinco usu rios s o suficientes para encontrar 85 dos problemas de usabilidade e que com quinze usu rios podem ser encontrados 100 dos problemas O autor considera perda de tempo observar os mesmos problemas se repetirem a partir do quinto usu rio e portanto recomenda que se houver a disponibilidade de recursos para testar com 15 usu rios melhor distribuir esses recursos em tr s testes com cinco usu rios Nielsen 2000 argumenta que o principal objetivo da avalia o melhorar a interface e n o simplesmente documentar os seus pontos fracos Apesar dessas duas pesquisas serem frequentemente
40. de intera o Mohageg 2000 As necessidades e caracter sticas do usu rio m vel o contexto de uso dos computadores de m o as caracter sticas das aplica es e as limita es f sicas desses equipamentos s o fatores que ir o influenciar a intera o e devem ser considerados tanto no projeto das interfaces quanto na avalia o de usabilidade destes equipamentos 40 2 USABILIDADE A Intera o Humano Computador IHC pode ser definida como uma area do conhecimento relacionada ao projeto a avalia o e implementa o de sistemas computacionais interativos para uso humano e ao estudo dos principais fen menos que os cercam Hewett 1996 A IHC tem suas ra zes nas reas de ergonomia psicologia sociologia antropologia engenharias ci ncia da computa o e desenho industrial esse referencial te rico que vai fornecer importantes subs dios para compreender quais os processos que est o envolvidos na intera o f sica e na intera o cognitiva do ser humano com todo o sistema computacional Esse processo de intera o se d atrav s da interface com o usu rio que pode ser definida como o conjunto de todas as linguagens atrav s das quais o usu rio e o produto se comunicam Mayhew 1999 Essas linguagens de comunica o se apresentam nas mais variadas formas como os elementos visuais das telas p ex menus cones cores e links os componentes f sicos p ex mouses teclados e bot es os comandos visuai
41. de t cnicas para coleta de testemunhos da forma mais natural imparcial e precisa poss vel Esta uma considera o importante uma vez que grande parte da informa o sobre os problemas de usabilidade encontrados foram colhidos a partir do relato dos participantes Os estudos de Petrie 1998 sobre interfaces para computadores de m o para auxiliar a navega o de pessoas cegas foram realizados fora do laborat rio pois seu objetivo era obter medidas de usabilidade em situa es mais reais de uso Para o autor as metodologias para avalia o de interfaces dos computadores de mesa devem ser adaptadas e complementadas para que possam detectar as peculiaridades dos computadores de m o O objetivo deste estudo foi avaliar a usabilidade e a aceita o do sistema MoODS MoBIC Outdoor System um wearable system projetado para auxiliar a movimenta o de viajantes cegos As pessoas cegas t m dois tipos principais de obst culos a enfrentar os da chamada micro navega o que s o os obst culos que est o mais pr ximos e os da macro navega o que s o as orienta es referentes ao ambiente em que ela est como a rua onde se encontra em que dire o ela est se deslocando quando cruzar o sinal 104 com seguran a etc A micro navega o pode ser auxiliada por uma bengala ou por um c o guia A macro navega o dificil em ambientes conhecidos se torna praticamente imposs vel em ambientes desconhecidos Para auxil
42. digo da aplica o ele apresenta algumas limita es quanto sua utilidade para avaliar a usabilidade Pearrow 2002 Uma das principais considera es diz respeito s limita es ergon micas que devem ser consideradas Ao usar um emulador o usu rio interage com um equipamento virtual vendo a tela do computador e fazendo a entrada de dados atrav s do mouse e do teclado ou diretamente na tela caso ela seja sens vel ao toque figura 28 Ao utilizar o emulador poss vel que se percam informa es importantes sobre a usabilidade da interface que s apareceriam quando o usu rio estivesse interagindo fisicamente com o equipamento real Weiss 2002 88 Figura 28 Usuario utilizando um emulador no computador Fonte Kaasinen 2000 Segundo Chittaro 2001 ao realizar o teste utilizando um emulador no computador A experi ncia sensorial do usuario 6 completamente diferente do ponto de vista visual e auditivo os perif ricos de entrada saida e os estilos de intera o s o completamente diferentes intera o com o ponteiro do mouse em controles virtuais X intera o direta com controles f sicos O estudo de Vyas 2002 teve como objetivo gerar um conjunto de guidelines para o desenvolvimento de aplica es WAP em telefones celulares O autor utilizou um emulador para avaliar a usabilidade de dois sites WAP e verificar a aplicabilidade das guidelines Foram selecionados quatro participantes todos com experi ncia
43. dois anteriores 1 1 Caracter sticas dos computadores de m o S o v rias as diferen as entre o computador de mesa e os computadores de m o em rela o ao equipamento finalidade e ao contexto de uso como ilustra o quadro 1 O computador de mesa fixo est sempre conectado via cabos possui mem ria e capacidade de armazenamento praticamente ilimitadas tela grande e colorida e entrada de dados via mouse ou teclado Quadro 1 Diferen as entre o computador de m o e o computador de mesa Computador de m o Computador de mesa Uso Consulta r pida informa o em v rias situa es diferentes normalmente longe do computador de casa ou do Longas e complexas tarefas de processamento da informa o Web browsing e e mail 31 escrit rio Comunica o r pida por voz e ou mensagem de texto Poucas vezes durante o dia durante longo per odo de tempo V rias vezes durante o dia com curta dura o Frequ ncia Dura o Mobilidade Necessita de uma mesa Precisa estar conectado por cabos ou tem necessidade de recarga frequente Alguns Pode ser facilmente operado com as m os sem necessidade de apoio Pode ser levado no bolso com facilidade modelos s o port teis Entrada de dados Diversas Miniteclados Padr o Teclado completo caneta bot es de navega o mouse tela de toque Display 640X480 pixels para menos 640X480 pixels para mais Capacid
44. equil brio entre os contextos de avalia o no sentido de que todos foram vistos pelos participantes da mesma maneira em termos da influ ncia dos diversos fatores na gera o da carga de trabalho Assim sob a perspectiva dos participantes a experi ncia subjetiva da carga de trabalho foi a mesma nos tr s contextos de avalia o 6 1 2 Desempenho das avalia es nos tr s contextos de avalia o Em rela o s medidas e m tricas de desempenho obtidas pelas avalia es o contexto da c mera de documentos foi o que produziu os melhores resultados como ilustra a tabela 2 Este contexto proporcionou a identifica o do maior n mero de problemas de usabilidade sendo que nele todos os problemas principalmente os de maior impacto apareceram com uma frequ ncia maior em rela o aos outros dois contextos de avalia o Tabela 2 Resumo das medidas e m tricas de desempenho das avalia es 3 1 2 Percentual de problemas de 81 4 95 35 88 37 usabilidade identificados Severidade dos problemas Benef cio custo 11 38 Considerando as horas gastas na avalia o a c mera de documentos foi o contexto que apresentou a melhor rela o benef cio custo uma vez que foi capaz de identificar o maior n mero de problemas incluindo os mais graves por hora de avalia o 181 O contexto do emulador obteve timos ndices de desempenho na identifica o de problemas de usabilidade considerando que neste contexto
45. estar localizado a uma dist ncia de at 100 metros da c mera Estes equipamentos operam com baterias de 9V e 12V respectivamente e permitem gravar a imagem colorida e tamb m o udio da sess o Foi necess rio desenvolver tamb m um sistema de fixa o da c mera do telefone celular e da bateria Este sistema foi especialmente projetado para que o usu rio pudesse operar o aparelho normalmente e ao mesmo tempo fosse poss vel gravar as imagens da intera o com qualidade A c mera foi fixada no suporte de 120 modo que a sua movimenta o fosse solid ria movimenta o do telefone O suporte possui v rios graus de liberdade o que permite a movimenta o da c mera possibilitando v rios ajustes diferentes com o objetivo de obter a imagem desejada do telefone sem prejudicar a vis o do usu rio e a qualidade da filmagem O telefone e a bateria foram fixados no suporte com fitas de velcro figura 40 Minic mera Sistema microfone e de fixa o transmissor Articula es com movimenta o A independente Telefone celular 4 a P rro vuna Figura 40 Sistema da minic mera sem fio A minicamera envia os sinais de udio e video atrav s de radiofrequ ncia a um receptor conectado a uma camera filmadora digital port til que tamb m opera com bateria e grava em fita as imagens da intera o foto 41 121 f l Al a id Figura 41 Sistema de recep o e grava o O participante reali
46. gravada em fita somente a do telefone celular figura 39 Figura 39 Imagem da intera o no contexto de avalia o da c mera de documentos 118 O usu rio realizou o teste sentado e em fun o do design do trip o telefone podia ser operado normalmente Entretanto ele n o poderia mover o trip de sua posi o inicial em rela o c mera de documentos e nem alterar a posi o do telefone em rela o ao trip pois o telefone celular n o deveria sair da rea de visualiza o da c mera O avaliador e o participante se encontravam na mesma sala Toda a intera o foi observada pelo avaliador atrav s do monitor de televis o A partir de agora este contexto ser referenciado como contexto da c mera de documentos 4 3 3 Contexto de avalia o 3 fora do laborat rio utilizando o telefone celular e uma minic mera sem fio O terceiro grupo realizou os ensaios de intera o fora do laborat rio em um local muito similar ao interior de um Shopping Center Este local possui uma pra a central com muitas mesas e cadeiras espalhadas e ao seu redor encontram se v rias lojas e restaurantes Este foi o ambiente escolhido por tr s principais raz es e um ambiente que reproduz v rios poss veis locais pertencentes ao contexto de uso deste tipo de equipamento como aeroportos lojas restaurantes hot is etc e Apesar de n o ser um ambiente totalmente fechado um local coberto e iluminado artificialme
47. mas nenhum tinha experi ncia no uso de WAP Foram utilizados na avaliagao dois modelos de telefone celular com dois browsers completamente diferentes Tr s diferentes servi os WAP foram usados em tr s tarefas sendo que todos os participantes executaram as tr s tarefas com os dois modelos de telefones O teste foi feito no laborat rio e gravado em udio e v deo A acur cia da tarefa foi medida utilizando uma ferramenta para an lise dos dados chamada KeystrokeMapper Nyberg 2001 que comparava o caminho feito pelo usu rio com o caminho timo para a realiza o da tarefa Tamb m foi medido o tempo total de execu o da tarefa Uma ferramenta que registrava toda a intera o no PDA foi utilizada por Mizobuchi 2002 com o objetivo de comparar a performance do usu rio na utiliza o de diferentes m todos de entrada de dados como o uso da caneta stylus ou das teclas para controle do cursor Dez pessoas com idades entre 19 e 60 anos e que nunca haviam utilizado um PDA anteriormente participaram dos testes As avalia es foram realizadas dentro do laborat rio e o participante segurava o PDA em suas m os O registro da intera o no pr prio equipamento permitiu medir o tempo que o usu rio levava para clicar em diversos alvos apresentados na tela Puderam ent o ser comparados os tempos para clicar no alvo com a caneta e com as teclas para controle do cursor Tamb m foi poss vel verificar qual o efeito do tamanho do alvo e do n
48. mero de alvos presentes na tela na performance do usu rio Os resultados mostraram que o uso da caneta provocou mais erros para alvos menores Ao aumentar o tamanho dos alvos os dois m todos apresentaram a mesma taxa de erros Sears 2003 utilizou ferramentas de an lise em seu estudo comparativo para avaliar qual o impacto do tamanho dos teclados dos PDA s na performance e na 99 prefer ncia dos usuarios Trinta participantes foram divididos em tr s grupos de dez pessoas e cada um dos grupos utilizou um tamanho diferente de teclado pequeno m dio e grande Os participantes tinham idade m dia de 26 anos todos estudantes universit rios mas nao de cursos relacionados a Tecnologia da Informa o ou a Engenharias Todos tinham experi ncia no uso do computador mais da metade n o era usu rio de telefone celular e nenhum deles havia usado um PDA anteriormente Os participantes podiam optar entre apoiar o PDA sobre a mesa ou segur lo nas m os Eles deveriam executar seis tarefas todas relacionadas somente digita o de texto e toda a intera o foi registrada no pr prio equipamento A performance do usu rio foi medida em n mero de palavras por minuto e em n mero de erros No final os participantes responderam a um question rio de satisfa o em rela o ao sistema que avaliava itens como facilidade rapidez e precis o na digita o de texto Curiosamente neste estudo o tamanho dos teclados n o teve influ ncia nas medid
49. o e do resultado da tarefa realizada pelo usu rio As m tricas de esfor o cognitivo permitem que sejam obtidas medidas referentes ao esfor o mental que foi exigido do usu rio na utiliza o do produto Estas m tricas podem ser aplicadas durante todo o ciclo de projeto a partir da exist ncia do primeiro prot tipo Finalmente poss vel medir a satisfa o subjetiva para avaliar a percep o do usu rio sobre o produto Estas m tricas podem ser aplicadas a partir da vers o beta do produto Ap s utilizar o produto os usu rios respondem a um question rio que vai fornecer uma vis o sobre a sua atitude em rela o ao sistema O MUSIC tem como refer ncia a defini o de usabilidade da ISO 9241 11 De acordo com esta defini o a usabilidade como sin nimo de qualidade em uso pode ser medida na extens o em que um produto possa ser usado com efic cia efici ncia e satisfa o dentro de um determinado contexto ou seja a usabilidade de um 59 produto afetada n o somente pelas caracter sticas do produto mas tamb m pelo seu contexto de uso Na rea de IHC h bastante tempo se reconhece que os usu rios e as tarefas que eles executam t m grande efeito nos resultados de qualquer sistema de avalia o Miller 1971 apud Maguire 2001 Na metade dos anos 80 houve um movimento maior em rela o import ncia do contexto com o trabalho de Whiteside 1988 O autor percebeu que embora alguns produtos apresentassem bons
50. o participante levava para executar um conjunto de tarefas para poder avaliar se a efici ncia do participante aumentou ap s a semana de uso e tamb m para verificar se ele estava mais familiarizado com o uso do WAP Ao final da semana foi feita uma entrevista gravada em udio com os participantes para que eles pudessem relatar suas experi ncias Nesta entrevista o participante era encorajado a recorrer ao di rio para verificar suas anota es e relembrar o que aconteceu Deixar o participante explorar o equipamento e suas aplica es por conta pr pria durante uma semana parece uma abordagem interessante quando se trata de um equipamento de uso pessoal como o telefone celular Entretanto pode ser custoso 103 em termos de tempo e recursos financeiros pois para testar com vinte usuarios Nielsen 2000 precisou utilizar quatro telefones para que o teste pudesse ser realizado em cinco semanas Na maioria das vezes nao se tem tanto tempo dispon vel e tantos recursos para realizar uma nica avalia o de usabilidade Outro ponto importante se refere principalmente boa vontade e disciplina exigidas do participante para utilizar o equipamento e relatar com precis o todos os problemas e dificuldades encontrados Nielsen reconhece que a aplica o desta t cnica foi poss vel porque um dos avaliadores possu a vasta experi ncia na realiza o de document rios para a televis o e portanto tinha amplo conhecimento sobre a utiliza o
51. o tema sob a perspectiva da experi ncia do usu rio m vel Referindo se ao servi o que est dispon vel ao usu rio m vel atrav s de PDA telefone celular ou qualquer outro computador de m o Hiltunen define o conceito de experi ncia do usu rio em fun o de cinco componentes utilidade usabilidade disponibilidade est tica e processo offline como ilustra a figura 18 Experi ncia do usu rio m vel usabilidade disponibilidade processo offline Figura 18 Componentes da experi ncia do usu rio m vel utilidade Fonte Hiltunen 2002 55 Hiltunen utilizou a defini o da norma ISO 9241 11 para usabilidade e definiu utilidade como sendo a percep o do usu rio em rela o ao servi o lhe agregar algum valor Al m disso o autor acrescentou tr s outros componentes que ele considera que exercem grande influ ncia na opini o geral do usu rio sobre o sistema a disponibilidade ou seja o servi o deve estar sempre online e funcionando perfeitamente a apar ncia deve ser agrad vel e atraente e todo o processo offline deve ser eficiente Nesta ltima categoria o autor inclui v rios elementos que est o por tr s do servi o oferecido como o valor do nome da empresa que oferece o servi o a confian a na empresa e no servi o oferecido e todo o processo de retaguarda como apoio ao usu rio velocidade de entrega de uma mercadoria etc 2 2 Defini o de crit rios para medir a usabilidade Para Bev
52. objetivo simplesmente detectar a presen a e n o a preval ncia estat stica de problemas de usabilidade Se os testes forem realizados com poucos participantes muitos problemas s rios da interface podem passar despercebidos entretanto testar com muitos usu rios pode ser invi vel pois cada participante a mais representa custos extras em termos de tempo na execu o das sess es e na posterior an lise dos dados e de recursos financeiros para sele o e remunera o do participante e do avaliador Woolrych 2001 79 Uma rela o custo benef cio deve ser estabelecida para determinar quantos usu rios dever o testar um sistema em fun o principalmente da complexidade da interface dos tipos e da quantidade de seus problemas da popula o alvo da disponibilidade de recursos e do tempo dispon vel Entretanto todos os autores s o un nimes em afirmar que melhor realizar alguns testes ainda que com poucos participantes a n o realizar nenhum tipo de avalia o com usuarios Nielsen 2000 Spool 2001 Perfetti 2003 2 3 1 2 Validade e confiabilidade dos ensaios de intera o Um aspecto muito importante que deve ser considerado na realiza o de uma avalia o de usabilidade diz respeito confiabilidade e validade da t cnica utilizada Nielsen 1993a A confiabilidade se refere ao grau de certeza de que o resultado obtido na avalia o ser o mesmo se o teste for repetido Nielsen 1993a Utilizar um maio
53. que pode influenciar a minha escolha entre usar ou n o o WAP 40 20 13 89 11 11 8 33 0 Discordo Discordo Neutro Concordo Concordo Completamente Completamente Figura 68 Opini o sobre o tamanho da tela do telefone celular O tamanho do teclado um fator cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 60 47 22 40 30 56 20 8 33 5 56 8 33 o N Discordo Discordo Neutro Concordo Concordo Completamente Completamente Figura 69 Opini o sobre o tamanho do teclado do telefone celular 172 Na realidade 89 dos participantes acreditam que se eles utilizarem o seu pr prio aparelho de telefone celular com o qual eles j est o habituados ao tamanho da tela e s funcionalidades do teclado a navega o n o ser um problema figura 70 A navega o em um telefone celular n o um problema quando voc se acostuma com o aparelho 60 40 20 0 Discordo Discordo Neutro Concordo Concordo Completamente Completamente Figura 70 Opini o sobre a navega o em um telefone celular Entretanto todos s o un nimes em afirmar que uma conex o est vel e r pida fator determinante para que eles possam utilizar esses servi os como mostra a figura 71 Um tempo de conex o r pido importante para que eu use o WAP 80 60 40 20 0 Discordo Discordo Neutro Concordo Concordo Completa
54. realizados em uma sala normal que n o possu a espelho falso com dois avaliadores presentes Um avaliador sentava se ao lado do participante e pedia que este realizasse oito tarefas simples como verificar a previs o do tempo checar hor rios de cinemas ler e enviar e mails O outro avaliador observava as a es do participante verificava se ele tinha sucesso ou n o na realiza o da tarefa cronometrava o tempo que ele levava para execut 93 la e media a sua taxa de erros Os testes duraram uma hora e foram registrados em v deo e em audio O telefone foi fixado com velcro sobre um trip colocado em cima da mesa para permitir que o participante segurasse o telefone com as m os Foi usada uma c mera de documentos para gravar as imagens da tela e do teclado do telefone e uma c mera de v deo normal para filmar a face do participante Ambas as imagens foram colocadas na tela lado a lado para an lise simult nea da imagem do telefone e da face do participante Em seu estudo para comparar a usabilidade de dois modelos de telefones celulares com c mera fotogr fica Davies 2002 tamb m utilizou uma c mera de documentos Os objetivos eram avaliar a fun o de m quina fotogr fica dos equipamentos e realizar uma entrevista com os participantes para verificar qual dos dois telefones o usu rio escolheria para comprar e qual motivo o levaria a escolher um ou outro Seis usu rios entre 22 e 34 anos entre os quais tr s eram especialista
55. se constituem em importantes temas para a realiza o de trabalhos futuros 28 Estrutura do trabalho O Capitulo 1 apresenta os computadores de mao mostrando as principais caracter sticas f sicas desses equipamentos o contexto de uso e o perfil do usuario m vel O Cap tulo 2 define usabilidade especificando seus principais componentes e discorre sobre as t cnicas de usabilidade especialmente ensaios de intera o O Cap tulo 3 apresenta as principais abordagens que est o sendo utilizadas para realiza o das avalia es de usabilidade para os computadores de m o O Cap tulo 4 descreve os procedimentos metodol gicos utilizados para a realiza o dos ensaios de intera o baseados em tr s diferentes contextos de avalia o O Cap tulo 5 apresenta e analisa os resultados obtidos nas avalia es de usabilidade O Cap tulo 6 dedicado interpreta o e discuss o dos resultados conclus o e a sugest es de trabalhos futuros 29 1 COMPUTADORES DE MAO O avan o da tecnologia e o aumento da capacidade de processamento dos componentes eletr nicos v m permitindo o surgimento de novas concep es do computador pessoal port til Esta portabilidade aliada s novas tecnologias de acesso a redes sem fio se traduz em um conceito fundamental para a rea de tecnologia de informa o e comunica o a mobilidade do usu rio A Tecnologia da Informa o e a Internet quebraram a barreira do t
56. tempo m dio para a execu o da tarefa o n mero de desvios em rela o ao caminho timo para realizar a tarefa e o n mero total de cards que foram visitados cards equivalem a p ginas Web Ao final do teste uma avalia o subjetiva das interfaces foi realizada onde cada participante respondeu a um question rio sobre a sua opini o a respeito da interface O objetivo de Rao 2000 foi comparar tr s m todos distintos de entrada de dados em PDAs a caneta o teclado e ativa o por voz para determinar qual o m todo de entrada de dados mais eficiente em termos de velocidade e precis o determinar qual o m todo ou a combina o de m todos preferido pela maioria dos usu rios e elaborar um conjunto de guias de estilo para auxiliar no projeto de aplica es para PDAs Foram recrutadas treze pessoas entre 22 e 33 anos todos pertencentes aos departamentos de Ergonomia e Psicologia da universidade que utilizaram tr s modelos diferentes de PDA s O participante deveria executar tarefas comuns como 97 salvar ou editar um endere o utilizando as diferentes formas de entrada de dados dispon veis nos PDAs O teste foi realizado dentro do laborat rio com o usu rio sendo filmado para verificar em quanto tempo ele executava a tarefa e com que precis o Na sequ ncia cada participante era entrevistado para falar sobre as suas atitudes e opini es em rela o a cada m todo de entrada de dados que havia utilizado O trabalho de
57. texto Metade dos participantes leu o manual do usuario antes de executar as tarefas e a outra metade nao leu mas poderia consulta lo durante a realizagao das tarefas Com base nestes crit rios foram estabelecidos 4 grupos de 20 participantes cones X texto e leitura do manual obrigat ria X leitura do manual opcional Foram criados cen rios com tarefas simples como fazer uma liga o fazer uma liga o para um n mero de telefone gravado na agenda procurar por um n mero de telefone na agenda durante uma liga o gravar um n mero de telefone para acesso r pido No final das tarefas os participantes responderam a question rios e entrevistas As sess es duraram uma hora e meia e foram realizadas por dois avaliadores que estavam na mesma sala que o participante um avaliador auxiliava o participante e coletava dados a partir da observa o do usu rio e o outro gravava as perguntas e coment rios do participante e cronometrava o tempo As sess es foram gravadas em v deo com imagens da tela do computador e da face do usu rio Na an lise das sess es o avaliador verificava se as tarefas foram cumpridas quanto tempo o participante levou para execut las quantos erros foram cometidos e quantas vezes o participante consultou o manual do usu rio Bocker relata que a avalia o revelou os problemas mais cruciais de usabilidade identificando tamb m quais os pontos fortes do design da interface Para o autor os resultados da aval
58. tona e propensa a erros O emulador foi ent o novamente utilizado para avaliar qual o melhor m todo para apresentar texto na tela entre tr s alternativas rolagem horizontal ao colocar o cursor sobre a linha aparecem os 87 caracteres que antes nao eram visiveis rolagem vertical todos os caracteres sao vis veis ao rolar a tela para baixo uma nova linha aparece ou por paginas o conte do separado por p ginas todos os caracteres s o vis veis e ao rolar a tela para baixo uma nova p gina aparece Para avaliar a usabilidade de cada um desses m todos foram selecionados 15 usu rios todos com experi ncia no uso de telefone celular mas nenhum com experi ncia no uso de aplica es WAP Utilizando o emulador foi solicitado a cada um dos participantes que executasse tr s tarefas diferentes uma para cada m todo ap s a realiza o das quais eles deveriam responder a seis quest es sobre o texto que haviam lido na tela Foram ent o medidos o tempo que o participante levou para responder s seis quest es e o n mero de respostas erradas Ap s experimentar os tr s m todos de apresenta o de texto foi solicitado ao participante que avaliasse o m todo atribuindo um valor em uma escala de usabilidade As sess es foram registradas em v deo e os resultados apontaram o m todo de rolagem vertical como o melhor entre as tr s op es Embora o emulador seja uma forma pr tica r pida e praticamente sem custos para testar o c
59. um produto Modelo de layout de um laborat rio de usabilidade Figura 27 Exemplo de emulador no computadol ccceeeeeeeseeeeeeeeeeeees 85 Figura 28 Usu rio utilizando um emulador no computador 88 Figura 29 C meras de documentos n 92 Figura 30 Ensaio de intera o utilizando uma minic mera sem fio 108 Figura 31 Pa ses que responderam pesquisa 109 Figura 32 Ferramentas utilizadas nos testes de usabilidade 109 Figura 33 Local dos testes de usabilidade a 110 Figura 34 Componentes dos contextos de avalia o 114 Figura 35 Ambiente do contexto de avalia o do emulador 115 Figura 36 Imagem da intera o no contexto de avalia o do emulador 115 Figura 37 Trip para fixa o do telefone celular si 116 Figura 38 Ambiente do contexto de avalia o da c mera de documentos 117 Figura 39 Imagem da intera o no contexto de avalia o da c mera de COCUMENTOS imitar inside a dean ida ia das dass AEAEE Oet Ea aag 117 Figura 40 Sistema da minic mera sem fio ne eesennnneresrrnn n 120 Figura 41 Sistema de recep o e grava o 121 Figura 42 Ambiente do contexto de avalia o da minic mera sem fio 121 Figura 43 Imagem da int
60. uma vez que ter que operar o telefone sobre o trip foi uma situa o pouco confort vel para o participante que teve influ ncia nos resultados da usabilidade medida A segunda conclus o que a realiza o de tarefas adicionais paralelas podem interferir nos resultados da usabilidade medida e dos ndices de desempenho das avalia es Para tarefas expl citas o experimento de Brewster 2002 j havia constatado uma queda na efic cia e um aumento na carga de trabalho quando foi solicitado aos participantes que andassem enquanto utilizavam um computador de m o Entretanto os resultados obtidos nesta pesquisa mostram que uma tarefa cognitiva concorrente por menor que ela seja como a preocupa o em manter o trip no foco da c mera de documentos pode impactar negativamente sobre a usabilidade medida fazendo aparecer problemas de usabilidade levemente escondidos por um contexto mais favor vel Estes dados sugerem novas abordagens nas avalia es de usabilidade para os computadores de m o Por exemplo a introdu o de tarefas adicionais que exijam do usu rio uma maior carga cognitiva que n o seja muito elevada mas que ao mesmo tempo seja capaz de favorecer o aparecimento de problemas de usabilidade que estariam na imin ncia de aparecer e que se manifestam somente nestas condi es 190 6 4 Recomendacoes para trabalhos futuros Neste trabalho foram escolhidos tr s entre os possiveis contextos de avalia o que po
61. usu rio levou para executar a tarefa e analisado o resultado obtido para verificar se os objetivos foram ou n o atingidos Na segunda vez foi medido o tempo improdutivo o que pode ser considerado uma das partes mais trabalhosas e demoradas uma vez que n o pode ser feito de forma linear mas sim utilizando os controles de pausa avan o e retrocesso da fita para marcar com precis o o in cio e o final de cada uma das categorias de tempo de ajuda busca e snag A tarefa foi assistida ainda uma terceira vez para analisar os problemas de intera o que foram identificados Os coment rios mais relevantes dos usu rios no debriefing ap s a realiza o da tarefa e na entrevista final tamb m foram transcritos Um modelo de instrumento para auxiliar nesta an lise das fitas est reproduzido no ap ndice E Ap s a conclus o da an lise das fitas todos os dados levantados foram colocados em tabelas que continham as f rmulas para calcular os valores da efic cia efici ncia efici ncia relativa e produtividade O resultado foi um total de 21 tabelas 1 tabela para cada uma das 7 tarefas para cada um dos 7 contextos de avalia o 144 4 8 Analise dos problemas de usabilidade Todos os problemas de usabilidade identificados foram analisados e classificados em fichas onde constava o nome e o numero da tarefa uma descri o e uma imagem da tela da localiza o do problema a descri o do problema na interface causa identificada na in
62. usu rios preparar o ambiente do teste Definir o produto a ser testado Definir o Contexto de Uso Especificar os objetivos e o Contexto de Avalia o Preparar a avalia o Realizar os testes com os usu rios Analisar e interpretar os dados Elaborar um relat rio de usabilidade Figura 21 Etapas do M todo de Medida da Performance Fonte Coopers 1995 64 5 Realizar os testes com os usuarios os usuarios serao monitorados e filmados enquanto executam determinadas tarefas Ao avaliar a qualidade em uso importante que os usu rios trabalhem sozinhos tendo acesso somente s formas de ajuda que estariam dispon veis se eles estivessem trabalhando em condi es reais de uso 6 Analisar e interpretar os dados a partir das anota es feitas durante a sess o e da an lise das fitas de v deo poss vel coletar as medidas e derivar as m tricas de usabilidade 7 Elaborar um relat rio de usabilidade o ClF Common Industry Format for Usability Test Reports CIF 2001 foi desenvolvido com o objetivo de criar um padr o para a gera o de relat rios de testes de usabilidade Este guia traz todas as especifica es t cnicas que devem ser usadas ao se reportar a realiza o de um teste de usabilidade baseado na defini o apresentada pela ISO 9241 11 Neste relat rio estar o descritas as condi es de realiza o da avalia o os resultados obtidos e as recomenda es sugeridas 2 2 3 Me
63. 0 Nielsen J Why you only need to test with five users Alertbox March 2000 Dispon vel em http www useit com alertbox 20000319 html Acesso em maio 2002 Nielsen J Paper prototyping a how to training video Nielsen Norman Group 2003a Nielsen J 230 Tips and Tricks for a Better Usability Test Nielsen Norman Group 2003b Norman D A The Psyhology of Everyday Things USA Basic Books 1988 Norman D A The Invisible Computer Cambridge MA The MIT Press 1998 Nokia Dispon vel em http www nokia com Acesso em janeiro de 2003 NTTDoCoMo Dispon vel em http Awww nttdocomo com e http www nttdocomo co jp Acesso em janeiro de 2003 Nyberg M Goldstein M Leung Y Visualising data using the ActionMapper a proposed interactive event logger for user interface evaluation International Conference on Information Visualisation IV 2001 London England UK 25 27 July 2001 Nyyss nen T Roto V Kaikkonen A Mini camera for Usability Tests and demonstrations Demonstrated at Mobile HCl 2002 Fourth International Symposium on Human Computer Interaction with Mobile Devices Pisa Italy September 2002 OMA The official web site for The Open Mobile Alliance Ltd Dispon vel em http Awww openmobilealliance org Acesso em fevereiro de 2003 rni K What do we know about usability evaluation A critical view DIGILIB 2003 2003 Conference on Users in the Electronic Information Environments Espoo
64. 00 100 00 100 00 100 00 100 00 82 50 EC MERA DE DOCUMENTOS 47 50 100 00 100 00 100 00 75 00 100 00 58 33 O C MERA SEM FIO 62 08 100 00 100 00 100 00 91 67 100 00 82 50 Figura 47 Resultados para a efic cia da tarefa A tarefa1 apresentou uma efic cia estatisticamente menor no contexto da camera de documentos em rela o ao contexto do emulador a 5 F 3 32 5 28 p 0 01 Entre o contexto da c mera sem fio em rela o aos contextos da c mera de documentos e do emulador n o houve diferen a estat stica entre as m dias para 148 esta tarefa A figura 48 mostra que o percentual de usuarios que completaram a tarefa 1 foi de 100 no contexto do emulador caindo para 50 no contexto da camera sem fio e para 41 67 no contexto da camera de documentos 120 100 80 60 40 20 0 TAREFA 1 TAREFA 2 TAREFA 3 TAREFA 4 TAREFA 5 TAREFA 6 TAREFA 7 B EMULADOR 100 00 100 00 100 00 100 00 100 00 100 00 83 33 CAMERA DE DOCUMENTOS 41 67 100 00 100 00 100 00 75 00 100 00 58 33 O C MERA SEM FIO 50 00 100 00 100 00 100 00 91 67 100 00 83 33 Figura 48 Percentual de usu rios que completaram a tarefa As diferen as entre as m dias da efic cia nos tr s contextos de avalia o para a tarefa 5 n o foram estatisticamente significante
65. 1 Vyas 2002 e Weiss 2002 23 Novas solu es que permitam auxiliar na avalia o de usabilidade dos computadores de m o fora do laborat rio como equipamentos e softwares apropriados que possibilitem registrar a intera o ainda est o sendo pesquisadas e portanto ainda s o poucas as publica es sobre este tema Ao contr rio dos computadores de mesa s o raras as publica es que mostram estudos comparativos entre diferentes t cnicas de avalia o de usabilidade para os computadores de m o como o estudo de Brewster 2002 detalhado no cap tulo 3 A partir dessas constata es poss vel concluir que faltam refer ncias na literatura que permitam avaliar concretamente qual o impacto da escolha do contexto de avalia o nos resultados da avalia o de usabilidade de um computador de m o Para preencher esta lacuna este trabalho se prop e a realizar uma investiga o cient fica a partir do seguinte problema de pesquisa Defini o do problema de pesquisa Qual a influ ncia do contexto de avalia o nos resultados da avalia o de usabilidade dos computadores de m o baseada na t cnica de ensaios de intera o Hip tese A hip tese b sica que nortear o desenvolvimento desta pesquisa foi assim definida Na avalia o de usabilidade dos computadores de m o os ensaios de intera o realizados dentro do laborat rio n o fornecem resultados t o satisfat rios quanto os resultados obtidos nos e
66. 3 a 5 anos Mais de 5 anos Com que freq ncia voc acessa a Internet m Q Q Q Q Nunca 1 vez por m s 1 vez por semana 1 vez por dia Mais de 1 vez por dia AP NDICE B Question rio Perfil do Usu rio 204 Qual o seu tempo em m dia por acesso a Internet Eu n o acesso a Internet Menos de 1 hora De 1 a3 horas De 3 a5 horas De 5 a 7 horas De 7 a 9 horas O oO 0 O O0 UO O Mais de 9 horas Ha quanto tempo voc usa e mail Nunca usei Menos de um ano De 1a3 anos De 3a5 anos O O 0 O O Mais de 5 anos Voc tem telefone celular QO Sim Qual a sua operadora OVivo UTIM U Nao Ha quanto tempo voc usuario de telefone celular O Menos de um ano O De1ta3anos De3a5anos O Mais de 5 anos O seu aparelho de telefone celular tem acesso a WAP O Sim o N o L N o sei AP NDICE B Question rio Perfil do Usu rio O Outra 205 206 Com que frequ ncia voc l mensagens de texto no seu telefone celular U Nunca QO 1 vez por m s U 1 vez por semana U 1 vez por dia QO Mais de 1 vez por dia Com que frequ ncia voc envia mensagens de texto do seu telefone celular Nunca QO 1 vez por m s U 1 vez por semana U 1 vez por dia U Mais de 1 vez por dia Com que frequ ncia voc utiliza seu telefone celular para acessar aplica es WAP QO Nunca Q 1 vez por m s U 1 vez por semana Q 1 vez por dia QO Mais de 1 vez por dia Voc j us
67. 3G LAB Cambridge UK September 30 2002 Desurvire H W Faster Cheaper Are usability inspection methods as effective as empirical testing In Nielsen J Mack R L Usability Inspection Methods USA John Wiley amp Sons 1994 p 173 202 Digitwireless Dispon vel em http www digitwireless com Acesso em mar o de 2008 195 Dix A et all Exploiting context in HCI design for mobile systems In C Johnson Ed Proceedings of First Workshop on HCI for Mobile Devices GIST technical Report G98 1 department of Computer Science University of Glasgow Scotland 12 17 1998 Duda S Schiessl M Hess J M Mobile Usability Eye Square amp Mobile Economy Berlin Germany 12 April 2001 Dumas J S Redish J C A Practical Guide to Usability Testing England Intellect 1999 Ericsson T Chincholle D Goldstein M Both the celular phone and the service impact WAP usability Proceedings of IHM HCI 2001 Volume II HCI in Practice by J Vanderdonckt A Blanford and A Derycke eds Lille France 10 14 September 2001 Fossil Dispon vel em http www fossil com Acesso em mar o de 2003 Gaffney G The InfoDesign Toolkit Australia Information amp Desing 2000 Gil A C Como elaborar projetos de pesquisa S o Paulo Atlas 1991 GSA Survey of Mobile Portal Services Q42002 Global Mobile Suppliers Association UK 2002 GSM Dispon vel em http www gsmworld com news statistics Acesso em j
68. 70 60 50 40 30 20 10 0 Qual ferramenta voc utiliza nos testes E Emuladores E C mera de Documentos O C mera sem Fio O Outros camera de v deo comum observa o do usu rio question rios entrevistas Figura 32 Ferramentas utilizadas nos testes de usabilidade 110 Quanto ao local dos testes 50 dos profissionais dizem realizar testes fora do laborat rio figura 33 Nestes casos a t cnica mais frequente a observa o do usu rio muitas vezes utilizando uma c mera de v deo para capturar imagens de situa es reais de uso Voc realiza testes fora do laborat rio N o Sim 50 50 Figura 33 Local dos testes de usabilidade Apesar da pequena amostra esta pesquisa pode ser considerada representativa uma vez que os respondentes s o profissionais de grandes empresas da rea de computa o m vel todos eles respons veis pela avalia o de usabilidade de equipamentos e aplica es 3 6 Escolha das tr s abordagens para os ensaios de intera o Este cap tulo ilustrou como v m sendo conduzidas as avalia es de usabilidade para os computadores de m o seja pelos pesquisadores ou por algumas das principais empresas da rea A partir dessa revis o bibliogr fica e dos resultados da pesquisa realizada com os profissionais da rea foi poss vel identificar tr s principais abordagens para a 111 realiza o de ensaios de intera o para avali
69. 999 Rubin 1994 fortemente recomendado que o avaliador explique claramente ao participante que n o ele quem est sendo avaliado e sim que o objetivo da avalia o a aplica o Durante a realiza o destes ensaios de intera o em nenhum momento foi mencionada ao usu rio a palavra teste No recrutamento os participantes foram convidados a participar de uma pesquisa de usabilidade e n o de um teste de usabilidade e Foram mostrados ao participante todos os equipamentos utilizados no teste e tamb m foi explicado que seu rosto n o estaria sendo filmado e que todo o procedimento seria an nimo e Foi pedido ao participante que preenchesse um r pido question rio com alguns dados sobre o seu perfil Um modelo de question rio para registrar o perfil do usu rio pode ser encontrado no ap ndice B 4 5 2 Treinamento do participante e O participante foi instru do quanto s principais funcionalidades do telefone celular e do emulador e Foram demonstrados os comandos b sicos para iniciar a navega o no WAP e O participante foi introduzido ao NASA TLX O m todo foi explicado e o participante analisou as folhas deste m todo que seriam preenchidas ao final do experimento 141 4 5 3 Execucao das tarefas e As tarefas foram entregues ao participante uma de cada vez em ordem crescente de dificuldade As tarefas foram lidas e em seguida foi entregue ao participante uma c pia em papel que ele poderia
70. LX nos tr s contextos de avalia o a 5 F 3 32 2 40 p 0 10 Tamb m n o foi detectada diferen a estat stica entre os fatores isoladamente a Demanda Mental a 5 F 3 32 0 82 p 0 44 a Demanda F sica a 5 F 3 32 1 14 p 0 33 a Demanda Temporal a 5 F 3 32 0 60 p 0 55 O Esfor o a 5 F 3 32 1 69 p 0 19 a Performance a 5 F 3 32 2 31 p 0 12 e a Frustra o a 5 F 3 32 1 63 p 0 21 Estes resultados indicam que sob o ponto de vista do usu rio n o houve diferen a estatisticamente significativa entre os contextos de avalia o no que diz respeito carga de trabalho 159 5 2 Medidas e m tricas de desempenho das avalia es 5 2 1 Quantidade de problemas de usabilidade Considerando os tr s contextos de avalia o foram reportados um total de 44 problemas de usabilidade na intera o com o sistema Dentre esses problemas um foi descartado por n o corresponder a um problema real de usabilidade da interface do sistema avaliado pois ele foi ocasionado em fun o da interface do emulador Este problema j havia sido mencionado em Kaasinen 2000 e causado em fun o do emulador selecionado para as avalia es n o apresentar uma indica o de que h mais texto al m do que vis vel na tela Este problema ocorreu com dois participantes que apesar de terem encontrado a tela correta leram somente a parte do texto que estava vis vel na tela e n o encontrando a informa o
71. Universidade Federal de Santa Catarina Programa de P s Gradua o em Engenharia de Produ o Adriana Holtz Betiol AVALIAGAO DE USABILIDADE PARA OS COMPUTADORES DE MAO UM ESTUDO COMPARATIVO ENTRE TRES ABORDAGENS PARA ENSAIOS DE INTERA O Tese de Doutorado Florian polis 2004 Adriana Holtz Betiol AVALIAGAO DE USABILIDADE PARA OS COMPUTADORES DE MAO UM ESTUDO COMPARATIVO ENTRE TRES ABORDAGENS PARA ENSAIOS DE INTERA O Tese apresentada ao Programa de P s Gradua o em Engenharia de Produ o da Universidade Federal de Santa Catarina como requisito parcial para obten o do t tulo de Doutor em Engenharia de Produ o Orientador Prof Walter de Abreu Cybis Dr Florian polis 2004 Betiol Adriana Holtz Avalia o de usabilidade para os computadores de m o um estudo comparativo entre tr s abordagens para ensaios de intera o Adriana Holtz Betiol orientador Walter de Abreu Cybis Florian polis 2004 210 f il Tese Doutorado Universidade Federal de Santa Catarina Programa de P s Gradua o em Engenharia de Produ o 2004 Inclui bibliografia 1 Sistemas de comunica o m vel Avalia o 2 Telefone celular 3 Interfaces Computadores 4 Intera o homem m quina 5 Computa o m vel I Cybis Walter de Abreu II Universidade Federal de Santa Catarina Programa de P s Gradua o em Engenharia de Produ o III T tulo CDU 681 31 Cataloga o n
72. a o atrav s do monitor de televis o A partir de agora este contexto ser referenciado como contexto do emulador 116 4 3 2 Contexto de avalia o 2 dentro do laborat rio utilizando o telefone celular e uma c mera de documentos O segundo grupo realizou os ensaios de intera o dentro do laborat rio utilizando um telefone celular fixado em um trip que estava posicionado sob uma c mera de documentos modelo Canon RE 350 O trip foi desenvolvido especialmente para este trabalho com dimens es que permitissem o manuseio normal do aparelho como se o usu rio o estivesse segurando nas m os figura 37 Os graus de liberdade da base de apoio tamb m foram cuidadosamente definidos para possibilitar o melhor ngulo de vis o tanto para o usu rio quanto para a filmagem da tela e do teclado do telefone O aparelho foi fixado no trip utilizando fitas de velcro Figura 37 Trip para fixa o do telefone celular Todo o sistema estava conectado atrav s de placa de v deo e adaptador do computador a uma televis o de 20 integrada a um v deo cassete Desta forma foi poss vel gravar em fita de v deo toda a intera o do usu rio com a interface Um 117 microfone tamb m foi conectado para gravar o udio da sess o A figura 38 ilustra o ambiente deste ensaio de intera o Figura 38 Ambiente do contexto de avalia o da c mera de documentos N o havia c meras filmando o participante a imagem
73. a o fora do laborat rio em um ambiente mais pr ximo ao contexto de uso deste tipo de equipamento A seguir ser o descritas todas as etapas para a montagem e realiza o destes ensaios de intera o segundo o M todo de Medida da Performance apresentado no item 2 2 2 Os crit rios para compara o dos desempenhos das avalia es tamb m est o aqui definidos 4 1 Defini o do produto a ser avaliado Os ensaios de intera o foram realizados com o objetivo de avaliar a usabilidade geral da interface com o usu rio de um conhecido portal de Internet m vel Este portal disponibiliza o acesso a informa es e servi os variados como programa o de lazer not cias gerenciamento de contas de e mail entre outros O conte do 113 deste portal foi considerado a partir de uma an lise comparativa realizada pela autora o mais completo e atualizado entre todos os portais WAP dispon veis atualmente no pa s Segundo dados fornecidos pelos desenvolvedores do portal por e mail autora em novembro de 2003 este portal contava com uma base de 27 4 milh es de usu rios tendo uma audi ncia m dia de 25 mil usu rios dia podendo ser acessado em 18 estados brasileiros atrav s de 11 operadoras de telefonia celular 4 2 Defini o do contexto de uso A aplica o que foi avaliada pode ser acessada por qualquer usu rio que possua um telefone celular desde que o mesmo seja compat vel com a tecnologia WAP Todos esses servi
74. a 35 hor rio 30 advers rio Encontrar o nome de todas as Encontrar o card que Percentual da pe as que est o em cartaz nos apresenta a lista das informagao 2 teatros do Rio de Janeiro pe as de teatro no Rio encontrada em fun o de Janeiro do n mero de pe as da lista Encontrar o valor do d lar Encontrar o card que Percentual da 3 comercial o percentual de alta apresenta as informa o ou baixa e a data e hora a que informa es sobre o encontrada 25 cada essas informa es se referem _ d lar informa o Encontrar o nome o endere o e Encontrar o card que Percentual da os hor rios de funcionamento de apresenta as informa o 4 um restaurante no bairro do informa es sobre um encontrada 35 Cabral restaurante no Cabral nome 35 endere o 30 hor rios de funcionamento Encontrar o hor rio em Nova Encontrar o card que 100 se achou o 5 York agora apresenta o hor rio hor rio correto para a cidade de Nova York Encontrar o e mail que eu enviei Abrir o e mail correto Percentual da a voc ler o e mail inteiramente informa o 6 verificando qual o hor rio a data encontrada 35 e o local da nossa reuni o data 35 hor rio i 30 local Responder ao e mail lido com o E considerada a 100 se enviou texto Ok confirmado qualidade m xima se somente um e mail o texto enviado para o endere o correspondia ao texto correto solicitado Para cada Zero se n o enviou c
75. a Um pequeno microfone tamb m conectado por fio a um amplificador e filmadora utilizado para gravar o udio O usu rio pode mover as m os livremente dentro dos limites dos fios que ligam a c mera e o microfone filmadora Para que o participante possa ter mais liberdade de movimentos pode ser utilizada uma minic mera sem fio como a apresentada por Pers 2002 Esta solu o permite filmar a intera o enquanto o usu rio se movimenta vontade e o avaliador o observa a dist ncia A c mera acoplada ao computador de m o possibilitando desta forma registrar as imagens da tela e do teclado Os sinais de v deo da c mera s o enviados a um receptor que pode ser conectado a uma filmadora a um monitor de v deo ou a um computador A dist ncia entre o usu rio e o avaliador depende do modelo da c mera que est sendo utilizada e para esta solu o pode chegar a 25 metros A figura 30 ilustra um poss vel teste realizado fora do laborat rio utilizando uma minic mera sem fio Estas duas minic meras ilustram o desenvolvimento de novas tecnologias adaptadas para a avalia o de usabilidade dos computadores de m o entretanto n o h at o momento nenhum estudo publicado sobre a realiza o de avalia es de usabilidade que tenham feito uso destes equipamentos Nyysonnen 2002 e Pers 2002 somente descrevem estas solu es tecnicamente 108 FHEF IE y L i a EHH e Figura 30 Ensaio de intera
76. a Contexto da c mera Faixa et ria de documentos sem fio Homens Mulheres Homens Mulheres Homens Mulheres 21 a 30 anos 3 3 3 3 3 3 31 a 40 anos 3 3 3 3 3 3 Total 12 12 12 Total geral 36 e Os usuarios deveriam ter diferentes forma es e ocupa es Como constatado por Rocha 2003 p 204 n o conveniente testar uma interface voltada para o p blico em geral e utilizar estudantes de computa o como grupo de teste eles certamente n o s o representativos da popula o de usu rios alvo embora este seja um h bito comum entre pesquisadores como Rao 2000 Brewster 2002 4 3 6 Defini o do script das tarefas A cada usu rio foi solicitada a execu o das mesmas sete tarefas Estas tarefas foram selecionadas em fun o de dois crit rios a era necess rio que fossem tarefas representativas do uso deste tipo de servi o de Internet m vel como encontrar informa es sobre esporte lazer e servi os de e mail Nielsen 2000 Helyar 2002 Weiss 2001 Sears 2003 b dentre estas tarefas foram escolhidas aquelas que poderiam identificar o maior n mero de problemas de usabilidade Estes problemas j haviam sido apontados em um diagn stico sobre a usabilidade geral do sistema realizado previamente pela autora 127 As tarefas eram independentes umas das outras e estavam todas inseridas em diferentes cen rios A utiliza o de cen rios importante para contextualizar a tarefa permitindo ao usu rio q
77. a de Computa o da universidade Todos conheciam interfaces gr ficas alguns j haviam usado algum modelo de PDA ou telefone celular mas nenhum conhecia a interface do Palm O participante deveria digitar valores apontando a caneta no teclado num rico que aparecia na tela O n mero de 5 d gitos que deveria ser digitado aparecia no canto direito da tela o participante deveria digitar os 5 d gitos pressionar OK e continuar com o pr ximo n mero Os n meros eram gerados randomicamente pela pr pria aplica o que tamb m armazenava o n mero total de cliques na tela Foram medidos o n mero de d gitos que o participante conseguiu clicar e o esfor o cognitivo atrav s de um question rio Tamb m foi perguntado ao participante com qual das duas interfaces ele achou mais f cil realizar a tarefa O 106 primeiro experimento foi realizado com os participantes sentados testando as interfaces com e sem som dentro do laborat rio No segundo experimento eles realizaram as mesmas tarefas enquanto andavam por uma determinada rua dentro do campus da universidade O percurso era uma rua reta com aproximadamente 10 metros de comprimento na qual o participante deveria ir e voltar v rias vezes at que o seu tempo acabasse O primeiro experimento foi em um ambiente controlado silencioso com o participante parado podendo se concentrar na tarefa O segundo experimento foi feito ao ar livre com o usu rio andando enquanto entrava com os dados Neste se
78. a dpi 127 Quadro 4 Defini o de qualidade e quantidade para as tarefas 130 Quadro 5 Resumo das diferen as significativas na usabilidade medida nos tr s contextos de avalia o 2 722 Guraa ls R DO geek O ad 176 Quadro 6 Resumo da compara o dos resultados nos tr s contextos de ANAM A druid E eae 184 LISTA DE TABELAS Tabela 1 Distribui o dos participantes por faixa et ria e sexo 126 Tabela 2 Resumo das medidas e m tricas de desempenho das avalia es 180 LISTA DE SIGLAS CDMA Code Division Multiple Access IHC Intera o Humano Computador MUSIC Measuring Usability of Systems in Context NASA National Aeronautics and Space Administration PDA Personal Digital Assistant Assistente Digital Pessoal SMS Short Message Sevice SUS System Usability Scale TLX Task Load Index WAP Wireless Application Protocol 18 INTRODU O A Intera o Humano Computador n o est limitada intera o do usu rio com as interfaces das p ginas Web e dos programas aplicativos para o computador de mesa O computador onipresente e invis vel embarcado em diversos produtos utilizados diariamente que as pessoas n o percebem como computadores n o ser mais comandado somente pelo mouse ou pelo teclado Comandos de voz e visuais gestos ou at mesmo a simples presen a do usu rio em determinado local s o novas maneiras de comandar os computadores em suas mais variadas vers es Ipi a
79. a fonte por On lia Silva Guimar es CRB 14 071 Adriana Holtz Betiol AVALIA O DE USABILIDADE PARA OS COMPUTADORES DE M O UM ESTUDO COMPARATIVO ENTRE TR S ABORDAGENS PARA ENSAIOS DE INTERA O Esta tese foi julgada e aprovada para a obten o do grau de Doutor em Engenharia de Produ o no Programa de P s Gradua o em Engenharia de Produ o da Universidade Federal de Santa Catarina Florian polis 27 de fevereiro de 2004 Prof Edson Pacheco Paladini Dr Coordenador do Programa BANCA EXAMINADORA Profa Leila Amaral Gontijo Dra Universidade Federal de Santa Catarina Prof Walter de Abreu Cybis Dr Universidade Federal de Santa Catarina Orientador Prof Neri dos Santos Dr Universidade Federal de Santa Catarina Prof Jean Marc Robert Dr Ecole Polytechnique de Montr al Prof Bruno Farbos Dr Ecole Polytechnique de Montr al Egberto Arouca Modesto de Medeiros Dr A minha familia com amor AGRADECIMENTOS A Deus por ter me proporcionado mais esta vit ria Ao meu marido por estar sempre ao meu lado me incentivando e me apoiando a enfrentar novos desafios Aos meus filhos minhas maiores conquistas Aos meus pais por todo apoio e pricipalmente por todo o tempo em que me ajudaram a cuidar das crian as para que eu pudesse me dedicar a este trabalho Aos meus irm os por eu saber que sempre poderei contar com voc s Ao meu orientador Prof Walter de Abreu Cybis por tu
80. abilidade identificados Jeffries 1991 A partir desta m trica poss vel identificar a capacidade efetiva de cada contexto de avalia o em detectar os incidentes de intera o relacionados aos graus de impacto e A rela o benef cio custo definida como a soma dos graus de severidade dividida pelo n mero total de horas gastas na avalia o Jeffries 1991 4 5 Condu o dos ensaios de intera o As avalia es foram distribu das alternadamente entre os contextos e realizadas ao longo de duas semanas sendo que a autora deste trabalho foi a nica avaliadora respons vel pela condu o de todos os ensaios de intera o Cada um dos ensaios de intera o durou em m dia uma hora e meia Todos os testes seguiram rigorosamente o mesmo roteiro que foi elaborado a partir de Rubin 1994 Dumas 1999 Nielsen 2003b Este roteiro est descrito a seguir 4 5 1 Introdu o do participante ao ambiente do teste e O participante foi recebido e lhe foi explicado como seria conduzida a avalia o o que ele teria que fazer e quanto tempo duraria a sess o comum que 140 o participante chegue um pouco apreensivo e inseguro pois apesar do primeiro contato quando do recrutamento ele chega ao local do teste com muitas d vidas muito importante que o avaliador forne a ao participante todas as informa es sobre a condu o da avalia o para que este possa se sentir vontade Na literatura Nielsen 1993a Dumas 1
81. abilidade para os computadores de mao A defini o de usabilidade para os computadores de m o adotada neste trabalho foi a da ISO 9241 11 como sugerido em Hiltunen 2002 Segundo Jokela 2003 a ISO 9241 11 est se tornando a principal refer ncia para a usabilidade pois al m de ser largamente reconhecida na literatura foi a defini o de usabilidade escolhida para a elabora o do CIF Common Industry Format for Usability Test Reports CIF 2001 que fornece um modelo padr o para gera o de relat rios de testes de usabilidade Para Jokela 2003 p 53 esta uma indica o muito clara da import ncia desta defini o uma vez que a cria o do CIF foi apoiada por um grande n mero de empresas Segundo Ericsson 2001 o usu rio m vel muito mais impaciente e exigente que o usu rio do computador de mesa Isto se d em fun o do contexto de uso dos computadores de m o normalmente ambientes din micos nos quais a intera o com o equipamento uma entre as diversas tarefas que o usu rio est realizando Chincholle 2002b Neste contexto a usabilidade n o somente uma quest o de facilidade de uso da interface mas est relacionada a toda a extens o na qual o produto possa atender s necessidades do usu rio lhe proporcionando funcionalidade altos ndices de desempenho confiabilidade e facilidade de uso apropriados Bevan 1997 Este exatamente o enfoque definido pela ISO 9241 11 1998 e operacionalizado p
82. ability Proceedings of the 10 International World wide web Conference Hong Kong China May 1 5 2001 Caulton D A Relaxing the homogeneity assumption in usability testing Behaviour amp Information Technology vol 20 n 1 1 7 2001 Chincholle D Goldstein M The Finger Joint Gesture Wearable Keypad INTERACT 99 Workshop on Mobile Devices Edinburgh Scotland August 1999 Chincholle D Eriksson M Designing Highly Usable Wireless Services for Next Generation Devices and Networks Tutorial notes UPA 2002 Orlando Florida USA July 2002a Chincholle D Goldstein M Nyberg M Eriksson M Lost or found A usability evaluation of a mobile navigation and location based service Proceedings of Mobile HCI 2002 Fourth International Symposium on Human Computer Interaction with Mobile Devices Pisa Italy September 2002b Chittaro L Cin P Evaluating interface design choices on WAP phones single choice list selection and navigation among cards Proceedings IHM HCI Mobile HCI 2001 CIF Common Industry Format for Usability Test Reports American National Standard for Information Technology USA ANSI November 2001 Cooper 1995 Performance Measurement Handbook National Physical Laboratory Teddington Middlesex U K 1995 Cybis W Ergonomia de Interfaces Humano Computador Florian polis 2002 Davies M A usability test by 3G LAB comparison of two cameras phones Nokia 7650 vs Sony Ericsson T68i
83. ade de Normalmente pouca Alguns Praticamente ilimitada Armazenamento equipamentos possuem Disquetes CDRW DVD RAM expans o de mem ria disco r gido Conex o Lenta e inst vel por Veloz e est vel enquanto Fonte Adaptado de Weiss 2002 e Chincholle 2002a Apesar de serem mais leves port teis e permitirem conex o sem fio os computadores de m o t m pouca mem ria pouca ou quase nenhuma capacidade de armazenamento bateria que deve ser sempre recarregada conex o ainda lenta e muitas vezes pouco confi vel Limita es como velocidade de conex o dura o da bateria e capacidade de armazenamento podem vir a desaparecer ou pelo menos ser minimizadas medida que a tecnologia evoluir No entanto dois limitadores principais dificilmente ser o alterados devido pr pria caracter stica do equipamento a visualiza o em telas pequenas e a entrada de dados em espa o reduzido que ser o discutidos com mais detalhes a seguir 32 1 1 1 Telas pequenas Todos os computadores de m o apresentam uma caracter stica em comum as telas pequenas A figura 5 mostra alguns exemplos de telas de computadores de m o Figura 5 Exemplos de telas pequenas PDA e telefone celular Fonte Palm 2003 Fonte Orange 2003 Copyright 2003 Palm Inc Copyright 2003 Orange Todos os direitos reservados Todos os direitos reservados As telas pequenas tornam a leitura mais dificil e exigem novos modelos d
84. ades desistiram de continuar tentando e abandonaram a tarefa Este ndice de usu rios que abandonaram as tarefas foi maior no contexto da c mera de documentos em rela o aos dois outros contextos Para os contextos da c mera sem fio e do emulador esses ndices s o os mesmos para a tarefa 7 e diferem somente em 8 3 1 usu rio para a tarefa 5 Estes resultados indicam que as condi es da avalia o na c mera de documentos foram piores para o usu rio fazendo com que eles desistissem de completar as tarefas com maior frequ ncia em rela o aos outros dois contextos de avalia o 5 1 2 Efici ncia do usu rio As m dias da efici ncia do usu rio figura 50 para as tarefas 1 4 e 7 foram estatisticamente iguais nos tr s contextos de avalia o a 5 F 3 32 1 58 p 0 22 a 5 F 3 32 1 33 p 0 27 a 5 F 3 32 3 28 p 0 04 respectivamente A efici ncia do usu rio foi menor no contexto da c mera de documentos em rela o ao contexto do emulador para as tarefas 2 3 5 e 6 a 5 F 3 32 9 91 p 0 0004 F 3 32 9 01 p 0 0007 F 3 32 4 27 p 0 022 F 3 32 3 62 p 0 0378 respectivamente 152 3 50 3 00 2 50 2 00 1 50 1 00 0 50 i TAREFA 1 TAREFA2 TAREFAS TAREFA4 TAREFAS TAREFA6 TAREFA7 DB EMULADOR 1 35 3 12 2 17 0 85 1 00 0 60 0 65 CAMERA DE DOCUMENTOS 0 67 1 56 1 17 0 56 0 36 0 37 0 35 O C MERA SEM FIO 1 17 2 44 1 60 0 72 0 69 0 50 0 30 Figura 50 R
85. alidade definida pela habilidade do avaliador em focar aspectos espec ficos e pr definidos do design e Completude a avalia o considerada completa se ela consegue examinar o m ximo poss vel da interface e Confiabilidade a avalia o considerada confi vel se for poss vel reproduzir os mesmos resultados com outra avalia o realizada nas mesmas condi es Como o autor n o indicou como essas caracter sticas poderiam ser medidas Sears 1997 prop s estender a defini o desses conceitos e definiu um conjunto de m tricas que permitem compar los quantitativamente cada m trica tem uma escala de 0 a 1 onde 1 o valor timo 81 e Validade uma t cnica considerada v lida se permite que o avaliador foque nos aspectos que s o pertinentes ou seja o avaliador n o vai identificar como um problema de usabilidade um aspecto que n o cause nenhum impacto no usu rio Desta forma a validade pode ser definida como a raz o entre a quantidade de problemas reais identificados e a quantidade de todos os problemas identificados como problemas de usabilidade Validade quantidade de problemas reais encontrados quantidade de problemas identificados como problemas de usabilidade A validade mede quanto esfor o extra est sendo gasto em aspectos que n o s o importantes ou seja na identifica o de problemas que n o s o considerados problemas reais de usabilidade e Completude a t cnica considerada
86. ality Part 1 Quality Model 2001 ISO 9241 11 Ergonomic Requirements for office work with visual display terminals VDT s Part 11 Guidance on usability 1998 ISO 13407 Human Centred Design process for Interactive Systems 1999 ISO IEC 14598 1 Software product evaluation Part 1 General overview 1999 ISO TR 18529 Human centred lifecycle process descriptions 2000 ITU Internet Reports 2002 Internet for a mobile generation executive summary International Telecommunication Union September 2002 Jeffries R Miller J Wharton C Uyeda K User interface evaluation in the real world a comparison of four techniques Proceedings of CHI 91 New Orleans April 28 May 3 1991 Johnson P Usability and Mobility interactions on the move First Workshop on Human Computer Interaction with Mobile Devices Glasgow UK 1998 Jokela T livari N Matero J Karukka M The standard of user centered design and the standard definition of usability analysing ISO 13407 against ISO 9241 11 Proceedings of CLIHC 2003 Rio de Janeiro August 17 20 2003 Jordan P W An Introduction to Usability London UK Taylor amp Francis 1998 Kaasinen E Aaltonen M Kolari J Melakoski S Laakko T Two approaches to bringing Internet services to WAP devices Proceedings WWW9 9th International World Wide Web Conference Amsterdam May 15 19 2000 Karat C A comparison of user interface evaluation methods In Nielse
87. an 1999a imprescind vel que a usabilidade passe a fazer parte da aceitabilidade de um produto como definido em Nielsen 1993a e Shackel 1991 Entretanto ao adquirir um produto tanto os usu rios quanto as empresas t m pouca informa o em rela o a qu o f cil utilizar aquele produto a qu o produtivos eles ser o ao utiliz lo ou a quanto treinamento e suporte ser o necess rios Bevan 1999b Em muitas situa es a usabilidade ignorada por falta da defini o de crit rios objetivos que permitam defini la no desenvolvimento do produto Bevan 1999b Segundo Good 1986 apud rni 2003 se n o houver especifica es de usabilidade que possam ser mensur veis n o h nenhuma maneira de determinar os requisitos de usabilidade de um produto e t o pouco poss vel medir se um 56 produto acabado atende a esses requisitos Para o autor se n o poss vel medir a usabilidade n o se tem a Engenharia de Usabilidade Para Nielsen 1993a medir a usabilidade uma parte muito importante no ciclo da Engenharia de Usabilidade para verificar se os objetivos de usabilidade desejados foram efetivamente atingidos e tamb m para comparar a usabilidade entre produtos concorrentes Nielsen 1993a define um modelo de medida da usabilidade ilustrado na figura 19 Objetivo Usabilidade Componente Componente Facilidade de Efici ncia no aprender uso Quantifica o M todo de Medida Tempo m dio necess
88. ando a pr xima sess o do cinema enquanto janta e conversa com amigos Em meio a tantas tarefas a intera o com o equipamento deve exigir o menor n vel poss vel de concentra o por parte do usu rio Para Chincholle 2002b a intera o com o equipamento uma tarefa secund ria que n o deve interferir com a tarefa principal que ele est realizando como por exemplo dirigir ou caminhar Uma pesquisa realizada em Londres para avaliar um computador de m o com acesso a p ginas Web constatou que a intera o com o equipamento exigia uma grande aten o e concentra o do usu rio dificultando a sua percep o sobre o que estava acontecendo sua volta Os usu rios relataram que se sentiam inseguros ao utilizar o equipamento enquanto estavam na rua principalmente noite pois se achavam alvos f ceis para poss veis ladr es Helyar 2002 Os computadores de m o est o destinados a atingir uma grande variedade de usu rios entre eles est o aqueles que nunca utilizaram o computador ou que t m pouca experi ncia no seu uso A usabilidade imediata muito importante para esses usu rios Mackenzie 2002 Neste contexto fazer uso de modelos e met foras de interface com o usu rio que s o amplamente utilizadas no computador de mesa pode n o ser apropriado Al m de n o estar familiarizado com esses 39 elementos o usu rio pode considerar o equipamento muito complicado e n o estar disposto a aprender formas complexas
89. aneiro de 2008 Hackos J T Redish J C User and Task Analysis for Interface Design USA John Wiley amp Sons 1998 Handspring Dispon vel em http www handspring com Acesso em janeiro de 2008 Hansell S A Microsoft Watch Will Provide Much More Than Time New York Times Late Edition Final Section C Page 4 Column 1 New York January 9 2003 Helyar V Usability issues and user perceptions of a 1 generation WAP service Serco Usability Services London January 2001 Helyar V Assessing user requirements for the mobile internet Appliance Design issue3 Mobile Internet Bill Sharpe ed The Appliance Design Network UK September 2002 Hewett et all ACM SIGCHI Curricula for Human Computer Interaction 1996 Hiltunen M Laukka M Luomala J Mobile User Experience Finland Edita Publishing Inc 2002 196 Holmquist L E Future Applications Lab Viktoria Institute Su cia Dispon vel em http www viktoria se leh Acesso em agosto de 2002 Hughes M Rigor in Usability Testing Technical Communication fourth quarter 1999 Ipi a D L Mendon a P R Hopper A TRIP A low cost vision based location system for Ubiquitous computing Personal and Ubiquitous Computing 6 3 May 2002 IDC IDC Brasil conclui estudo do mercado nacional de telefonia celular Press release da IDC Brasil referente ao estudo Brazil Wireless Market Sizing Abril 2002 ISO IEC 9126 1 Software Product Qu
90. apresentadas anteriormente podem apoiar o processo de atingir a usabilidade de um produto Estas normas podem ser categorizadas em rela o a e Uso do produto efic cia efici ncia e satisfa o em rela o a um determinado contexto de utiliza o e Interface com o usu rio e intera o e Processo utilizado para o desenvolvimento do produto e Capacidade de uma organiza o de aplicar o processo de projeto centrado no usu rio Ou seja o objetivo que o produto seja utilizado com efic cia efici ncia e satisfa o quando usado em determinados contextos Um pr requisito para que isto ocorra a exist ncia de interface e intera o adequadas Isto exige que o processo de projeto seja centrado no usu rio o que por sua vez para ser atingido 54 consistentemente exige uma capacidade organizacional que ap ie esta filosofia de projeto Bevan 2001 Capacidade Qualidade do Qualidade do Qualidade organizacional processo produto em uso do processo desenvolvimento Produto do produto Contextos de uso Capacidade de Processo Interface e Uso do usabilidade centrado no intera o produto ISO TR 18529 usu rio ISO 9241 10 12 17 ISO 9241 11 ISO 13407 ISO IEC 9126 2 3 ISO 14598 1 ISO 9126 1 ISO 9126 4 Figura 17 As normas e a usabilidade Fonte Bevan 2002 2 1 5 Usabilidade segundo Hiltunen Concluiremos as diversas abordagens sobre a defini o de usabilidade com a vis o de Hiltunen 2002 que aborda
91. ar a intera o fez com que o participante aumentasse a concentra o na tarefa e n o estivesse t o suscet vel s interfer ncias externas como era de se esperar A pesquisa de novas t cnicas que possibilitem ao usu rio utilizar um computador de m o em situa es reais ou seja em movimento em v rios ambientes diferentes estando exposto as interfer ncias externas e sem a presen a do avaliador ao mesmo tempo que permitam registrar a intera o s o importantes temas para a realiza o de trabalhos futuros Algumas tentativas neste sentido podem ser citadas como os trabalhos de Nielsen 2000 e Waterson 2002 Finalmente as diferen as nos resultados apresentados no contexto da c mera de documentos mostraram que a situa o de teste com o telefone apoiado sobre um trip m vel n o solid rio c mera de documentos influenciou o resultado dos testes Esta constata o pode levar a duas conclus es A primeira conclus o que estes resultados confirmam as suspeitas de Nyysonnen 2002 e Mizobuchi 2002 para quem a posi o do usu rio e a maneira como ele segura um computador de m o s o fatores que afetam a intera o com a interface e devem ser considerados Os autores acreditam que o usu rio m vel prefere segurar o equipamento nas m os e ter liberdade para se movimentar como eles fariam se estivessem em uma situa o normal de 189 uso Os resultados aqui obtidos sugerem que estas suspeitas sao verdadeiras
92. ar a usabilidade dos computadores de m o baseadas no uso do emulador da c mera de documentos e da minic mera sem fio Esta escolha se deu a partir da constata o do expressivo uso do emulador e da c mera de documentos como m todos para registrar a intera o com os computadores de m o dentro do laborat rio enquanto que a minic mera sem fio foi a solu o encontrada para registrar a intera o na realiza o dos testes fora do laborat rio O cap tulo a seguir relata o experimento realizado detalhando a montagem dos ensaios de intera o e a defini o dos contextos de avalia o a partir destas tr s abordagens distintas 112 4 DESCRI O DO EXPERIMENTO Este cap tulo descreve o experimento realizado para investigar qual a influ ncia exercida pelos diferentes contextos de avalia o nos resultados da avalia o de usabilidade da interface com o usu rio de uma aplica o de Internet m vel para telefone celular baseada em tr s diferentes abordagens para a t cnica de ensaios de intera o Neste experimento 36 usu rios divididos em tr s grupos de doze pessoas participaram da avalia o de usabilidade da interface com o usu rio de um portal WAP Dois grupos realizaram os ensaios de intera o dentro do laborat rio sendo que o primeiro grupo utilizou um emulador no computador e o segundo grupo utilizou um telefone celular O terceiro grupo utilizou tamb m um telefone celular mas realizou os ensaios de inter
93. aracter digitado nenhum e mail 7 incorretamente no Para cada e mail texto enviado a qualidade era reduzida em 5 adicional enviado ao mesmo endere o ou a outro endere o era descontado da quantidade um valor de 50 131 4 3 7 2 1 Tarefa completada Completar ou nao a tarefa esta relacionado a verificar se os objetivos da tarefa foram atingidos Cooper 1995 portanto este valor esta diretamente relacionado a eficacia da tarefa Desta forma ficou estabelecido o crit rio de que se a eficacia da tarefa for maior ou igual a 50 sera considerado que a tarefa foi completada ou seja considera se que o usu rio completou pelo menos metade dos objetivos propostos em termos de qualidade e quantidade Para cada tarefa atribu do um valor que indica se o participante a completou valor 1 ou n o valor 0 1 se efic cia gt 50 Tarefa completada 0 se efic cia lt 50 Ao final a partir da soma destes valores poss vel medir o percentual de participantes que conseguiram completar os objetivos da tarefa Este percentual pode ser calculado para todas as tarefas Percentual de participantes tarefa completada X 100 que completaram a tarefa gt Do 12 132 4 3 7 3 Efici ncia do usuario O tempo total de execu o da tarefa foi medido e a partir dele foi calculada a efici ncia atrav s da f rmula Efici ncia efic cia tempo total da tarefa 4 3 7 4 Efici ncia relativa
94. as de performance avaliadas revelando tamb m que a diminui o do tamanho do teclado n o aumentou a taxa de erros ou impactou negativamente na prefer ncia dos participantes Algumas outras avalia es n o utilizam c meras para filmar a intera o e s o baseadas na observa o direta do usu rio e em question rios e entrevistas como as descritas a seguir O estudo de Helyar 2000 teve como objetivo avaliar a rea o e a opini o das pessoas em rela o aos servi os WAP Durante uma hora e meia doze participantes utilizaram v rios servi os WAP executando tarefas comuns como ler as principais not cias e verificar a programa o de cinema As avalia es foram conduzidas dentro do laborat rio com o avaliador e o participante em uma sala e os observadores em outra sala separadas por um espelho falso Enquanto navegavam 100 por v rios servi os WAP os participantes explicavam ao avaliador o que estavam fazendo e quais eram as suas d vidas e inquieta es O autor denominou esta avalia o de colaborativa uma vez que todos os resultados foram baseados na conversa entre o avaliador e o participante enquanto este interagia com o sistema O estudo de Duda 2001 teve como objetivo investigar o porqu da baixa aceita o dos servi os WAP e para identificar quais os principais problemas enfrentados pelo usu rio no uso desses sistemas Trinta e seis participantes foram selecionados com idade m dia de 29 anos todos com experi
95. as foram ativadas VKB 2003 Figura 10 Teclado virtual por infravermelho Fonte VKB 2002 O Copyright 2002 VKB Todos os direitos reservados H tamb m algumas tecnologias que utilizam sensores colocados nas m os figura 11 que detectam os movimentos dos dedos do usu rio mapeando esses movimentos com a tecla que ele teve a inten o de pressionar Chincholle 1999 Senseboard 2002 Kittytech 2002 KITTY TECH COM Figura 11 Teclados virtuais com sensores Fonte Senseboard 2002 Fonte Kittytech 2002 O Copyright 2002 Senseboard Technologies AB O Copyright 2002 Kittytech Project Todos os direitos reservados Todos os direitos reservados 37 O trabalho de Mackenzie 2002 apresenta uma extensa e detalhada pesquisa sobre os principais meios de entrada de dados em computadores de m o e Little Springs Design 2002 uma fonte de refer ncias atualizadas para as principais novidades tecnol gicas nessa rea 1 2 O usu rio m vel e o contexto Al m das caracter sticas f sicas dos computadores de m o muito importante entender o usu rio m vel e o contexto em que ele est inserido Enquanto o computador de mesa usado para digitar texto elaborar planilhas eletr nicas fazer pesquisas na Web ou seja tarefas que exigem concentra o e s o executadas durante um longo per odo de tempo os computadores de m o s o voltados para aplica es mais r pidas O tempo um fator muito impo
96. as op es de restaurante para que 4 voc s possam almo ar jantar agora Seu objetivo Encontre o nome o endere o e os hor rios de funcionamento de um restaurante no bairro do Cabral i Voc percebe que h uma mensagem de voz em seu telefone celular E de um amigo seu que est morando em Nova York Ele pede que voc retorne a liga o em um 5 determinado n mero de telefone ainda hoje s 21 00h pontualmente que ele estar aguardando Voc n o est muito certo quanto diferen a de hor rio entre Curitiba e Nova York e gostaria de saber a que horas voc deve fazer essa liga o Seu objetivo Encontre o hor rio em Nova York agora Eu liguei para voc ontem e disse que enviaria um e mail com as informa es sobre a nossa reuni o Voc saiu de casa atrasado hoje e n o teve tempo de abrir seus e mails no computador Agora voc est na rua e lembra que precisa ler este e mail porque a 6 reuni o pode ter sido marcada para hoje Seu objetivo Encontre o e mail que eu enviei a voc leia o inteiramente verificando qual o hor rio a data e o local da nossa reuni o Seu e mail wqoliveira ig com br Sua senha de acesso manaus Voc leu o e mail anterior e est de acordo com a data e o hor rio marcados Voc 7 precisa agora confirmar a sua presen a na reuni o Seu objetivo Responda a este e mail com o texto Ok confirmado 128 4 3 7 Escolha das medidas e m tricas de usabilidade 4 3 7 1 Us
97. autor um problema de usabilidade definido como qualquer coisa que impacte a facilidade de uso desde um problema interno do sistema at uma palavra grafada de maneira incorreta Jeffries 1991 p 121 A partir do relat rio com todos os problemas de usabilidade encontrados pelo avaliador o autor sugere que sejam definidas as seguintes medidas e Quantidade de problemas identificados pelo avaliador e Quantidade de problemas n o duplicados ou seja problemas que s foram identificados naquela avalia o espec fica e Severidade dos problemas encontrados variando de 1 problema trivial a 9 problema cr tico O grau de severidade deve ser atribu do pelo avaliador em fun o 83 do impacto do problema da frequ ncia com que ele ocorreu e do numero de usuarios que seriam afetados por ele e Numero de horas gastas na avalia o e Benef cio custo com base nas duas medidas anteriores grau de severidade e horas gastas na avalia o tempo gasto na aplica o da t cnica o autor define uma m trica para avaliar a raz o entre o benef cio e o custo Benef cio custo soma dos graus de severidade dos problemas encontrados pessoa hora de avalia o O autor tamb m sugere que os problemas identificados sejam classificados em uma das tr s seguintes categorias e Consist ncia o problema revela um aspecto da interface que est em conflito com outras partes do sistema e Recorrr ncia o problema interfere na inte
98. belecer os ie avalia o Identificar o tipo de produto a ser avaliado Especificar modelo de qualidade Selecionar m tricas Estabelecer n veis de pontua o para as m tricas Estabelecer crit rios para julgamento Especificar a avalia o Produzir o plano de avalia o Projetar a avalia o Obter as medidas Comparar com os crit rios Executar a avalia o Julgar os resultados Figura 15 Processo de avalia o de produto de software ISO IEC 14598 1 Fonte ABNT 1999 2 1 4 4 ISO 13407 O processo de projeto centrado no usu rio uma filosofia de projeto que tem o usu rio como foco principal privilegiando desta forma a l gica de opera o do sistema A norma ISO 13407 1999 sobre Processo de projeto centrado no usu rio para sistemas interativos fornece orienta es sobre como atingir a qualidade em uso ao 52 incorporar atividades de projeto centrado no usuario em todo o ciclo de vida de sistemas interativos computacionais Bevan 2000 Segundo Jokela 2003 o aspecto mais importante desta norma se refere a descri o das quatro principais atividades relacionadas ao projeto centrado no usu rio figura 16 1 Compreender e especificar o contexto de uso conhecer o usu rio o ambiente de uso e as tarefas que ser o executadas com o produto 2 Especificar os requisitos do usu rio e os requisitos organizacionais determinar os crit rios de sucesso para a usabi
99. cas de performance do MUSIC est o descritas no M todo de Medida da Performance Cooper 1995 Macleod 1997 Thomas 1996a Thomas 1996b Este m todo sugere um conjunto de medidas e m tricas baseadas nas an lises da execu o e do resultado da tarefa realizada pelo usu rio As etapas necess rias para avaliar a usabilidade de um produto utilizando o M todo de Medida da Performance figura 21 est o descritas a seguir Macleod 1997 Bevan 1998 1 Definir o produto a ser testado identificar e descrever o produto ou os componentes do produto que ser o o foco da avalia o de usabilidade 2 Definir o Contexto de Uso identificar e descrever o contexto em que o produto ser usado em fun o de caracter sticas dos atuais ou potenciais usu rios tarefas que ser o executadas e ambiente em que os usu rios utilizar o o produto 3 Especificar os objetivos e o contexto de avalia o definir quais requisitos de usabilidade ser o analisado e garantir que a avalia o ser conduzida em condi es t o pr ximas quanto poss vel das condi es reais de uso do produto Para isso necess rio que os usu rios sejam representativos da popula o alvo a qual direcionado o produto as tarefas sejam representativas em rela o ao uso real do 63 produto e as condi es da avalia o sejam representativas das condi es normais nas quais o produto utilizado 4 Preparar a avalia o preparar as tarefas preparar os
100. completa se permite que os avaliadores avaliem todos os aspectos da interface Desta forma a completude pode ser definida como a raz o entre os problemas reais que s o identificados e os problemas que existem no sistema Completude quantidade de problemas reais encontrados quantidade de problemas reais que existem A completude mede o percentual de problemas encontrados e Confiabilidade a confiabilidade implica em que resultados similares devem ser obtidos quando as condi es da avalia o forem reproduzidas Desta forma a confiabilidade pode ser definida como a raz o entre o desvio padr o da quantidade 82 de problemas encontrados e a m dia da quantidade de problemas encontrados nas v rias avalia es Confiabilidade 1 desvio padrao quantidade de problemas reais m dia quantidade de problemas reais Para eliminar a possibilidade de um valor negativo para a confiabilidade o que ocorre sempre que o numerador for maior que o denominador a confiabilidade ser definida como Confiabilidade Valor Maximo 0 Confiabilidade A confiabilidade mede a consist ncia entre as diferentes avalia es O trabalho de Jeffries 1991 tamb m apresenta um conjunto de medidas que podem ser utilizadas na compara o entre as diferentes t cnicas de avalia o As medidas derivam de um relat rio que deve ser feito pelo avaliador com todos os problemas de usabilidade que ele venha a encontrar durante a avalia o Para o
101. consultar sempre que julgasse necess rio e Foi perguntado ao participante se ele tinha alguma d vida e foi ent o dado in cio execu o da tarefa Toda tarefa era iniciada na tela do menu principal do portal e o participante avisava quando considerava a tarefa como conclu da Ao concluir a tarefa o participante deveria ler em voz alta as informa es encontradas e Toda a intera o foi observada atrav s do monitor de televis o dentro do laborat rio e do visor da c mera filmadora fora do laborat rio sem interferir na execu o da tarefa O avaliador anotou todas as observa es feitas bem como poss veis coment rios e rea es do participante Ao final de cada tarefa foi realizada uma r pida entrevista com o participante para esclarecer poss veis d vidas quanto aos incidentes de intera o observados Um modelo de instrumento para acompanhar a avalia o est reproduzido no ap ndice C 4 5 4 Question rios e Foi solicitado ao participante o preenchimento do question rio de satisfa o SUS para avaliar a satisfa o do usu rio e Foi solicitado ao participante o preenchimento do NASA TLX para avaliar a carga de trabalho 142 e Foi solicitado ao participante o preenchimento do question rio Avalia o Geral sobre WAP para avaliar a percep o do usu rio em rela o ao servi o WAP Este question rio foi desenvolvido a partir do modelo apresentado por Nielsen 2000 e est reproduzido no ap nd
102. dade medida em rela o aos outros dois contextos de avalia o Por outro lado de uma maneira geral n o houve diferen a estatisticamente significativa na usabilidade medida quando foram comparados os resultados do contexto do emulador com o contexto da c mera sem fio Ou seja os fatos de utilizar interfaces diferentes como o emulador e o telefone celular e de realizar os testes dentro do laborat rio e em campo n o alteraram os resultados da usabilidade medida nestes dois contextos Desta forma n o se pode atribuir os menores resultados para a usabilidade medida no contexto da c mera de documentos s diferen as existentes entre as interfaces do emulador e do telefone celular ou ao local de realiza o dos ensaios de intera o mas sim s condi es de realiza o do teste com a c mera de documentos dentro do laborat rio Essas condi es se referem posi o do telefone celular fixado sobre o trip e posicionado sob a c mera de documentos Um desconforto foi causado principalmente pelo fato do telefone estar fixado em um trip m vel mas que n o poderia ser movimentado pelo usu rio sob pena de sair da rea de visualiza o da c mera de documentos Para o participante esta n o foi uma situa o normal de manipula o do aparelho O fato de precisar operar o telefone que estava posicionado sobre o trip aliado preocupa o em manter a tela do telefone em uma posi o favor vel para a filmagem n o parece
103. dades a serem executadas para coletar os dados 2 2 1 O projeto MUSIC Com o objetivo de definir um m todo e ferramentas para medir a usabilidade foi desenvolvido a partir de uma iniciativa conjunta de oito empresas e entidades de pesquisa europ ias o projeto MUSIC Measuring Usability of Systems in Context Macleod 1997 Este projeto teve como principal objetivo o desenvolvimento de um m todo modular que pudesse ser utilizado para especificar os requisitos de usabilidade de um produto e para verificar se o produto atende a esses requisitos O objetivo pretendido foi atingido pois o MUSIC um m todo pr tico que ap ia a Engenharia 58 de Usabilidade focando nas medidas de performance de usuarios reais Scapin 1997 Sao ao todo quatro tipos de m tricas anal ticas de performance esfor o cognitivo e satisfa o do usu rio que por serem complementares permitem a medi o dos diferentes componentes da usabilidade As m tricas anal ticas medem aspectos da usabilidade derivados das especifica es do produto e dos modelos de usu rios Elas s o utilizadas nas fases iniciais do desenvolvimento do projeto pois podem ser aplicadas em especifica es que ainda est o no papel As m tricas de performance medem com que efic cia e efici ncia os usu rios atingem seus objetivos ao utilizar o produto Estas m tricas s o utilizadas nas v rias vers es de prot tipos do produto e s o baseadas nas an lises da execu
104. de ensaios de intera o para avaliar a usabilidade dos computadores de m o Procedimentos metodol gicos A pesquisa realizada pode ser classificada como aplicada do ponto de vista de sua natureza pois teve como objetivo gerar conhecimentos para aplica o pr tica dirigidos solu o de problemas espec ficos Gil 1991 Inicialmente foi realizado um estudo explorat rio a partir de uma extensa pesquisa bibliogr fica que teve como objetivos determinar o estado da arte na rea de Intera o Humano Computador para os computadores de m o Foi realizado um extenso levantamento bibliogr fico buscando informa es sobre as principais caracter sticas f sicas dos computadores de m o o contexto de uso destes equipamentos e o perfil do usu rio m vel A pesquisa procurou identificar o estado da arte na rea de avalia o de usabilidade para os computadores de m o a partir das informa es sobre como essas avalia es v m sendo conduzidas Na sequ ncia diversas fontes foram consultadas buscando identificar as v rias defini es e t cnicas de avalia o de usabilidade com o objetivo de estabelecer a usabilidade voltada aos computadores de m o dentro da perspectiva da Engenharia de Usabilidade Esta pesquisa foi realizada em anais de congressos revistas cient ficas bases de dados eletr nicas livros disserta es e teses com o objetivo de aprofundar o conhecimento sobre o tema da Intera o Humano Computador para os
105. de problemas de usabilidade identificados da gravidade desses problemas e do n mero de horas gastas na realiza o das avalia es A descri o de todos estes crit rios se encontra a seguir 4 4 1 Atribui o de graus de severidade aos problemas de usabilidade Lavery 1997 p 254 define um problema de usabilidade como Um problema de usabilidade um aspecto do sistema ou uma demanda imposta ao usu rio que torna desagrad vel ineficiente oneroso ou imposs vel para o usu rio atingir os seus objetivos em uma situa o normal de uso Esta defini o explicita claramente os dois aspectos de um problema de usabilidade a a causa referente a interface ou seja um aspecto do sistema e b a dificuldade dela resultante referente ao usu rio ou seja um incidente na intera o Quando a avalia o envolve a observa o de usu rios o que o avaliador observa s o os problemas que ocorrem durante a intera o s o estes incidentes na 138 interagao que vao permitir ao avaliador identificar posteriormente os aspectos da interface que o causaram Segundo Rubin 1994 p 276 este um ponto de transi o da orienta o tarefa para a orienta o ao produto importante salientar que esta n o uma rela o de um para um mas sim de muitos para muitos pois um nico incidente na intera o pode ter sido causado por v rios aspectos da interface e um nico aspecto da interface pode ser a causa de v rios
106. de analis las para identificar se o participante havia completado ou n o a tarefa qual havia sido a dura o e a frequ ncia das pausas dos usu rios quais as d vidas dos participantes em rela o aos pr ximos passos durante a execu o das tarefas e quais os coment rios positivos e negativos McIntyre 2002 considerou o resultado da avalia o como positivo em fun o da grande quantidade de problemas de usabilidade que esta foi capaz de identificar 96 O estudo de Chittaro 2001 avaliou diferentes formas de implementa o de estilos de navega o em uma aplica o WAP para telefone celular O autor selecionou quarenta pessoas que segundo ele deveriam ser representativas do p blico em geral e portanto variavam quanto a idade ocupa o e habilidade no uso do computador mas nenhuma havia usado um telefone WAP anteriormente Os testes foram realizados na casa do participante para que ele se sentisse mais vontade Uma c mera de video foi utilizada para registrar a intera o mas o participante n o foi filmado O participante deveria executar duas tarefas encontrar alguns filmes que estivessem passando no cinema e reservar lugares para um hor rio escolhido As medidas de performance foram definidas como tempo total para executar a tarefa n mero de passos para completar a tarefa percentual da tarefa que o participante conseguiu completar em 9 minutos um teste piloto feito previamente determinou que 9 minutos seria o
107. de aparecerem com menor frequ ncia no contexto do emulador este contexto foi capaz de identificar 75 dos problemas de maior impacto impacto 2 e 3 enquanto que os contextos da c mera de documentos e da c mera sem fio identificaram 100 desses problemas 5 2 3 Raz o benef cio custo A soma dos graus de severidade determina a efic cia de cada contexto de avalia o na detec o dos problemas de usabilidade Como medida de custo foram consideradas as horas despendidas pelo avaliador na realiza o dos ensaios de intera o e na an lise das fitas de v deo Assim poss vel determinar a efici ncia em fun o de uma raz o benef cio custo para cada um dos contextos que vai indicar a severidade dos problemas encontrados por hora de avalia o figura 59 A an lise da raz o benef cio custo indica uma vantagem maior para o contexto da c mera de documentos sendo 82 maior em rela o ao contexto do emulador e 30 maior em rela o ao contexto da c mera sem fio 165 12 00 10 00 8 00 DB EMULADOR 6 00 E CAMERA DE DOCUMENTOS 4 00 O C MERA SEM FIO 2 00 0 00 Grau de severidade dos problemas horas de avalia o Figura 59 Raz o benef cio custo por contexto de avalia o 5 3 Question rio Perfil do Usuario De acordo com os crit rios estabelecidos para sele o dos usu rios definido no item 4 3 5 do cap tulo anterior foram recrutados 36 participantes 18 homens e 18
108. de documentos poderia ser atribu da pequena diferen a que existe entre o tamanho da tela do emulador e do telefone celular Na tela menor do telefone o participante poderia ter uma dificuldade maior em identificar a data e o hor rio corretos Entretanto esta diferen a entre os tamanhos das telas n o provocou uma diferen a significativa entre as m dias nos contextos do emulador e da c mera sem fio Entre os contextos da c mera sem fio e da c mera de documentos onde os participantes visualizavam a mesma tela do telefone celular tamb m n o houve diferen a significativa entre as m dias poss vel concluir ent o que o que pode ter provocado a diferen a para a efic cia entre os contexto do emulador e da c mera de documentos foi a soma de dois fatores a tela menor do telefone celular e as condi es de teste da c mera de documentos Ambos os fatores tiveram um impacto negativo nos participantes que utilizaram a c mera de documentos em rela o aos participantes que realizaram a a avalia o no contexto do emulador 151 Apesar de nao haver diferen as estatisticamente significativas entre as m dias da efic cia para as tarefas 5 e 7 o percentual de usu rios que n o conseguiram completar estas tarefas no contexto da c mera de documentos maior em rela o aos outros dois contextos de avalia o Todos os usu rios que n o conseguiram completar estas tarefas foram usu rios que ap s um certo tempo enfrentando dificuld
109. dem ser definidos para avaliar a usabilidade de uma aplica o WAP para telefone celular A partir dos resultados aqui obtidos para trabalhos futuros sugere se a defini o de novos contextos de avalia o como os apresentados a seguir e Para este experimento foram escolhidas tr s abordagens representativas na defini o dos contextos de avalia o para avaliar a usabilidade dos computadores de m o Esta escolha se deu a partir da constata o do expressivo uso do emulador e da c mera de documentos como m todos para registrar a intera o com os computadores de m o dentro do laborat rio enquanto que a minic mera sem fio foi a solu o encontrada para registrar a intera o na realiza o dos testes fora do laborat rio Estes contextos diferiam basicamente quanto aos seguintes aspectos o equipamento utilizado para a navega o no portal telefone celular ou emulador o local de realiza o dos ensaios de intera o laborat rio de usabilidade ou em campo e os equipamentos utilizados para registrar a intera o computador c mera de documentos ou c mera sem fio As demais componentes dos contextos de avalia o foram exatamente as mesmas para as tr s abordagens A partir dos resultados obtidos neste trabalho sugere se repetir o experimento utilizando somente o telefone celular e a c mera sem fio para realizar os testes dentro do laborat rio e em campo Ou seja a diferen a entre os dois contextos ficaria 191
110. didas e m tricas de usabilidade do MUSIC A partir da an lise do resultado da tarefa produzido pelo usu rio e da fita de v deo da sess o poss vel obter medidas de performance a partir das quais derivar o as m tricas de usabilidade figura 22 e Medidas A an lise do resultado da tarefa produzido pelo usu rio permite medir a quantidade do resultado obtido e a qualidade do resultado obtido A quantidade pode 65 ser medida como a propor o dos objetivos da tarefa que foram atingidos pelo usu rio A qualidade pode ser medida pela extens o com a qual o resultado da tarefa realizada pelo usu rio corresponde aos crit rios especificados A an lise da fita de v deo permite medir o tempo de dura o da tarefa e o tempo improdutivo O tempo de dura o da tarefa corresponde ao tempo total desde o in cio da intera o at o usu rio considerar a tarefa como conclu da O tempo improdutivo corresponde a todo tempo que o usu rio gastou executando a es que n o contribu ram para o resultado da tarefa e M tricas A partir das medidas definidas anteriormente poss vel derivar as seguintes m tricas e Efic cia da tarefa a qualidade e a quantidade com que os usu rios atingem os objetivos espec ficos e Efici ncia do Usu rio relaciona a efic cia ao tempo gasto para executar a tarefa e Efici ncia Relativa relaciona a efici ncia do usu rio comparada a efici ncia de um usu rio especialista execu
111. do para Internet m vel na Am rica Latina GSA 2002 Segundo a Ag ncia Nacional de Telecomunica es ANATEL em setembro de 2003 o n mero de assinantes de telefones celulares no Brasil chegou a 41 milh es projetando para 2005 um total de 58 milh es de assinantes como ilustra a figura 2 Valente 2002 ANATEL 2000 70 m Realizado E Previs o 60 58 0 52 5 50 45 5 40 35 2 28 7 30 23 2 20 15 0 74 a 0 8 1 4 Be i 0 l 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 Figura 2 Planta m vel brasileira em milh es de usu rios Fonte Valente 2002 20 Em junho de 2002 o Brasil foi inclu do como nico pais da Am rica Latina na pesquisa mundial da A T Kearney realizada em conjunto com a Universidade de Cambridge para avaliar as principais tend ncias do uso da Internet M vel no mundo Mobinet 5 2002 Esta pesquisa mostrou que 36 dos usu rios de telefone celular no Brasil possuem telefone celular com acesso Internet e que 21 j usaram algum servi o da Internet m vel Estes n meros est o muito pr ximos da m dia mundial que de 41 e 27 respectivamente Acredita se que em breve o n mero de telefones celulares supere o n mero de telefones fixos em servi o no Pa s cujo percentual hoje j representa 45 Valente 2002 Este cen rio aponta para uma crescente mobilidade figura 3 a partir do aumento tanto das nece
112. do que me ensinou sobre a Engenharia de Usabilidade Seus ensinamentos e questionamentos foram decisivos em todas as etapas deste trabalho Muito obrigada por sua orienta o amizade disponibilidade e principalmente por ter acreditado em mim Aos membros da banca examinadora pelo olhar cr tico e competente cujas contribui es e sugest es foram importantes para o aperfei oamento deste trabalho Aos professores do PPGEP da UFSC por tudo que me ensinaram e me ajudaram a descobrir Pontif cia Universidade Cat lica do Paran por ter permitido que eu realizasse este doutorado Ao pesquisador Didier Chincholle por todo o material de pesquisa que me indicou literatura de excelente conte do que muito me auxiliou neste trabalho A Edgar Alves pela inestim vel ajuda no projeto e na execu o do trip e do suporte da c mera sem fio Ao Prof Flavio Bortolozzi da PUCPR por sempre ter me incentivado em meus projetos Ao Prof Mardson Freitas de Amorim da PUCPR pelo imensur vel apoio na prepara o e montagem dos equipamentos do laborat rio de testes Ao Prof Marco Eleut rio e sua equipe do CEAD da PUCPR pela disponibiliza o de local e equipamentos para os testes Ao Prof Ricardo Ehlers e Sandro Sartori da UFPR pelo apoio durante a fase de an lise estat stica dos dados Meu agradecimento muito especial a todas as pessoas que com muita boa vontade e simpatia participaram dos ensaios de intera o sem voc s este
113. do usu rio em rela o ao usu rio especialista A efici ncia do especialista foi considerada a m dia entre a efici ncia de tr s usu rios especialistas que executaram as mesmas tarefas com os mesmos equipamentos e nos mesmos contextos que os demais participantes A efici ncia relativa foi calculada pela f rmula Efici ncia relativa efici ncia do usu rio efici ncia do especialista X100 4 3 7 5 Per odo produtivo O per odo produtivo foi definido em fun o do tempo considerado produtivo durante a execu o da tarefa e foi calculado pela f rmula Per odo produtivo tempo total tempo ajuda tempo busca tempo snag X 100 tempo total O per odo produtivo foi obtido subtraindo do tempo total de dura o da tarefa o tempo perdido com as a es improdutivas Durante a an lise das fitas de v deo a classifica o das a es do usu rio em rela o ao tempo de execu o da tarefa foi baseada no esquema representado na figura 46 133 Que tipo de acao esta Esta a o contribuiu para o resultado da tarefa TEMPO PRODUTIVO O usu rio obteve informa es sobre o sistema SIM TEMPO AJUDA O usu rio percorreu diversos menus que n o continham a informa o procurada Esta a o teve qualquer efeito direto ou indireto no resultado da tarefa Esta a o deve ser classificada em uma das categorias anteriore
114. dutivo e efici ncia relativa do usu rio 178 6 1 1 3 Carga de Wap all Gress ess Ae Ran RE CE ake fd 179 6 1 2 Desempenho das avalia es nos tr s contextos de avalia o 180 6 2 DISCUSS O sol asi se ected ent ee EE AS Sa A RN 181 6 3 CONCIUSAO cssesises sicrrs estreia iraiei io EE bd aaa nb 185 6 4 Recomenda es para trabalhos futuros neern 190 REFERENCIAS ui deat ett eae eae aes 192 AP NDICE A Roteiro com as informa es fornecidas ao participante 201 AP NDICE B Question rio Perfil do Usu rio t 202 AP NDICE C Instrumento para acompanhar a avalia o 206 AP NDICE D Question rio Avalia o Geral sobre WAP 207 AP NDICE E Instrumento para acompanhar a an lise da fita de WIG cctta decir eta ste A IRAM PIA RO SA DEDE GER RR RSRS E RR ER RR 208 Figura 1 Numero de usuarios de telefonia m vel e Internet no mundo Figura 2 Planta m vel brasileira em milh es de usu rios LISTA DE FIGURAS Figura 3 Fatores que promovem o incremento da mobilidade Figura 4 O computador pessoal a sc0 auiw aL anivic eterna eases Figura 5 Exemplos de telas pequenas PDA e telefone celular Figura 6 Exemplo de tela pequena rel gio de pulso Figura 7 Teclado Fastap Figura 8 Miniteclado QWERTY em PDA e telefone celular
115. e apresenta o de conte do para maximiza o de espa o sem sobrecarregar a area de visualiza o S o diversos os modelos de telas que variam quanto dimens o ao uso de cores a ser sens vel ao toque e possibilidade de mostrar bitmaps As telas devem continuar pequenas e podem at ser menores que as dos telefones celulares atuais A figura 6 mostra um rel gio com v rios recursos de PDA como agenda de compromissos cat logo de telefones calend rio e calculadora A tela sens vel ao toque e pode ser ativada com uma mini caneta que est embutida na pulseira Fossil 2003 33 Figura 6 Exemplo de tela pequena rel gio de pulso Fonte Fossil 2003 O Copyright 2003 Fossil Inc Todos os direitos reservados Neste exemplo de computador de m o o usu rio visualizar em pequenas telas coloridas as horas em fun o da sua localiza o informa es sobre o tempo conte do da Internet e mensagens de texto al m de poder armazenar e reproduzir m sicas v deos e fotografias Hansell 2003 Microsoft 2003a 1 1 2 Entrada de dados Quanto entrada de dados n o existe ainda para os computadores de m o uma tecnologia padronizada como o teclado e o mouse para o computador de mesa A forma de entrada de dados difere de um equipamento para outro podendo ser na forma de bot es e controles para facilitar a navega o miniteclados ou tela de toque Os telefones celulares normalmente possuem miniteclados al
116. e conducted according to three different approaches i using a computer based mobile phone emulator inside the laboratory ii using a mobile phone inside the laboratory and iii using a mobile phone in the field in a more realistic environment The results showed that it is possible to obtain satisfactory results in usability tests of a mobile user interface using a computer based emulator provided the evaluation context is defined as close as possible to the usage context mainly assuring the similarity between the interfaces It was also noticed that the position of the user and the way he holds the mobile phone are factors that affect the interaction with the interface and should be taken into consideration as well as that the execution of concurrent tasks may interfere in the results of usability measured and problem identification New techniques that allow the user to use a mobile device in real situations that is in movement in many different places being exposed to external interferences while registering the interaction are necessary to help in the usability evaluation of the mobile devices In this sense the wireless camera system especially developed for this research proved to be an excellent solution to record in video and audio the user s interaction with the mobile device independently of where the evaluation takes place either inside or outside the lab Keywords usability evaluation mobile devices usability testing m
117. elo m todo MUSIC Macleod 1997 Bevan 1998 129 A ISO 9241 11 1998 define usabilidade como a efici ncia a efic cia e a satisfa o com as quais determinados usu rios realizam determinadas tarefas em um determinado contexto de uso Uma vez determinadas as componentes da usabilidade por esta defini o foi utilizado o M todo de Medida da Performance Cooper 1995 parte integrante do projeto MUSIC Macleod 1997 para estabelecer as defini es e os m todos de medidas dessas componentes As medidas de performance a partir das quais derivaram as m tricas de usabilidade s o obtidas a partir da an lise do resultado da tarefa produzido pelo usu rio e da fita de v deo da sess o 4 3 7 2 Efic cia da tarefa Para cada uma das tarefas foram definidos crit rios para medir a qualidade e a quantidade do resultado da tarefa em fun o do objetivo atingido pelo usu rio A efic cia foi ent o calculada pela f rmula Efic cia qualidade X quantidade 100 O quadro 4 apresenta os crit rios de qualidade e quantidade definidos para cada uma das tarefas Quadro 4 Defini o de qualidade e quantidade para as tarefas TAREFA OBJETIVO QUALIDADE QUANTIDADE Encontrar a data o hor rio e o Encontrar o card que Percentual da advers rio do pr ximo jogo do apresenta a lista dos informa o 1 Internacional no campeonato pr ximos jogos encontrada 35 brasileiro de futebol dat
118. empo a mobilidade quebra tamb m a barreira do espa o tornando poss vel a qualquer hora e em qualquer lugar o acesso a informa es e servi os que antes s eram obtidos atrav s do computador pessoal que estava fixo sobre a mesa em casa ou no local de trabalho Taurion 2003 Weiss 2002 classifica o computador pessoal em quatro categorias principais conforme a figura 4 computador computador de mesa Portabilidade Figura 4 O computador pessoal Fonte Weiss 2002 30 Os laptops sao os primeiros computadores pessoais portateis com dispositivos de entrada e sa da de dados muito similares ao computador de mesa Os palmtops s o menores que os laptops e ja podem ser levados dentro do bolso ou da bolsa entretanto ainda sao melhor operados quando apoiados sobre uma superficie Para ser considerado um computador de mao o equipamento deve atender as tr s seguintes caracteristicas Weiss 2002 e Deve funcionar sem cabos exceto temporariamente como para a recarga el trica ou para sincroniza es com o computador de mesa e Deve ser operado facilmente com uma unica m o sem a necessidade de estar apoiado sobre uma mesa e Deve permitir a adi o de novos aplicativos ou suportar conex o a Internet De acordo com essa defini o podem ser considerados exemplos de computadores de m o os PDAs Personal Digital Assistants os telefones celulares e os equipamentos h bridos que acumulam as caracter sticas dos
119. enhuma das tarefas N o houve diferen a significativa entre a efici ncia medida no contexto do Estes resultados sugerem que o maior tempo para a execu o das tarefas no contexto da c mera de documentos n o pode ser atribu do ao uso do telefone celular mas provavelmente foi ocasionado em fun o das condi es de teste da c mera de documentos dentro do laborat rio 5 1 3 Efici ncia relativa do usu rio em rela o ao usu rio especialista Para as tarefas 4 a 5 F 3 32 1 74 p 0 19 e 7 a 5 F 3 32 0 57 p 0 56 n o houve diferen a estatisticamente significativa entre as m dias obtidas nos tr s contextos de avalia o figura 51 80 70 60 50 40 30 20 10 0 TAREFA 1 TAREFA 2 TAREFA 3 TAREFA 4 TAREFA 5 TAREFA 6 TAREFA 7 DB EMULADOR 20 31 40 55 52 03 48 54 18 03 36 50 34 49 EC MERA DE DOCUMENTOS 16 65 35 78 44 30 33 02 11 21 28 62 26 49 O C MERA SEM FIO 52 52 73 14 65 72 51 97 37 20 58 92 24 53 Figura 51 Resultados para a efici ncia do usu rio em rela o ao usu rio especialista 154 A efici ncia relativa do usu rio em rela o ao usu rio especialista para as tarefas 1 2 3 5 e 6 foi maior no contexto da c mera sem fio em rela o aos outros dois contextos de avalia o a 5 F 3 32 5 36 p 0 0096 F 3 32 10 99 p
120. entes da usabilidade Fonte Adaptado de Bevan 2002 e NBR 9241 11 e Contexto de uso A an lise do contexto de uso vai permitir a especifica o das caracter sticas dos usu rios das tarefas que eles executam e das circunst ncias reais de uso A partir desta especifica o poss vel determinar quais atributos do contexto de uso ir o afetar a usabilidade e portanto dever o ser analisados durante o processo de avalia o assegurando desta forma a valida o dos resultados Thomas 1996 O quadro 2 ilustra alguns dos principais atributos do contexto de uso Quadro 2 Atributos do contexto de uso 61 Sistema Usuarios Tarefas Sistema ou produto Usuario Para cada tarefa da lista Nome Nome Nome Vers o Descri o Finalidade Principais reas de aplica o Principais fun es Mercado alvo Para cada tipo de usu rio Tipo Papel Objetivo Principais benef cios com o uso do sistema produto Custos no uso do sistema produto Tipo prim rio secund rio indireto Experi ncia habilidades conhecimento Experi ncia com o produto Experi ncia relacionada ao uso do produto Conhecimento da tarefa Conhecimento organizacional N vel de treinamento Habilidade com os dispositivos de entrada de dados Qualifica o Habilidades de linguagem Atributos pessoais Idade Sexo Capacidades f sicas e cognitivas Limita es f sicas e cognitivas Atitudes Caracter sticas Objetivos resultados Pas
121. era o no contexto de avalia o da minic mera SOMA TO parana ai ri id Du Di rr Rai ie ra ita 122 Figura 44 Emulador e telefone celular 123 Figura 45 Diferen as entre as telas do emulador e do telefone celular 124 Figura 46 rvore de decis o para categorizar as a es do usu rio em rela o ao tempo de execu o da tarefa neee 133 Figura 47 Resultados para a efic cia da tarefa 147 Figura 48 Percentual dos usu rios que completaram a tarefa 148 Figura 49 Telas da tarefa 1 no emulador e no telefone celular 149 Figura 50 Resultados para a efici ncia do usu rio 152 Figura 51 Resultados para a efici ncia relativa do usu rio em rela o ao usu rio Especialistas z 2220 saeedsnese E 153 Figura 52 Resultados para o per odo produtivo cccceceeceeeeeeeteeeeeeneeeees 155 Figura 53 Resultados para o question rio SUS 157 Figura 54 Resultados para o NASA TLX eeeeeeeeeeeneeeeeeeeeeeeeneeeeennaeeees 158 Figura 55 Percentual de problemas encontrados por contexto de avalia o 160 Figura 56 Numero total de problemas de usabilidade distribuidos por contexto de AV aAllAC AO ns acc ee og scan aa Rad dcacces ava dd Rana DER Meee tocar Figura 57 Total dos graus de severidade dos problemas de usabilidade encontrados por contexto de avalia o
122. ero de problemas de usabilidade ou seja 95 35 de todos os problemas encontrados Este valor corresponde a 8 a mais de problemas de usabilidade identificados em rela o ao contexto da c mera sem fio e 17 a mais em rela o ao contexto do emulador Considerando o n mero de problemas de usabilidade identificados o contexto do emulador apresentou um resultado extremamente satisfat rio uma vez que foi capaz de identificar mais de 80 do total de problemas Dentre os 43 problemas de usabilidade identificados 32 foram comuns aos tr s contextos de avalia o Os 11 restantes se distribuem entre os diferentes contextos de avalia o como ilustra a figura 56 161 Emulador Camera de documentos Camera sem fio Figura 56 Numero total de problemas de usabilidade distribuidos por contexto de avalia o A partir da an lise da distribui o dos problemas constata se que n o houve nenhum problema de usabilidade identificado exclusivamente no contexto do emulador entretanto os contextos da c mera de documentos e da c mera sem fio detectaram 2 problemas exclusivos cada um Do total de 8 problemas que n o foram identificados no contexto do emulador somente um deles era um problema relativo s caracter sticas do aparelho de telefone celular que estava sendo utilizado e n o poderia ter ocorrido no emulador Este problema se refere habilita o de um campo para entrada de texto No emulador este campo j aparece hab
123. esultados para a efici ncia do usuario Como a eficacia para as tarefas 2 3 e 6 foi 100 nos tr s contextos podemos concluir que a menor efic ncia nessas tarefas decorre do fato de que no contexto da camera de documentos os participantes levaram mais tempo para atingir os objetivos em rela o aos participantes que realizaram os testes no emulador Esta constata o comprovada quando fazemos a ANOVA para os tempos m dios nos tr s contextos e verificamos que o tempo no contexto da c mera de documentos sempre maior para as tarefas 2 3 e 6 a 5 F 3 32 5 96 p 0 0061 F 3 32 3 87 p 0 03 F 3 32 5 11 p 0 01 A menor efici ncia para a tarefa 5 pode ser atribu da ao fato de que 3 participantes desistiram de completar esta tarefa no contexto da c mera de documentos e os que conseguiram complet la levaram mais tempo neste contexto do que no contexto do emulador Entre os contextos da c mera de documentos e da c mera sem fio n o houve diferen a significativa para a efici ncia das tarefas exceto para a tarefa 2 onde a efici ncia do usu rio foi menor tamb m no contexto da c mera de documentos Como a efic cia desta tarefa foi 100 nos dois contextos esta diferen a na 153 efici ncia pode ser atribu da ao maior tempo que os usuarios levaram para executa la no contexto da c mera de documentos em rela o ao contexto da camera sem fio a 5 F 3 32 5 96 p 0 0061 emulador e no contexto da camera sem fio em n
124. etamente Discordo Neutro Concordo Concordo completamente 1 Eu penso que gostaria de usar este sistema frequentemente 2 Achei este sistema desnecessariamente complexo 3 Achei que foi facil usar este sistema 4 Eu penso que precisaria de ajuda para poder usar este sistema 5 Achei que as v rias fun es deste sistema estavam bem integradas 6 Achei que havia muita inconsist ncia neste sistema 7 Eu imagino que a maioria das pessoas aprenderia a usar este sistema rapidamente 8 Achei este sistema muito inc modo de usar 9 Eu me senti muito seguro a utilizando este sistema 10 Eu precisei aprender muitas coisas antes de utilizar este sistema SUS System Usability Scale O Copyright 1986 Digital Equipment Corporation ANEXO A Question rio de Satisfa o SUS
125. f Usability Testing how to plan design and conduct effective tests USA John Wiley amp Sons Inc 1994 Savage P User interface evaluation in an iterative design process a comparison of three techniques CHI 96 short paper Conference on Human Factors in Computing Systems Vancouver Canada April 13 18 1996 Scapin D Berns T Usability evaluation methods Behaviour amp Information Technology vol 16 4 5 185 187 1997 Sears A Zha Y Data entry for mobile devices using soft keyboards understanding the effects of keyboard size and user tasks International Journal of Human Computer Interaction 16 2 163 184 2008 Sears A Heuristic Walkthroughs finding the problems without the noise International Journal of Human Computer Interaction 9 3 213 234 1997 Senseboard Dispon vel em http Anww senseboard com Acesso em janeiro de 2008 Shackel B Usability context framework design and evaluation In Shackel B and Richardson S eds Human Factors for Informatics Usability Cambridge University Press Cambridge 21 38 1991 Silfverberg M The one row keyboard a case study in mobile text input In Lindholm C Keinonen T Kiljander H Mobile Usability How Nokia changed the face of the mobile phone New York NY USA Mc Graw Hill 2003 200 Sony Ericsson Dispon vel em http Awww sonyericsson com Acesso em mar o de 2003 Spool J Schroeder W Testing Web sites five use
126. fanum ricos nos quais preciso pressionar v rias vezes a mesma tecla at encontrar a letra desejada Este um m todo conhecido como multi tap que apesar de ser um m todo de entrada de dados padr o em todo o telefone celular considerado dif cil 34 pouco intuitivo Weiss 2002 Uma alternativa para a entrada de dados mantendo o mesmo teclado o uso de texto preditivo ou seja o usu rio vai pressionando as teclas que cont m a letra desejada uma nica vez e o software vai adivinhar o que ele est querendo escrever a partir de um banco de palavras Alguns estudos de usabilidade Weiss 2001 verificaram que o usu rio fica confuso em fun o da diferen a entre o que ele est querendo digitar e o que est aparecendo na tela Esta tecnologia conhecida como T9 T9 2003 est presente em v rios modelos de telefones celulares como um m todo alternativo para a entrada de dados Outras alternativas s o o uso do teclado Fastap Digitwireless 2003 que um teclado com leves sali ncias onde est o as letras e depress es onde est o os n meros figura 7 desta forma cada caracter pode ser pressionado diretamente uma nica vez Este teclado tamb m possui uma vers o QWERTY em tamanho menor ao de um cart o de cr dito Figura 7 Teclado Fastap Fonte Digitwireless 2003 O Copyright 2003 Digitwireless Todos os direitos reservados Os miniteclados QWERTY comuns em PDA s tamb m est o presente
127. foi poss vel identificar 81 4 dos problemas Este contexto tamb m foi capaz de identificar 75 dos problemas de impacto 3 considerados os problemas de maior gravidade embora estes problemas tenham aparecido com uma frequ ncia muito menor em rela o aos outros dois contextos de avalia o 6 2 Discuss o O contexto do emulador a situa o de avalia o mais simples de ser executada uma vez que n o exige equipamentos especiais para registrar a intera o e n o h a necessidade de utilizar o equipamento real no qual a aplica o ser utilizada A pertin ncia dos problemas de usabilidade identificados no contexto do emulador depende da similaridade entre a interface do emulador e a interface do telefone real utilizado As pequenas diferen as existentes nas interfaces escolhidas neste experimento mostraram que uma leve mudan a na interface do emulador como um maior n mero de linhas por exemplo pode causar uma repercuss o muito grande na usabilidade verificada para melhor ou para pior Ao mesmo tempo em que foi a situa o que apresentou os melhores resultados para a avalia o o contexto da c mera de documentos foi para o participante a situa o mais desfavor vel Isto se deve n o s quest o do local do laborat rio mas principalmente aos equipamentos utilizados para registrar a intera o Apesar de todos os participantes terem sido un nimes em 182 afirmar que o trip e a camera de documentos n o at
128. gundo caso foi contado tamb m o n mero de voltas que o participante completava De acordo com os resultados deste estudo a usabilidade foi afetada maior carga cognitiva e uma redu o de 32 na entrada de dados quando o equipamento foi usado fora do laborat rio Para o autor este resultado sugere que utilizar uma aplica o de entrada de dados em um computador de m o em um ambiente mais pr ximo ao real pode afetar significativamente a intera o Brewster 2002 p 191 afirma que importante testar ao ar livre em situa es mais reais com o usu rio tentando utilizar a interface enquanto executa outras tarefas como andar na rua Os equipamentos m veis n o devem ser testados somente dentro do laborat rio onde muitos problemas importantes com a interface podem passar despercebidos 3 4 Minic meras para avalia o de usabilidade de computadores de m o Para Nyysonnen 2002 ao executar testes de usabilidade com aplica es m veis em equipamentos port teis as pessoas gostariam de poder segur los nas m os e mover se livremente como elas fariam normalmente Entretanto quando necess rio filmar a intera o a utiliza o de c meras comuns para filmar telas pequenas em movimento pode n o trazer resultados muito precisos O autor 107 apresenta uma solu o composta de uma minic mera acoplada diretamente ao telefone celular e ligada por um fio at uma filmadora que grava a imagem que est sendo transmitid
129. hipot tico que representa o custo para o ser humano em conseguir um determinado n vel de rendimento Arquer 2001 A experi ncia subjetiva da carga de trabalho resume as influ ncias de diversos fatores al m das demandas objetivas impostas pela tarefa Assim a carga n o uma caracter stica inerente tarefa mas o resultado da intera o entre os requisitos da tarefa as circunst ncias em que ela se realiza as capacidades a conduta e a percep o do participante Esta carga de trabalho pode 136 ser medida e os m todos subjetivos de avalia o de carga de trabalho sao de ampla aplica o devido a sua facilidade de uso validade e aceita o Valdehita 1999 Com o objetivo de avaliar a carga de trabalho subjetiva dos participantes em rela o ao contexto de avalia o no final do ensaio de intera o foi aplicado o m todo NASA Task Load Index NASA TLX 1986 m todo recomendado pela ISO 9241 11 1998 e pelo MUSiC Macleod 1997 O NASA TLX um procedimento de valora o multidimensional que fornece uma pontua o global para a carga de trabalho Este valor obtido a partir da m dia ponderada das pontua es em seis fatores demanda mental demanda f sica demanda temporal esfor o performance e frustra o A aplica o deste m todo se d em duas etapas pontua o e pondera o Na fase de pontua o o participante deve estimar a carga de trabalho em rela o a cada um dos seis fatores marcando uma
130. ia o foram extremamente satisfat rios e serviram de base para importantes decis es sobre as dire es do projeto Apesar de todas as limita es utilizar um emulador no computador pode ser a nica op o quando n o poss vel ter acesso ao equipamento real que deve ser testado Al m de ser poss vel utilizar um emulador para cada uma das plataformas 91 que sera avaliada cada integrante da equipe de desenvolvimento pode ter uma c pia do emulador em seu pr prio computador diferentemente do equipamento real que precisaria ser compartilhado entre todos Outro ponto a ser considerado em rela o r pida evolu o dos equipamentos pois qualquer atualiza o que seja feita no equipamento real poder ser reproduzida no emulador rapidamente e praticamente sem custos o que nem sempre poss vel de realizar nos equipamentos de teste Pearrow 2002 3 2 Avalia o de usabilidade com o equipamento real Chittaro 2001 optou por utilizar um telefone WAP real em seus testes para avaliar diferentes estilos de navega o em sites WAP por n o acreditar que estudos sobre sites WAP utilizando emuladores no computador pudessem fornecer indica es confi veis da performance do usu rio Quando a avalia o de usabilidade realizada com o pr prio equipamento e se deseja gravar em v deo a intera o um recurso que pode ser empregado a c mera de documentos figura 29 A c mera colocada sobre uma mesa com o
131. ia diferen a significativa entre os resultados das avalia es realizadas dentro e fora do laborat rio nesses novos contextos de avalia o 193 REFERENCIAS ABNT Guia para utiliza o das normas sobre avalia o de qualidade de produto de software ISO IEC 9126 e ISO IEC 14598 ABNT Associa o Brasileira de Normas T cnicas Curitiba Maio 1999 ANATEL PASTE 2000 Perspectivas para Amplia o e Moderniza o do Setor de Telecomunica es para o per odo 2000 2005 ANATEL Ag ncia Nacional de Telecomunica es Brasilia 2000 Ara A B Musetti A V Schneiderman B Introdu o Estat stica S o Paulo Instituto Mau de Tecnologia Edgard Blucher Ltda 2003 Arquer l Nogareda C Estimaci n de la carga mental de trabajo el m todo NASA TLX NTP e 544 2001 Bastien J M C Scapin D Evaluating a user interface with ergonomic criteria International Journal of Human Computer Interaction 7 105 121 1995 Bergman E Information Appliances and Beyond interaction design for consumer products San Diego CA Academic Press 2000 Bevan N Usability is Quality of use Proceedings of the 6 International Conference on Human Computer Interaction Yokohama July 1995 Bevan N Common Industry format usability tests Proceedings of UPA 98 Scottsdale Arizona 29 June 2July 1999a Bevan N Quality in use meeting user needs for quality Journal of System and Software 49 1 89 96 1999b Be
132. iar este deslocamento na macro navega o foi desenvolvido um prot tipo que utiliza GPS para localizar o usu rio em rela o rua aos n meros das casas aos pontos tur sticos pr ximos e tamb m as informa es de interesse espec fico para os viajantes cegos A intera o com o sistema pode ser ativada pelo usu rio quando ele n o tem certeza de sua localiza o ou pelo sistema quando o pr prio sistema manda algum sinal de aviso ao usu rio O sistema composto por um fone de ouvido para recebimento das mensagens pr gravadas colocado na frente das orelhas e n o sobre elas uma pulseira com oito teclas para a entrada de dados e a caixa com as baterias que pode ser levada nos bolsos ou em uma sacola Participaram do experimento sete pessoas com idades entre 18 e 65 anos todas cegas Os participantes estudavam dois trajetos desconhecidos utilizando o MoBIC Indoor System sistema de voz para estudo de mapas e planejamento de rotas Quando estivessem seguros eles deveriam sair e percorrer esses trajetos Na primeira vez eles fariam uso do MoODS e da sua bengala ou c o guia Na segunda vez o trajeto era percorrido sem o MoODS somente com a bengala ou c o guia Cada trajeto tinha aproximadamente 1 km e os dois trajetos apresentavam o mesmo n vel de dificuldade A performance do usu rio foi medida objetivamente atrav s do tempo necess rio para percorrer o trajeto n mero de erros cometidos n mero de vezes que o MoODS foi aci
133. icamente significativas somente para a tarefa 1 onde o per odo produtivo foi menor no contexto do emulador em rela o aos outros dois contextos de avalia o a 5 F 3 32 4 44 p 0 01 90 80 70 60 50 40 30 20 10 0 TAREFA 1 TAREFA 2 TAREFA 3 TAREFA 4 TAREFA 5 TAREFA 6 TAREFA 7 DB EMULADOR 47 48 69 72 77 48 50 34 34 79 68 78 51 59 mCAMERA DE DOCUMENTOS 79 10 59 00 73 08 64 10 21 93 63 61 38 47 OC MERA SEM FIO 78 58 66 49 81 33 65 40 31 04 71 22 30 29 Figura 52 Resultados para o per odo produtivo Para as demais tarefas n o houve diferen a estatisticamente significativa entre as m dias dos tempos produtivos nos tr s contextos de avalia o a 5 F 3 32 1 08 p 0 35 F 3 32 0 39 p 0 67 F 3 32 1 79 p 0 18 F 3 32 1 06 p 0 35 F 3 32 0 40 p 0 67 F 3 32 1 55 p 0 32 para as tarefas 2 a 7 respectivamente 156 O periodo produtivo foi menor na primeira tarefa para o contexto do emulador em rela o aos outros dois contextos e n o houve diferen a significativa entre os contextos da c mera de documentos e da c mera sem fio para esta mesma tarefa Este resultado indica que na execu o da primeira tarefa os participantes que utilizaram o emulador perderam mais tempo esbarrando em problemas em rela o aos participantes que utilizaram o telefone celular nos outros dois contextos Entretanto essa diferen
134. ice D 4 5 5 Debriefing Ao final da avalia o foi realizada uma discuss o com o participante para obter coment rios gerais sobre a avalia o e esclarecimentos sobre as poss veis dificuldades que ele poderia ter enfrentado durante a intera o Ap s o debriefing a avalia o estava encerrada 4 6 Levantamento dos dados Ap s a realiza o de todos os ensaios de intera o foram quantificados os dados dos question rios aplicados Perfil do Usu rio SUS NASA TLX Avalia o Geral WAP e cada uma das fitas de v deo foi detalhadamente analisada 4 7 An lise das fitas de v deo As sess es geraram um total de 32 horas de fita de v deo que foram analisadas com os seguintes objetivos e Medir o tempo total de dura o da tarefa e Medir o tempo gasto em a es improdutivas classificando e medindo separadamente o tempo de help busca e snag 143 e Analisar o resultado da tarefa executada pelo usu rio para determinar com que efic cia os objetivos foram atingidos quantificando Qualidade e Quantidade de acordo com a defini o destes crit rios para cada uma das tarefas e Identificar os problemas de intera o enfrentados pelo usu rio classificando os por grau de impacto Nesta etapa eram utilizadas tamb m as anota es feitas pelo avaliador durante os ensaios de intera o com o usu rio Para cada uma das tarefas a fita foi assistida pelo menos tr s vezes Na primeira vez foi medido o tempo total que o
135. ices de carga de trabalho uma vez que o usu rio estava exposto a um ambiente externo que exigiria maior concentra o nas tarefas em rela o ao ambiente do laborat rio Entretanto durante a realiza o dos ensaios o avaliador percebeu que os usu rios que participaram dos ensaios no contexto da c mera sem fio estavam completamente vontade no ambiente externo concentrados nas tarefas que estavam executando sem enfrentar maiores dificuldades na intera o e apresentando ndices de usabilidade medida em muitas oportunidades superiores ao obtidos nos ensaios de intera o realizados dentro do laborat rio Esta constata o confirmada pelos resultados da avalia o da carga de trabalho NASA TLX que n o mostraram diferen as significativas nos tr s contextos de avalia o Assim o ambiente externo n o foi respons vel por um maior ndice de carga de trabalho ao mesmo tempo em que se p de constatar que o ambiente da c mera de documentos mesmo com indices menores para a usabilidade medida n o foi visto pelo participante como maior gerador de carga de trabalho Ou seja o desconforto causado pelo trip e a c mera de documentos foi uma tarefa cognitiva concorrente que apesar de ter contribu do para diminuir os ndices da usabilidade medida para os usu rios no contexto da c mera de documentos n o foi percebida pelo usu rio como uma maior fonte de carga de trabalho 180 Estes resultados indicam que houve um
136. ificados severidade desses problemas e n mero de horas gastas na avalia o 176 6 1 1 Usabilidade medida nos tr s contextos de avalia o O quadro 5 apresenta um resumo da compara o dos resultados da usabilidade medida nos tr s contextos de avalia o indicando onde ocorreu uma diferen a estatisticamente significativa para esses resultados Quadro 5 Resumo das diferen as significativas na usabilidade medida nos tr s contextos de avalia o C mera de documentos C mera de documentos C mera sem fio X X Emulador C mera sem fio Emulador Satista o E o eee Carga de Trabalho X Tarefa Tarefa 1 2 83 5 6 7 1 711 2 13 14 5 6 7 1 Eficacia ene Efici ncia E bee ze Per odo Produtivo Efici ncia Relativa menor no contexto da C MERA DE DOCUMENTOS E menor no contexto do EMULADOR 3 maior no contexto da C MERA SEM FIO 6 1 1 1 Efic cia efici ncia e satisfa o Verifica se que as medidas de efic cia e efici ncia para algumas tarefas foram menores no contexto da c mera de documentos em rela o aos outros dois contextos de avalia o Os resultados da avalia o de satisfa o do usu rio em rela o intera o com o sistema tamb m foram significativamente 177 menores no contexto da camera de documentos Ou seja o contexto da camera de documentos impactou negativamente na usabili
137. ilitado enquanto que no telefone celular necess rio que o usu rio pressione uma tecla antes de dar in cio digita o Como n o h nenhuma indica o de que necess rio este passo a mais para habilitar o 162 campo Os participantes ficaram bastante confusos A interface do emulador facilitou a usabilidade neste contexto uma vez que o campo ja aparece habilitado 5 2 2 Severidade dos problemas de usabilidade A figura 57 mostra que o contexto da camera de documentos foi o contexto que totalizou o maior grau de severidade de problemas tendo um resultado 23 superior em rela o ao contexto da c mera sem fio e 59 superior em rela o ao contexto do emulador Entre os contextos da c mera sem fio do emulador o contexto da c mera sem fio apresentou um resultado 29 superior 400 350 300 250 E EMULADOR 200 mC MERA DE DOCUMENTOS 150 O C MERA SEM FIO 100 50 0 Figura 57 Total dos graus de severidade dos problemas de usabilidade encontrados por contexto de avalia o A an lise da figura 58 mostra que os problemas de usabilidade identificados ocorreram com uma frequ ncia muito maior no contexto da c mera de documentos para todos os graus de impacto do problema 163 GEmulador E C mera de Documentos O C mera Sem Fio Impacto 1 Impacto 2 Impacto 3 Figura 58 Frequ ncia dos problemas de usabilidade distribu dos por impacto Os problemas de impact
138. incidentes na intera o A severidade dos problemas de usabilidade um fator importante quando se comparam m todos de avalia o pois ser capaz de encontrar um grande n mero de problemas n o priorit rios n o torna um m todo melhor que outro Desurvire 1994 Portanto para poder identificar a capacidade do m todo em identificar problemas mais graves a cada problema de usabilidade identificado foi atribu do um grau de severidade definido em fun o de dois fatores o impacto que o problema causou no usu rio e a frequ ncia com que ele ocorreu Jeffries 1991 Grau de severidade f impacto n mero de usu rios O impacto foi definido como uma escala de tr s pontos Desurvire 1994 e Impacto 1 o usuario fica um pouco confuso ou aborrecido e hesita rapidamente e Impacto 2 o usu rio levado a um erro do qual ele consegue se recuperar e Impacto 3 o usu rio levado a um erro do qual ele n o consegue se recuperar impossibilitando o de concluir a tarefa com sucesso A frequ ncia foi definida em fun o do n mero de usu rios que enfrentaram aquele problema 139 4 4 2 Defini o das medidas e m tricas de desempenho das avalia es A qualidade das avalia es realizadas nos tr s diferentes contextos foi especificada em fun o das seguintes medidas e m tricas e O n mero total de problemas de usabilidade identificados Lavery 1997 e A soma dos graus de severidade de todos os problemas de us
139. inhas a mais de texto Figura 45 Diferen as entre as telas do emulador e do telefone celular 4 3 5 Defini o da amostra de participantes Foram selecionados ao todo 36 participantes divididos em tr s grupos de 12 pessoas Segundo Rubin 1994 e Spyridakis 1992 10 pessoas o n mero m nimo de participantes por grupo de teste se houver a necessidade de analisar os resultados estatisticamente Cada um dos usu rios participou de um nico ensaio de intera o e como recomendado em Nielsen 1993a os participantes foram distribu dos aleatoriamente formando tr s grupos homog neos A escolha dos usu rios deve sempre ser realizada de forma que eles sejam t o representativos quanto poss vel em rela o aos usu rios reais do sistema Rocha 2003 Devido inexist ncia de estudos que identifiquem o perfil do usu rio WAP no 125 Brasil optou se por seguir o perfil definido em estudos similares como Nielsen 2000 Os participantes deveriam atender aos seguintes crit rios e Usuarios de telefone celular Nielsen 2000 Weiss 2000 Qualquer pessoa que possua um aparelho de telefone celular pode ser considerado um usuario em potencial dos servi os de dados e N o s o usuarios do servi o WAP como em Nielsen 2000 Chittaro 2001 Vyas 2002 A coloca o de Chittaro 2001 p 6 se aplica realidade brasileira atualmente para o autor escolha de usu rios novatos se justifica uma vez que o acesso a dados at
140. internas descreve m tricas que s o aplicadas ao produto de software n o execut vel durante as fases de codifica o As m tricas para avaliar a qualidade em uso est o descritas no documento ISO IEC 9126 4 ABNT 1999 2 1 4 3 ISO IEC 14598 A norma ISO IEC 14598 partes 1 a 6 descreve o processo a ser utilizado para a avalia o de um produto de software Ela est organizada em diferentes objetivos de avalia o segundo o ponto de vista do desenvolvedor do adquirente e do avaliador independente A ISO IEC 14598 1 1999 tamb m define o conceito de qualidade em uso como a extens o na qual um produto utilizado por usu rios espec ficos atende s suas necessidades de atingir objetivos espec ficos com efic cia produtividade e satisfa o em um contexto de uso espec fico Bevan 2002 Desta forma a qualidade em uso a vis o de qualidade a partir do ponto de vista do usu rio e medida em fun o dos resultados da utiliza o do sistema e n o das suas propriedades Bevanb 1999 Esta norma pode utilizar qualquer modelo de qualidade no entanto a aplica o deste processo de avalia o muito mais simples se for utilizado o modelo da 9126 1 pois todas as normas da fam lia 14598 est o fortemente relacionadas a este modelo de qualidade ABNT 1999 51 A figura 15 ilustra o processo de avalia o de produto de software baseado na ISO IEC 14598 1 Estabelecer o prop sito da avalia o Esta
141. lidade do produto em termos das tarefas realizadas pelos usu rios determinar as diretrizes e limita es do projeto 3 Produzir solu es de projeto incorporar conhecimentos de IHC design interativo usabilidade nas solu es de projeto 4 Avaliar projetos em rela o aos requisitos do usu rio a usabilidade do projeto deve ser avaliada em rela o s tarefas dos usu rios Planejar o processo centrado no usu rio Compreender e especificar o contexto de uso Atendeu aos requisitos Especificar os requisitos do usu rio e os requisitos organizacionais Avaliar projetos em rela o aos requisitos do usu rio Produzir solu es de projeto Figura 16 Ciclo de projeto centrado no usu rio ISO 13407 Fonte Maguire 2001 53 A ISO 9241 11 e a ISO 13407 s o duas normas muito importantes relacionadas a usabilidade Jokela 2003 a primeira fornece a defini o de usabilidade enquanto a segunda fornece orienta es sobre como projetar com usabilidade 2 1 4 5 ISO TR 18529 Finalmente a ISO TR 18529 2000 cont m um conjunto estruturado de processos derivados da ISO 13407 referentes ao ciclo de vida do produto Ela pode ser utilizada para avaliar a capacidade de uma organiza o de aplicar as atividades de Projeto Centrado no Usu rio e tamb m para especificar o que necess rio para implementar essa filosofia de processo Bevan 2000 A figura 17 ilustra como as normas
142. m que os crit rios e m todos de IHC precisam ser reconsiderados para atender s necessidades da intera o m vel Johnson 1998 Segundo Johnson 1998 apud Brewster 2002 p 191 os m todos que ignoram o contexto de uso n o s o adequados para avaliar interfaces para equipamentos m veis para o autor 0 laborat rio de usabilidade convencional n o est apto a simular adequadamente aspectos t o espec ficos como as condi es clim ticas por exemplo e n o poderia reproduzir a vasta gama de atividades paralelas e necessidades dos usu rios que ocorrem quando o usu rio est em uma situa o real de uso Waterson 2002 tamb m analisa a import ncia do contexto de uso na avalia o de um computador de m o Para o autor colocar um equipamento m vel para ser testado dentro de um laborat rio normalmente preso sob uma c mera de v deo n o reproduz de forma alguma o ambiente real de uso Os estudos citados relatam a dificuldade de reproduzir dentro do laborat rio todos os elementos pertencentes a um contexto t o din mico e diversificado como o do usu rio m vel Entretanto limita es de tempo e de recursos f sicos e financeiros podem n o permitir a realiza o das avalia es de usabilidade fora do laborat rio e portanto a aplica o de t cnicas tradicionais de avalia o de usabilidade continuam sendo utilizadas para realizar as avalia es destes equipamentos como mostram os estudos de Buchanan 200
143. mente Completamente Figura 71 Opini o sobre o tempo de conex o 173 A qualidade do conte do oferecido tamb m foi considerado um fator importante para a maioria dos participantes como mostra a figura 72 A qualidade do conte do um fator cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 60 47 22 41 67 40 20 0 00 0 Discordo Discordo Neutro Concordo Concordo Completamente Completamente Figura 72 Opini o sobre a qualidade do conte do Embora o custo de acesso desses servi os seja um fator preocupante para a maioria dos participantes como mostra a figura 73 muitos concordam que esse custo pode ser compensado em fun o da utilidade e da praticidade que o servi o pode oferecer ao usu rio m vel O depoimento de um participante ilustra esta perspectiva Eu coloco o custo em um contexto de neg cio se eu estiver no aeroporto pronto para pegar o avi o e precisar enviar um e mail importante eu vou usar o servi o independente de quanto ele custar Este mesmo participante completa o seu racioc nio comprovando o que j foi constatado por Nielsen 2000 e Helyar 2002 em rela o aos servi os de Internet m vel concorrerem com outras m dias como jornais revistas e a pr pria Internet Eu pagaria para mandar esse e mail mas eu n o pagaria para ver a programa o de teatro no Rio de Janeiro Para isso eu compraria um jornal 174 O c
144. mpo e taxas de erros por exemplo para utilizar um produto ou realizar uma nova tarefa pela primeira vez 46 e Aprendizagem o custo para o usuario em atingir um determinado nivel de compet ncia na realiza o de uma tarefa excluindo as dificuldades encontradas para realiz la pela primeira vez e Performance do usu rio experiente PUE o n vel da performance atingido por determinado usu rio ao realizar muitas vezes determinadas tarefas com um determinado produto e Potencial do sistema representa o n vel m ximo de performance que pode ser atingido ao realizar uma determinada tarefa com um produto o limite m ximo do PUE e Re usabilidade indica uma poss vel diminui o da performance que pode ocorrer ap s o usu rio n o utilizar o produto ou n o executar uma determinada tarefa por um determinado per odo de tempo Para Jordan 1998 a usabilidade tamb m n o pode ser considerada isoladamente pois ela uma propriedade da intera o entre o produto o usu rio a tarefa que ele est tentando executar e o ambiente que o cerca 2 1 4 Usabilidade e as normas 2 1 4 1 ISO 9241 11 A norma ISO 9241 de 1998 sobre Requisitos ergon micos para trabalho de escrit rios com computadores cont m 17 partes que abordam diferentes aspectos referentes ao ambiente de trabalho e a pr ticas do projeto de di logo utilizado NBR 9241 11 2002 47 A parte 11 desta norma ISO 9241 11 1998 apresenta
145. n J Mack R L Usability Inspection Methods USA John Wiley amp Sons 1994 p 203 233 Keinonen T Usability of Artifacts In One dimensional usability influence of usability on consumers product preference Helsinki UIAH publication A21 1998 Cap 2 Kittytech Dispon vel em http www kittytech com Acesso em janeiro de 2003 197 Lavery D Cockton G Atkinson M P Comparison of evaluation methods using structured usability problem reports Behaviour amp Information Technology 16 4 5 246 266 1997 Little Springs Design Disponivel em http www littlespringsdesign com design textinput html Acesso em janeiro de 2003 MacKenzie S Soukoreff R W Text entry for mobile computing Models and methods theory and practice Human Computer Interaction 17 147 198 2002 Macleod M Bowden R Bevan N Curson The MUSiC performance measurement method Behaviour amp Information Technology vol 16 n 4 5 279 293 1997 Maguire M Context of use within usability activities International Journal of Human Computer Studies 55 4 453 483 2001 Mayhew D J The Usability Engineering Lifecycle San Francisco CA Morgan Kaufmann 1999 Mcintyre L Lee Remote Usability Testing for a Wireless Device an unorthodox protocol Poster presented at UPA 2002 Orlando Florida USA July 2002 Microsoft Dispon vel em http www microsoft com resources spot product mspx Acesso em janeiro de
146. ncia no uso de telefones celulares Foram escolhidos tr s modelos diferentes de telefones celulares quatro portais WAP de diferentes operadoras e um total de 23 servi os WAP variados como cinema a es livrarias guias de lazer servi os sobre tr nsito ferramentas de busca e servi os sobre sa de Os participantes recebiam os telefones os portais e os provedores de forma rand mica O participante deveria realizar doze tarefas ao final das quais ele respondia a um question rio e a uma entrevista feita pelo avaliador sobre o servi o que ele acabara de utilizar No final do teste era feita uma ltima entrevista geral Ao observar o comportamento do usu rio os seus coment rios e as suas respostas aos question rios e as entrevistas o avaliador p de quantificar a aceitabilidade a utilidade e a usabilidade dos servi os testados 3 3 Avalia o de usabilidade fora do laborat rio Segundo Brewster 2002 p 203 de vital import ncia que os computadores de m o sejam testados em situa es reais para verificar a usabilidade de suas 101 interfaces Os estudos a seguir foram realizados fora do laborat rio procurando colocar o usu rio em uma situa o mais pr xima ao contexto real de uso Waterson 2002 prop e a utiliza o de ferramentas de software espec ficas para a realiza o de testes remotos com usu rios m veis A autora analisa dois tipos de avalia o de usabilidade para acesso Internet com PDAs atrav
147. necess rias para que este se sinta vontade durante a realiza o dos ensaios de intera o Para que isto ocorra importante esclarecer ao usu rio os objetivos do teste as tarefas que ele ir realizar como o teste ser conduzido e qual ser sua dura o de extrema import ncia deixar bem claro ao usu rio que o que est sendo avaliado a interface e n o ele Ao participar de um ensaio de intera o o usu rio pode sentir como se ele estivesse sendo testado o que pode deix lo constrangido e com medo de cometer erros Essa atitude que pode vir a atrapalhar a avalia o pode ser evitada se o papel do usu rio for colocado de forma bem clara no in cio da sess o ele est ali para auxiliar na avalia o da interface e n o para ser testado Os resultados de um ensaio de intera o podem ser muito teis para convencer as pessoas envolvidas no projeto que a interface apresenta problemas mais f cil convencer projetistas e desenvolvedores a conduzir reformula es no projeto quando eles t m a oportunidade de observar pessoalmente os usu rios enfrentando dificuldades no uso da interface Nielsen 1993a Macleod 1997 Esta uma das t cnicas mais recomendadas para avaliar a usabilidade pois segundo Jordan 1998 nada pode substituir a observa o dos usu rios tentando usar um produto 77 2 3 1 1 N mero de usu rios em um ensaio de intera o O n mero de participantes necess rios para realizar um ensaio
148. no uso de telefone celular mas nenhum havia usado uma aplica o WAP anteriormente Os participantes deveriam navegar nos dois sites escolhidos e executar seis tarefas como ler e mail encontrar a programa o de cinema ou as principais manchetes com as ltimas not cias Foi medido o tempo que o participante levou para executar cada tarefa e a maneira como ele a executou Posteriormente as a es do usu rio foram interpretadas para inferir como essas a es estavam relacionadas aos problemas de usabilidade no design da interface O participante era encorajado a comentar todos os problemas de intera o durante a realiza o da tarefa e a sua 89 opini o sobre o site o que ele gostou e o que n o gostou Ap s o teste o participante foi entrevistado para poder criticar e comentar sobre o layout e a apresenta o dos sites Justificando que seu objetivo era somente avaliar a aplicabilidade das guidelines o autor considerou apropriado utilizar um emulador no computador para a avalia o de usabilidade No entanto ele ressalta em seu estudo Vyas 2002 p 50 que Obviamente a avalia o feita com um emulador WAP n o dar os mesmos resultados em termos de usabilidade que a avalia o realizada com um telefone WAP Na avalia o com emuladores aspectos como ergonomia f sica estilos de intera o mecanismos de entrada de dados etc n o ser o aplic veis uma vez que no telefone real eles se d o de forma completamente difere
149. nsaios de intera o realizados fora do laborat rio com o 24 usu rio em uma situa o mais pr xima ao contexto de uso deste tipo de equipamento Para responder a esta quest o de pesquisa este trabalho se prop e a realizar um estudo comparativo entre tr s diferentes abordagens para a realiza o de avalia o de usabilidade dos computadores de m o baseadas na t cnica de ensaios de intera o com os seguintes objetivos Objetivo Geral e Investigar qual a influ ncia exercida pelos diferentes contextos de avalia o nos resultados da avalia o de usabilidade da interface com o usu rio de uma aplica o de Internet m vel para telefone celular baseada na t cnica de ensaios de intera o Objetivos Espec ficos e Esclarecer sobre as atividades e equipamentos necess rios para a montagem e realiza o de ensaios de intera o para avaliar a usabilidade da interface com o usu rio de uma aplica o de Internet m vel para telefone celular segundo tr s contextos de avalia o diferentes emulador operado em laborat rio telefone celular operado em laborat rio e telefone celular operado em campo e Estabelecer um sistema de indices de desempenho da usabilidade e da avalia o que permita a compara o dos tr s contextos de avalia o 25 e Conhecer os resultados da usabilidade medida em cada um dos tr s contextos de avalia o e Elaborar um guia de refer ncia para auxiliar na escolha e na montagem
150. nte Se o produto for novo ou se n o existir um emulador adequado ao equipamento Weiss 2002 sugere a constru o de prot tipos usando programas de autoria multim dia como Toolbook Hypercard ou Flash em p ginas Web Com estas ferramentas poss vel criar v rias imagens que simulam a apar ncia final do produto e definir algumas regi es da tela que podem ser clicadas simulando o seu funcionamento Entretanto como esta abordagem mais limitada uma vez que ela n o proporciona todas as funcionalidades de um emulador ela est mais indicada para demonstra es simples testes de ayout da aplica o ou como uma alternativa ao prot tipo em papel na t cnica de Prototipa o em Papel Nielsen 2003a Bocker 1999 utilizou esta abordagem para avaliar a interface com o usuario durante o projeto de um novo modelo de telefone celular para o qual o equipamento real ainda n o existia Foram constru dos dois prot tipos multim dia no computador simulando dois modelos de interfaces uma com cones e outra somente com texto e estas foram avaliadas para verificar qual a prefer ncia dos usu rios e em qual delas eles obtinnam melhores ndices de desempenho Ao todo 80 pessoas participaram das avalia es Foram escolhidos participantes com e sem experi ncia 90 tanto no uso de telefones celulares quanto no uso de Windows Os 80 participantes foram divididos em 2 grupos 40 testaram a interface com icones e 40 testaram a interface com
151. nte possibilitando a realiza o dos testes noite independentemente das varia es clim ticas o que n o seria sempre poss vel se o ambiente fosse totalmente ao ar livre A possibilidade de realiza o dos testes noite imprescind vel uma vez que para uma grande maioria dos usu rios 119 representativos do publico alvo este era o Unico periodo disponivel para a participa o nos testes e um ambiente seguro requisito necess rio n o s visando o bem estar do participante e do avaliador mas tamb m em fun o dos equipamentos que foram utilizados durante o teste Para filmar a intera o com o equipamento em um ambiente externo necess ria a utiliza o de equipamentos como c meras e microfones m veis e port teis e que funcionem de forma aut noma ou seja que n o precisem estar conectados rede el trica durante a realiza o dos testes Devido dificuldade de encontrar no Brasil um sistema adequado e impossibilidade de import lo em fun o do alto custo foi necess rio desenvolver uma solu o especialmente para este trabalho que permitisse filmar a realiza o dos testes fora do laborat rio O sistema desenvolvido possibilita a filmagem da tela e do teclado do telefone celular em qualquer ambiente independentemente da necessidade de conex o rede el trica O sistema composto de uma minic mera sem fio com microfone embutido que se comunica via radiofrequ ncia com um receptor que pode
152. o 4 Concordo 5 Concordo completamente parcialmente parcialmente completamente muito agrad vel usar este sistema Figura 23 Exemplo de escala Likert A escala de diferencial sem ntico apresenta dois termos opostos ao longo de uma dimens o e pede que o usu rio selecione a posi o na escala que melhor reflete a sua opini o figura 24 Eu considero este sistema Agrad vel Irritante Simples Complicado Figura 24 Exemplo de escala de diferencial semantico Alguns question rios que podem ser aplicados em uma avalia o de usabilidade s o o SUMI Software Usability Measurement Inventory SUMI 2003 o QUIS Questionnaire for User Interaction Satisfaction QUIS 2003 e o SUS System Usability Scale SUS 2003 Brooke 1996 71 2 3 As t cnicas de usabilidade no ciclo de desenvolvimento do produto Diferentes t cnicas de usabilidade podem ser empregadas em fun o das diferentes fases do ciclo de desenvolvimento do produto Os resultados das aplica es dessas t cnicas fornecem subs dios importantes para a tomada de decis o sobre necessidades de altera o de projeto a fim de aumentar a usabilidade sempre recomendado que sejam feitas avalia es menores em v rias vers es de prot tipos em lugar de realizar uma nica avalia o j com vers es finais do produto Nielsen 1993a Quanto mais cedo forem realizadas as avalia es de usabilidade mais simples ser a altera
153. o 1 ocorreram com uma frequ ncia 55 maior no contexto da c mera de documentos em rela o ao contexto do emulador e 24 maior em rela o ao contexto da c mera sem fio A frequ ncia dos problemas de impacto 2 foi maior tamb m no contexto da c mera de documentos sendo 24 superior em rela o ao contexto do emulador e 11 superior em rela o ao contexto da c mera sem fio Para os problemas de impacto 3 esta diferen a altamente significativa principalmente em rela o ao contexto do emulador onde esta diferen a foi de 250 enquanto que para o contexto da c mera sem fio o valor foi de 65 A maior visibilidade dos problemas de impacto 3 no contexto da c mera de documentos um aspecto importante a ser considerado uma vez que estes s o considerados os problemas mais importantes a serem detectados por serem os mais graves pois quando eles ocorrem o usu rio incapaz de atingir todos os seus objetivos na tarefa Desta forma eles est o relacionados aos aspectos da interface que devem ser modificados prioritariamente antes dos demais problemas A diferen a entre a frequ ncia de ocorr ncia dos problemas de impacto 3 no contexto do emulador e da c mera sem fio foi significativa um valor de 113 164 indicando que os problemas mais graves aparecem com mais frequ ncia no telefone celular Para os problemas de impacto 1 e de impacto 2 esta diferen a foi de 26 e 18 respectivamente Entretanto podemos considerar que apesar
154. o o percentual da soma desses pontos em rela o pontua o m xima poss vel 2 2 3 2 Efici ncia 2 2 3 2 1 Efici ncia temporal A efici ncia pode ser medida relacionando os n veis de efic cia atingidos em rela o ao tempo gasto na execu o da tarefa Esta m trica definida pela f rmula Efici ncia efic cia tempo da tarefa 2 2 3 2 2 Efici ncia relativa A efici ncia relativa do usu rio definida como a raz o entre a efici ncia de qualquer usu rio e a efici ncia de um usu rio especialista e determinada pela f rmula Efici ncia relativa efici ncia do usu rio efici ncia do especialista X 100 O usu rio especialista definido como qualquer pessoa que tenha sido treinada no uso do sistema e que tenha uma alta experi ncia no seu uso A efic cia e o tempo de execu o da tarefa do usu rio especialista devem ser medidos enquanto ele executa as mesmas tarefas com o mesmo produto e nas mesmas condi es que o usu rio que est participando da avalia o 68 Se houver mais de um usuario especialista dispon vel a efici ncia pode ser considerada como a m dia entre a efici ncia de cada usuario especialista Quanto mais especialistas forem considerados mais fiel sera essa m dia Esta m trica pode indicar a posi o do usuario na curva de aprendizagem do sistema 2 2 3 3 Per odo produtivo O per odo produtivo n o medido diretamente ele calculado subtraindo do tempo
155. o objetivo investigar qual a influ ncia do contexto de avalia o nos resultados da avalia o de usabilidade da interface com o usu rio de uma aplica o de Internet m vel para telefone celular baseada na t cnica de ensaios de intera o Os ensaios de intera o foram realizados segundo tr s diferentes abordagens utilizando i emulador operado em laborat rio ii telefone celular operado em laborat rio e iii telefone celular operado em campo Os resultados do experimento mostraram que poss vel obter bons resultados na avalia o de usabilidade de uma interface de um computador de m o utilizando um emulador no computador desde que o contexto de avalia o seja definido da maneira mais pr xima poss vel ao contexto de uso assegurando principalmente a similaridade entre as interfaces Tamb m foi constatado que a posi o do usu rio e a maneira como ele segura um computador de m o s o fatores que afetam a intera o com a interface e devem ser considerados assim como a realiza o de tarefas adicionais paralelas podem interferir nos resultados da usabilidade medida e nos ndices de desempenho das avalia es Novas t cnicas que possibilitem ao usu rio utilizar um computador de m o em situa es reais ou seja em movimento em v rios ambientes diferentes estando exposto s interfer ncias externas ao mesmo tempo que permitam registrar a intera o s o necess rias para auxiliar nas avalia es de usabilidade dos
156. o que diz respeito satisfa o do usu rio na intera o com o sistema 100 80 60 40 20 Contexto de avalia o B EMULADOR E C MERA DE DOCUMENTOS O C MERA SEM FIO Figura 53 Resultados para o question rio SUS 5 1 6 Avalia o da carga de trabalho A figura 54 mostra os resultados da aplica o do NASA TLX Os resultados s o apresentados para o valor m dio geral da carga de trabalho em cada contexto de avalia o e para cada fator isoladamente estes ltimos obtidos a partir da m dia dos valores atribu dos pelos participantes a cada um dos seis fatores geradores de carga que foram analisados 158 Quanto mais alto o valor apresentado por cada fator maior a sua contribui o na gera o da carga de trabalho importante destacar que valores mais altos para a Performance indicam maiores graus de insatisfa o do usu rio em rela o ao seu desempenho 300 00 250 00 200 00 150 00 100 00 50 00 0 00 Demanda Demanda pemanda Esfor o Performance Frustra o Valor geral Mental F sica Temporal H Emulador 190 42 25 42 109 17 90 00 54 58 89 17 37 25 E C mera de documentos 223 15 5 42 169 17 112 08 104 17 150 83 51 03 C mera sem fio 257 50 27 08 145 42 165 00 61 25 80 00 49 08 Figura 54 Resultados para o NASA TLX N o houve diferen as estat sticas para os resultados obtidos para o valor geral do NASA T
157. obile phones human computer interaction SUMARIO Lista de Fig ras si eiiru DL bonitas iii wien a dean aA ete E aa xii Lista de QUACIOS analisa tae E LOS tie eer E XV Gista de Tabelas e a a ES E xvi Gista de Silas as ae SO A a A A Da a xvii INTRODU O asa ag Ra RSRS sing tan ass 18 CAPITULO 1 COMPUTADORES DE M O 29 1 1 Caracter sticas dos computadores de m o 30 Tee Telas Pequenas aa sl a E pe oasis a 32 Tele Entrada de OOS ee escada al ees etek ad lanes eden tel ihe 33 1 2 O usuario m vel e o CONTEXEO cece cece cece ee eeeeeeeeeeeeeeeeseeeeeneneees 37 CAP TULO 2 USABILIDADE eres 40 2 1 Defini es para usabilidade 42 2 1 1 Usabilidade segundo Shackel 42 2 1 2 Usabilidade segundo Nielsen 43 2 1 3 Usabilidade segundo Jordan sea 45 2 1 4 Usabilidade e as NORMAS sviiieii atticde acacttoniciaie nais sinos aci n iss pena issLanane ada 46 2 A ISO OLA A emana near dp e RPE Eae a lana CU and Ian 46 2 142Z OO E ZOO pa o a dp Saida 47 21 48 ISO E0 ADOOS ni dane aii Rede wtb or venge 50 2 144 ISO TIA O orgs rins a dA DAS a a ea 51 2145 SOTR 102 sra e a a A we 53 2 1 5 Usabilidade segundo Hiltunen 54 2 2 Defini o de crit rios para medir a usabilidade 55 2 2 1 O projeto MUSICO o as fe seats nuit ected ea noel eee Ae ee nnmnnn 57 2 2
158. odem influenciar a aceitabilidade de um produto Ou seja ela faz parte de um conceito mais amplo que envolve aspectos como custo confiabilidade e at mesmo aceitabilidade social figura 13 Para o autor a aceitabilidade de um sistema se refere capacidade do sistema de satisfazer todas as necessidades e 44 exig ncias dos usuarios que podem ser tanto os usuarios finais quanto outras pessoas que estejam envolvidas de alguma forma com esse sistema Aceitabilidade de um sistema Aceitabilidade Pratica Aceitabilidade Social Compatibilidade Confiabilidade Usabilidade Utilidade Facilidade de aprender Facilidade de lembrar Subjetivamente agradavel Poucos erros Efici ncia no uso Figura 13 Modelo de atributos de aceitabilidade de um sistema segundo Nielsen Fonte Nielsen 1993a O termo usefuliness se refere ao sistema poder ser usado para atingir um determinado objetivo e decomposto em utilidade e usabilidade A utilidade se refere a verificar se o sistema tem as funcionalidades certas e se estas funcionalidades fazem o que deve ser feito enquanto que a usabilidade se refere qualidade com que os usu rios conseguem utilizar essas funcionalidades A usabilidade se aplica a todos os aspectos do sistema com os quais a pessoa pode interagir incluindo os procedimentos de instala o e manuten o e principalmente deve ser sempre medida relativamente a determinados usu rios executando
159. oi baseado em como o participante realizou a tarefa em rela o 95 necessidade de ajuda se ele completou a tarefa sozinho a acuracia foi considerada 1 se recebeu alguma ajuda a acur cia foi 0 5 e se precisou ser guiado pelo avaliador a acur cia foi zero Ao final das tarefas os participantes responderam a um question rio de satisfa o para avaliar a sua opini o sobre a aplica o Mcintyre 2002 relata sua experi ncia na realiza o de um teste remoto para avalia o de usabilidade de um aplicativo i mode acessado por PDA s ou telefones celulares que precisava ser realizada no Jap o mas com o avaliador nos EUA A solu o encontrada foi utilizar uma pessoa que n o tinha experi ncia na condu o de testes de usabilidade para realizar as avalia es no Jap o e gravar toda a intera o em fitas de v deo que foram enviadas para o avaliador para an lise O avaliador desenvolveu um conjunto de guidelines a serem seguidas pelo facilitador do teste para que mesmo sem experi ncia ele pudesse conduzir as avalia es sem comprometer os resultados Seis participantes utilizaram seus pr prios equipamentos para executar quatro tarefas e no final responderam a um question rio sobre a sua opini o em rela o ao aplicativo Foi utilizada uma filmadora comum para gravar as imagens da tela e do teclado do equipamento enquanto o participante interagia normalmente com a aplica o As fitas de v deo foram enviadas ao avaliador que p
160. ojeto e avalia o de usabilidade que foram inicialmente desenvolvidas para os computadores de mesa precisam ser revistas e adaptadas considerando as diferen as inerentes s necessidades e caracter sticas do usu rio m vel ao novo contexto de uso destes equipamentos s caracter sticas das aplica es e s suas limita es f sicas como telas e teclados pequenos Relev ncia do trabalho A seguinte declara o de Holmquist 2002 ilustra uma importante quest o que se apresenta atualmente na rea de Intera o Humano Computador referente avalia o de usabilidade para os computadores de m o 22 Os computadores de m o exigem que se olhe para a avalia o de usabilidade de uma maneira totalmente diferente As avalia es tradicionais de IHC para os sistemas em computadores pessoais consistem em realizar um experimento dentro do laborat rio com o menor n mero poss vel de vari veis externas para determinar a usabilidade do sistema Para os sistemas em equipamentos m veis isto simplesmente n o funciona A raz o da dificuldade em se avaliar estes sistemas reside no fato de que a situa o de uso destes equipamentos completamente imprevis vel n o somente em rela o ao local onde o equipamento usado mas tamb m ao contexto social Estas condi es simplesmente n o podem ser reproduzidas dentro de um laborat rio e elas exercem uma enorme influ ncia na usabilidade de um sistema Os pesquisadores afirma
161. onado Foi tamb m medido o ndice PPWS Percentage Preferred Walking Speed para avaliar a velocidade com que o participante caminhava Toda pessoa tem uma velocidade padr o para andar que parece ser a mais eficiente fisicamente para cada um qualquer objeto que a pessoa v utilizar 105 estando em movimento nao deve afetar esta velocidade Avaliar a velocidade com que a pessoa anda atrav s deste indice pode indicar o grau de stress a que ela esta submetida Foram medidos os batimentos cardiacos e todos os participantes responderam a question rios para avaliar seu nivel de stress e ansiedade esfor o cognitivo e a sua satisfa o em rela o ao sistema Para Brewster 2002 fundamental fazer testes de usabilidade das interfaces para equipamentos m veis fora do laborat rio com o usu rio realizando outras atividades em paralelo Seu estudo tinha como objetivo avaliar se a adi o de som ao clicar um bot o na tela poderia auxiliar a entrada de dados em telas de toque pequenas aumentando a usabilidade e permitindo que os tamanhos dos bot es pudessem ser reduzidos O autor utilizou um PDA para testar v rias vers es de interface com diferentes tamanhos de bot es e com o uso ou n o de som associado a cada bot o Os testes foram realizados dentro do laborat rio e tamb m ao ar livre Em cada uma das situa es de teste participaram dezessseis pessoas com idades entre 21 e 45 anos estudantes e funcion rios do departamento de Ci nci
162. onduzidas no ambiente externo no contexto da c mera sem fio n o foi identificada uma diferen a significativa em termos da usabilidade medida e dos ndices de desempenho das avalia es Esta constata o pode levar a duas conclus es A primeira conclus o indica que poss vel obter bons resultados na avalia o de usabilidade de uma interface de um computador de m o usando um emulador no computador desde que o contexto de avalia o seja definido da maneira mais pr xima poss vel ao contexto de uso Al m de selecionar usu rios representativos do p blico alvo e tarefas representativas das tarefas utilizadas normalmente por esses usu rios a escolha do emulador tem um papel fundamental Foi verificado que pequenas diferen as na interface do emulador podem afetar a usabilidade Desta forma este experimento constatou 187 que bons resultados com o uso de um emulador podem ser obtidos desde que fique assegurada a similaridade entre as interfaces do emulador e do telefone celular tanto na apar ncia quanto no comportamento Entretanto o uso do emulador coloca uma restri o na escolha da amostra de participantes uma vez que preciso que o participante j seja usu rio de computador O treino no uso do mouse e de outros dispositivos para a intera o importante caso contr rio as dificuldades com o uso do computador ser o as principais enfrentadas pelo usu rio impossibilitando a avalia o do di logo com a interface
163. or cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 6 O custo de acesso um fator cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 7 Eu j tinha conhecimento sobre todos os diversos servi os que est o dispon veis no WAP 8 As novas tecnologias permitir o que eu receba em meu telefone servi os personalizados e baseados na minha localiza o geogr fica Isto me encoraja a usar os servi os WAP no futuro 9 Logo ser poss vel me localizar onde quer que eu esteja a partir do meu telefone celular Isto pode ser considerado intrusivo e fazer com que eu deixe de usar os servi os WAP AP NDICE D Question rio Avalia o Geral sobre WAP APENDICE E 209 INSTRUMENTO PARA ACOMPANHAR A ANALISE DA FITA DE VIDEO Camera de documentos Participante ___ TARE FA 2 Tempo do especialista Programa o de teatro Tempo Total Completou a tarefa Sim N o Qualidade Quantidade Help Search Snag Conex o Problemas encontrados na intera o Tela Descri o Grau Coment rios do participante AP NDICE E Instrumento para acompanhar a an lise da fita de v deo ANEXO A Question rio de Satisfa o SUS System Usability Scale 210 Discordo compl
164. os para novas especifica es de projeto da a import ncia das avalia es estarem presentes desde o in cio do projeto Na fase inicial de an lise de requisitos t cnicas como focus group Jordan 1998 Contextual Inquiry Hackos 1998 question rios e entrevistas podem ser utilizadas Para envolver o usu rio durante o desenvolvimento do projeto podem ser utilizadas t cnicas como design participativo Hackos 1998 sess es de arranjo e classifica o ou diagramas de afinidade Gaffney 2000 Cybis 2002 classifica as t cnicas de avalia o de usabilidade em tr s categorias 73 e Prospectivas buscam a opini o do usu rio sobre a intera o com o sistema S o baseadas em question rios e entrevistas com os usu rios para avaliar a sua satisfa o ou insatisfa o com o sistema Jordan 1998 e Preditivas Anal ticas buscam prever os erros de projeto de interfaces sem a participa o direta de usu rios As avalia es s o baseadas em verifica es e inspe es feitas por especialistas em usabilidade ou projetistas S o exemplos de t cnicas preditivas Nielsen 1994 An lise Hierarquica da Tarefa Avalia o Heur stica Inspe es Ergon micas via Checklists Inspe o Cognitiva e Objetivas Emp ricas buscam constatar os problemas a partir da observa o do usu rio interagindo com o sistema S o os Ensaios de Intera o tamb m chamados Testes de Usabilidade que ser o descritos em mais detalhes a
165. ou o telefone celular LG Sensations modelo que ser utilizado neste experimento QU Sim o N o AP NDICE B Question rio Perfil do Usu rio APENDICE C i 207 INSTRUMENTO PARA ACOMPANHAR A AVALIA AO C mera de documentos Participante Tarefa 2 Programa o de Teatro Completou a tarefa O sim O n o Ajuda LI sem ajuda O dica O guiado Legenda Problemas Obst culos Observa es Coment rios Notas PBL problema CP coment rio participante Grau CO coment rio observador 1 pequena dificuldade confus o AJ ajuda 2 erro recuper vel desvio 3 falha na execu o da tarefa 1 desagrad vel 2 oneroso ineficiente 3 imposs vel AP NDICE C INSTRUMENTO PARA ACOMPANHAR A AVALIA O APENDICE D Question rio Avalia o Geral sobre WAP 208 Discordo Completamente Discordo Neutro Concordo Concordo completamente 1 A navega o em um telefone celular n o um problema quando voc se acostuma com o aparelho 2 Um tempo de conex o r pido importante para que eu use o WAP 3 O tamanho da tela do telefone celular um fator cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 4 O tamanho do teclado do telefone celular um fator cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 5 A qualidade do conte do um fat
166. pesquisa sobre a usabilidade do prot tipo de uma aplica o WAP para telefones celulares Chincholle 2002b realizou os testes dentro do laborat rio com o usu rio sentado em uma poltrona segurando o telefone nas m os enquanto uma c mera colocada no teto filmava a tela e o teclado do telefone A aplica o avaliada era um servi o que oferecia mapas escolha de caminhos e determinados conte dos que dependiam da localiza o do usu rio onde ele se encontrava e onde ele desejava ir como por exemplo encontrar o melhor caminho para ir de carro at uma determinada rua ou encontrar um restaurante nas proximidades e descobrir qual o melhor caminho para chegar at l a p Participaram da avalia o sete usu rios entre 26 e 59 anos todos com experi ncia no uso do modelo de telefone que estava sendo usado no experimento mas sem conhecimento da aplica o avaliada quatro j haviam usado PDA e cinco j haviam usado outros modelos de telefone celular O usu rio ficava sozinho na sala separado do observador pelo espelho falso e era filmado por v rias c meras de v deo Ele deveria executar cinco tarefas e enquanto interagia com a aplica o deveria comentar sobre tudo o que estava fazendo e sobre os problemas que estava enfrentando O avaliador verificava somente se a tarefa havia sido conclu da sem cronometrar os tempos de execu o das tarefas O crit rio adotado pelo autor para determinar o que ele denominou como acur cia f
167. posi o em uma escala de 0 a 100 Para cada fator definida uma escala dividida em intervalos de 5 unidades e limitada nos extremos por descritores como alto baixo Na fase de pondera o o participante define os fatores de carga S o apresentados aos participantes quinze compara es bin rias dos seis fatores para os quais ele deve escolher entre cada par qual ele percebe como maior fonte de carga Desta forma se obt m um peso para cada um dos fatores em fun o do n mero de vezes que ele apareceu Cada fator pode receber peso zero n o apareceu nenhuma vez e portanto n o considerado relevante at peso cinco o fator foi escolhido todas as vezes e portanto considerado a fonte de carga mais importante Desta forma al m do valor geral da carga de trabalho poss vel identificar quais s o os fatores determinantes para a gera o desta carga 137 Assim a partir dos valores obtidos com a aplica o do NASA TLX poss vel avaliar os n veis de carga de trabalho percebidos pelos participantes em cada um dos contextos de avalia o tanto em valores gerais quanto por fatores geradores de carga 4 4 Defini o dos crit rios para compara o dos desempenhos das avalia es Al m de comparar os contextos de avalia o a partir das medidas de usabilidade e da carga de trabalho percebida pelo usu rio como descrito anteriormente os tr s contextos de avalia o ser o comparados tamb m em fun o do n mero
168. procurada voltaram tela anterior Somente ap s alguns segundos de navega o eles perceberam que era poss vel rolar a tela para baixo para encontrar o restante do texto e conseguiram completar a tarefa Na tela do telefone celular h uma barra de rolagem no canto direito que indica quando h mais texto para cima ou para baixo Todo problema de usabilidade deve estar relacionado a um ou mais aspectos da interface do sistema que s o considerados a causa dos problemas na intera o Este n o um problema que est relacionado a um aspecto da interface real do sistema uma vez que na tela do telefone celular esta indica o de continuidade do texto existe e portanto n o foi considerado como um problema de usabilidade real mas sim provocado pela interface do emulador Ap s esta an lise restaram 43 problemas de usabilidade reais todos relacionados a aspectos da interface Deste total 35 problemas foram identificados 160 no contexto do emulador 41 problemas foram identificados no da camera de documentos e 38 problemas foram identificados no da camera sem fio figura 55 100 00 95 35 95 00 90 00 88 37 85 00 80 00 75 00 70 00 DB EMULADOR E C MERA DE DOCUMENTOS O C MERA SEM FIO Figura 55 Percentual de problemas encontrados por contexto de avalia o Estes resultados mostram que o contexto da c mera de documentos foi o contexto no qual foi poss vel identificar o maior n m
169. qualidade em uso que definida como a capacidade do produto de software de permitir a usu rios espec ficos atingir metas 48 especificadas com efic cia produtividade seguran a e satisfa o em um contexto de uso especificado ABNT 1999 Esta defini o similar defini o de usabilidade da ISO 9241 11 e tamb m faz refer ncia ao contexto de uso ressaltando que a qualidade em uso n o uma caracter stica intr nseca do produto A qualidade em uso a vis o do usu rio sobre a qualidade de um sistema e medida em termos de resultados de utiliza o do software e n o em fun o de suas propriedades Bevan 2002 Essa vis o do modelo de qualidade levando em conta os resultados a partir do uso do software no ambiente especificado uma inova o em rela o ao modelo original da ISO 9126 de 1991 ABNT 1999 A ISO IEC 9126 1 descreve um modelo de qualidade que categoriza os atributos de qualidade de software em seis caracter sticas funcionalidade confiabilidade usabilidade efici ncia manutenibilidade e portabilidade onde cada uma dessas caracter sticas subdividida em subcaracter sticas como ilustra a figura 14 Neste modelo a usabilidade uma das componentes da qualidade de software e definida como a capacidade do software de ser compreendido de ser aprendido de ser operado e de ser atraente para o usu rio quando utilizado sob condi es espec ficas uma defini o mais pr
170. r n mero de usu rios e realizar as an lises dos dados empregando t cnicas estat sticas podem aumentar a confiabilidade de uma avalia o Hughes 1999 Nielsen 1993a A validade se refere a verificar se o teste de usabilidade est realmente avaliando aspectos relevantes da usabilidade do produto que se deseja testar Nielsen 1993a Deseja se assegurar que o resultado obtido seja realmente significativo considerando a utiliza o do produto real fora do laborat rio em condi es normais de uso Rocha 2003 A correta especifica o do contexto de uso guiando a escolha dos usu rios das tarefas e do ambiente de uso podem assegurar a validade de uma avalia o 80 2 4 Crit rios para compara o entre t cnicas de avalia o de usabilidade Muitos trabalhos j foram realizados com o objetivo de comparar diferentes t cnicas de avalia o de usabilidade para os computadores de mesa verificando vantagens e desvantagens entre cada uma delas Bastien 1995 Desurvire 1994 Karat 1994 Sutcliffe 1997 Sears 1997 Jeffries 1991 Savage 1996 Ser o apresentados aqui tr s destes trabalhos que resultaram na defini o de um conjunto de medidas e m tricas que podem ser utilizadas quando se deseja comparar diferentes t cnicas de avalia o de usabilidade Bastien 1995 definiu tr s caracter sticas que devem ser consideradas ao se comparar t cnicas de avalia o de usabilidade validade completude e confiabilidade e V
171. ra o somente na primeira vez em que ele ocorre ou ele ser sempre um problema e Generalidade o problema aponta uma falha geral que afeta v rias partes da interface ou um problema espec fico de uma nica parte Com esses par metros Jeffries 1991 sugere que pode ser feita uma an lise comparativa entre as t cnicas em fun o de qual t cnica apontou o maior n mero de problemas qual teve maior ou menor raz o benef cio custo qual apontou os problemas de maior grau de severidade e qual apontou mais problemas gerais recorrentes e de consist ncia 84 3 AVALIA O DE USABILIDADE PARA OS COMPUTADORES DE M O Os estudos apresentados neste cap tulo ilustram como est o sendo conduzidas as avalia es de usabilidade para os computadores de m o A partir destas pesquisas poss vel analisar quais as principais t cnicas que est o sendo utilizadas como est o sendo definidos os diferentes contextos de avalia o e como os pesquisadores v m medindo a usabilidade nestes contextos 3 1 Avalia o de usabilidade com emuladores Quando se avalia a usabilidade de sites Web recomendado que sejam feitos os testes em v rias vers es e modelos de browsers Da mesma forma para avaliar as aplica es desenvolvidas para os computadores de m o seria necess rio ter acesso a todos os equipamentos nos quais ela poderia ser utilizada pois o conte do se apresenta de forma diferente em cada um deles Entretanto h uma eno
172. ra 12 Para Shackel a utilidade se refere combina o entre as necessidades do usu rio e as funcionalidades do produto enquanto que a usabilidade se refere habilidade do usu rio em poder utilizar essas funcionalidades na pr tica A agradabilidade se refere avalia o afetiva por parte do usu rio e o custo inclui n o s o custo financeiro mas tamb m consequ ncias organizacionais O autor sugere alguns crit rios para avaliar a usabilidade em fun o dos seguintes componentes e Efici ncia avalia o resultado da intera o em fun o da velocidade e dos erros e Aprendizado avalia a rela o da performance ao tempo de treinamento e frequ ncia de uso e Flexibilidade avalia a adapta o a tarefas e ambientes al m daqueles especificados inicialmente 43 e Atitude avalia os n veis de desgaste do usuario em termos de cansa o desconforto frustra o e esfor o pessoal Aceitabilidade Usabilidade Utilidade Agradabilidade Flexibilidade Atitude Tempo para aprender Figura 12 Modelo de atributos de aceitabilidade de um sistema segundo Shackel Velocidade Fonte Shackel 1991 Para Shackel a usabilidade uma propriedade do sistema que n o constante mas sim relativa aos usu rios sua experi ncia s tarefas e ao ambiente de uso 2 1 2 Usabilidade segundo Nielsen Nielsen 1993a tamb m considera a usabilidade como um entre os v rios aspectos que p
173. rapalharam a realiza o das tarefas os resultados indicam que o simples fato de ter um trip n o solid rio c mera de documentos foi uma fonte de estresse que teve influ ncia na usabilidade medida A solu o da minic mera sem fio para registrar a avalia o no ambiente externo foi extremamente satisfat ria uma vez que foi capaz de gerar imagens de alta qualidade sem prejudicar o desempenho do usu rio De uma maneira geral os resultados da usabilidade medida no contexto da c mera sem fio estiveram pr ximos aos resultados obtidos nos outros dois contextos de avalia o pois n o houve diferen a significativa na compara o desses resultados Exceto para a efici ncia relativa cujos resultados mostraram que a efici ncia dos usu rios no contexto da c mera sem fio esteve mais pr xima efici ncia dos usu rios especialistas Estas constata es podem ser atribu das a dois fatores principais O primeiro se refere posi o dos participantes que realizaram os ensaios de intera o sentados e n o em p como se poderia configurar um poss vel contexto real tanto nos ensaios no laborat rio quanto nos ensaios realizados no ambiente externo O outro fator decorre do fato de que as pessoas que possuem telefone celular n o se sentem inibidas em utilizar o telefone em p blico Elas j est o acostumadas a ignorar o ambiente e se concentrar na intera o O fato de que elas n o estavam em uma situa o totalmente natural
174. rav s do telefone celular ainda uma tecnologia introduzida recentemente sendo raros os usu rios experientes e uma grande prioridade atrair novos usu rios para esse tipo de servi o e Usuarios com experi ncia no uso do computador Um dos contextos de avalia o far uso de um emulador no computador portanto importante que o participante j esteja familiarizado com o seu uso para que dificuldades com o mouse e o teclado n o prejudiquem o resultado da avalia o Para Nielsen 1993a se o usu rio n o est treinado a usar o mouse e outros dispositivos necess rios intera o estas dificuldades ser o as principais enfrentadas pelo participante e impedir o que se obtenha qualquer informa o sobre a usabilidade do di logo com a interface e N o s o usu rios do modelo de telefone celular utilizado nos testes Como recomendado por Nielsen 2000 isto evita que haja diferentes n veis de experi ncia em rela o ao manuseio do aparelho e Usuarios entre 21 e 40 anos de idade Esta faixa et ria foi a escolhida pois ela representa a maior concentra o de usu rios de telefone m vel no Brasil atualmente correspondendo a 61 do total ANATEL 2003 126 A tabela 1 apresenta a distribui o dos participantes de acordo com a faixa et ria o sexo e o contexto de avalia o Tabela 1 Distribui o dos participantes por faixa et ria e sexo Contexto do emulador Contexto da c mer
175. reduzida a uma nica vari vel que seria o local de realiza o dos testes Desta forma seria poss vel obter novos dados sobre o impacto efetivo do local de realiza o dos testes nos resultados das avalia es de usabilidade dos computadores de m o e H uma enorme quantidade de modelos de computadores de m o para os quais n o existem emuladores cujas interfaces representem com fidelidade o equipamento e a interface real que se deseja avaliar Portanto na pr tica muitas vezes as avalia es de usabilidade v m sendo conduzidas utilizando emuladores e telefones celulares com interfaces diferentes Os resultados deste experimento indicaram que poss vel obter bons resultados com o uso de emuladores desde que seja assegurada a similaridade entre as interfaces do emulador e do telefone celular pois pequenas diferen as existentes podem impactar na usabilidade Como nem sempre esta condi o poss vel de ser aplicada na pr tica sugere se um novo experimento para avaliar quais seriam os resultados da avalia o de usabilidade utilizando interfaces para o emulador e para o telefone celular completamente diferentes Os resultados desse estudo permitiriam testar a hip tese de que a validade de uma avalia o de usabilidade utilizando um emulador s poder ser garantida se as interfaces forem similares e Neste experimento foram definidos tr s contextos de avalia o controlados nos quais n o foi imposto ao participante a exec
176. rio para O usu rio dentro do laborat rio executar cinco tarefas recebe a lista das tarefas e as espec ficas executa sem ajuda T cnica para coleta dos dados Cron metro com regras definidas para iniciar e terminar a contagem do tempo Figura 19 Modelo de medida da usabilidade segundo Nielsen Fonte Nielsen 1993a Neste modelo o primeiro passo identificar claramente qual o objetivo a ser atingido que neste caso a usabilidade mas poderia ser por exemplo aumentar a x percep o dos clientes em rela o qualidade das interfaces dos sistemas 57 desenvolvidos por uma empresa Os objetivos sao normalmente conceitos abstratos que precisam ser definidos em termos de componentes como por exemplo as componentes de usabilidade como definido em 2 1 2 Uma vez definidas as componentes do objetivo estas precisam ser quantificadas precisamente O autor sugere uma s rie de medidas quantitativas que podem ser utilizadas como tempo total para executar uma tarefa o numero de tarefas que podem ser executadas em um determinado intervalo de tempo a quantidade de erros do usu rio a frequ ncia com que o usu rio utilizou alguma forma de ajuda e o tempo gasto com estes elementos do sistema entre outras Nielsen 1993a A partir das medidas quantitativas necess rio definir um m todo para medir a performance do usu rio Uma vez que este m todo tenha sido definido preciso determinar quais ser o todas as ativi
177. rme variedade de marcas e modelos de computadores de m o dispon vel no mercado sem considerar que novos modelos de equipamentos com novas caracter sticas e mais recursos continuam surgindo a todo momento Como imposs vel que o desenvolvedor tenha acesso a todos os tipos de equipamentos fabricantes e desenvolvedores de browsers disponibilizam emuladores que possibilitam testar a aplica o no computador figura 27 O emulador pretende simular o funcionamento do equipamento real e em alguns casos tamb m a sua apar ncia que pode ser 85 simulada quando for possivel trocar a imagem padrao do equipamento que o emulador apresenta pela imagem do equipamento real que se deseja avaliar Nokia Mobile Brow DER File Edit View Browser Settings Help Bookmarks co http Jawap abril com brte v 4 amp f Current Session Push WIM WILS Bookmarks Cookies Current content History and Variables active in the Browser Abril SemFio Abrilsem fio lt xml version 1 0 gt Oscar 2003 Revistas lt DOCTYPE wml PUBLIC WAPFORUM DID WML 1 1 EN http www wap forum d2 lt wnl gt lt head gt lt meta http equiv Cache Control content no cache forua true gt lt meta http equiv Cache Control content must revalidate forua trud lt head gt lt card title Abril Sem Fio id Principal newcontext false ordered http fwap abril com br tc WML v1 1
178. rs is nowhere near enough CHI 2001 Extended Abstracts Seattle March 31 April 5 2001 Spyridakis J H Conducting Research in Technical Communication The Application of True Experimental Designs Technical Communication 39 4 607 624 1992 SUMI Software Usability Measurement Inventory Disponivel em http www ucc ie hfrg questionnaires sumi Acesso em fevereiro de 2003 Sutcliffe A Doubleday A Ryan M Springett M A comparison of usability techniques for evaluation design Proceedings of Designing Interactive Systems Process Practices Methods and Techniques ACM Press The Netherlands August 1997 SUS System Usability Scale Disponivel em http www usability serco com trump methods satisfaction htm Acesso em fevereiro de 2003 Svanteson S Particular Challenges in Designing for Baby Faces Master thesis written for the Department of Media Technology and Graphics Arts Royal Institute of Technology in Stockholm and Razorfish Spring 2000 Taurion C Internet M vel tecnologias aplica es e modelos Rio de Janeiro Campus 2002 Taurion C Cen rios das aplica es m veis para os pr ximos anos Mobile Corporate Forum Curitiba agosto 2003 T9 AOL Mobile Dispon vel em http Avww t9 com Acesso em janeiro de 2003 Usability Systems Inc Dispon vel em http www usabilitysystems com Acesso em mar o de 2002 Usablemobile Lista de discussao sobre usabilidade para os computadores de mao
179. rtante para o usu rio m vel Ele mais impaciente e exigente que o usu rio do computador de mesa e tende a utilizar servi os que permitam uma manipula o r pida da interface e um acesso informa o atrav s de um n mero reduzido de passos Ericsson 2001 O ambiente de uso de um computador de m o normalmente muito mais din mico em rela o ao ambiente de uso do computador de mesa e portanto demanda a aten o do usu rio para outras tarefas al m da intera o com o equipamento O usu rio de um computador de m o normalmente est envolvido em v rias atividades que ocorrem simultaneamente A sua aten o est dividida entre o uso do equipamento as outras atividades que ele est realizando e o ambiente que o cerca Chincholle 2002b Desta forma o foco principal n o a intera o com o equipamento mas a busca da informa o enquanto ele interage com o ambiente 38 sua volta Segundo Rischpater 2000 p 33 o usuario m vel tem menor capacidade de processar e absorver conteudo que um usuario que esta sentado em frente a um computador de mesa O usuario m vel pode estar lendo uma mensagem de texto que acabou de receber em seu telefone celular enquanto caminha pela rua pode estar parado em uma longa fila de check in no aeroporto e aproveitar o tempo para atualizar sua agenda de compromissos no PDA enquanto conversa com sua secret ria pelo telefone celular ou pode estar sentado em um restaurante procur
180. s Figura 46 rvore de decis o para categorizar as a es do usu rio em rela o ao tempo de execu o da tarefa Fonte Adaptado de Cooper 1995 134 Nao foi definido um tempo limite para que o usuario completasse a tarefa Ele poderia executar a tarefa at que ele a considerasse concluida como recomendado em Cooper 1995 Entretanto alguns participantes em algumas tarefas devido as dificuldades enfrentadas desistiram de completa las A eficacia nestes casos foi considerada zero pois eles nao haviam atingido nenhum percentual dos objetivos Quando a efic cia zero ha uma regra no M todo de Medida da Performance Cooper 1995 que estabelece que o per odo produtivo nestes casos tamb m deve ser considerado zero Esta regra baseia se na defini o de que per odo produtivo o tempo despendido pelo usu rio em dire o ao cumprimento dos objetivos da tarefa No caso da efic cia zero como nenhum objetivo foi cumprido n o pode ser considerado nenhum per odo produtivo Nestas situa es n o h a necessidade de uma an lise formal da fita de v deo pois n o s o medidos os tempos entretanto a efic cia zero indica que o usu rio enfrentou muitos problemas e portanto a fita precisa ser cuidadosamente analisada para identificar os incidentes ocorridos 4 3 7 6 Satisfa o do usu rio As medidas subjetivas sobre a satisfa o do usu rio em rela o ao uso do sistema foram obtidas atrav s do question rio SUS S
181. s a 5 F 3 32 2 02 p 0 14 No contexto do emulador 100 dos participantes completaram esta tarefa Entretanto nos outros dois contextos alguns participantes desistiram da tarefa n o chegando a complet la sendo que 25 dos participantes n o completaram esta tarefa no contexto da c mera de documentos e 8 n o completaram esta tarefa no contexto da c mera sem fio Para a tarefa 7 as diferen as entre as m dias da efic cia para os tr s contextos de avalia o tamb m n o foram estatisticamente significantes a 5 F 3 32 1 24 p 0 30 Nos contextos do emulador e da c mera sem fio 16 dos participantes n o conseguiram completar esta tarefa para o contexto da c mera de documentos esse n mero subiu para 42 dos participantes 149 Conforme os resultados apresentados a analise estatistica mostrou que nao houve diferen as para a efic cia medida nos tr s contextos de avalia o com exce o da tarefa 1 que apresentou diferen a entre as m dias dos contextos do emulador e da c mera de documentos Para compreender melhor estes resultados preciso analisar novamente a tarefa 1 Esta tarefa tinha como objetivos encontrar o advers rio a data e o hor rio do pr ximo jogo do Internacional no Campeonato Brasileiro de Futebol Como todos os participantes conseguiram encontrar a tela que continha essas informa es a qualidade para todos foi 100 e portanto o valor da efic cia foi determinado em fun o
182. s nosso objetivo simular o uso deste sistema supondo que voc est sozinho por isso voc trabalhar sozinho sem o meu aux lio N o se preocupe com resultados n o h respostas certas nem erradas lembre se que voc est aqui para me ajudar a avaliar a usabilidade desta aplica o Estaremos filmando as imagens da tela do computador ou da tela e teclado do telefone e tamb m gravaremos o udio desta sess o Esta sess o durar cerca de uma hora e meia e se voc precisar interromp la a qualquer momento s me avisar AP NDICE A Roteiro com as informa es fornecidas ao participante APENDICE B Question rio Perfil do Usuario Idade 0 at 19 anos Q de 20 a 25 anos O de 26 a 30 anos QU de 31 a35 anos O de 36 a 40 anos WU mais de 41 anos Sexo n Masculino Q Feminino Qual seu grau de instru o At 1 grau incompleto 1 grau completo 2 grau incompleto 2 grau completo Superior incompleto 0 O O O0 ODO DO Superior completo ou mais Qual sua forma o AP NDICE B Question rio Perfil do Usu rio 203 Qual sua ocupa o Q Q Q Q Q Q Q Q Funcion rio de empresa privada Funcion rio p blico Profissional liberal Aut nomo Empres rio Estudante Aposentado Desempregado Voc utiliza computador Q m Sim N o H quanto tempo voc acessa a Internet Q Q Q Q Nunca usei Menos de um ano De 1 a 3 anos De
183. s componentes do equipamento figura 26 A maioria destes laborat rios tem uma sala especial prova de som equipada com um espelho falso que permite que o participante realize o teste sozinho enquanto o avaliador o observa atrav s do vidro O uso de v rias salas permite que outras pessoas envolvidas no projeto tamb m assistam avalia o sem perturbar o participante importante mostrar a sala de observa o para o participante pois bem menos estressante saber quem e o que se esconde atr s do espelho que ficar imaginando o que est se passando Normalmente o participante acaba ignorando a presen a do observador durante o teste mesmo sabendo que ele est ali Nielsen 1993a Quando o teste feito no pr prio local de realiza o da tarefa poss vel observar o usu rio interagindo com o sistema em uma situa o real de uso ou seja com todos os ru dos e interfer ncias alheias tarefa que exercem influ ncia na intera o Estas s o informa es valiosas que dificilmente apareceriam em um teste realizado dentro do laborat rio O avaliador pode realizar a observa o utilizando somente l pis e papel para fazer as anota es deixando o usu rio vontade e procurando interferir o m nimo poss vel em sua rotina 75 cameras monitor de TV sala dos sala de avaliadores observacao de parede prova de som com espelho falso Figura 26 Modelo de layout de um laborat rio de usabilidade Fonte
184. s dados decorrente do fato de que os mesmos pertencem a diferentes contextos de avalia o ou se devido ao acaso variabilidade residual A partir dessa an lise ser poss vel determinar se a hip tese nula deve ou n o ser rejeitada Se a hip tese nula n o for rejeitada conclui se que n o existem diferen as significativas entre as m dias Se a hip tese nula for rejeitada isto indica que as m dias n o s o iguais entretanto n o poss vel determinar quais s o as m dias estatisticamente diferentes das demais Nestes casos foi aplicado o teste de Tukey Winter 2002 para determinar quais s o as m dias diferentes entre si O resultado da an lise estat stica ser apresentado como no exemplo a seguir a 5 F x y p z Estes valores devem ser interpretados da seguinte maneira e a o nivel de signific ncia e mede a probabilidade de rejeitar Ho quando ela verdadeira e x o valor tabelado da Distribui o F para a 5 e depende do n vel de signific ncia do teste e dos graus de liberdade de tratamentos e de res duos e y o valor calculado de F para o teste em quest o 146 e z a probabilidade de se obter um valor da estat stica de teste no m nimo tao extremo quanto o que resultou dos dados amostrais na suposi o de a hip tese nula ser verdadeira Ou seja supondo que as m dias sejam iguais o valor de p indica qual a probabilidade de ocorrer ao acaso na amostra dos dados um valor m
185. s e de voz gestos at as novas gera es de interfaces pertencentes aos computadores que estar o espalhados por todo o ambiente dotados de sensores capazes de captar informa es sobre o contexto e reagir s pessoas e s atividades que estiverem a sua volta Ipi a 2002 Desta forma a interface com o usu rio em qualquer sistema interativo tem papel fundamental pois ela que possibilita a comunica o entre o usu rio e o sistema ou seja quanto maior for a usabilidade da interface mais f cil ser a comunica o 41 A usabilidade passa entao a ser um objetivo a ser atingido durante todo o projeto da interface com o usuario A usabilidade que se tornou um fator importante no desenvolvimento de software e vem aumentando a sua import ncia tamb m no desenvolvimento de outros produtos pode ser considerada como um conjunto de m todos na Engenharia de Usabilidade ou como uma filosofia de desenvolvimento de projetos no Projeto Centrado no Usu rio Keinonen 1998 A Engenharia de Usabilidade definida como o processo que vai fornecer os m todos estruturados para que se possa atingir um alto grau de usabilidade da interface com o usu rio durante o desenvolvimento do produto Mayhew 1999 O Projeto Centrado no Usu rio tem como objetivo produzir sistemas f ceis de aprender e usar seguros e efetivos em facilitar as atividades do usu rio Rocha 2003 uma filosofia que coloca o usu rio no centro de todo o processo ou
186. s e nos diversos coment rios e sugest es dos participantes A partir dos resultados obtidos o autor sugere algumas guidelines para a convers o de aplica es de Internet para equipamentos WAP Para Kaasinen o emulador foi bastante til pois permitiu obter a opini o geral dos usu rios em rela o s aplica es WAP o que resultou em altera es no software visando a atingir os requisitos apontados pelos participantes Buchanan 2001 fez uso do emulador em seu estudo com dois prop sitos diferentes avaliar qual a opini o geral dos usu rios sobre os servi os WAP e avaliar a usabilidade de diferentes m todos para apresentar texto na tela do telefone celular Para avaliar qual a percep o do usu rio em rela o ao servi os WAP foram selecionados 110 estudantes universit rios todos com experi ncia no uso de telefone celular mas nenhum com experi ncia no uso de servi os ou equipamentos WAP Usando um emulador no computador cada participante deveria interagir com tr s sites WAP navegando em busca de informa es que eles achassem interessantes Ap s estarem familiarizados com os tr s sites os participantes respondiam a um question rio de satisfa o que deveria ser preenchido no pr prio computador e enviado via Internet Os resultados mostraram que os usu rios perceberam o modelo WAP como algo simples e f cil de ser compreendido entretanto n o estavam dispostos a utilizar este servi o se a navega o fosse complexa mon
187. s e tr s eram novatos no uso do telefone celular participaram das avalia es O participante escolhia um dos dois modelos para usar primeiro e deveria ent o tirar uma foto armazenar renomear visualizar e enviar essa foto por e mail Depois ele deveria realizar as mesmas tarefas com o segundo modelo de telefone celular No final o moderador pedia que o participante comparasse os dois modelos e escolhesse qual deles ele compraria A avalia o durou uma hora e foi realizada no laborat rio com o participante e o facilitador em uma sala e os observadores em outra separados pelo espelho falso O telefone foi montado em um trip sobre a mesa com uma c mera de documentos filmando o teclado e a tela do aparelho Uma outra c mera de v deo filmava a face do usu rio Os participantes eram encorajados a falar o que estavam fazendo e todo o udio da sess o tamb m foi registrado 94 Alguns autores preferem n o utilizar o equipamento montado sobre o trip mas deixar que o usu rio o segure nas m os Segundo Mizobuchi 2002 a posi o do usu rio e a maneira como ele segura o equipamento s o fatores que afetam o uso da interface e tamb m devem ser considerados Para o autor A performance do usu rio vai ser afetada dependendo da m o que ele utiliza para acionar o equipamento e tamb m de sua postura E diferente o usu rio operar o equipamento quando est sentado em uma cadeira ou quando est parado em p no meio da rua Em sua
188. s em alguns modelos de telefones celulares figura 8 35 te dun 27 Sheba Amarga meet men 27 Stenford Besiness Cool Products Enpe Comin Figura 8 Miniteclado QWERTY em PDA e telefone celular Fonte Handspring 2003 Fonte Nokia 2003 O Copyright 1999 2003 Handspring O Copyright 2003 Nokia Corporation Todos os direitos reservados Todos os direitos reservados Muitos modelos de computadores de m o inclusive telefones celulares figura 9 incorporaram os princ pios da manipula o direta permitindo que o usu rio manipule objetos da tela usando algum tipo de apontador Desta forma poss vel utilizar uma caneta para selecionar as teclas virtuais que aparecem na tela ou escrever diretamente sobre ela quando o equipamento possuir softwares de reconhecimento de escrita Figura 9 Telefone celular com tela de toque Fonte Sony Ericsson 2003 Copyright 2001 2003 Sony Ericsson Mobile Communications AB Todos os direitos reservados S o v rias as pesquisas como os estudos de Chincholle 1999 e Silfverberg 2003 que buscam encontrar novas solu es para a entrada de dados nos computadores de m o este que considerado um dos maiores problemas de 36 intera o com os equipamentos pequenos Algumas id ias s o curiosas como um teclado virtual que a proje o de raios laser sobre uma superf cie plana figura 10 Ao detectar quais linhas foram interrompidas o dispositivo sabe quais tecl
189. s os participantes ficaram surpresos positivamente em rela o ao que estes servi os podem lhe oferecer Os depoimentos de alguns dos participantes ao final do experimento em rela o sua experi ncia na navega o no portal WAP ilustram essas constata es Participante 1 Foi muito mais f cil do que eu imaginava eu pensava que fosse muito mais complicado Eu sabia que tinha esse recurso no meu telefone mas eu n o tinha a menor id ia de como funcionava Participante 2 Eu achei muito mais f cil e mais completo do que eu imaginava Eu n o sabia que era t o f cil se n o eu j teria utilizado antes Participante 3 Eu achei f cil e bem interessante Voc tem um acesso f cil t ali na tua m o mas voc acaba n o usando por falta de informa o Eu nunca usei porque pensava que fosse caro e complicado 171 Participante 4 Eu gostei achei muito interessante mas eu nem sabia que essa tecnologia ja estava disponivel e olha que eu me considero uma pessoa instruida e realmente nao tinha conhecimento desse sistema Apesar das limita es f sicas dos telefones celulares em rela o ao tamanho da tela e do teclado do aparelho primeira vista parece que os participantes n o v em o tamanho reduzido das interfaces f sicas como um empecilho a utilizar um telefone celular para navegar na Internet m vel figuras 68 e 69 O tamanho da tela do telefone celular um fator cr tico
190. s participantes 167 Todos os participantes tinham no m nimo um ano de experi ncia com a Internet figuras 62 63 64 e todos eram usu rios de e mail sendo que a grande maioria 94 usava correio eletr nico h pelo menos um ano figura 65 H quanto tempo voc acessa a Internet 44 m De 1 a3 anos m De 3 a 5 anos O Mais de 5 anos Figura 62 Tempo como usu rio da Internet Com que freq ncia voc acessa a Internet m 1 vez por semana E 1 vez por dia mais de uma vez por dia Figura 63 Frequ ncia de acesso Internet 168 Qual o seu tempo em m dia por acesso a Internet 6 E Menos de 1 hora De 1 a3 horas oO De 3 a5 horas oO De 5 a7 horas m De 7 a 9 horas 58 Figura 64 M dia de tempo de acesso H quanto tempo voc usa e mail 6 31 m Menos de um ano mDe 1 a3 anos oDe 3 a 5 anos o Mais de 5 anos 38 25 Figura 65 Tempo como usu rio de e mail Todos eram usu rios de telefone celular h pelo menos um ano figura 66 e 64 disseram ter o costume de ler mensagens de texto no telefone celular no m nimo uma vez ao dia Entretanto o envio das mensagens menos frequente sendo que 30 56 disseram nunca ter enviado mensagens de texto pelo telefone celular figura 67 169 25 39 36 Ha quanto tempo voc usuario de telefone celular
191. seguir 2 3 1 Ensaios de intera o Os ensaios de intera o s o uma simula o de uso do sistema Usu rios representativos executam tarefas determinadas com uma vers o do produto que pode variar desde um prot tipo em papel at a sua vers o final Segundo Nielsen 1993a p 165 realizar ensaios de intera o com usu rios reais o m todo de usabilidade mais fundamental e de certa forma insubstitu vel uma vez que proporciona informa es diretas sobre como as pessoas est o usando os computadores e quais problemas elas est o encontrando com as interfaces concretas que est o sendo testadas Macleod 1997 p 292 recomenda que sejam feitas observa es do usu rio sempre que poss vel pois nenhum processo de projeto centrado no usu rio pode estar completo sem a realiza o de algum tipo de teste com os usu rios 74 Enquanto realizam as tarefas os usuarios sao observados por avaliadores que tomam notas sobre as a es e rea es dos usu rios O ensaio pode ser gravado utilizando c meras de udio e v deo gerando fitas que ser o analisadas posteriormente Um aspecto importante a ser considerado quanto ao local de realiza o do ensaio de intera o que pode ser um laborat rio de usabilidade ou o pr prio local em que o usu rio realiza a tarefa O laborat rio um local pr prio para a realiza o das avalia es equipado com v rias c meras que podem estar focalizando o usu rio e os demai
192. seja os objetivos do produto seu contexto de uso e todos os aspectos das tarefas que o produto ir suportar s o derivados a partir da perspectiva do usu rio Alguns autores Jokela 2003 Rubin 1994 consideram que s o dois termos para um mesmo conceito pois os processos de Projeto Centrado no Usu rio e da Engenharia de Usabilidade s o similares uma vez que ambos t m como objetivo estabelecer procedimentos e padr es para o envolvimento efetivo do usu rio ao longo de todo o processo de desenvolvimento do projeto de sistemas interativos rni 2003 As t cnicas de usabilidade podem e devem ser aplicadas em v rias fases durante o ciclo de desenvolvimento do produto desde t cnicas aplicadas nas fases iniciais do projeto at testes de usabilidade realizados com o produto final em campo cujos resultados ir o subsidiar o desenvolvimento de novas vers es ou at mesmos novos produtos 42 A usabilidade como filosofia que influencia o processo de projeto transferida ao usu rio na forma de atributos concretos do produto podendo desta forma ser medida a partir da intera o do usu rio com o sistema e da sua experi ncia pessoal em rela o ao seu uso Keinonen 1998 2 1 Defini es para Usabilidade 2 1 1 Usabilidade segundo Shackel Na vis o de Shackel 1991 a usabilidade uma das componentes da aceitabilidade de um produto que o n vel mais alto do modelo de percep o do usu rio em rela o ao produto figu
193. sos Frequ ncia Dura o Flexibilidade Depend ncias Demanda f sica e mental Resultado Riscos resultantes de erros Demandas cr ticas de seguran a Motiva o Ambiente T cnico F sico Organizacional Hardware Condi es do local de trabalho Estrutura Software Condi es atmosf ricas Grupos de trabalho Rede Ambiente ac stico Pr ticas de trabalho Materiais de refer ncia Outros equipamentos Ambiente t rmico Ambiente visual Instabilidade ambiental Projeto do local de trabalho Espa o M veis Postura do usu rio Localiza o Seguran a do local de trabalho Riscos para a sa de Roupas e equipamentos de prote o Assist ncia Interrup es Estrutura de ger ncia Estrutura de comunica o Sal rio Atitudes e cultura Pol tica no uso dos computadores Objetivos organizacionais Rela es industriais Projeto do trabalho Cargos Horas de trabalho Flexibilidade Monitoramento do desempenho Velocidade Autonomia Discri o Fonte Maguire 2001 62 e Medidas de usabilidade A efic cia a efici ncia e a satisfa o podem ser medidas de maneira objetiva a partir dos resultados da intera o do usu rio com o sistema A import ncia de cada componente da usabilidade vai depender do contexto de uso e dos objetivos da avalia o que v o determinar a escolha e o n vel de detalhes de cada medida 2 2 2 Etapas do M todo de Medida da Performance As m tri
194. ss vel a utiliza o deste sistema em qualquer ambiente inclusive dentro do laborat rio 6 3 Conclus o A pesquisa bibliogr fica realizada indicou que as avalia es de usabilidade para os computadores de m o n o devem ser conduzidas da maneira tradicional dentro do laborat rio uma vez que neste ambiente n o seria poss vel reproduzir as condi es de uso deste tipo de equipamento Johnson 1998 Petrie 1998 Waterson 2002 Holmquist 2002 Brewster 2002 Alguns autores como Chittaro 2001 Pearrow 2002 e Vyas 2002 atestam que o 186 uso de emuladores nas avalia es de usabilidade dos computadores de m o n o podem fornecer indica es confi veis para a usabilidade medida A partir destas constata es foi formulada a hip tese b sica deste trabalho Na avalia o de usabilidade dos computadores de m o os ensaios de intera o realizados dentro do laborat rio n o fornecem resultados t o satisfat rios quanto os resultados obtidos nos ensaios de intera o realizados fora do laborat rio com o usu rio em uma situa o mais pr xima ao contexto de uso deste tipo de equipamento Os resultados deste trabalho mostraram que nos contextos espec ficos em que o experimento aqui relatado foi conduzido a hip tese formulada pode ser rejeitada Ao comparar os resultados das avalia es conduzidas dentro do laborat rio nos contextos do emulador e da c mera de documentos em rela o s avalia es c
195. ssidades quanto da solu es m veis Taurion 2003 Aceleram Utiliza o das Tend ncias que E nies solu es m veis impulsionam a pelas empresas e pessoas f sicas Impactam mobilidade Figura 3 Fatores que promovem o incremento da mobilidade Fonte Taurion 2003 Esse modelo implica na ocorr ncia de tr s eventos simult neos Taurion 2003 As operadoras e os provedores de conte do servi os e solu es devem oferecer o servi o e a tecnologia Os computadores de m o devem ser compat veis para suportar os servi os e a tecnologia dispon veis 21 Os usu rios devem desejar necessitar e aceitar esses servi os e tecnologias Segundo Taurion 2003 a aceita o do servi o tende a ser o elo mais lento desse processo Al m da utilidade disponibilidade e custo um dos principais elementos para a aceita o do usu rio refere se usabilidade das interfaces e equipamentos Segundo Chittaro 2001 a usabilidade dos equipamentos e aplica es para os computadores de m o um fator determinante do sucesso deste segmento da computa o m vel Desta forma a usabilidade deve ser considerada como um dos principais requisitos de projeto para que as aplica es e servi os atendam s necessidades do usu rio m vel permitindo que ele seja eficaz produtivo no uso do tempo e dos recursos e esteja satisfeito em rela o aos atributos do sistema Entretanto as t cnicas tradicionais de pr
196. ssificou essa metodologia de mista e justificou sua escolha porque Nielsen 2000 p 12 102 tanto o WAP quanto a Internet m vel em geral s o inerentemente pessoais portanto uma grande parte do estudo dependeu de como o usu rio utilizou o equipamento enquanto estava sozinho Entretanto o valor de observar o comportamento do usu rio em condi es controladas era inestim vel pois permitia ter uma vis o mais aprofundada sobre o impacto da interface com o usu rio no uso do WAP Foram ao todo dez participantes com idades entre 19 e 50 anos usu rios de Internet variando de inexperientes at usu rios frequentes todos usavam telefones celulares mas nunca haviam utilizado WAP apesar de ter interesse nesse servi o O participante deveria executar tarefas comuns como verificar a previs o do tempo encontrar o telefone de um determinado restaurante verificar a programa o da TV ou procurar pelo resultado de algum jogo do dia anterior Os participantes receberam um telefone para usar durante uma semana e deveriam anotar em um di rio todas as suas impress es durante o uso do WAP Foram orientados a usar o telefone todos os dias da semana de 30 min a 1 hora em pequenos per odos espalhados ao longo do dia Foram preenchidos dois question rios um antes de come ar os testes e outro no final da semana que eles passaram com os telefones Na observa o direta feita no in cio e no final da semana o avaliador cronometrou o tempo que
197. tando a mesma tarefa nas mesmas condi es e Per odo Produtivo a propor o de tempo gasto pelo usu rio executando a es que contribu ram para o resultado da tarefa 66 Figura 22 Rela es entre as medidas e m tricas de usabilidade no MUSIC Efici ncia Per odo Produtivo Fonte Coopers 1995 2 2 3 1 Efic cia A efic cia uma medida que define o qu o bem os usu rios atingiram os objetivos da tarefa independentemente do tempo gasto e das dificuldades encontradas durante a realiza o da tarefa Ela definida em fun o de duas componentes a qualidade e a quantidade e determinada pela f rmula Efic cia quantidade X qualidade 100 A quantidade corresponde ao percentual de objetivos atingidos pelo usu rio Para medi la preciso definir como ser representado o resultado da tarefa pelo usu rio definir o que corresponde a um objetivo atingido contar o n mero de objetivos atingidos pelo usu rio e verificar o percentual desse valor em rela o ao n mero total de objetivos A qualidade corresponde extens o com a qual o resultado da tarefa realizada pelo usu rio corresponde aos crit rios especificados Para medi la preciso definir o que corresponde a um objetivo ideal a ser atingido definir um sistema de 67 pontua o que atribua valores aos objetivos atingidos pelo usu rio quando comparados aos objetivos ideais e calcular a qualidade total com
198. terface pelo avaliador a partir dos incidentes na intera o observados a descri o do problema na intera o incidentes com os respectivos impactos e n mero de usu rios correspondes a cada incidente A partir destas fichas foi gerada uma lista com todos os problemas de usabilidade identificados juntamente com os seus respectivos graus de severidade 4 9 An lise estat stica Para comparar os resultados das tr s situa es experimentais foi empregado o m todo da An lise de Vari ncia ANOVA Ara 2003 Este m todo pode ser utilizado quando se deseja testar a igualdade de duas ou mais m dias populacionais baseado na an lise das vari ncias amostrais Winter 2002 O m todo aqui utilizado chamado de an lise da vari ncia de um crit rio uma vez que os grupos foram categorizados em fun o de uma nica caracter stica ou crit rio que neste estudo corresponde ao contexto de avalia o Ao comparar as m dias dos resultados obtidos em cada um dos contextos de avalia o estaremos testando duas hip teses Ho N o existe diferen a entre as m dias hip tese nula H1 pelo menos uma das m dias diferente das demais hip tese alternativa 145 A analise de variancia vai separar a variabilidade total nos dados em uma parte devida s diferen as entre as m dias e outra devida s diferen as entre as observa es no mesmo contexto O teste F Winter 2002 utilizado para verificar se a variabilidade do
199. textos de avalia o e Realiza o dos ensaios de intera o segundo os tr s contextos de avalia o definidos e Compara o dos resultados da usabilidade medida e dos ndices de desempenho das avalia es nos tr s contextos de avalia o definidos 27 Todas estas etapas da pesquisa experimental com os seus objetivos e respectivos m todos utilizados para alcan los est o descritas detalhadamente no cap tulo 4 Limita es da pesquisa Entre os diversos computadores de m o e aplica es existentes foi escolhido para ser avaliado nesta pesquisa um portal de Internet m vel que pode ser acessado via telefone celular Entre as v rias poss veis defini es para os contextos de avalia o foram escolhidas a partir da revis o bibliogr fica tr s abordagens principais Os dois contextos de avalia o definidos dentro do laborat rio fazem uso de m todos amplamente utilizados nos ensaios de intera o para os computadores de m o os emuladores e as c meras de documentos O terceiro contexto de avalia o apresenta uma proposta para a realiza o dos ensaios de intera o fora do laborat rio na qual a partir do desenvolvimento de uma minic mera sem fio foi poss vel colocar o usu rio em uma entre as diversas poss veis situa es de uso de um computador de m o Acredita se que a escolha de outros modelos de computadores de m o e aplica es bem como a defini o de novos contextos de avalia o
200. total o tempo gasto em a es improdutivas O m todo classifica essas a es em tr s categorias Tempo de Ajuda tempo gasto pelo usu rio na obten o de informa es sobre o sistema Tempo de Busca tempo gasto pelo usu rio explorando a estrutura do sistema sem ativar nenhum componente Tempo de Snag s o as a es que n o contribuem direta ou indiretamente com o resultado da tarefa mas que n o podem ser classificadas como a es de ajuda ou busca O per odo produtivo ent o definido por Per odo produtivo tempo total tempo ajuda tempo busca tempo snag X 100 tempo total Pode ocorrer que a efic cia seja zero quando o usu rio n o conseguir atingir nenhum percentual dos objetivos ou quando a qualidade dos objetivos atingidos n o corresponder ao que foi especificado Neste caso h uma regra no M todo de Medida da Performance que estabelece que o per odo produtivo tamb m deve ser 69 considerado zero mesmo que tenham ocorrido periodos produtivos durante a execu o da tarefa Esta regra foi inclu da para nao haver contradi o com a defini o para a m trica de per odo produtivo segundo a qual o per odo produtivo corresponde propor o de tempo em que o usu rio esteve progredindo em dire o aos objetivos da tarefa Como os objetivos n o foram atingidos n o houve progresso algum e consequentemente n o pode ser considerado nenhum per odo produtivo 2 2 3 4 Medidas de satisfa
201. u o de nenhuma tarefa concorrente expl cita seja dentro ou fora do laborat rio Os resultados 192 indicaram que de uma maneira geral para os contextos especificos aqui definidos nao foi identificada uma diferen a significativa em termos da usabilidade medida e dos ndices de desempenho das avalia es Entretanto s o in meras as poss veis situa es de uso de um computador de m o sendo comum a sua utiliza o enquanto o usu rio executa atividades paralelas Os resultados aqui obtidos indicaram que uma tarefa cognitiva concorrente por menor que ela seja pode ter um impacto negativo na usabilidade medida A partir dessas constata es sugere se um novo experimento que compare contextos de avalia o para os quais seja poss vel definir situa es mais conturbadas Seriam situa es pr ximas realidade nas quais o participante poderia estar executando tarefas concorrentes ou at mesmo estar sujeito a v rias interrup es enquanto executa a tarefa principal Estas situa es devem ser poss veis de ser realizadas tanto dentro quanto fora do laborat rio A defini o destes contextos deve ser feita com cuidado pois eles devem se aproximar de poss veis situa es reais de uso dos computadores de m o fora do laborat rio que possam ao mesmo tempo ser reproduzidas dentro do laborat rio para que sejam compat veis Esse novo experimento permitiria testar a hip tese sugerida por este trabalho de que tamb m n o haver
202. u ser uma condi o muito natural aos participantes e 178 provocou um desconforto no usuario que acabou por influenciar o resultado dos testes 6 1 1 2 Periodo produtivo e efici ncia relativa do usuario Ao analisar o per odo produtivo verifica se que n o houve diferen a significativa alguma entre os tr s contextos de avalia o exceto para a primeira tarefa que teve um per odo produtivo menor no contexto do emulador em rela o aos outros dois contextos Esta queda no per odo produtivo para a primeira tarefa no emulador revelou que a interface do telefone na tela do computador apesar de parecer intuitiva uma interface virtual e que o usu rio precisa de um pouco mais de tempo para se acostumar com a mesma Esta diferen a n o ocorreu com o telefone celular indicando que mesmo n o conhecendo o modelo de telefone usado nos testes o usu rio acostumado ao uso de telefones celulares se adaptou rapidamente ao aparelho n o apresentando dificuldades no manuseio das teclas Os melhores resultados obtidos para a efici ncia relativa do usu rio no contexto da c mera sem fio em rela o aos outros dois contextos indicam que o ambiente externo se mostrou mais favor vel ao participante uma vez que neste contexto a sua efici ncia ficou mais pr xima efici ncia do usu rio especialista 179 6 1 1 3 Carga de trabalho Antes de iniciar o experimento supunha se que o contexto da camera sem fio apresentaria os maiores nd
203. ue ele vislumbre uma poss vel condi o real de uso daquela aplica o e criando portanto uma motiva o adicional para que a tarefa seja executada Rubin 1994 O quadro 3 apresenta as tarefas utilizadas nos ensaios de intera o inseridas em seus respectivos cen rios Quadro 3 Descri o das tarefas TAREFA DESCRI O Voc est em um restaurante jantando com amigos e o assunto futebol Um de seus amigos torcedor do Internacional e gostaria muito de saber quando ser o pr ximo jogo 1 de seu time no campeonato brasileiro Voc se prontifica a encontrar esta informa o Seu objetivo Encontre a data o hor rio e o advers rio do pr ximo jogo do Internacional no campeonato brasileiro de futebol Voc est sentado na sala de embarque do aeroporto aguardando seu v o para o Rio de 2 Janeiro Voc estar livre esta noite e gostaria de aproveitar para ir ao teatro Seu objetivo Encontre o nome de todas as pe as que est o em cartaz nos teatros do Rio de Janeiro Voc est participando de uma importante reuni o de neg cios quando um colega seu 3 solicita informa es atualizadas sobre o valor do d lar Seu objetivo Encontre o valor do d lar comercial o percentual de alta ou baixa e a data e hora a que essas informa es se referem Voc est com um cliente visitando uma empresa no bairro do Cabral Voc n o conhece muito bem esse bairro e gostaria de saber quais s o
204. uito extremo Assim Quanto maior o p valor maior a probabilidade de que os valores extremos tenham ocorrido ao acaso ent o maior a evid ncia de que n o existem diferen as entre as m dias e neste caso diminui a certeza de rejeitar a hip tese nula Quanto menor o p valor menor a probabilidade de que os valores extremos tenham ocorrido ao acaso ent o maior a evid ncia de que existem diferen as entre as m dias e neste caso a hip tese nula rejeitada com maior certeza Podem ser considerados os seguintes valores e p valor lt 0 01 elevada signific ncia estat stica uma evid ncia muito forte contra a hip tese nula e 0 01 lt p valor lt 0 05 estisticamente significante uma evid ncia moderada contra a hip tese nula e 0 05 lt p valor lt 0 1 estisticamente significante uma evid ncia fraca contra a hip tese nula e p valor gt 0 1 evid ncia insuficiente contra a hip tese nula ela n o deve ser rejeitada 5 RESULTADOS 5 1 Usabilidade medida nos tr s contextos de avalia o 5 1 1 Efic cia da tarefa 147 Os resultados obtidos para a efic cia das tarefas figura 47 mostram que os usu rios conseguiram completar 100 dos seus objetivos nas tarefas 2 3 4 e 6 nos tr s contextos de avalia o 120 100 80 60 40 20 TAREFA 1 TAREFA2 TAREFAS TAREFA 4 TAREFAS TAREFA6 TAREFA 7 E EMULADOR 82 50 100
205. usto de acesso um fator cr tico que pode influenciar a minha escolha entre usar ou n o o WAP 80 60 40 20 0 Discordo Discordo Neutro Concordo Concordo Completamente Completamente Figura 73 Opini o sobre o custo de acesso De uma forma geral a rea o dos participantes id ia de utilizar um telefone celular para navegar na Internet m vel foi bastante positiva como declarou um dos participantes Eu vou sair daqui curioso para saber dos outros servi os o que eles oferecem e como eles funcionam 175 6 CONCLUSAO No experimento realizado os ensaios de intera o foram conduzidos segundo tr s diferentes abordagens caracterizadas pela defini o dos seus contextos de avalia o A seguir ser o apresentadas a an lise e a discuss o dos resultados obtidos neste experimento com o objetivo de esclarecer qual foi a influ ncia exercida pelos diferentes contextos de avalia o nos resultados dos ensaios de intera o No final ser o apresentadas as principais conclus es deste trabalho bem como sugest es para trabalhos futuros 6 1 An lise dos resultados Os resultados obtidos podem ser analisados em dois grupos e Os resultados da usabilidade medida em termos de efic cia efici ncia e satisfa o do usu rio incluindo a avalia o da carga de trabalho e Os resultados das medidas e m tricas de desempenho das avalia es em termos de n mero de problemas de usabilidade ident
206. van N Bogomolni Incorporating user quality requirements in the software development process 4 International Software amp Internet Quality Week Conference QWE 2000 Brussels Belgium 20 24 November 2000 Bevan N International standards for HCI and usability International Journal of Human Computer Studies 55 4 533 552 October 2001 Bevan N Cost effective user centred design based on 1S013407 Tutorial notes UPA 2002 Orlando Florida USA July 2002 Bevan N Setting Usability Performance Requirements Tutorial notes CHI 2003 Fort Lauderdale Florida USA April 2003 Bocker M Suwita A Evaluating the Siemens C10 Mobile Phone Going Beyond Quick and Dirty Usability Testing Proceedings of the 17 International Symposium on Human Factors in Telecommunication Copenhagen Denmark May 1999 194 Brag Vilhelm Wentrup Robert Developing Wapps wireless applications in the context of systems development Master thesis Department of Informatics School of Economics and Comercial Law G teborg University 2001 Brewster S Overcoming the lack of screen space on mobile computers Personal and Ubiquitous Computing 6 3 May 2002 Brooke J SUS A quick and dirty usability scale In Jordan P W et al Usability Evaluation in Industry pp 189 94 London UK Taylor amp Francis 1996 Buchanan G Farrant S Jones M Thimbleby H Marsden G Pazzani M Improving Mobile Internet us
207. xima vis o de Nielsen e Jordan onde a usabilidade est mais relacionada facilidade de uso e aprendizado Segundo Bevan 1999b atingir a qualidade em uso depende de atingir os crit rios para as medidas externas de comportamento do software o que por sua vez depende de atingir os crit rios relacionados para as medidas internas portanto os atributos dos tr s n veis devem ser medidos Funcionalidade Acuracia Adequa o Interoperabilidade Seguran a de acesso Usabilidade Inteligibilidade Apreensibilidade Operacionalidade Atratividade Manutenibilidade Analisabilidade Modificabilidade Estabilidade Testabilidade Qualidade em uso Efic cia produtividade seguran a e satisfa o 49 Confiabilidade Maturidade Toler ncia a falhas Recuperabilidade Disponibilidade Efici ncia Comportamento em rela o ao tempo Utiliza o de recursos Portabilidade Adaptabilidade Facilidade de instala o Co exist ncia Capacidade de substitui o Figura 14 Modelo de qualidade para um produto de software ISO IEC 9126 1 Fonte Bevan 2001 ABNT 1999 50 Os documentos ISO IEC 9126 2 e ISO IEC 9126 3 definem exemplos de m tricas externas e internas que se associam aos atributos de qualidade relacionados as caracteristicas e subcaracteristicas deste modelo A parte 2 m tricas externas descreve m tricas que sao aplicadas ao produto de software executavel enquanto a parte 3 m tricas
208. ystem Usability Scale Brooke 1996 SUS 2003 O SUS um question rio fechado composto de dez quest es usando a escala Likert que cobrem diversos aspectos da usabilidade do sistema como complexidade necessidade de treinamento e consist ncia O resultado da avalia o do SUS um valor num rico entre zero e cem 135 Al m de poder ser respondido rapidamente ele um question rio geral que pode ser aplicado a um grande n mero de sistemas e p de ser facilmente adaptado aplica o WAP que estava sendo avaliada anexo A O SUS est dispon vel na Internet SUS 2003 e pode ser utilizado livremente desde que seja mencionada a fonte Os question rios SUMI 2003 e QUIS 2003 s o question rios mais longos e complexos al m disto eles n o podem ser utilizados livremente precisam ser licenciados ou adquiridos junto aos desenvolvedores 4 3 7 7 Avalia o da carga de trabalho Al m das diferen as entre os equipamentos utilizados para realizar a navega o emulador X telefone celular e para registr la computador X c mera de documentos X c mera sem fio os usu rios estavam expostos a diferentes ambientes dentro do laborat rio X fora do laborat rio e situa es local silencioso X local de movimento e barulho Desta forma decidiu se tamb m avaliar qual a carga de trabalho imposta ao participante pelo contexto de avalia o como em Brewster 2002 A carga de trabalho pode ser definida como um conceito
209. zou o teste sentado segurando o sistema formado pela minic mera e o telefone nas m os Como ap s ajustado o telefone estava fixo e solid rio em rela o minic mera o participante podia se movimentar e agir normalmente Esta condi o contribuiu para reproduzir com maior fidelidade o contexto real de uso sem prejudicar a filmagem A figura 42 ilustra o ambiente deste ensaio de intera o Figura 42 Ambiente do contexto de avalia o da minic mera sem fio 122 O avaliador estava sentado pr ximo ao participante observando a intera o atrav s do display da c mera de v deo N o havia c meras filmando o participante a imagem gravada em fita somente a do telefone celular figura 43 Figura 43 Imagem da intera o no contexto de avalia o da minic mera sem fio Posteriormente quando da an lise das fitas no laborat rio a filmadora foi conectada televis o permitindo que a imagem fosse reproduzida em uma tela maior facilitando a observa o para o avaliador Este contexto ser referenciado daqui para frente como contexto da c mera sem fio 4 3 4 O emulador e o telefone celular V rios modelos de telefones celulares e diversos emuladores foram pesquisados com o objetivo de encontrar o par que apresentasse o maior n mero poss vel de similaridades em termos de disposi o e funcionalidade das teclas e da visualiza o da aplica o Com base neste crit rio ap s uma extensa pesquisa

avaliação de usabilidade para os computadores de mão: um estudo

Contents

Download Pdf Manuals

Related Search

Related Contents

avalia&ccedil;&atilde;o de usabilidade para os computadores de m&atilde;o: um estudo

Contents

Download Pdf Manuals

Related Search

Related Contents

avaliação de usabilidade para os computadores de mão: um estudo