Avaliação Heurística
A Avaliação Heurística é um método tradicional desenvolvido por Nielsen e Molich [1] que consiste na inspeção sistemática da interface do usuário por um avaliador que interage com a interface e julga a sua adequação comparando-a a um conjunto de critérios denominado de heurísticas. Nielsen e Molich sugerem um conjunto com 10 heurísticas para guiar a avaliação:
- 1) Visibilidade do estado do sistema;
- 2) Correspondência entre o sistema e o mundo real;
- 3) Controle e liberdade do usuário;
- 4) Consistência e padronização;
- 5) Prevenção de erros;
- 6) Ajuda aos usuários para reconhecer, diagnosticar e se recuperar de erros;
- 7) Reconhecimento ao invés de memorização;
- 8) Flexibilidade e eficiência de uso;
- 9) Design estético e minimalista e,
- 10) Ajuda e documentação.
Os autores sugerem ainda que para obter um bom resultado na avaliação é preciso a participação de 3 a 5 avaliadores. Durante a avaliação, para cada heurística violada, um nível de severidade é aplicado. Os níveis incluem: 0) Sem importância - Não afeta a operação da interface; 1) Cosmético - Não há necessidade imediata de solução; 2) Simples - Problema de baixa prioridade (pode ser reparado); 3) Grave - Problema de alta prioridade (deve ser reparado); 4) Catastrófico – Muito grave, deve ser reparado de qualquer forma. Após a análise de cada especialista, uma reunião é realizada para discussão das avaliações e um relatório final é redigido relatando os problemas identificados e a sua localização, bem como as heurísticas violadas e as severidades aplicadas.
Neste estudo, a Avaliação Heurística foi conduzida por quatro avaliadores, dois experientes e dois com pouca experiência. O objetivo da avaliação era identificar problemas de usabilidade nas três tarefas definidas pela equipe para este desafio, utilizando uma técnica de inspeção sistemática da interface e um conjunto de heurísticas.
Equipamento Utilizado:
Dois avaliadores utilizaram o sistema operacional Windows 7 e o navegador Mozilla Firefox 13.0.1; Um avaliador utilizou o Windows Vista e o navegador Firefox 10.0.2; Um avaliador utilizou o Ubuntu 11.04 e o navegador Firefox 13.0.1.
Resultados:
Um total de 25 problemas de usabilidade foi encontrado pelos avaliadores. Sendo 3 problemas classificados como problema cosmético; 5 problemas simples; 13 problemas graves e 6 problemas classificados como catastróficos. Na Tabela 1 pode ser observada a quantidade de problemas encontrados em cada uma das categorias de severidade e os percentuais que esses problemas representam em relação ao total de problemas identificados pelos avaliadores. Como 2 problemas violaram mais de uma heurística, eles foram repetidos na Tabela 1.
| Severidade |
Cosmético |
Simples |
Grave |
Catastrófico |
| Quantidade |
3 |
5 |
13 |
6 |
| % |
12% |
20% |
52% |
24% |
Tabela 1. Severidade e percentual de severidade dos problemas encontrados nas Avaliações Heurísticas.
Todas as heurísticas de usabilidade foram violadas, exceto a heurística de número 6, visto que não foram identificadas situações de erro na realização das tarefas. Na Tabela 2 são apresentados os problemas catastróficos e os problemas que violaram mais de uma heurística.
| Problema |
Local |
Heurística violada |
Severidade |
| Para excluir as mensagens de alguém do feed de notícias é preciso clicar em um botão que não dá indicação de que é um botão. Além disso, esse botão não passa a ideia de que ao clicar nele outras opções serão dadas. Se o usuário nunca fez a ação, ele ficará perdido. |
T2 |
2 |
4 |
| O usuário não tem a opção de editar uma mensagem de status postada. |
T1 |
3 |
4 |
| Se o usuário clicar em excluir da linha do tempo, pode achar que a marcação foi excluída da foto do amigo. Porém, excluir da linha do tempo não exclui da foto do amigo, apenas da sua própria linha do temp. A foto continua marcada e outras pessoas podem visualizá-la. |
T3 |
5 |
4 |
| Para acessar a opção “Ajuda” é necessário clicar em no canto superior direito em um ícone nada intuitivo. |
T1, T2 e T3 |
10 |
4 |
| Para acessar as configurações de privacidade é necessário clicar em uma seta nada intuitiva e escondida no canto superior direito do site. |
T3 |
2 |
4 |
| 7 |
4 |
Tabela 2. Problemas catastróficos.
Durante a realização das tarefas propostas, nenhum feedback é oferecido ao usuário sobre ações que estão sendo realizadas. O site usa termos em inglês como feed, status, done e improve all, além de expressões que não condizem com a realidade dos usuários, como “No que você está pensando?”, visto que a maioria dos usuários posta o que está fazendo e não o que está pensando. Há ainda, diferenças na disposição dos elementos ao se postar uma mensagem no Feed de Notícias e na Feed e o usuário não tem a opção de editá-la após publicar. Quando o usuário tenta remover a marcação de uma foto, são disponibilizadas opções similares que podem confundir o usuário, como remover da linha do tempo, desfazer curtir, desfazer seguir publicação, além da opção de remover a marcação.
A aplicação da Avaliação Heurística resultou na identificação de um número relevante de problemas graves e catastróficos relacionados à usabilidade. A maioria desses problemas pode impactar na utilização adequada das funcionalidades de privacidade do Facebook, induzindo o usuário ao erro. Os problemas identificados condizem com o resultado obtido pela aplicação do SUS, que indicam uma capacidade média de utilização do sistema.
Foto dos avaliadores na discussão:
1. Nielsen, J. and Molich, R. Heuristic evaluation of user interfaces. In: Proceedings of Empowering People - CHI’90 CONFERENCE. New York: ACMPress, (1990).
