O Teste de Usabilidade [1, 2] foi um dos métodos empíricos utilizados para avaliar usabilidade no Facebook. Por meio desse teste é feita uma observação direta da interação do usuário com o sistema. O desempenho e preferências do usuário são avaliados, sendo possível obter medidas quantificáveis dos critérios estabelecidos através da determinação de limites máximos, mínimos e almejados das medidas. O teste permite ainda, a apreciação de fatores que caracterizam a usabilidade de um software como a facilidade de aprendizado, a facilidade de uso, a eficiência de uso e produtividade, a satisfação do usuário, a flexibilidade e a segurança no uso. Algumas medidas típicas para esse tipo de teste incluem: o tempo que o usuário gasta para realizar uma tarefa; o número de erros; a razão entre o número de interações de sucesso e erro; a proporção entre comentários favoráveis e desfavoráveis, dentre outros.

As métricas estabelecidas para este teste foram:

• M1- Tempo para realizar a tarefa;
• M2- Número de toques/comandos para realizar a tarefa;
• M3- Quantidade de interações em que os usuários obtiveram sucesso.

Essas métricas foram avaliadas para as três tarefas definidas.

O teste de usabilidade foi conduzido por dois avaliadores, um considerado experiente e um com pouca experiência.

Equipamento Utilizado:

2 Tablets plataforma iOS, com versão e navegador Safari na versão 5.1; 1 smartphone Galaxy SII e 1 smartphone Xperia Mini Pro filmando as interações do usuário no tablet.

Questionários e Formulários Utilizados:

Questionário para levantamento de perfil e pós-sessão

Autorização de Captação e Exibição de Imagem, Som e Nome

Termo de Consentimento Livre e Esclarecido - TCLE

Self-Assessment Manequin - SAM

Número de Usuários: Quinze usuários.

Perfil dos Usuários

Critérios para Conclusão: Avaliação do desempenho do usuário a partir das medidas definidas (tempo para realizar a tarefa, número de toques (comandos) para realizar a tarefa e a quantidade de interações em que os usuários obtiveram sucesso).

Resultados:

Para a primeira métrica estabelecida (tempo para realizar a tarefa) foram calculados os seguintes tempos médios de realização da tarefa usando tablets: T1 ≈ 33 segundos; T2 ≈ 30 segundos e; T3 ≈ 1 minuto e 5 segundos. Esses tempos foram obtidos a partir da média dos tempos gastos por dois avaliadores na realização das mesmas tarefas. Para a T1 foi possível verificar que os usuários gastaram em média três vezes mais tempo que o previsto (≈ 1min e 36s.). No entanto, usuários mais experientes no Facebook desempenharam a tarefa no tempo próximo do previsto. De modo semelhante, a T2 foi realizada pelos usuários no tempo médio de ≈ 1 min e 40s e a T3 em ≈ 3 min.

Para a métrica 2 (número de toques/comandos para realizar a tarefa) os resultados obtidos indicam que 4 dos 15 usuários realizaram a T1 na quantidade de toques prevista. Os demais usuários realizaram as tarefas utilizando, no mínimo, duas vezes mais a quantidade de toques. Para a T2, 7 dos 15 usuários realizaram a tarefa na quantidade de toques prevista e 8 utilizaram em média o dobro da quantidade de toques considerada como parâmetro. Para a T3, 8 dos 13 usuários realizaram em média com o dobro de toques e, 5 dos 15 usuários utilizam 3 vezes mais a quantidade de toques prevista.

Na métrica 3 (quantidade de interações em que os usuários obtiveram sucesso) foi possível identificar que para a T1, 13 dos 15 usuários realizaram a tarefa conforme esperado; para a T2, 7 dos 15 realizaram a tarefa com sucesso e; para a T3, apenas 3 dos 15 usuários conseguiram finalizar a tarefa. Para essa métrica em específico, é importante ressaltar que muito dos usuários acreditaram ter realizado a tarefa com sucesso, no entanto, esse fato não ocorreu, indicando possíveis problemas relacionados à usabilidade.

Com o teste de usabilidade foi possível observar que as tarefas T2 e T3 foram aquelas em que os usuários mais demandaram tempo e raciocínio sobre o caminho a seguir para realizá-las. 9 dos 15 usuários nunca tinham usado o tablet e 3 desses 9 acharam mais difícil a interação no Facebook a partir desse dispositivo, apresentando dificuldades também para a realização das tarefas.

O teste permitiu observar, ainda, que no tablet algumas das funcionalidades investigadas eram disponibilizadas de forma muitas vezes oculta, deixando os usuários confusos e perdidos, mesmo aqueles que tinham experiência com o uso do tablet. Pelo mesmo motivo, muitos deles demoram mais tempo na realização da tarefa, assim como utilizaram caminhos diferentes e quantidade de toques a mais, muitas vezes não conseguindo finalizar a tarefa por não achar o caminho correto. Um dos usuários relata: "Senti diferença entre fazer undescribe através do tablet em relação ao computador. No tablet foi necessário tocar na foto com o dedo para o menu aparecer".

1. Nielsen, J. Usability Engineering. New Jersey: Academic Press, (1993).

2. Rubin, J. Handbook of Usability Testing. New York: John Wiley and Sons, (1994).