Competição de Avaliação

VLibras vs HandTalk: a comparative evaluation of tools for the Brazilian Sign Language (LIBRAS) using usability heuristics – Tatiana Tavares (Universidade Federal de Pelotas), Richard Aquino dos Santos (Universidade Federal de Pelotas), Pedro Augusto Marchand (Universidade Federal de Pelotas), Cássia Marigliano (Universidade Federal de Pelotas), Douglas Maliszewski (Universidade Federal de Pelotas)

Uma Análise da Interação Humano-Computador da Usabilidade do Aplicativo COBALTO – Alexandre Bender (Universidade Federal de Pelotas), Moniele Santos (Universidade Federal de Pelotas), Vinicius Borges (Universidade Federal de Pelotas)

Sobrevivendo no Sertão da Bahia do Século XIX: Uma Investigação de Usabilidade e Acessibilidade do Jogo Árida – Ludmilla Galvão (Universidade Federal do Paraná), Lucineide da Silva (Universidade Federal de Mato Grosso do Sul), João Cardoso (Universidade Federal do Paraná), Vicente Conceição Júnior (Universidade Federal do Paraná), Laura Sánchez García (Universidade Federal do Paraná)

Mecânicas de funcionamento de jogos educacionais e sua influência na Experiência do Usuário: uma análise comparativa – Elvis Leite da Silva (Instituto Federal de Educação, Ciência e Tecnologia de São Paulo), Fabio Pereira de Souza (Instituto Federal de Educação, Ciência e Tecnologia de São Paulo), Leonardo Henrique Vasconcelos (Instituto Federal de Educação, Ciência e Tecnologia de São Paulo), Mayara Giovana de Araujo (Instituto Federal de Educação, Ciência e Tecnologia de São Paulo), Eliana Moreira (Instituto Federal de São Paulo), Thiago Barcelos (Instituto Federal de São Paulo)

A Competição de Avaliação de IHC busca motivar a participação de estudantes de graduação e de pós-graduação, bem como docentes e profissionais de IHC contribuindo para a formação destes estudantes. A Competição de Avaliação tem um caráter essencialmente prático: as pessoas participantes fazem a avaliação de um sistema computacional e, assim, aplicam conhecimentos teóricos relacionados a metodologias de avaliação de IHC.

No IHC 2021, a Competição de Avaliação tem como objetivo explorar a avaliação de artefatos computacionais interativos e sua relação com a História e seus efeitos globais no passado, presente e perspectivas de futuro. Nesse sentido, a competição visa incorporar a possibilidade de avaliação de tecnologias e sua relação com o legado histórico do passado, bem como de tecnologias e sua relação com o “fazer e contar a história” ou “recontar a história” em episódios marcantes da atualidade. Além disso, a competição visa ainda estimular o seguimento de uma linha de concepção de história mais crítica, abrindo para a avaliação com aplicativos e tecnologias que ajudam na compreensão da História e suas reflexões. O tema da Competição de Avaliação do IHC 2021 está alinhado à chamada da Competição de Avaliação do IHC 2020 que foi suspensa, viabilizando a submissão dos trabalhos iniciados a partir da chamada anterior. 

Entre os possíveis artefatos que poderão ser foco da avaliação, do ponto de vista de tecnologias que auxiliam a “fazer, contar e recontar a história” na atualidade estão as redes sociais com situações e discussões envolvendo ‘fake news’ (cenários político, econômico, social, cultural, legal etc.) e tecnologias colaborativas no suporte à atividades profissionais, educacionais e cotidianas em situações de isolamento (e.g. COVID-19). Do ponto de vista de tecnologias que auxiliam a compreender o legado histórico passado, podem ser avaliadas tecnologias interativas que ganharam grande projeção com as situações de isolamento social com a crise do COVID-19 e fechamento de museus e espaços culturais para o público. Podem ser avaliados aplicativos, websites ou ambientes de realidade virtual e aumentada de museus e espaços culturais do Brasil e do mundo (e.g. Museu Afro Brasil, Museu do Amanhã, RATP Museu Realidade Aumentada, VR Museu Britânico, Museu Nacional do Azulejo em Portugal, dentre outros), assim como jogos educacionais e jogos sérios ligados ao tema.

Do ponto de vista metodológico, nesta competição de avaliação gostaríamos de desafiar os(as) estudantes a buscar extrapolar a avaliação unicamente de aspectos clássicos da qualidade em uso de sistemas (e.g. usabilidade, acessibilidade e comunicabilidade) e incluir aspectos relacionados à experiência do usuário (User eXperience – UX). De acordo com a ISO 9241-210, a experiência do usuário aborda “as percepções e reações de uma pessoa que resultam do uso ou utilização prevista de um produto, sistema ou serviço” e “inclui todas as emoções, crenças, preferências, percepções, respostas físicas e psicológicas, comportamentos e realizações do usuário que ocorrem antes, durante e após o uso”. Em várias tecnologias interativas relacionadas ao tema desta competição, a “experiência do usuário” tem papel importante no uso desta tecnologia, incluindo suas emoções, sensações e outros aspectos relacionados à UX, e não só aspectos relacionados ao uso do sistema e realização de tarefas no mesmo. Os(as) estudantes têm liberdade para escolher métodos que considerem adequados para analisar aspectos de UX. 

Consideramos importante disseminar o uso de métodos de avaliação de UX que de fato contemplem os aspectos de UX que extrapolam aspectos clássicos de usabilidade, acessibilidade e comunicabilidade, por exemplo. Apesar da ampla disseminação do termo “UX” e adoção do mesmo por muitas empresas, muitas avaliações realizadas em ambientes comerciais ditas “avaliações de UX” não incorporam aspectos mais amplos como as percepções, reações, emoções, crenças, dentre outros.  Nesse sentido, a competição traz este desafio de demonstrar a utilização efetiva destes métodos, como exemplos que podem ser replicados em ambientes comerciais.

No âmbito da competição, entre os aspectos de UX a serem avaliados com relevância em potencial, pode-se exemplificar reações com relação a crenças e percepções sobre sistemas interativos com notícias, emoções que emergem da interação com conteúdo com base histórica real e “fake“, ou sentimentos emergentes a partir do uso de tecnologia em situações de fatos históricos, bem como as percepções e reações que emergem a partir da interação com artefatos ligados ao legado cultural do passado.

Para estudantes de pós-graduação, gostaríamos de lançar um desafio “extra“, no sentido de explorar métodos de avaliação de UX oriundos de pesquisas recentes da literatura nos seus trabalhos. No âmbito acadêmico, desde a publicação do artigo “User experience – a research agenda” em 2006 por Hassenzahl e Tractinsky, com mais de 3000 citações em março de 2021, muitos trabalhos têm se dedicado a investigar métodos para avaliar aspectos de experiência do usuário. Apesar dos avanços, esta área ainda apresenta mais desafios em pesquisa do que a utilização de técnicas consolidadas há décadas para avaliar outros aspectos da qualidade no uso, como de usabilidade. Estudantes de pós-graduação são convidados(as) a revisar a literatura recente de IHC na busca por métodos com aplicabilidade ao tipo de aplicação escolhida. Na literatura, há propostas específicas para avaliação da experiência do usuário com aplicativos de uso geral, jogos ou com aplicativos interativos de legado cultural. As equipes terão total liberdade para efetuar sua pesquisa na literatura e escolher o(s) melhor(es) método(s) para utilizar.  Entretanto, listamos a seguir alguns exemplos de artigos com propostas deste tipo, que não necessariamente precisam ser as adotadas nos trabalhos:

– IJSSELSTEIJN, W. A.; DE KORT, Y. A. W.; POELS, Karolien. The game experience questionnaire. Eindhoven: Technische Universiteit Eindhoven, p. 3-9, 2013.
– PETRIE, H.; OTHMAN, M. K.; POWER, C. Smartphone Guide Technology in Cultural Spaces: Measuring Visitor Experience with an iPhone Multimedia Guide in Shakespeare’s Church. International Journal of Human–Computer Interaction, v. 33, n. 12, p. 973-983, 2017.
– BRÜHLMANN, F; Vollenwyder, B.; Opwis, K.; & Mekler, E. D. Measuring the “Why” of Interaction: Development and Validation of the User Motivation Inventory (UMI). In: Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. 2018. p. 1-13.

Métodos: As equipes terão liberdade para escolher o(s) método(s) que irão utilizar para avaliar o artefato computacional. Equipes de estudantes de pós-graduação são encorajadas a buscar a aplicação de métodos de avaliação de UX recentes propostos em artigos na literatura de IHC.

Objeto e foco: Avaliar a qualidade (usabilidade, comunicabilidade, acessibilidade etc.) e a experiência de uso de um artefato computacional interativo de apoio à História e seus efeitos globais no passado, presente e perspectivas de futuro. Os artefatos computacionais avaliados podem ser de uso individual (monousuário) ou colaborativo, e podem ser implementados em diferentes formas que ofereçam interação, como software, hardware, ambiente, aplicativo, jogo, ou outros sistemas computacionais. Propostas com avaliações de artefatos computacionais que intensificam a colaboração social na área da História também são bem-vindas.

Produto: Após a avaliação, cada equipe deve gerar um relatório contendo:

  • Nome do(s) método(s) de avaliação utilizado(s);
  • Justificativa da escolha deste(s) método(s);
  • Descrição da(s) plataforma(s) escolhida(s): marca, modelo, sistema operacional;
  • Descrição do processo de avaliação (porção da interface analisada, funcionalidades avaliadas, procedimentos envolvidos);
  • Resultados da avaliação;
  • Problemas encontrados: descrição, localização, contexto de ocorrência e justificativa;
  • Fechamento: conclusão e outras observações;
  • Parecer da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) aspectos de experiência de uso nos aplicativo(s).

Cumprimos o Código de Ética da ACM. Esperamos que todos os envios, pesquisas subjacentes e comportamento durante o processo de revisão e conferência estejam em conformidade com os princípios e responsabilidades delineados pelo código.

As submissões dos relatórios devem ser anônimas e ter até 10 páginas no modelo ACM Master Article. Os autores devem efetuar suas submissões eletronicamente, por meio do sistema JEMS, em formato PDF.

A formação da equipe pode ser de dois tipos:

  • Graduação: no mí­nimo 3 estudantes e no máximo 5 estudantes de graduação;
  • Pós-graduação: no mínimo 2 estudantes e no máximo 4 estudantes de pós-graduação.

Todas as equipes de estudantes de graduação devem ter no mínimo um e no máximo dois supervisores, que podem ser vinculados(as) a uma instituição de ensino superior, instituto de pesquisa ou empresa privada com atuação ligada à IHC. Um dos supervisores pode ser estudante de pós-graduação, caso participe da supervisão de um grupo de estudantes de graduação em conjunto com um docente.

As equipes de estudantes de pós-graduação deverão ter no mínimo um e no máximo dois supervisores, que deverão ser docentes ou pesquisadores vinculados à instituição de ensino superior ou instituto de pesquisa. Neste caso, os(as) supervisores(as) devem ser orientador(a) e co-orientador(a) dos estudantes de pós-graduação.

Não haverá possibilidade de se ter estudantes de graduação e pós-graduação na mesma equipe. O não cumprimento dos requisitos para formação da equipe acarretará desclassificação do processo de seleção.

Para participar da competição, cada equipe deve cumprir três etapas:

  1. Executar a avaliação;
  2. Enviar o relatório de avaliação;
  3. Caso seja escolhido dentre os finalistas, apresentar o relatório de avaliação na sessão de Competição de Avaliação do IHC 2021 que será realizado de maneira online.

Cada relatório será avaliado por revisores(as) com experiência comprovada em IHC ou em avaliação de sistemas interativos.

Serão levados em conta os seguintes critérios de julgamento:

  • Adequação do sistema/aplicativo ao tema da Competição de Avaliação;
  • Legibilidade, organização e apresentação do texto do relatório de avaliação;
  •  Definição clara do escopo e objetivo da avaliação;
  • Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;
  • Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;
  • Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolva(m) a participação de usuários, ou outras pessoas fora da equipe);
  • Qualidade da análise crítica da capacidade do método revelar ou não potenciais problemas de uso do sistema.

Serão selecionados 3 finalistas de cada categoria (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas de um grupo de avaliadores, durante o evento, a realizar-se de maneira online, entre os dias 18 e 22 de outubro de 2021. Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação, no IHC 2021. Entretanto, é exigida a inscrição e presença de ao menos um membro da equipe.

As apresentações de artigos durante o evento serão feitas por meio de vídeo pré-gravado, hospedadas na plataforma da conferência e posteriormente arquivadas no canal do IHC 2021 no YouTube. Porém, as discussões serão síncronas, sendo imprescindível a participação de pelo menos um dos autores na sessão.
 
A coordenação da trilha enviará emails para os autores especificando os detalhes, incluindo a duração máxima, o formato de envio dos vídeos e outros pontos relevantes para a trilha.
 
A página Recursos e Acessibilidade apresenta recursos que podem ser úteis na preparação dos vídeos, incluindo modelos de slides e de gravação utilizando o OBS Studio. Ao preparar o vídeo de apresentação, siga as recomendações disponíveis em: Como realizar minha apresentação pré-gravada de forma mais acessível?  Observe que, devido ao formato virtual do IHC 2021, a capacidade dos participantes de entender as apresentações usando apenas a visão ou o áudio agora é um requisito. Por isso, todos os vídeos pré-gravados devem incluir legendas. Preparamos um tutorial para lhe ajudar com o processo de legendagem
 

Cada equipe finalista selecionada que apresentar oralmente no IHC 2021 receberá um Certificado de Reconhecimento. A equipe vencedora também receberá um prêmio (a ser definido pela organização).

A organização do evento tentará viabilizar uma inscrição gratuita para um membro de cada equipe selecionada para a apresentação oral nesta edição. No entanto, é de responsabilidade inicial das pessoas autoras garantirem a sua inscrição e presença no evento.

Os relatórios de avaliação das equipes finalistas serão publicados nos anais estendidos do IHC 2021.

Sistema a ser avaliado: Artefatos computacionais de apoio à História e seus efeitos globais no passado, presente e perspectivas de futuro;

Critérios a serem avaliados: Qualidade e/ou Experiência de uso;

Métodos a serem utilizados: Conforme escolha das equipes;

Tamanho das equipes:

  • 3 a 5 estudantes de graduação + 1 ou 2 supervisores (docentes, pesquisadores(as), pós-graduandos(as) ou profissionais)
  • 2 a 4 estudantes de pós-graduação + 1 ou 2 supervisores (docentes ou pesquisadores(as) que sejam orientador(a) e co-orientador(a) dos(as) estudantes de pós-graduação).

Anna Beatriz dos Santos Marques (UFC) – beatriz.marques@ufc.br
Natasha Malveira Costa Valentim (UFPR) – natasha@inf.ufpr.br

Adriana Lopes Damian (UFAM)
André Schlemmer (UFPR)
Bruno Gadelha (UFAM)
Daniel Alves (UFBA)
Eduardo Tanaka (Instituto Eldorado)
Erica Oliveira (UFMG)
Fabrício Sales Pereira (UFMG)
Flávio Soares Corrêa da Silva (USP)
Jean Rosa (UFBA)
Leticia Peres (UFPR)
Luciana Zaina (UFSCAR)
Luis Rivero (UFMA)
Marilia Mendes (UTFPR)
Milene Silveira (PUCRS)
Nayana Carneiro (UFC)
Patrícia Vasconcelos (UFC)
Rainara Carvalho (UFC)
Roberto Pereira (UFPR)
Vagner Santana (IBM Research)
Walter Nakamura (UFAM)
Williamson Silva (Unipampa)
Yuska Paola Costa Aguiar (UFPB)

Prazo de submissão: 27/06/2021 (era 13/06)
Notificação dos finalistas: 09/08/2021
Entrega do relatório final: 23/08/2021 (era 16/08)
Apresentação no IHC 2021: 18/10/2021 (data provável)

Conteúdo desta página

SESSÃO TÉCNICA

Acessibilidade

  1. Developing a Set of Design Patterns Specific for the Design of User Interfaces for Autistic Users
    Dayanne Gomes (UFMA), Nathasha Pinto (UFMA), Aurea Melo (UEA), Ivana Márcia Maia (IFMA), Anselmo Cardoso de Paiva (UFMA), Raimundo Barreto (UFAM), Davi Viana (UFMA), Luis Rivero (UFMA)
  2. Flying colors: Using color blindness simulations in the development of accessible mobile games
    Mateus Carneiro (UFC), Windson Viana (UFC), Rossana Andrade (UFC), Ticianne Darin (UFC)
  3. Image Descriptions’ Limitations for People with Visual Impairments: Where Are We and Where Are We Going?
    Alessandra Jandrey (PUC-RS), Duncan Ruiz (PUC-RS), Milene Silveira (PUC-RS)
  4. Making Design of Experiments (DOE) accessible for everyone: Prototype design and evaluation
    Fabiani de Souza (CPQD), Gabriela Vechini (UNICAMP), Graziella Bonadia (CPQD)
  5. The Windows 10’s Color Filter Feature as an Aid for Color Blind People in the Use of Websites
    Isa Maria de Paiva (UNIRIO), Sean Siqueira (UNIRIO), Simone Bacellar Leal Ferreira (UNIRIO)
  6. When just Ok, is not Ok – An Experimental Study through Sequential Chronological Cuts, with Prescriptive and Semantic Analyzes on the Dynamic Translation by VLibras Avatar
    André Silva (UNIRIO), Tatiane Militão de Sá (UFF), Ruan Diniz (PUC Campinas), Simone Bacellar Leal Ferreira (UNIRIO), Sean Siqueira (UNIRIO), Saulo Cabral Bourguignon (UFF)
  7. Evaluation of Assistive Technologies from the perspective of Usability, User Experience and Accessibility: a Systematic Mapping Study
    Tatiany Xavier de Godoi (UFPR), Guilherme Guerino (UEM), Natasha Valentim (UFPR)