Competição de Avaliação

A Competição de Avaliação de IHC busca motivar a participação de estudantes de graduação e de pós-graduação, bem como docentes e profissionais de IHC contribuindo para a formação destes estudantes. A Competição de Avaliação tem um caráter essencialmente prático: as pessoas participantes fazem a avaliação de um sistema computacional e, assim, aplicam conhecimentos teóricos relacionados a metodologias de avaliação de IHC.

No IHC 2021, a Competição de Avaliação tem como objetivo explorar a avaliação de artefatos computacionais interativos e sua relação com a História e seus efeitos globais no passado, presente e perspectivas de futuro. Nesse sentido, a competição visa incorporar a possibilidade de avaliação de tecnologias e sua relação com o legado histórico do passado, bem como de tecnologias e sua relação com o “fazer e contar a história” ou “recontar a história” em episódios marcantes da atualidade. Além disso, a competição visa ainda estimular o seguimento de uma linha de concepção de história mais crítica, abrindo para a avaliação com aplicativos e tecnologias que ajudam na compreensão da História e suas reflexões. O tema da Competição de Avaliação do IHC 2021 está alinhado à chamada da Competição de Avaliação do IHC 2020 que foi suspensa, viabilizando a submissão dos trabalhos iniciados a partir da chamada anterior. 

Entre os possíveis artefatos que poderão ser foco da avaliação, do ponto de vista de tecnologias que auxiliam a “fazer, contar e recontar a história” na atualidade estão as redes sociais com situações e discussões envolvendo ‘fake news’ (cenários político, econômico, social, cultural, legal etc.) e tecnologias colaborativas no suporte à atividades profissionais, educacionais e cotidianas em situações de isolamento (e.g. COVID-19). Do ponto de vista de tecnologias que auxiliam a compreender o legado histórico passado, podem ser avaliadas tecnologias interativas que ganharam grande projeção com as situações de isolamento social com a crise do COVID-19 e fechamento de museus e espaços culturais para o público. Podem ser avaliados aplicativos, websites ou ambientes de realidade virtual e aumentada de museus e espaços culturais do Brasil e do mundo (e.g. Museu Afro Brasil, Museu do Amanhã, RATP Museu Realidade Aumentada, VR Museu Britânico, Museu Nacional do Azulejo em Portugal, dentre outros), assim como jogos educacionais e jogos sérios ligados ao tema.

Do ponto de vista metodológico, nesta competição de avaliação gostaríamos de desafiar os(as) estudantes a buscar extrapolar a avaliação unicamente de aspectos clássicos da qualidade em uso de sistemas (e.g. usabilidade, acessibilidade e comunicabilidade) e incluir aspectos relacionados à experiência do usuário (User eXperience – UX). De acordo com a ISO 9241-210, a experiência do usuário aborda “as percepções e reações de uma pessoa que resultam do uso ou utilização prevista de um produto, sistema ou serviço” e “inclui todas as emoções, crenças, preferências, percepções, respostas físicas e psicológicas, comportamentos e realizações do usuário que ocorrem antes, durante e após o uso”. Em várias tecnologias interativas relacionadas ao tema desta competição, a “experiência do usuário” tem papel importante no uso desta tecnologia, incluindo suas emoções, sensações e outros aspectos relacionados à UX, e não só aspectos relacionados ao uso do sistema e realização de tarefas no mesmo. Os(as) estudantes têm liberdade para escolher métodos que considerem adequados para analisar aspectos de UX. 

Consideramos importante disseminar o uso de métodos de avaliação de UX que de fato contemplem os aspectos de UX que extrapolam aspectos clássicos de usabilidade, acessibilidade e comunicabilidade, por exemplo. Apesar da ampla disseminação do termo “UX” e adoção do mesmo por muitas empresas, muitas avaliações realizadas em ambientes comerciais ditas “avaliações de UX” não incorporam aspectos mais amplos como as percepções, reações, emoções, crenças, dentre outros.  Nesse sentido, a competição traz este desafio de demonstrar a utilização efetiva destes métodos, como exemplos que podem ser replicados em ambientes comerciais.

No âmbito da competição, entre os aspectos de UX a serem avaliados com relevância em potencial, pode-se exemplificar reações com relação a crenças e percepções sobre sistemas interativos com notícias, emoções que emergem da interação com conteúdo com base histórica real e “fake“, ou sentimentos emergentes a partir do uso de tecnologia em situações de fatos históricos, bem como as percepções e reações que emergem a partir da interação com artefatos ligados ao legado cultural do passado.

Para estudantes de pós-graduação, gostaríamos de lançar um desafio “extra“, no sentido de explorar métodos de avaliação de UX oriundos de pesquisas recentes da literatura nos seus trabalhos. No âmbito acadêmico, desde a publicação do artigo “User experience – a research agenda” em 2006 por Hassenzahl e Tractinsky, com mais de 3000 citações em março de 2021, muitos trabalhos têm se dedicado a investigar métodos para avaliar aspectos de experiência do usuário. Apesar dos avanços, esta área ainda apresenta mais desafios em pesquisa do que a utilização de técnicas consolidadas há décadas para avaliar outros aspectos da qualidade no uso, como de usabilidade. Estudantes de pós-graduação são convidados(as) a revisar a literatura recente de IHC na busca por métodos com aplicabilidade ao tipo de aplicação escolhida. Na literatura, há propostas específicas para avaliação da experiência do usuário com aplicativos de uso geral, jogos ou com aplicativos interativos de legado cultural. As equipes terão total liberdade para efetuar sua pesquisa na literatura e escolher o(s) melhor(es) método(s) para utilizar.  Entretanto, listamos a seguir alguns exemplos de artigos com propostas deste tipo, que não necessariamente precisam ser as adotadas nos trabalhos:

– IJSSELSTEIJN, W. A.; DE KORT, Y. A. W.; POELS, Karolien. The game experience questionnaire. Eindhoven: Technische Universiteit Eindhoven, p. 3-9, 2013.
– PETRIE, H.; OTHMAN, M. K.; POWER, C. Smartphone Guide Technology in Cultural Spaces: Measuring Visitor Experience with an iPhone Multimedia Guide in Shakespeare’s Church. International Journal of Human–Computer Interaction, v. 33, n. 12, p. 973-983, 2017.
– BRÜHLMANN, F; Vollenwyder, B.; Opwis, K.; & Mekler, E. D. Measuring the “Why” of Interaction: Development and Validation of the User Motivation Inventory (UMI). In: Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. 2018. p. 1-13.

Métodos: As equipes terão liberdade para escolher o(s) método(s) que irão utilizar para avaliar o artefato computacional. Equipes de estudantes de pós-graduação são encorajadas a buscar a aplicação de métodos de avaliação de UX recentes propostos em artigos na literatura de IHC.

Objeto e foco: Avaliar a qualidade (usabilidade, comunicabilidade, acessibilidade etc.) e a experiência de uso de um artefato computacional interativo de apoio à História e seus efeitos globais no passado, presente e perspectivas de futuro. Os artefatos computacionais avaliados podem ser de uso individual (monousuário) ou colaborativo, e podem ser implementados em diferentes formas que ofereçam interação, como software, hardware, ambiente, aplicativo, jogo, ou outros sistemas computacionais. Propostas com avaliações de artefatos computacionais que intensificam a colaboração social na área da História também são bem-vindas.

Produto: Após a avaliação, cada equipe deve gerar um relatório contendo:

  • Nome do(s) método(s) de avaliação utilizado(s);
  • Justificativa da escolha deste(s) método(s);
  • Descrição da(s) plataforma(s) escolhida(s): marca, modelo, sistema operacional;
  • Descrição do processo de avaliação (porção da interface analisada, funcionalidades avaliadas, procedimentos envolvidos);
  • Resultados da avaliação;
  • Problemas encontrados: descrição, localização, contexto de ocorrência e justificativa;
  • Fechamento: conclusão e outras observações;
  • Parecer da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) aspectos de experiência de uso nos aplicativo(s).

As submissões dos relatórios devem ser anônimas e ter até 10 páginas no modelo ACM Master Article. Os autores devem efetuar suas submissões eletronicamente, por meio do sistema JEMS, em formato PDF.

A formação da equipe pode ser de dois tipos:

  • Graduação: no mí­nimo 3 estudantes e no máximo 5 estudantes de graduação;
  • Pós-graduação: no mínimo 2 estudantes e no máximo 4 estudantes de pós-graduação.

Todas as equipes de estudantes de graduação devem ter no mínimo um e no máximo dois supervisores, que podem ser vinculados(as) a uma instituição de ensino superior, instituto de pesquisa ou empresa privada com atuação ligada à IHC. Um dos supervisores pode ser estudante de pós-graduação, caso participe da supervisão de um grupo de estudantes de graduação em conjunto com um docente.

As equipes de estudantes de pós-graduação deverão ter no mínimo um e no máximo dois supervisores, que deverão ser docentes ou pesquisadores vinculados à instituição de ensino superior ou instituto de pesquisa. Neste caso, os(as) supervisores(as) devem ser orientador(a) e co-orientador(a) dos estudantes de pós-graduação.

Não haverá possibilidade de se ter estudantes de graduação e pós-graduação na mesma equipe. O não cumprimento dos requisitos para formação da equipe acarretará desclassificação do processo de seleção.

Para participar da competição, cada equipe deve cumprir três etapas:

  1. Executar a avaliação;
  2. Enviar o relatório de avaliação;
  3. Caso seja escolhido dentre os finalistas, apresentar o relatório de avaliação na sessão de Competição de Avaliação do IHC 2021 que será realizado de maneira online.

Cada relatório será avaliado por revisores(as) com experiência comprovada em IHC ou em avaliação de sistemas interativos.

Serão levados em conta os seguintes critérios de julgamento:

  • Adequação do sistema/aplicativo ao tema da Competição de Avaliação;
  • Legibilidade, organização e apresentação do texto do relatório de avaliação;
  •  Definição clara do escopo e objetivo da avaliação;
  • Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;
  • Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;
  • Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolva(m) a participação de usuários, ou outras pessoas fora da equipe);
  • Qualidade da análise crítica da capacidade do método revelar ou não potenciais problemas de uso do sistema.

Serão selecionados 3 finalistas de cada categoria (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas de um grupo de avaliadores, durante o evento, a realizar-se de maneira online, entre os dias 18 e 22 de outubro de 2021. Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação, no IHC 2021. Entretanto, é exigida a inscrição e presença de ao menos um membro da equipe.

Cada equipe finalista selecionada que apresentar oralmente no IHC 2021 receberá um Certificado de Reconhecimento. A equipe vencedora também receberá um prêmio (a ser definido pela organização).

A organização do evento tentará viabilizar uma inscrição gratuita para um membro de cada equipe selecionada para a apresentação oral nesta edição. No entanto, é de responsabilidade inicial das pessoas autoras garantirem a sua inscrição e presença no evento.

Os relatórios de avaliação das equipes finalistas serão publicados nos anais estendidos do IHC 2021.

Sistema a ser avaliado: Artefatos computacionais de apoio à História e seus efeitos globais no passado, presente e perspectivas de futuro;

Critérios a serem avaliados: Qualidade e/ou Experiência de uso;

Métodos a serem utilizados: Conforme escolha das equipes;

Tamanho das equipes:

  • 3 a 5 estudantes de graduação + 1 ou 2 supervisores (docentes, pesquisadores(as), pós-graduandos(as) ou profissionais)
  • 2 a 4 estudantes de pós-graduação + 1 ou 2 supervisores (docentes ou pesquisadores(as) que sejam orientador(a) e co-orientador(a) dos(as) estudantes de pós-graduação).

Anna Beatriz dos Santos Marques (UFC) – beatriz.marques@ufc.br
Natasha Malveira Costa Valentim (UFPR) – natasha@inf.ufpr.br

Prazo de submissão: 27/06/2021 (era 13/06)
Notificação dos finalistas: 09/08/2021
Entrega do relatório final: 16/08/2021
Apresentação no IHC 2021: 18/10/2021 (data provável)