Competição de Avaliação

A Competição de Avaliação de IHC busca motivar a participação de estudantes de graduação e pós-graduação, supervisionados por docentes e profissionais de IHC, contribuindo para a formação desses estudantes. A Competição de Avaliação tem um caráter essencialmente prático: as pessoas participantes fazem a avaliação de um sistema computacional e, assim, aplicam seus conhecimentos teóricos relacionados a metodologias de avaliação de IHC.

TEMA DA COMPETIÇÃO

O IHC 2023 tem como tema “Tecendo as Interfaces entre o Virtual e o Físico”. Com o amplo uso que as pessoas vêm fazendo das tecnologias digitais em diferentes esferas de suas vidas, o mundo virtual e o mundo físico se tornam cada vez mais conectados, ganhando destaque as aplicações que integram seres humanos com diferentes objetos do seu cotidiano.

Assim, alinhada ao tema do IHC 2023, a Competição de Avaliação irá abordar a interação das pessoas com ecossistemas que envolvem a interconexão entre objetivos físicos através da internet, a fim de prover recursos e serviços. Tais aplicações, conhecidas como Internet das Coisas - Internet of Things (IoT), estão cada vez mais comuns na vida das pessoas, seja dentro de suas casas ou fora delas, trazendo-lhes comodidades e muitas vezes ajudando-as a ter melhor qualidade de vida. No entanto, apesar de trazer muitas vantagens para as pessoas de um modo geral, IoT exige grande atenção de designers quanto à sua qualidade de uso, uma vez que deve-se pensar em prover recursos e funcionalidades úteis, compreensíveis e manipuláveis, por meio de interfaces que motivem os usuários a usar a tecnologia em seu dia-a-dia. Assim, o foco da Competição de Avaliação será analisar como é a interação das pessoas com aplicações de IoT. Existem vários sistemas desse tipo, como: as casas inteligentes, que consistem na automação e interconexão de equipamentos residenciais; os sistemas que envolvem equipamentos de monitoramento de atividades físicas, que produzem dados sobre o desempenho do usuário; os sistemas que envolvem veículos com tecnologia embarcada, que proporcionam maior segurança e desempenho aos condutores; os sistemas de controle e manipulação à distância de uma variedade de objetos; e vários outros exemplos.

Seguem alguns links para se inspirarem:

Do ponto de vista metodológico, nesta Competição de Avaliação gostaríamos de desafiar os(as) estudantes a extrapolar a avaliação unicamente de aspectos clássicos da qualidade em uso de sistemas (e.g. usabilidade, acessibilidade e comunicabilidade) e incluir aspectos relacionados à experiência do usuário (User eXperience – UX). De acordo com a ISO 9241-210, a experiência do usuário aborda “as percepções e reações de uma pessoa que resultam do uso ou utilização prevista de um produto, sistema ou serviço” e “inclui todas as emoções, crenças, preferências, percepções, respostas físicas e psicológicas, comportamentos e realizações do usuário que ocorrem antes, durante e após o uso”. Em várias tecnologias interativas relacionadas ao tema desta competição, têm papel importante não apenas aspectos relacionados ao uso do sistema computacional que controla a aplicação de IoT e à realização de tarefas através do mesmo, mas também à "experiência do usuário" no que tange ao impacto do uso da aplicação no ambiente físico externo ao software. Essa experiência inclui emoções, sensações e outros aspectos relacionados à UX. Os(as) estudantes têm liberdade para escolher métodos que considerem adequados para analisar aspectos de UX.

AVALIAÇÃO

Objeto e foco: Avaliar a qualidade (usabilidade, comunicabilidade, acessibilidade etc.) e a experiência de uso de um artefato computacional interativo para IoT, levando-se em consideração a experiência do usuário relacionada ao impacto do uso de tal artefato no ambiente físico. Os sistemas computacionais avaliados podem ser de uso individual (monousuário) ou colaborativo, e podem ser implementados em diferentes formas que ofereçam interação, como software, hardware, ambiente, aplicativo, jogo, ou outros sistemas computacionais. Deve-se considerar a interação do artefato computacional com um equipamento externo, por exemplo, um aparelho de ar-condicionado ou um Smart Watch. Propostas com avaliações de aplicações de IoT que intensificam a colaboração social também são bem-vindas.

Métodos: As equipes terão liberdade para escolher o(s) método(s) que irão utilizar para avaliar o artefato computacional. Equipes de estudantes de pós-graduação são encorajadas a buscar a aplicação de métodos de avaliação de UX recentes propostos em artigos na literatura de IHC.

Produto: Após a avaliação, cada equipe deve gerar um relatório contendo:

Nome do(s) método(s) de avaliação utilizado(s);
Justificativa da escolha deste(s) método(s);
Descrição da(s) plataforma(s) escolhida(s): marca, modelo, sistema operacional;
Descrição do processo de avaliação (porção da interface analisada, funcionalidades avaliadas, procedimentos envolvidos);
Resultados da avaliação;
Problemas encontrados: descrição, localização, contexto de ocorrência e justificativa;
Fechamento: conclusão e outras observações;
Parecer da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) problemas e aspectos de experiência de uso na(s) aplicação(ões).

CÓDIGO DE ÉTICA

Espera-se que todos os envios, pesquisas subjacentes e comportamento durante o processo de revisão e conferência estejam em conformidade com os princípios e responsabilidades delineados pelo Código de Ética da ACM.

SUBMISSÕES

As submissões dos relatórios devem ser anônimas e ter até 10 páginas no modelo para publicação de artigos da SBC ( Latex, Word, ODT). As pessoas autoras devem efetuar suas submissões eletronicamente, por meio do sistema JEMS, em formato PDF (link em breve).

FORMAÇÃO DA EQUIPE

A formação da equipe pode ser de dois tipos:

Graduação: no mínimo 3 alunos e no máximo 5 alunos de graduação.
Pós-graduação: no mínimo 2 alunos e no máximo 4 alunos de pós-graduação.

Todas as equipes devem ter um docente supervisor, vinculado a uma instituição de ensino. As equipes poderão ter também um segundo supervisor, que pode ser um estudante de pós-graduação (exclusivamente no caso das equipes de estudantes de graduação) ou uma pessoa vinculada a um instituto de pesquisa ou a uma empresa privada com atuação ligada à área de IHC .

Não haverá possibilidade de se ter estudantes de graduação e pós-graduação na mesma equipe.

O não cumprimento dos requisitos para formação da equipe acarretará desclassificação do processo de seleção.

INSTRUÇÕES PARA PARTICIPAÇÃO

Para participar da Competição, cada equipe deve cumprir três etapas:

Executar a avaliação;
Enviar o relatório de avaliação;
Caso seja escolhida dentre os finalistas, apresentar o relatório de avaliação durante a sessão da Competição de Avaliação do IHC 2023, em Maceió - AL.

AVALIAÇÃO DOS RELATÓRIOS SUBMETIDOS

Cada relatório será avaliado por revisores com experiência comprovada em IHC ou em avaliação de sistemas interativos. Serão levados em conta os seguintes critérios de julgamento:

Adequação do sistema/aplicação ao tema da Competição de Avaliação.
Legibilidade, organização e apresentação do texto do relatório de avaliação;
Definição clara do escopo e objetivo da avaliação;
Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;
Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;
Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolvam a participação de usuários, ou outras pessoas fora da equipe);
Qualidade da análise crítica da capacidade do método revelar ou não potenciais problemas de uso do sistema.

SELEÇÃO E APRESENTAÇÃO NO IHC 2023

Serão selecionados três finalistas de cada categoria (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas de um grupo de avaliadores, durante o evento, a realizar-se na cidade de Maceió - AL - Brasil, entre os dias 16 e 20 de outubro de 2023. Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação, no IHC 2023. Entretanto, é exigida a presença de ao menos um membro da equipe.

PREMIAÇÃO

Cada equipe finalista selecionada deve apresentar oralmente no IHC 2023 e receberá um Certificado de Reconhecimento. A equipe vencedora também receberá um prêmio (a ser definido pela Organização).

APOIO À PARTICIPAÇÃO DAS EQUIPES

Os relatórios de avaliação das equipes finalistas serão publicados nos anais estendidos do IHC 2023, na SBC-OpenLib (SOL).

RESUMO

Sistema a ser avaliado: artefatos computacionais interativos para IoT;
Critérios a serem avaliados: Qualidade (e.g. usabilidade, acessibilidade e comunicabilidade) e Experiência de Uso (esta última deve estar relacionada tanto ao artefato computacional quanto à interação dele com equipamentos externos);
Métodos a serem utilizados: Conforme escolha das equipes;

Tamanho das equipes:

3 a 5 estudantes de graduação + 1 ou 2 supervisores (docentes, pesquisadores(as), pós-graduandos(as) ou profissionais)
2 a 4 estudantes de pós-graduação + 1 ou 2 supervisores (docentes ou pesquisadores(as)).

Coordenação

Maria Lúcia Bento Villela (UFV) - maria.villela@ufv.br
Thiago Adriano Coleti (UENP) - thiago.coleti@uenp.edu.br

COMPETIÇÃO DE AVALIAÇÃO