COMPETIÇÃO DE AVALIAÇÃO

A Competição de Avaliação de IHC busca motivar a participação de estudantes de graduação e pós-graduação, supervisionados por docentes e profissionais de IHC, contribuindo para a formação desses estudantes. A Competição de Avaliação tem um caráter essencialmente prático: as pessoas participantes fazem a avaliação de um sistema computacional e, assim, aplicam seus conhecimentos teóricos relacionados a metodologias de avaliação de IHC.

TEMA DA COMPETIÇÃO

O IHC 2023 tem como tema “Tecendo as Interfaces entre o Virtual e o Físico”. Com o amplo uso que as pessoas vêm fazendo das tecnologias digitais em diferentes esferas de suas vidas, o mundo virtual e o mundo físico se tornam cada vez mais conectados, ganhando destaque as aplicações que integram seres humanos com diferentes objetos do seu cotidiano. 

Assim, alinhada ao tema do IHC 2023, a Competição de Avaliação irá abordar a interação das pessoas com ecossistemas que envolvem a interconexão entre objetivos físicos através da internet, a fim de prover recursos e serviços. Tais aplicações, conhecidas como  Internet das Coisas - Internet of Things (IoT), estão cada vez mais comuns na vida das pessoas, seja dentro de suas casas ou fora delas, trazendo-lhes comodidades e muitas vezes ajudando-as a ter melhor qualidade de vida.  No entanto, apesar de trazer muitas vantagens para as pessoas de um modo geral, IoT exige grande atenção de designers quanto à sua qualidade de uso, uma vez que deve-se pensar em prover recursos e funcionalidades úteis, compreensíveis e manipuláveis, por meio de interfaces que motivem os usuários a usar a tecnologia em seu dia-a-dia. Assim, o foco da Competição de Avaliação será analisar como é a interação das pessoas com aplicações de IoT.  Existem vários sistemas desse tipo, como: as casas inteligentes, que consistem na automação e interconexão de equipamentos residenciais; os sistemas que envolvem equipamentos de monitoramento de atividades físicas, que produzem dados sobre o desempenho do usuário; os sistemas que envolvem veículos com tecnologia embarcada, que proporcionam maior segurança e desempenho aos condutores; os sistemas de controle e manipulação à distância de uma variedade de objetos; e vários  outros exemplos. 

Seguem alguns links para se inspirarem:

• Benchmarking of Tools for User Experience Analysis in Industry 4.0

• Hybrid reality-based user experience and evaluation of a context-aware smart home

• User experience evaluation for a bus tracking apps in smart campus initiative

Do ponto de vista metodológico, nesta Competição de Avaliação gostaríamos de desafiar os(as) estudantes a extrapolar a avaliação unicamente de aspectos clássicos da qualidade em uso de sistemas (e.g. usabilidade, acessibilidade e comunicabilidade) e incluir aspectos relacionados à experiência do usuário (User eXperience – UX).  De acordo com a ISO 9241-210, a experiência do usuário aborda “as percepções e reações de uma pessoa que resultam do uso ou utilização prevista de um produto, sistema ou serviço” e “inclui todas as emoções, crenças, preferências, percepções, respostas físicas e psicológicas, comportamentos e realizações do usuário que ocorrem antes, durante e após o uso”. Em várias tecnologias interativas relacionadas ao tema desta competição, têm papel importante não apenas aspectos relacionados ao uso do sistema computacional que controla a aplicação de IoT e à realização de tarefas através do mesmo, mas também à "experiência do usuário" no que tange ao impacto do uso da aplicação no ambiente físico externo ao software. Essa experiência inclui emoções, sensações e outros aspectos relacionados à UX. Os(as) estudantes têm liberdade para escolher métodos que considerem adequados para analisar aspectos de UX.

AVALIAÇÃO

Objeto e foco: Avaliar a qualidade (usabilidade, comunicabilidade, acessibilidade etc.) e a experiência de uso de um artefato computacional interativo para IoT, levando-se em consideração a experiência do usuário relacionada ao impacto do uso de tal artefato no ambiente físico.   Os sistemas computacionais avaliados podem ser de uso individual (monousuário) ou colaborativo, e podem ser implementados em diferentes formas que ofereçam interação, como software, hardware, ambiente, aplicativo, jogo, ou outros sistemas computacionais. Deve-se considerar a interação do artefato computacional com um equipamento externo, por exemplo, um aparelho de ar-condicionado ou um Smart Watch.  Propostas com avaliações de aplicações de IoT que intensificam a colaboração social  também são bem-vindas.

Métodos: As equipes terão liberdade para escolher o(s) método(s) que irão utilizar para avaliar o artefato computacional. Equipes de estudantes de pós-graduação são encorajadas a buscar a aplicação de métodos de avaliação de UX recentes propostos em artigos na literatura de IHC.

Produto: Após a avaliação, cada equipe deve gerar um relatório contendo:

• Nome do(s) método(s) de avaliação utilizado(s);

• Justificativa da escolha deste(s) método(s);

• Descrição da(s) plataforma(s) escolhida(s): marca, modelo, sistema operacional;

• Descrição do processo de avaliação (porção da interface analisada, funcionalidades avaliadas, procedimentos envolvidos);

• Resultados da avaliação;

• Problemas encontrados: descrição, localização, contexto de ocorrência e justificativa;

• Fechamento: conclusão e outras observações;

• Parecer da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) problemas e aspectos de experiência de uso na(s) aplicação(ões).

CÓDIGO DE ÉTICA

Espera-se que todos os envios, pesquisas subjacentes e comportamento durante o processo de revisão e conferência estejam em conformidade com os princípios e responsabilidades delineados pelo Código de Ética da ACM.

SUBMISSÕES

As submissões dos relatórios devem ser anônimas e ter até 10 páginas no modelo para publicação de artigos da SBC. As pessoas autoras devem efetuar suas submissões eletronicamente, por meio do sistema JEMS, em formato PDF.

FORMAÇÃO DA EQUIPE

A formação da equipe pode ser de dois tipos:

• Graduação: no mínimo 3 alunos e no máximo 5 alunos de graduação.

• Pós-graduação: no mínimo 2 alunos e no máximo 4 alunos de pós-graduação.

Todas as equipes devem ter um docente supervisor, vinculado a uma instituição de ensino. As equipes poderão ter também um segundo supervisor, que pode ser um estudante de pós-graduação (exclusivamente no caso das equipes de estudantes de graduação) ou uma pessoa vinculada a um instituto de pesquisa ou a uma empresa privada com atuação ligada à área de IHC . 

Não haverá possibilidade de se ter estudantes de graduação e pós-graduação na mesma equipe. 

O não cumprimento dos requisitos para formação da equipe acarretará desclassificação do processo de seleção.

INSTRUÇÕES PARA PARTICIPAÇÃO

Para participar da Competição, cada equipe deve cumprir três etapas:

• Executar a avaliação;

• Enviar o relatório de avaliação;

• Caso seja escolhida dentre os finalistas, apresentar o relatório de avaliação durante a sessão da Competição de Avaliação do IHC 2023, em Maceió - AL.

AVALIAÇÃO DOS RELATÓRIOS SUBMETIDOS

Cada relatório será avaliado por revisores com experiência comprovada em IHC ou em avaliação de sistemas interativos. Serão levados em conta os seguintes critérios de julgamento:

• Adequação do sistema/aplicação ao tema da Competição de Avaliação.

• Legibilidade, organização e apresentação do texto do relatório de avaliação;

• Definição clara do escopo e objetivo da avaliação;

• Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;

• Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;

• Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolvam a participação de usuários, ou outras pessoas fora da equipe);

• Qualidade da análise crítica da capacidade do método revelar ou não potenciais problemas de uso do sistema.

SELEÇÃO E APRESENTAÇÃO NO IHC 2023

Serão selecionados três finalistas de cada categoria (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas de um grupo de avaliadores, durante o evento, a realizar-se na cidade de Maceió - AL - Brasil, entre os dias 16 e 20 de outubro de 2023. Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação, no IHC 2023. Entretanto, é exigida a presença de ao menos um membro da equipe.

PREMIAÇÃO

Cada equipe finalista selecionada deve apresentar oralmente no IHC 2023 e receberá um Certificado de Reconhecimento. A equipe vencedora também receberá um prêmio (a ser definido pela Organização).

APOIO À PARTICIPAÇÃO DAS EQUIPES

Os relatórios de avaliação das equipes finalistas serão publicados nos anais estendidos do IHC 2023, na SBC-OpenLib (SOL).

RESUMO

• Sistema a ser avaliado: artefatos computacionais interativos para IoT;

• Critérios a serem avaliados: Qualidade (e.g. usabilidade, acessibilidade e comunicabilidade) e Experiência de Uso (esta última deve estar relacionada tanto ao artefato computacional quanto à interação dele com equipamentos externos);

• Métodos a serem utilizados: Conforme escolha das equipes;

Tamanho das equipes: 

• 3 a 5 estudantes de graduação + 1 ou 2 supervisores (docentes, pesquisadores(as), pós-graduandos(as) ou profissionais)

• 2 a 4 estudantes de pós-graduação + 1 ou 2 supervisores (docentes ou pesquisadores(as)).

Coordenação

Maria Lúcia Bento Villela (UFV) -  maria.villela@ufv.br
Thiago Adriano Coleti (UENP) -  thiago.coleti@uenp.edu.br