COMPETIÇÃO DE AVALIAÇÃO

Trabalhos Aceitos

  • Avaliação da Usabilidade e Experiência do Usuário na Plantinha IoT - Carlos Feitosa (Universidade Federal do Ceará), Ana Beatriz Vasconcelos Martins (Universidade Federal do Ceará), Francisco Gaspar (Universidade Federal do Ceará), Naily Santos (Universidade Federal do Ceará), Petrucio Filho (Universidade Federal do Ceará - UFC), Ingrid Monteiro (Universidade Federal do Ceará), Marcelo Martins da Silva (Pontifícia Universidade Católica do Rio de Janeiro)
  • Hidrate Spark TAP: Avaliação de uma Garrafa Inteligente para Motivação e Acompanhamento da Ingestão de Água - Pedro Silva (Universidade Federal do Ceará), Ruan Gabriel Lopes e Souza (Universidade Federal do Ceará), Larah Virgínia Pedrosa Lima Cruz (Universidade Federal do Ceará), Anna Julia Abreu Lima de Souza (Universidade Federal do Ceará), Andréia Libório (UFC), Marcelo Martins da Silva (Pontifícia Universidade Católica do Rio de Janeiro)
  • Da Curiosidade ao Conhecimento: Comunicabilidade e Experiência do Usuário Iniciante e Habitual da Amazon Alexa - Mariana Castro (Universidade Federal do Ceará), Alairton Sousa Junior (Universidade Federal do Ceará), Jamyle Teles (Universidade Federal do Ceará), Isabelle Reinbold (Universidade Federal do Ceará), Luiz Gonzaga dos Santos Filho (Universidade Federal do Ceará), Georgia Pereira (Universidade Federal do Ceará), Ticianne Darin (Universidade Federal do Ceará)

A Competição de Avaliação de IHC busca motivar a participação de estudantes de graduação e pós-graduação, supervisionados por docentes e profissionais de IHC, contribuindo para a formação desses estudantes. A Competição de Avaliação tem um caráter essencialmente prático: as pessoas participantes fazem a avaliação de um sistema computacional e, assim, aplicam seus conhecimentos teóricos relacionados a metodologias de avaliação de IHC.

TEMA DA COMPETIÇÃO

O IHC 2023 tem como tema “Tecendo as Interfaces entre o Virtual e o Físico”. Com o amplo uso que as pessoas vêm fazendo das tecnologias digitais em diferentes esferas de suas vidas, o mundo virtual e o mundo físico se tornam cada vez mais conectados, ganhando destaque as aplicações que integram seres humanos com diferentes objetos do seu cotidiano. 

Assim, alinhada ao tema do IHC 2023, a Competição de Avaliação irá abordar a interação das pessoas com ecossistemas que envolvem a interconexão entre objetivos físicos através da internet, a fim de prover recursos e serviços. Tais aplicações, conhecidas como  Internet das Coisas - Internet of Things (IoT), estão cada vez mais comuns na vida das pessoas, seja dentro de suas casas ou fora delas, trazendo-lhes comodidades e muitas vezes ajudando-as a ter melhor qualidade de vida.  No entanto, apesar de trazer muitas vantagens para as pessoas de um modo geral, IoT exige grande atenção de designers quanto à sua qualidade de uso, uma vez que deve-se pensar em prover recursos e funcionalidades úteis, compreensíveis e manipuláveis, por meio de interfaces que motivem os usuários a usar a tecnologia em seu dia-a-dia. Assim, o foco da Competição de Avaliação será analisar como é a interação das pessoas com aplicações de IoT.  Existem vários sistemas desse tipo, como: as casas inteligentes, que consistem na automação e interconexão de equipamentos residenciais; os sistemas que envolvem equipamentos de monitoramento de atividades físicas, que produzem dados sobre o desempenho do usuário; os sistemas que envolvem veículos com tecnologia embarcada, que proporcionam maior segurança e desempenho aos condutores; os sistemas de controle e manipulação à distância de uma variedade de objetos; e vários  outros exemplos. 

Seguem alguns links para se inspirarem:

Do ponto de vista metodológico, nesta Competição de Avaliação gostaríamos de desafiar os(as) estudantes a extrapolar a avaliação unicamente de aspectos clássicos da qualidade em uso de sistemas (e.g. usabilidade, acessibilidade e comunicabilidade) e incluir aspectos relacionados à experiência do usuário (User eXperience – UX).  De acordo com a ISO 9241-210, a experiência do usuário aborda “as percepções e reações de uma pessoa que resultam do uso ou utilização prevista de um produto, sistema ou serviço” e “inclui todas as emoções, crenças, preferências, percepções, respostas físicas e psicológicas, comportamentos e realizações do usuário que ocorrem antes, durante e após o uso”. Em várias tecnologias interativas relacionadas ao tema desta competição, têm papel importante não apenas aspectos relacionados ao uso do sistema computacional que controla a aplicação de IoT e à realização de tarefas através do mesmo, mas também à "experiência do usuário" no que tange ao impacto do uso da aplicação no ambiente físico externo ao software. Essa experiência inclui emoções, sensações e outros aspectos relacionados à UX. Os(as) estudantes têm liberdade para escolher métodos que considerem adequados para analisar aspectos de UX.

AVALIAÇÃO

Objeto e foco: Avaliar a qualidade (usabilidade, comunicabilidade, acessibilidade etc.) e a experiência de uso de um artefato computacional interativo para IoT, levando-se em consideração a experiência do usuário relacionada ao impacto do uso de tal artefato no ambiente físico.   Os sistemas computacionais avaliados podem ser de uso individual (monousuário) ou colaborativo, e podem ser implementados em diferentes formas que ofereçam interação, como software, hardware, ambiente, aplicativo, jogo, ou outros sistemas computacionais. Deve-se considerar a interação do artefato computacional com um equipamento externo, por exemplo, um aparelho de ar-condicionado ou um Smart Watch.  Propostas com avaliações de aplicações de IoT que intensificam a colaboração social  também são bem-vindas.

Métodos: As equipes terão liberdade para escolher o(s) método(s) que irão utilizar para avaliar o artefato computacional. Equipes de estudantes de pós-graduação são encorajadas a buscar a aplicação de métodos de avaliação de UX recentes propostos em artigos na literatura de IHC.

Produto: Após a avaliação, cada equipe deve gerar um relatório contendo:

  • Nome do(s) método(s) de avaliação utilizado(s);

  • Justificativa da escolha deste(s) método(s);

  • Descrição da(s) plataforma(s) escolhida(s): marca, modelo, sistema operacional;

  • Descrição do processo de avaliação (porção da interface analisada, funcionalidades avaliadas, procedimentos envolvidos);

  • Resultados da avaliação;
  • Problemas encontrados: descrição, localização, contexto de ocorrência e justificativa;

  • Fechamento: conclusão e outras observações;

  • Parecer da equipe sobre a capacidade de o(s) método(s) revelar(em) (ou não) problemas e aspectos de experiência de uso na(s) aplicação(ões).

CÓDIGO DE ÉTICA

Espera-se que todos os envios, pesquisas subjacentes e comportamento durante o processo de revisão e conferência estejam em conformidade com os princípios e responsabilidades delineados pelo Código de Ética da ACM.

SUBMISSÕES

As submissões dos relatórios devem ser anônimas e ter até 10 páginas no modelo para publicação de artigos da SBC. As pessoas autoras devem efetuar suas submissões eletronicamente, por meio do sistema JEMS, em formato PDF.

FORMAÇÃO DA EQUIPE

A formação da equipe pode ser de dois tipos:

  • Graduação: no mínimo 3 alunos e no máximo 5 alunos de graduação.

  • Pós-graduação: no mínimo 2 alunos e no máximo 4 alunos de pós-graduação.

Todas as equipes devem ter um docente supervisor, vinculado a uma instituição de ensino. As equipes poderão ter também um segundo supervisor, que pode ser um estudante de pós-graduação (exclusivamente no caso das equipes de estudantes de graduação) ou uma pessoa vinculada a um instituto de pesquisa ou a uma empresa privada com atuação ligada à área de IHC . 

Não haverá possibilidade de se ter estudantes de graduação e pós-graduação na mesma equipe. 

O não cumprimento dos requisitos para formação da equipe acarretará desclassificação do processo de seleção.

INSTRUÇÕES PARA PARTICIPAÇÃO

Para participar da Competição, cada equipe deve cumprir três etapas:

  • Executar a avaliação;

  • Enviar o relatório de avaliação;

  • Caso seja escolhida dentre os finalistas, apresentar o relatório de avaliação durante a sessão da Competição de Avaliação do IHC 2023, em Maceió - AL.

AVALIAÇÃO DOS RELATÓRIOS SUBMETIDOS

Cada relatório será avaliado por revisores com experiência comprovada em IHC ou em avaliação de sistemas interativos. Serão levados em conta os seguintes critérios de julgamento:

  • Adequação do sistema/aplicação ao tema da Competição de Avaliação.

  • Legibilidade, organização e apresentação do texto do relatório de avaliação;

  • Definição clara do escopo e objetivo da avaliação;

  • Adequação do(s) método(s) escolhido(s) e do processo de avaliação descrito para o objetivo pretendido;

  • Qualidade dos resultados encontrados durante as avaliações para o escopo e objetivo estabelecidos;

  • Consideração dos aspectos éticos envolvidos na condução da avaliação (no caso de a equipe ter utilizado método(s) de avaliação que envolvam a participação de usuários, ou outras pessoas fora da equipe);

  • Qualidade da análise crítica da capacidade do método revelar ou não potenciais problemas de uso do sistema.

SELEÇÃO E APRESENTAÇÃO NO IHC 2023

Serão selecionados três finalistas de cada categoria (graduação e pós-graduação) para uma curta apresentação oral, seguida por um tempo para perguntas de um grupo de avaliadores, durante o evento, a realizar-se na cidade de Maceió - AL - Brasil, entre os dias 16 e 20 de outubro de 2023. Embora seja desejável, não é obrigatória a presença de todos os membros das equipes finalistas no dia da apresentação, no IHC 2023. Entretanto, é exigida a presença de ao menos um membro da equipe.

PREMIAÇÃO

Cada equipe finalista selecionada deve apresentar oralmente no IHC 2023 e receberá um Certificado de Reconhecimento. A equipe vencedora também receberá um prêmio (a ser definido pela Organização).

APOIO À PARTICIPAÇÃO DAS EQUIPES

Os relatórios de avaliação das equipes finalistas serão publicados nos anais estendidos do IHC 2023, na SBC-OpenLib (SOL).

RESUMO

  • Sistema a ser avaliado: artefatos computacionais interativos para IoT;

  • Critérios a serem avaliados: Qualidade (e.g. usabilidade, acessibilidade e comunicabilidade) e Experiência de Uso (esta última deve estar relacionada tanto ao artefato computacional quanto à interação dele com equipamentos externos);

  • Métodos a serem utilizados: Conforme escolha das equipes;

Tamanho das equipes: 

  • 3 a 5 estudantes de graduação + 1 ou 2 supervisores (docentes, pesquisadores(as), pós-graduandos(as) ou profissionais)

  • 2 a 4 estudantes de pós-graduação + 1 ou 2 supervisores (docentes ou pesquisadores(as)).

Comitê de Programa

  • Ana Carolina De Marchi - Universidade de Passo Fundo
  • André Luís Menolli - Universidade Estadual do Norte do Paraná - UENP
  • Andre Freire - Universidade Federal de Lavras
  • Andrey Rodrigues - Universidade Federal do Amazonas
  • Angela Peres - Universidade de Ciências Da Saúde de Alagoas
  • Daniela Trindade - Universidade Estadual do Norte do Paraná - UENP
  • Eliana Moreira - Instituto Federal de São Paulo
  • Fernanda Lima - Universidade de Brasilia
  • Marcelle Mota - Universidade Federal do Pará
  • Marcelo Morandini - Universidade de São Paulo
  • Marcos Alexandre Rose Silva - Universidade Federal de Santa Maria
  • Mônica Paz - Universidade Federal da Bahia
  • Pedro Henrique Dias Valle - Universidade Federal de Juiz de Fora
  • Renato Balancieri - Universidade Estadual do Paraná
  • Williamson Silva - Universidade Federal do Pampa

Coordenação

Maria Lúcia Bento Villela (UFV) -  maria.villela@ufv.br
Thiago Adriano Coleti (UENP) -  thiago.coleti@uenp.edu.br

DATAS IMPORTANTES

Prazo de registro dos relatórios no JEMS: 24/08/2023 ( era 21/08/2023)

Prazo de submissão dos relatórios no JEMS: 24/08/2023 (era 23/08/2023, era 21/08/2023)

Notificação dos finalistas para apresentação no IHC 2023: 11/09/2023

Entrega do relatório final no JEMS: 20/09/2023

Apresentação no IHC 2023: 16 a 20/10/2023