Os testes de aceitação visam a identificação de experiência com erros e falhas diretamente validadas pelo usuário, buscando identificar pontos específicos para o levantamento de melhoria.
O formulário foi elaborado na ferramenta Google Forms e disponibilizado para os perfis alvos. O questionário apresenta um total de 27 questões, incluindo perguntas de múltipla escolha e perguntas abertas direcionada a cada perfil.
Para a visualização do questionário na íntegra acesse Questionário de Avaliação do SRS
O questionário foi disponibilizado durante o período de um mês e meio nas datas de 03/06/2024 a 20/07/2024. Entretanto, é importante ressaltar que durante a disponibilidade do mesmo, ocorreu uma greve na instituição do dia 10/06/2024 até o dia 03/07/2024.
No total foram obtidas 117 respondentes que concordaram em participar da pesquisa.
As questões fechadas seguiam a escala de 1 a 5, onde:
Para a análise das questões fechadas vinculadas aos discentes, foi utilizada a escala de usabilidade do inglês System Usability Scale onde cassifica se a usabilidade é boa, média, ruim e afins. A tabela apresentado contém um Filtro demonstrando apenas respostas de discentes que utilizam o sistema.
| Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | Q7 | Q8 | Q9 | Q10 | SUS |
|---|---|---|---|---|---|---|---|---|---|---|
| 3 | 3 | 1 | 3 | 1 | 1 | 3 | 1 | 1 | 3 | 50 |
| 3 | 1 | 3 | 1 | 3 | 2 | 2 | 2 | 2 | 2 | 52,5 |
| 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 4 | 100 |
| 3 | 3 | 3 | 4 | 1 | 2 | 2 | 3 | 1 | 4 | 65 |
| 2 | 3 | 3 | 4 | 4 | 2 | 4 | 3 | 4 | 4 | 82,5 |
| 1 | 2 | 2 | 3 | 2 | 0 | 2 | 2 | 3 | 3 | 50 |
| 2 | 2 | 3 | 3 | 3 | 1 | 3 | 3 | 3 | 1 | 60 |
| 4 | 4 | 4 | 4 | 3 | 2 | 4 | 4 | 4 | 4 | 92,5 |
| 3 | 3 | 2 | 2 | 3 | 2 | 3 | 3 | 3 | 3 | 67,5 |
| 3 | 3 | 3 | 2 | 1 | 2 | 1 | 2 | 2 | 2 | 52,5 |
| 3 | 2 | 3 | 2 | 3 | 2 | 3 | 3 | 3 | 2 | 65 |
| 4 | 3 | 2 | 0 | 2 | 1 | 4 | 2 | 4 | 4 | 65 |
| 3 | 4 | 3 | 0 | 2 | 2 | 3 | 2 | 1 | 2 | 55 |
| 4 | 4 | 4 | 4 | 3 | 1 | 4 | 4 | 4 | 4 | 90 |
| 3 | 3 | 3 | 4 | 1 | 2 | 4 | 2 | 3 | 4 | 72,5 |
| 3 | 2 | 1 | 3 | 1 | 0 | 2 | 1 | 1 | 4 | 45 |
| 2 | 1 | 2 | 1 | 2 | 2 | 2 | 2 | 2 | 3 | 47,5 |
| 0 | 0 | 2 | 2 | 1 | 4 | 1 | 0 | 2 | 4 | 40 |
| 3 | 4 | 2 | 4 | 2 | 1 | 3 | 3 | 3 | 2 | 67,5 |
| 3 | 4 | 3 | 4 | 3 | 3 | 4 | 3 | 4 | 4 | 87,5 |
| 4 | 4 | 2 | 2 | 2 | 2 | 4 | 2 | 3 | 2 | 67,5 |
| 3 | 4 | 3 | 3 | 3 | 2 | 3 | 3 | 4 | 2 | 75 |
| 4 | 4 | 4 | 4 | 4 | 4 | 3 | 4 | 4 | 4 | 97,5 |
| 1 | 1 | 2 | 4 | 2 | 2 | 1 | 1 | 2 | 4 | 50 |
| 2 | 1 | 1 | 4 | 1 | 1 | 2 | 0 | 1 | 4 | 42,5 |
| 2 | 4 | 2 | 3 | 2 | 2 | 2 | 3 | 3 | 4 | 67,5 |
| 2 | 1 | 1 | 2 | 1 | 1 | 3 | 3 | 0 | 2 | 40 |
| 2 | 1 | 1 | 2 | 2 | 1 | 2 | 2 | 2 | 2 | 42,5 |
| 2 | 4 | 2 | 0 | 4 | 4 | 4 | 2 | 3 | 2 | 67,5 |
Resultado SUS = 65
Posterior à análise, é feito o cálculo do SUS, onde obteve uma nota classificada como “RUIM” de usabilidade com pontuação de 65, abaixo até mesmo da média padrão considerada de 68.
| Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | Q7 | Q8 | Q9 | Q10 |
|---|---|---|---|---|---|---|---|---|---|
| 4 | 4 | 3 | 3 | 3 | 4 | 3 | 4 | 4 | 4 |
| 2 | 1 | 1 | 2 | 1 | 2 | 3 | 5 | 3 | 1 |
| 4 | 5 | 5 | 5 | 3 | 5 | 3 | 3 | 3 | 3 |
| 4 | 4 | 4 | 4 | 2 | 2 | 2 | 1 | 2 | 2 |
| 4 | 3 | 4 | 2 | 3 | 3 | 3 | 2 | 2 | 2 |
| 4 | 4 | 3 | 2 | 1 | 2 | 3 | 4 | 3 | 2 |
| 4 | 4 | 4 | 4 | 3 | 4 | 2 | 3 | 3 | 2 |
| 2 | 2 | 2 | 5 | 5 | 5 | 1 | 1 | 5 | 1 |
| 4 | 4 | 4 | 4 | 1 | 4 | 4 | 4 | 4 | 4 |
| 3 | 2 | 1 | 3 | 1 | 3 | 1 | 3 | 2 | 1 |
| 3 | 4 | 2 | 4 | 3 | 5 | 4 | 4 | 4 | 1 |
| 5 | 5 | 2 | 3 | 4 | 4 | 3 | 5 | 2 | 2 |
| 5 | 5 | 4 | 4 | 5 | 4 | 4 | 2 | 5 | 4 |
| 5 | 5 | 3 | 5 | 3 | 5 | 3 | 1 | 5 | 3 |
| 5 | 5 | 2 | 5 | 5 | 5 | 5 | 1 | 3 | 3 |
| 5 | 5 | 4 | 4 | 5 | 5 | 4 | 1 | 5 | 3 |
| 4 | 4 | 5 | 4 | 2 | 4 | 2 | 1 | 1 | 1 |
| 1 | 1 | 1 | 1 | 1 | 2 | 1 | 3 | 3 | 1 |
| 3 | 4 | 1 | 2 | 2 | 3 | 4 | 4 | 3 | 2 |
| 2 | 2 | 1 | 2 | 1 | 3 | 1 | 3 | 1 | 1 |
| 2 | 3 | 4 | 3 | 2 | 4 | 3 | 3 | 5 | 2 |
| 5 | 5 | 3 | 3 | 3 | 5 | 4 | 3 | 3 | 3 |
| 4 | 4 | 3 | 4 | 3 | 4 | 3 | 3 | 4 | 3 |
| 3 | 3 | 1 | 3 | 1 | 3 | 3 | 3 | 1 | 1 |
| 2 | 2 | 5 | 2 | 3 | 5 | 3 | 3 | 3 | 2 |
| 4 | 4 | 4 | 4 | 3 | 3 | 3 | 2 | 2 | 3 |
| 4 | 3 | 3 | 3 | 3 | 3 | 3 | 3 | 4 | 3 |
| 3 | 4 | 1 | 2 | 1 | 4 | 2 | 4 | 1 | 1 |
| 4 | 4 | 3 | 3 | 3 | 4 | 3 | 2 | 5 | 3 |
| 5 | 5 | 3 | 4 | 3 | 4 | 5 | 1 | 1 | 1 |
| 4 | 5 | 5 | 3 | 4 | 4 | 4 | 4 | 4 | 4 |
| 5 | 4 | 3 | 4 | 2 | 3 | 3 | 2 | 2 | 2 |
| 5 | 5 | 3 | 4 | 4 | 4 | 3 | 1 | 4 | 3 |
| 4 | 4 | 3 | 4 | 3 | 3 | 3 | 3 | 3 | 4 |
| 3 | 3 | 3 | 5 | 3 | 2 | 2 | 4 | 5 | 1 |
A análise das heurísticas não incluiu cálculos específicos; em vez disso, foi utilizada a média aritmética. Cenários foram classificados com base na média: resultados neutros e negativos foram identificados como áreas que precisam de melhorias, enquanto resultados superiores a 4 foram considerados positivos.
Dessa forma, os resultados que tiveram mais destaque foram nas heurísticas de “Ajuda e Documentação”, “Prevenção de Erros” e “Minimizar a carga de memória do usuário”. Na heurística de “Ajuda e Documentação” cerca de 57,1% marcaram negativamente a pergunta, sendo assim, fica evidente que o sistema não tem mecanismos que auxiliem os usuários a meios de ajuda. Seguinte, na heurística de “Prevenção a Erros” mesmo que em sua maioria os usuários noticiaram o neutro, os demais, cerca de 37,2% consideraram negativamente a questão, fazendo com que a heurística informada deva ser revisada. Por fim, na heurística de “Minimizar a carga de memória do usuário” não obteve nenhuma resposta de discordo totalmente, tendo apenas 5 respostas de discordo, sendo assim, a heurística é empregada no sistema de corretamente.
Para as questões abertas foi realizada a Teoria Fundamentada nos Dados (TFD) para a codificação das respostas.
⚠️ Não serão disponibilizadas as questões abertas com as respostas dadas pelo usuário.
| Categoria | Subcategoria | Códigos | Descrição | Ocorrência |
|---|---|---|---|---|
| Satisfação dos discentes | CODNA | Não corresponde ao que foi perguntado | 3 | |
| Interface | COD01 | Problemas vinculados a visualização | 5 | |
| Responsividade | COD02 | Problemas vinculados a visualização via dispositivos móveis | 6 | |
| Complexo | COD03 | Sistema apresenta aspectos complexos e confusos | 4 | |
| Sem dificuldade | COD04 | Experiência positiva, sem dificuldade de manuseio | 18 | |
| Correspondência ao mundo real | COD05 | O sistema não é atualizado | 2 |
| Categoria | Subcategoria | Códigos | Descrição | Ocorrência |
|---|---|---|---|---|
| Funcionalidade | CODNA | Não corresponde ao que foi perguntado | 6 | |
| Visualização | COD01 | Melhorias na visualização das salas reservadas | 5 | |
| Disponibilidade | COD02 | Melhorias na disponibilidade do sistema | 2 | |
| Usabilidade | COD03 | Melhorias em aspectos de usabilidade | 8 | |
| Refazer | COD04 | Refazer o sistema | 1 | |
| Tudo certo | COD05 | Sistema satisfatório | 6 | |
| Especificas | COD06 | Melhoria no acréscimo de funcionalidades específicas no sistema | 5 |
| Categoria | Subcategoria | Códigos | Descrição | Ocorrência |
|---|---|---|---|---|
| Satisfação dos usuários | CODNA | Não corresponde ao que foi perguntado | 2 | |
| Aspectos Positivos | COD01 | Facilita | 17 | |
| Aprimoramento | COD02 | Facilita, mas precisa de ajustes | 6 | |
| Aspectos Negativos | COD03 | Dificulta | 4 |
| Categoria | Subcategoria | Códigos | Descrição | Ocorrência |
|---|---|---|---|---|
| CODNA | Não corresponde a pergunta | 4 | ||
| Genérico | Melhorado | COD00 | Sistema precisa ser melhorado | 4 |
| Funcionalidade | Integração | COD01 | Melhoria de integração com outros sistemas | 4 |
| Usabilidade/Intuitivo | COD02 | Melhoria na usabilidade: botões, intuitivo e responsividade | 5 | |
| Filtro | COD03 | Melhoria de acréscimo de filtros de busca | 2 | |
| Disponibilidade | COD04 | Melhoria de Feedback com o usuário | 2 | |
| Especifica | COD05 | Melhoria no acréscimo de funcionalidades específicas | 6 |