O uso do eye tracking em pesquisas sobre cognição musical e games

Vinicius Yglesias

http://lattes.cnpq.br/7940545685810813

Durante o ano de 2021, obtive conhecimento sobre o método de eye tracking por meio do curso de Introdução à Neurociência da Música da Universidade Federal do ABC (UFABC), com o professor João Ricardo Sato. Desde então, o método tem me instigado curiosidade e me levou a buscar mais sobre seu uso em pesquisas sobre cognição musical e games, as quais apresento no artigo de hoje aqui do Blog C4.

O eye tracking é um método de investigação por meio do rastreamento de dados do movimento dos olhos e locais de fixação do olhar de um participante durante uma atividade em um período de tempo determinado (CARTER; LUKE, 2020). De acordo com Hyönä (2010), por meio desse método, é possível inferir diversos dados sobre o processo cognitivo durante determinada atividade, como qual informação é acessada primeiro, por quanto tempo, e a velocidade de mudança de atenção entre diferentes componentes. Por conta disso, se mostra como um método relevante na pesquisa em games para investigar o processo de tomada de decisão de jogadores em situações diversas, principalmente as que exigem reflexos mais rápidos, assim como a influência do som nesses processos.

Há dois principais tipos de informações frequentemente utilizadas em pesquisas com esse método, chamadas de fixações (fixations) e sacadas (saccades) (ALEMDAG; CAGILTAY, 2018). Fixações são momentos em que os olhos estão relativamente fixos em um ponto único, assimilando determinada informação (BARRETO, 2012), enquanto as sacadas são movimentos mais rápidos que ocorrem entre as fixações e nos quais não há processamento de informações (KICKMEIER-RUST; HILLEMANN; ALBERT, 2011). Com o eye tracking também é possível medir a dilatação da pupila (WANG, 2010), evento involuntário associado a emoções (BRADLEY et al., 2008; KINNER et al., 2017).

Ao longo dos últimos anos o eye tracking têm também se destacado como uma curiosidade em diversos contextos. Em um dos vídeos do canal TwoSetViolin no Youtube, os músicos utilizam um eye tracker enquanto tocam violino em uma leitura à primeira vista de uma partitura. Hikaru Nakamura, um dos maiores jogadores de xadrez da atualidade, também utiliza o equipamento durante partidas online de xadrez em lives na Twitch. Por fim, o jogador de League of Legends Neace, que à época estava no ranking de Challenger, o mais alto do game, usa o eye tracker durante uma partida do game. O uso do eye tracking tem se tornado tão relevante que o Tobii Eye Tracker 5 foi desenvolvido especificamente para esse objetivo, possuindo integração com diversos games.

Apesar do caráter de curiosidade, o eye tracking se originou e é utilizado principalmente em pesquisas acadêmicas, também com objetivos e em temas diversos. Partala e Surakka (2003) e Oliva e Anikin (2018) trazem estudos sobre o uso de eye tracking para o reconhecimento de emoções causadas por paisagens sonoras diversas, como sons de escritório, choro de bebê e outros tipos de vocalizações. Day et al. (2008) utiliza o método para identificar como a música pode influenciar na tomada de decisões e Zhang et al. (2018) investiga como a música pode influenciar na leitura. No campo de mídias, Wallengren e Strukelj (2015) investigam a influência da trilha musical de filmes na atenção visual de um espectador. Até mesmo o exército estadunidense utiliza do método para o treinamento de seu efetivo.

Em games, o método é utilizado tanto para identificar processos de tomadas de decisões (CHEN; HUANG; WANG, 2018; POLONIO; CORICELLI, 2018) quanto para investigar o grau de imersão de jogadores em um game (JENNETT et al., 2008), inclusive em ambientes de realidade virtual (VR) (KÖNIG; KÖNIG, 2019). Ainda, Nizam e Law (2020) utilizam o eye tracking para investigar a interação de crianças com games educacionais, popularmente conhecidos também como serious games (jogos sérios). Em alguns games é possível utilizar o eye tracking até mesmo para controlar a câmera do game com os movimentos da cabeça ao invés do uso de um controle, aproximando-se, em certo sentido, da experiência de realidade virtual.

Por fim, destaco duas pesquisas. A primeira é a de Grimshaw, Lindley e Nacke (2008), que tem como objetivo investigar a influência do som na imersão de games do gênero First-Person Shooter (FPS) utilizando como estudo de caso o game Half-Life. Embora não tenha detalhes no artigo sobre os resultados do eye tracking em si, o que torna essa pesquisa interessante é que ao invés de realizar o experimento em condições extremas, apenas com som ou sem som, como o faz Jørgensen (2008), por exemplo, os autores utilizam quatro condições diferentes: 1) todos os sons; 2) apenas sons diegéticos; 3) apenas trilha musical; 4) silêncio.

Quanto à segunda pesquisa, trata-se da de Saaty e Hashemi (2018), que investiga o impacto do áudio na atenção visual de jogadores nos games Rise of the Tomb Raider, Counter-Strike Source, Battlerite, Inside e League of Legends. Embora investigue apenas as condições com todos os sons e sem som, o uso do eye tracking permitiu extrair medidas objetivas do impacto que o áudio nesses games pode ter na atenção do jogador.

Devido aos estudos apresentados anteriormente, me parece que o eye tracking ainda tem muito a contribuir para pesquisas futuras na relação entre cognição musical e games, auxiliando a obter dados mais objetivos do impacto dos diversos aspectos do áudio de um game na atenção e imersão do jogador, complementando métodos qualitativos como entrevistas e questionários. Além disso, o uso do Tobii Eye Tracker 5, desenvolvido especificamente para o uso em games, pode ser um facilitador para unir metodologias das pesquisas de Grimshaw, Lindley e Nacke (2008) e Saaty e Hashemi (2018), como a pesquisa em um maior número de games a partir da alteração de suas configurações de áudio de maneiras mais diversas do que apenas manter ou retirar completamente o som.

Referências

ALEMDAG, Ecenaz; CAGILTAY, Kursat. A systematic review of eye tracking research on multimedia learning. Computers & Education, v. 125, pp. 413-418, 2018.

BARRETO, A. M. Eye tracking como método de investigação aplicado às ciências da comunicação. Revista Comunicando, v. 1, no. 1, pp. 168–186, 2012.

BRADLEY, Margareth M. et al. The pupil as a measure of emotional arousal and autonomic activation. Psychophysiology, v. 45, no. 4, pp. 602-607, 2008.

CARTER, Benjamin T.; LUKE, Steven G. Best practices in eye tracking research. International Journal of Psychology, v. 155, pp. 49-62, 2020.

CHEN, Chun-Ting; HUANG, Chen-Ying; WANG, Joseph Tao-yi. A window of cognition: Eyetracking the reasoning process in spatial beauty contest games. Games and Economic Behavior, v. 111, pp. 143-158, 2018.

DAY, Rong-Fuh et al. Effects of music tempo and task difficulty on multi-attribute decision-making: An eye-tracking approach. Computers in Human Behavior, v. 25, pp. 130-143, 2008.

GRIMSHAW, Mark; LINDLEY, Craig A.; NACKE, Lennart. Sound and Immersion in the First-Person Shooter: Mixed Measurement of the Player's Sonic Experience. University of Bolton Institutional Repository. Games Computing and Creative Technology. School of Games Computing and Creative Technologies. Conference Papers (Peer-Reviewed), 2008.

HYÖNÄ, J. The use of eye movements in the study of multimedia learning. Learning and Instruction, v. 20, no. 2, pp. 172–176, 2010.

JENNETT, Charlene et al. Measuring and defining the experience of immersion in games.

KICKMEIER-RUST, Michael D.; HILLEMANN, Eva; ALBERT, Dietrich. Tracking the UFO’s Paths: Using Eye-Tracking for the Evaluation of Serious Games. Virtual and Mixed Reality, Part I, HCI International, Proceedings, LNCS 6773, pp. 315–324, 2011.

KINNER, Valerie L. et al. What our eyes tell us about feelings: Tracking pupillary responses during emotion regulation processes. Psychophysiology, v. 54, no. 4, pp. 508-518, 2017.

JØRGENSEN, Kristine. Left in the dark: playing computer games with the sound turned off. In: COLLINS, Karen (Ed.). From Pac-Man to Pop Music. Interactive Audio in Games and New Media. Canada: University of Waterloo, 2008.

KÖNIG, Peter; KÖNIG, Sabine. Eye Tracking in Virtual Reality. Journal of Eye Movement Research, v. 12, no. 1, 2019.

NIZAM, Dinna Nina Mohd; LAW, Effie Lai-Chong. Derivation of young children’s interaction strategies with digital educational games from gaze sequences analysis. International Journal of Human-Computer Studies, v. 146, 2020.

OLIVA, Manuel; ANIKIN, Andrey. Pupil dilation reflects the time course of emotion recognition in human vocalizations. Scientific Reports, 4871, 2018.

PARTALA, Timo.; SURAKKA, Veikko. Pupil size variation as an indication of affective processing. International Journal of Human-Computer Studies, v. 59, pp. 185–198, 2003.

POLONIO, Luca; CORICELLI, Giorgio. Testing the level of consistency between choices and beliefs in games using eye-tracking. Games and Economic Behavior, v. 113, pp. 566-586, 2019.

SAATY, Morva; HASHEMI, Mahmoud Reza. Game Audio Impacts on Players’ Visual Attention, Model Performance for Cloud Gaming. In: Symposium on Eye Tracking Research and Applications (ETRA ’22), June 8–11, 2022, Seattle, WA, USA. ACM, New York, NY, USA, 7 pages, 2022.

WALLENGREN, Ann-Kristin; STRUKELJ, Alexander. Film Music and Visual Attention: A Pilot Experiment using Eye-Tracking. Music and the Moving Image, v. 8, no. 2, pp. 69-80, 2015.

WANG, Joseph Tao-Yi. Pupil Dilation and Eye Tracking. In: SCHULTE-MECKLENBECK, Michael; KUEHBERGER, Anton; JOHNSON, Joseph G. (Ed.). A Handbook of Process Tracing Methods for Decision Research: A Critical Review and User's Guide. Psychology Press, 2010.

ZHANG, HAN et al. How listening to music affects reading: Evidence from eye tracking. Journal of Experimental Psychology: Learning, Memory, and Cognition, v. 44, no. 11, pp. 1778-1791, 2018.

Como referenciar este artigo:

YGLESIAS, Vinicius. O uso do eye tracking em pesquisas sobre cognição musical e games. Blog C4, Campinas: Nics; Unicamp, 18 abr. 2023. ISSN: 2764-5754. Disponível em: https://unicampc4.blogspot.com/2023/04/o-uso-do-eye-tracking-em-pesquisas.html