Perceiving audiovisual synchrony as a function of stimulus distance

Abstract

Audiovisual perception is still an intriguing phenomenon, especially when we think about the physical and neuronal differences underlying the perception of sound and light. Physically, there is a delay of ~3ms/m between the emission of a sound and its arrival to the observer, whereas speed of light makes its delay negligible. On the other hand, we know that acoustic transduction is a very fast process (~1ms) while photo-transduction is quite slow (~50 ms). Nevertheless, audio and visual stimuli that are temporally mismatched can be perceived as a coherent audiovisual stimulus, although a sound delay is often required to achieve a better perception. A Point of Subjective Simultaneity (PSS) that requires a sound delay might point both to a perceptual mechanism that compensates for physical differences or to one that compensates for the transduction differences, in the perception of audiovisual synchrony. In this study we analyze the PSS as a function of stimulus distance to understand if individuals take into account sound velocity or if they compensate for differences in transduction time when judging synchrony. Using Point Light Walkers (PLW) as visual stimuli and sound of steps as audio stimuli, we developed presentations in a virtual reality environment with several temporal alignments between sound and image (-285ms to +300ms of audio asynchrony in steps of 30 ms) at different distances from the observer (10, 15, 20, 25, 30, 25 meters) in conditions which differ in the number of depth cues. The results show a relation between PSS and stimulation distance that is congruent with differences in velocity of propagation between sound and light (Experiment 1). Therefore, it appears that perception of synchrony across several distances is made possible by the existence of a compensatory mechanism for the slower velocity of sound, relative to light. Moreover, the number and quality of depth cues appears to be of great importance in the triggering of such a compensatory mechanism (Experiment 2).

A percepção audiovisual é um fenómeno curioso, especialmente quando consideramos as diferenças físicas e neuronais subjacentes à percepção do som e da luz. Fisicamente, há um atraso de cerca de 3 ms/m entre a emissão de um som e a sua chegada ao observador, enquanto a velocidade da luz torna o seu atraso negligenciável. Por outro lado, sabemos que a transdução de um estímulo sonoro é um processo muito rápido (~1 ms) enquanto que a foto-transdução é um processo relativamente lento (~50 ms). Apesar destas diferenças, sabemos que estímulos auditivos e visuais temporalmente desalinhados podem ser percebidos como um estímulo audiovisual coerente. No entanto, para que tal aconteça, um atraso do som em relação à imagem é frequentemente necessário. Um Ponto de Simultaneidade Subjectiva (PSS) que requer um atraso do som pode ser um indício da existência tanto de um mecanismo perceptual que compensa as diferenças físicas, como de um mecanismo perceptual que compense as diferenças neuronais, na percepção de sincronia audiovisual. Neste estudo analisamos o PSS em função da distância de estimulação para perceber se temos em conta a velocidade do som ou se compensamos as diferenças ao nível dos processos de transdução, quando estamos a julgar a sincronia entre um estímulo auditivo e um visual. Usando Point Light Walkers (PLW) como estímulo visual e som de passos como estímulo sonoro desenvolvemos apresentações em ambiente de realidade virtual, com diferentes alinhamentos entre som e imagem (de -285ms a +300ms, em passos de 30 ms, de assincronia do audio) e a várias distâncias do observador (10, 15, 20, 25, 30, 25 metros), em condições que variavam segundo o número de pistas de profundidade apresentadas. Os dados mostram que há uma relação positiva entre PSS e distância de estimulação congruente com as diferenças entre som e luz, ao nível da velocidade de propagação (Experiência 1). Desta forma, parece-nos que a percepção de sincronia audiovisual ao longo de várias distâncias é possível através da existência de um mecanismo de compensação para a velocidade do som, mais lenta em relação à da luz. O número e qualidade das pistas de profundidade parecem também ter uma grande importância na activação deste mecanismo de compensação (Experiência 2).