Please use this identifier to cite or link to this item: https://hdl.handle.net/1822/77437

TitleTowards procedural music-driven animation: exploring audio-visual complementarity
Author(s)Brito, Carlos Faria Aquino de
Advisor(s)Fernandes, António Ramires
Issue date2017
Abstract(s)This thesis intends to describe our approach towards developing a framework for the interactive creation of music driven animations. We aim to create an integrated environment where real-time musical information is easily accessible and is able to be flexibly used for manipulating different aspects of a reactive simulation. Such modifications are specified through the use of a scripting language and include, for instance, geometrical transformations and geometry synthesis, gradual colour changes as well as the application of arbitrary forces. Our framework thus represents a proof-of-concept for converting musical information into arbitrary modifications to a dynamic simulation, producing a variety of animations. This is possible due to a bargaining between control and automation, where control is present by allowing the user to program these modifications with a scripting language and automation is present by using physics and interpolation to estimate the visual effects resulting from those modifications. The particular test case for our system was the animation/simulation of a growing tree reacting to wind. In order to control or influence both the tree growth and wind field, as well as other visual parameters, the system accepts two different but complementary representations of music: a MIDI event stream and raw audio data. Different musical features are obtainable from each of these representations. On one hand, by using MIDI, we are able to discretely synchronise visual effects with the basic elements of music, such as the sounding of notes or chords. On the other, using audio, we are able to produce continuous changes by obtaining numerical data from basic spectral analysis. Our framework provides a common interface for the combined application of these different sources of musical information to the generation of visual imagery, under the form of procedural animations. We will describe algorithms presented in multiple research papers, namely for tree generation, wind field generation and tree reaction to wind, briefly detailing our implementation and architecture. We also describe why each of these particular methods was chosen, how they are organised in our platform and how their parameters may be modified from our scripting environment leading to what we regard as the procedural generation of animations. By allowing the user to access musical information and give them control of what we have come to refer to as animation primitives, such as wind and tree growth, we believe to have taken a first step towards exploring a novel concept with a seemingly endless expressive potential.
Esta dissertação descreve o desenvolvimento de uma plataforma para a criação interativa de animações dirigidas por música. Focamo-nos em desenvolver um ambiente integrado onde vários aspetos de uma animação podem ser controlados pelo processamento em tempo real de informação musical, com recurso a uma linguagem de script. O caso de teste específico da nossa aplicação consiste na animação de uma árvore em crescimento capaz de reagir a um campo de vento dinâmico. De forma a controlar ou influenciar quer o crescimento da árvore, quer o campo de vento, o sistema aceita como input duas representações diferentes, mas complementares, de música, uma sequência contínua de eventos MIDI e áudio. Realçamos a distinção entre estas duas representações visto que apesar de serem ambas referentes a música, são fundamentalmente diferentes em termos da informação que contêm. Eventos MIDI contêm informação simbólica relativa à interpretação da música, nomeadamente os tempos de começo e final de notas. Por outro lado, informação áudio consiste num sinal contínuo, que resulta da gravação de um instrumento ou de uma atuação musical. Com MIDI, a nossa plataforma é capaz de sincronizar alterações discretas à simulação, com base nos elementos fundamentais da teoria musical, como o soar de notas ou acordes. Com informação áudio, é possível produzir alterações contínuas com base nos dados numéricos obtidos por análise espectral elementar do sinal de áudio. Neste documento serão descritos vários algoritmos apresentados em artigos de investigação, nomeadamente para a geração de árvores, geração de campos de vento e reação da árvore ao vento. Iremos descrever os motivos que levaram à sua escolha, a sua organização na nossa plataforma e os vários parâmetros que podemos modificar a partir do nosso ambiente de scripting. Em suma, a nossa plataforma pode ser descrita como um sistema que converte informação musical em alterações arbitrárias a um ambiente, que por sua vez influencia uma simulação reativa, produzindo animações. Foi estabelecido um compromisso entre controlo e automação de forma a tornar esta abordagem possível. O controlo provém da capacidade de programar as modificações que ocorrem no sistema, sendo que é utilizada automação de forma a estimar o movimento resultante de tais modificações. Ao fornecer ao utilizador informação musical em tempo real e oferecer-lhe controlo sobre o que nos referimos como "primitivas de animação", como o controlo sobre vento e o crescimento da árvore, consideramos que demos um primeiro passo no que toca à exploração de um novo conceito, com um potencial expressivo aparentemente infinito.
TypeMaster thesis
DescriptionMaster dissertation (Master Degree in Computer Science)
URIhttps://hdl.handle.net/1822/77437
AccessEmbargoed access (3 Years)
Appears in Collections:BUM - Dissertações de Mestrado
DI - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat 
Carlos Faria Aquino de Brito.pdf8,04 MBAdobe PDFView/Open

Partilhe no FacebookPartilhe no TwitterPartilhe no DeliciousPartilhe no LinkedInPartilhe no DiggAdicionar ao Google BookmarksPartilhe no MySpacePartilhe no Orkut
Exporte no formato BibTex mendeley Exporte no formato Endnote Adicione ao seu ORCID