|
Autore
|
Topic: Video Gesture Follower
|
|
|
damiafix
Member
Member # 253
|
posted 06. Aprile 2010 13:28
Molto interessante, complimenti. Il lavoro di ricerca e sperimentazione che fate avrà sicuramente dei risvolti determinanti per le nuove tecnologie, soprattutto il relazione ai meta linguaggi. Le applicazioni sono tantissime e non solo in ambito artistico.
Relativamente al video che hai postato, mi veniva in mente la possibilità di combinazione delle immagini/parole apprese, che potrebbero essere anche dei suoni. Per quanto l'aspetto del riconoscimento non sia cosa nuova, ma è lo streech dell'audio in relazione alle variazioni del disegno nel dominio del tempo, che rende interessante l'applicazione. Inoltre anche l'algoritmo di timestreech usato mi sembra di buona qualità e mi chiedevo di cosa si trattasse.
Perchè non ci spieghi meglio le basi di sviluppo?
Al momento della visione del video, mi è tornato in mente un programma della Synchro Arts, che è in grado di fare il timestreech di una parte audio, attraverso una traccia pilota, in modo che la risultante sia nel tempo identica a quella guida.
Il prodotto è questo:
http://www.synchroarts.com/index.php?PAGEID=products&ID=vocalign
quì c'è un video che ne mostra il funzionamento:
http://www.youtube.com/watch?v=mQ_ikBLRu88
Saluti e ancora complimenti, D.
Messaggi: 755 | Data Registrazione: Feb 2001
| IP: Logged
|
|
pachanka
Junior Member
Member # 9776
|
posted 07. Aprile 2010 11:27
complimenti ed interessanti gli usi che se possono fare
la patch e' tua ????
se decidi di metterla in rete fammi sapere ![[Clap]](graemlins/clap.gif)
Messaggi: 163 | Data Registrazione: Ago 2007
| IP: Logged
|
|
|
|
cj
Administrator
Member # 236
|
posted 07. Aprile 2010 19:07
nice shot damiafix ![[Wink]](wink.gif)
Messaggi: 13281 | Data Registrazione: Mar 2001
| IP: Logged
|
|
|
|
namaste
Member
Member # 3262
|
posted 13. Aprile 2010 23:49
Ooops scusate il ritardo non avevo visto il post
L'algoritmo di timestretching utilizzato è supervp, un phrase vocoder abbastanza unico sviluppato all'ircam
Ad ogni modo, il Gesture Follower può essere utilizzato anche in altri contesti.
Lui si limita, una volta appreso un certo numero di "gesti", a:
1- riconoscere che gesto sta venendo compiuto tra quelli precedentemente appresi (riconoscimento)
2 - dirti in che punto del gesto sei arrivato (following)
Il bello è che ti da quest'informazione non appena il gesto è iniziato, senza dover attendere la fine.
Un "gesto" può essere qualunque curva temporale.
In quel video ho utilizzato la posizione del mouse (dX e dY) ed ho utilizzato il riconoscimento per scegliere il campione da leggere e la posizione (following) per controllare il timestretching.
In altri esempi, al posto del mouse ho utilizzato un WiiMote (magari farò un video da mettere su youtube...) per controllare un fraseggio di violino.
Ultimamente lo sto invece testando direttamente sull'audio (la "curva", in questo caso, sono vari descrittori audio, tra cui pitch e loudness)
Messaggi: 562 | Data Registrazione: Dic 2003
| IP: Logged
|
|
namaste
Member
Member # 3262
|
posted 13. Aprile 2010 23:51
quote:
Originally posted by damiafix:
Basta iscriversi a questa mailing list:
http://listes.ircam.fr/wws/info/gesturefollower
Saluti, D.
Esatto grazie!
Per chi fosse interessato a provare il Gesture Follower, può scaricarsi sia degli esempi già pronti all'uso (come quello del video) disponibili come applicazioni Mac, sia provarne a farsene degli altri.
Per quest'ultimo caso, l'ambiente scelto è MaxMSP.
Tutto gratuito! ![[Big Grin]](biggrin.gif)
Messaggi: 562 | Data Registrazione: Dic 2003
| IP: Logged
|
|
damiafix
Member
Member # 253
|
posted 15. Aprile 2010 22:05
C'è possibilità di usarlo in MaxMsp per Windows?
Saluti, D.
Messaggi: 755 | Data Registrazione: Feb 2001
| IP: Logged
|
|
namaste
Member
Member # 3262
|
posted 15. Aprile 2010 23:19
quote:
Originally posted by damiafix:
C'è possibilità di usarlo in MaxMsp per Windows?
Saluti, D.
Non l'ho ancora fatto... ![[Roll Eyes]](rolleyes.gif)
Se hai qualche progetto interessante da proporre non esitare a scriverci. Non è escluso che ci sia qualche ragione particolare per doverlo fare, prima o poi quest'estate.
btw, sto per far uscire un'applicazione standalone per OSX, che riceve i geati via OSC/midi e reinvia le informazioni sempre via OSC/midi
Messaggi: 562 | Data Registrazione: Dic 2003
| IP: Logged
|
|
UBBFriend: Spedisci questo topic ad un amico
![[Smile]](smile.gif)
Versione stampabile di questo topic