This is topic Video Gesture Follower in forum Plug-in Effetti, Instruments e Suoni: come fare? at I Forum di Cubase.it, il sito italiano su Cubase, Audio, MIDI e Home Recording.


To visit this topic, use this URL:
https://www.cubase.it/cgi-bin/ultimatebb.cgi?ubb=get_topic;f=4;t=010404

---

Posted by namaste (Member # 3262) on 02. Aprile 2010, 21:44:
 
Ciao a tutti!
Ho fatto un cortissimo video dimostrativo, spero si capisca cosa c'è dietro...
Ogni feedback è benvenuto!

http://www.youtube.com/watch?v=2dSU8MeJlz4
 

---

Posted by damiafix (Member # 253) on 06. Aprile 2010, 13:28:
 
Molto interessante, complimenti. Il lavoro di ricerca e sperimentazione che fate avrà sicuramente dei risvolti determinanti per le nuove tecnologie, soprattutto il relazione ai meta linguaggi. Le applicazioni sono tantissime e non solo in ambito artistico.
Relativamente al video che hai postato, mi veniva in mente la possibilità di combinazione delle immagini/parole apprese, che potrebbero essere anche dei suoni. Per quanto l'aspetto del riconoscimento non sia cosa nuova, ma è lo streech dell'audio in relazione alle variazioni del disegno nel dominio del tempo, che rende interessante l'applicazione. Inoltre anche l'algoritmo di timestreech usato mi sembra di buona qualità e mi chiedevo di cosa si trattasse.
Perchè non ci spieghi meglio le basi di sviluppo?
Al momento della visione del video, mi è tornato in mente un programma della Synchro Arts, che è in grado di fare il timestreech di una parte audio, attraverso una traccia pilota, in modo che la risultante sia nel tempo identica a quella guida.
Il prodotto è questo:
http://www.synchroarts.com/index.php?PAGEID=products&ID=vocalign

quì c'è un video che ne mostra il funzionamento:
http://www.youtube.com/watch?v=mQ_ikBLRu88

Saluti e ancora complimenti, D.
 

---

Posted by pachanka (Member # 9776) on 07. Aprile 2010, 11:27:
 
complimenti ed interessanti gli usi che se possono fare
la patch e' tua ????
se decidi di metterla in rete fammi sapere
 

---

Posted by damiafix (Member # 253) on 07. Aprile 2010, 18:44:
 
Basta iscriversi a questa mailing list:

http://listes.ircam.fr/wws/info/gesturefollower

Saluti, D.
 

---

Posted by cj (Member # 236) on 07. Aprile 2010, 19:07:
 
nice shot damiafix
 

---

Posted by damiafix (Member # 253) on 08. Aprile 2010, 00:00:
 

 

---

Posted by namaste (Member # 3262) on 13. Aprile 2010, 23:49:
 
Ooops scusate il ritardo non avevo visto il post

L'algoritmo di timestretching utilizzato è supervp, un phrase vocoder abbastanza unico sviluppato all'ircam

Ad ogni modo, il Gesture Follower può essere utilizzato anche in altri contesti.
Lui si limita, una volta appreso un certo numero di "gesti", a:
1- riconoscere che gesto sta venendo compiuto tra quelli precedentemente appresi (riconoscimento)
2 - dirti in che punto del gesto sei arrivato (following)

Il bello è che ti da quest'informazione non appena il gesto è iniziato, senza dover attendere la fine.

Un "gesto" può essere qualunque curva temporale.
In quel video ho utilizzato la posizione del mouse (dX e dY) ed ho utilizzato il riconoscimento per scegliere il campione da leggere e la posizione (following) per controllare il timestretching.

In altri esempi, al posto del mouse ho utilizzato un WiiMote (magari farò un video da mettere su youtube...) per controllare un fraseggio di violino.

Ultimamente lo sto invece testando direttamente sull'audio (la "curva", in questo caso, sono vari descrittori audio, tra cui pitch e loudness)
 

---

Posted by namaste (Member # 3262) on 13. Aprile 2010, 23:51:
 

quote:

---

Originally posted by damiafix:
Basta iscriversi a questa mailing list:

http://listes.ircam.fr/wws/info/gesturefollower

Saluti, D.

---

Esatto grazie!
Per chi fosse interessato a provare il Gesture Follower, può scaricarsi sia degli esempi già pronti all'uso (come quello del video) disponibili come applicazioni Mac, sia provarne a farsene degli altri.
Per quest'ultimo caso, l'ambiente scelto è MaxMSP.

Tutto gratuito!
 

---

Posted by damiafix (Member # 253) on 15. Aprile 2010, 22:05:
 
C'è possibilità di usarlo in MaxMsp per Windows?

Saluti, D.
 

---

Posted by namaste (Member # 3262) on 15. Aprile 2010, 23:19:
 

quote:

---

Originally posted by damiafix:
C'è possibilità di usarlo in MaxMsp per Windows?

Saluti, D.

---

Non l'ho ancora fatto...
Se hai qualche progetto interessante da proporre non esitare a scriverci. Non è escluso che ci sia qualche ragione particolare per doverlo fare, prima o poi quest'estate.

btw, sto per far uscire un'applicazione standalone per OSX, che riceve i geati via OSC/midi e reinvia le informazioni sempre via OSC/midi
 

---