Imogen Heap korunk egyik tagadhatatlan zenei zsenije, aki mindig tartogat valami újat a tarsolyában, legyen szó a zenei alkotófolyamat megosztásáról a közönséggel, vagy az interakció határainak feszegetéséről. Korábban bemutattam már itt a blogon, és zenei tevékenykedése azóta sem mondható átlagosnak – az utóbbi időben olyasmivel állt elő, ami mind hangtechnikai, mind előadóművészeti szempontból új távlatokat nyit a zenei önmegvalósításban. A Gloves technikájával láthatóvá varázsolja a zenei szerkesztés, manipuláció, alkotás olyan részleteit, amelyeket eddig a hangtechnikai eszközök adta fizikai korlátok miatt szabad szemmel nem láthattunk.

A modern zenei alkotófolyamat szerves részét képezik a digitális effektek, manipulációk, real time finomítások, amelyek színpadra állítva egyáltalán nem látványosak – általában kimerülnek egy-egy gombnyomásban, vagy potméter tekerésben. Pedig a hangnak ezek a valós idejű átértelmezései adják a zene lelkét, az ilyen apró változtatásokkal válik egy előadó egyedivé. Az egyszerű rádióhallgató ugyan nem lát a színfalak mögé, maximum megállapítja magában, hogy az előbb hallott dalnak kellemes atmoszférája volt, de, hogy ennek eléréséhez hányféle effektust, trükköt csempészett a valós hang mögé az előadó, vagy annak producere, hangmérnöke, az az esetek többségében visszafejthetetlen. Ha a kívánt hatás egyetlen mozdulattal létrehozható a színpadon, akkor elvész a jelenség vizuális megerősítése – és, bár halljuk, hogy a zenében változott valami, a megértésnek alacsonyabb fokán maradunk, mintha minden egyes paraméter változtatását figyelemmel kísérhetnénk. Az előadás meghatározó része tehát rejtve marad előlünk, hallgatók elől.

Imogen Heap ezen szeretne változtatni különleges kesztyűi segítségével. Egy olyan hangtechnikai eszközről vizionált, amelynek segítségével az előadó saját gesztusaival, kézmozdulataival, testtartásával varázsolhatja kifejezőbbé a hangokat, amolyan zenélő tündérként. Amikor 2009-ben találkozott Elly Jessop-pal, az MIT Media Lab egyik kutatójával, az ötlet hirtelen nem is tűnt annyira elérhetetlennek. Elly egy olyan kesztyűn dolgozott, amelynek segítségével viselője egyszerű kézmozdulatokkal változtathatja saját hangját.

Bár az általa tervezett kesztyű csak pár egyszerű műveletre volt képes – rögzíteni és loop-olni tudta az emberi hangot -, Imogen fantáziáját rögtön megragadta a koncepció, és turnéidőpontjait is módosítva nekilátott a saját elképzeléseire optimalizált rendszer fejlesztéséhez. A munkához Tom Mitchell-t hívta segítségül, aki korábban támogatta már technikai beállításokkal. Rajta keresztül a University of Western England is hozzájárult a projekt megvalósításához, így hivatalosan is megkezdődhetett a kutatás és kísérletezés.

„Az első kihívást az jelentette, hogy miként tudjuk a kesztyű mozgását digitalizálni, hogy a mozdulatokból nyert adatokkal később dolgozni tudjunk. Minél több mindent kipróbáltunk, annál inkább 3 dimenzióban kezdtem gondolkodni, és egyre több ötletem lett. Több és több adatra volt szükségem, hogy még kifejezőbbé tehessem a folyamatot.” – A fejlesztésekkel már nem csupán a kéz tartását, de annak mozgását és a mozgás irányát, sebességét is érzékelhetővé tették.

A kesztyűre és az azt tartó szerkezetre – amelynek kábeleit szándékosan nem rejtették el a közönség kíváncsi tekintete elől – olyan érzékelők és mérőberendezések kerültek, amelyeket egyébként orvosi célokra, vagy éppen űrhajók irányításánál alkalmaznak. Inerciális és magnetométert kombináló mérőegységekként ismert szenzorokat és algoritmusokat, giroszkópot, és gyorsulásmérőt használtak, hogy a motion capture animációs technológiához hasonlóan meghatározzák velük a felhasználó pontos pozícióját, orientációját, mozgását, a mozgások és a testrészek sebességét. Az ezekből nyert információ társítása a hang modulálásának módjával innentől csupán programozás kérdése. A fejlesztésbe itt kapcsolódott be Seb Madgwick, abban pedig, hogy a hangok kontrollálása látványos, mégis könnyen érthető formát öltsön Imogen előadói rutinja játszotta a főszerepet. Bonyolult, külön megjegyzendő mozdulat kombinációk helyett így például az előadó könnyedén átválthat a dobok irányítására egy dobverőket felkapó mozdulat segítségével, a panorámázás pedig egészen egyszerűen megoldható, ha kezével a kívánt irányba mutat. Később Imogen a rendelkezésére álló teret is több, funkcionálisan különböző egységre bontotta, külön értelmet adva annak, hogy éppen merre helyezkedik el a színpadon közönségéhez képest. A megvalósításban a Kinectet kötötték össze az Ableton-nal, így a térbeli mozgás valós időben alakul hangeffektussá. Miközben a variációkban rejlő lehetőség hihetetlen távlatokat ígér, folyamatosan számolniuk kell azzal is, hogy, míg összetett feladatok – mint a hangmagasság változtatása, a frekvenciák szűrése, vagy a hang hosszának megváltoztatása – könnyeddé és egyszerűvé váltak a kesztyűk segítségével, addig olyan profán dolgok, mint például a produkció azonnali elnémítása egészen nagy kihívást jelentenek.

Hogy a kesztyű a koncertek során se korlátozza Imogen-t a hangszerhasználatban, ujjai végét szabadon hagyták, így bármikor játszhat hagyományos hangszeren is, a csuklókhoz beépített mikrofonok pedig további lehetőséget nyújtanak speciális hangok rögzítésére. Hatalmas fejlesztés ez, ami folyamatosan vet fel újabb megoldandó problémákat, de a zenei kesztyűk teljesítménye már most is lenyűgöző.

A prototípust 2011-ben mutatta be a TED Global, majd a Wired Future of Music konferenciákon, az első, kifejezetten a kesztyűkre komponált dalt pedig a Föld Napján mutatta be, energiatakarékos online közvetítéssel.

Egy életen át tartó kutatási projekt kellős közepén jár a Music Gloves-zal, ami új irányt adhat a jövőben a zenei önmegvalósításnak. Nyilván előfeltétel a használójával szemben, hogy tudja, milyen hanghatásokat érhet el egy-egy effektus használatával, és kulcsfontosságú a programozás személyreszabhatósága is. Ha viszont az új módszerrel kiiktatható az előadó és az elképzelései közt szükséges harmadik fél – legyen az akár egy az előadóval teljesen egy húron pendülő hangmérnök -, akkor ezzel a művészi önkifejezés maximumára érünk.

Imogen Heap korunk egyik tagadhatatlan zenei zsenije, aki mindig tartogat valami újat a tarsolyában, legyen szó a zenei alkotófolyamat megosztásáról a közönséggel, vagy az inetrakció határainak feszegetéséről. Korábban bemutattam már itt a blogon, és zenei tevékenykedése azóta sem mondható átlagosnak – az utóbbi időben olyasmivel állt elő, ami mind hangtechnikai, mind előadóművészeti szempontból új távlatokat nyit a zenei önmegvalósításban. A Gloves technikájával láthatóvá varázsolja a zenei szerkesztés, manipuláció, alkotás olyan részleteit, amelyeket eddig a hangtechnikai eszközök adta fizikai korlátok miatt szabad szemmel nem láthattunk.

A modern zenei alkotófolyamat szerves részét képezik a digitális effektek, manipulációk, real time finomítások, amelyek színpadra állítva egyáltalán nem látványosak – általában kimerülnek egy-egy gombnyomásban, vagy potméter tekerésben. Pedig a hangnak ezek a valós idejű átértelmezései adják a zene lelkét, az ilyen apró változtatásokkal válik egy előadó egyedivé. Az egyszerű rádióhallgató ugyan nem lát a színfalak mögé, maximum megállapítja magában, hogy az előbb hallott dalnak kellemes atmoszférája volt, de, hogy ennek eléréséhez hányféle effektust, trükköt csempészett a valós hang mögé az előadó, vagy annak producere, hangmérnöke, az az esetek többségében visszafejthetetlen. Ha a kívánt hatás egyetlen mozdulattal létrehozható a színpadon, akkor elvész a jelenség vizuális megerősítése – és, bár halljuk, hogy a zenében változott valami, a megértésnek alacsonyabb fokán maradunk, mintha minden egyes paraméter változtatását figyelemmel kísérhetnénk. Az előadás meghatározó része tehát rejtve marad előlünk, hallgatók elől.

Imogen Heap ezen szeretne változtatni különleges kesztyűi segítségével. Egy olyan hangtechnikai eszközről vizionált, amelynek segítségével az előadó saját gesztusaival, kézmozdulataival, testtartásával varázsolhatja kifejezőbbé a hangokat, amolyan zenélő tündérként. Amikor 2009-ben találkozott Elly Jessop-pal, az MIT Media Lab egyik kutatójával, az ötlet hirtelen nem is tűnt annyira elérhetetlennek. Elly egy olyan kesztyűn dolgozott, amelynek segítségével viselője egyszerű kézmozdulatokkal változtathatja saját hangját.

http://www.youtube.com/watch?v=1THRgjkKyg8

Bár az általa tervezett kesztyű csak pár egyszerű műveletre volt képes – rögzíteni és loop-olni tudta az emberi hangot -, Imogen fantáziáját rögtön megragadta a koncepció, és turnéidőpontjait is módosítva nekilátott a saját elképzeléseire optimalizált rendszer fejlesztéséhez. A munkához Tom Mitchell-t hívta segítségül, aki korábban támogatta már technikai beállításokkal. Rajta keresztül a University of Western England is hozzájárult a projekt megvalósításához, így hivatalosan is megkezdődhetett a kutatás és kísérletezés.

„Az első kihívást az jelentette, hogy miként tudjuk a kesztyű mozgását digitalizálni, hogy a mozdulatokból nyert adatokkal később dolgozni tudjunk. Minél több mindent kipróbáltunk, annál inkább 3 dimenzióban kezdtem gondolkodni, és egyre több ötletem lett. Több és több adatra volt szükségem, hogy még kifejezőbbé tehessem a folyamatot.” – A fejlesztésekkel már nem csupán a kéz tartását, de annak mozgását és a mozgás irányát, sebességét is érzékelhetővé tették.

A kesztyűre és az azt tartó szerkezetre – amelynek kábeleit szándékosan nem rejtették el a közönség kíváncsi tekintete elől – olyan érzékelők és mérőberendezések kerültek, amelyeket egyébként orvosi célokra, vagy éppen űrhajók irányításánál alkalmaznak. Inerciális és magnetométert kombináló mérőegységekként ismert szenzorokat és algoritmusokat, giroszkópot, és gyorsulásmérőt használtak, hogy a motion capture animációs technológiához hasonlóan meghatározzák velük a felhasználó pontos pozícióját, orientációját, mozgását, a mozgások és a testrészek sebességét. Az ezekből nyert információ társítása a hang modulálásának módjával innentől csupán programozás kérdése. A fejlesztésbe itt kapcsolódott be Seb Madgwick, abban pedig, hogy a hangok kontrollálása látványos, mégis könnyen érthető formát öltsön Imogen előadói rutinja játszotta a főszerepet. Bonyolult, külön megjegyzendő mozdulat kombinációk helyett így például a dobok irányítására könnyedén átválthat az előadó egy dobverőket felkapó mozdulat segítségével, a panorámázás pedig egészen egyszerűen megoldható, ha kezével a kívánt irányba mutat. Később Imogen a rendelkezésére álló teret is több, funkcionálisan különböző egységre bontotta, külön értelmet adva annak, hogy éppen merre helyezkedik el a színpadon közönségéhez képest. A megvalósításban a Kinectet kötötték össze az Ableton-nal, így a térbeli mozgás valós időben alakul hangeffektussá. Miközben a variációkban rejlő lehetőség hihetetlen távlatokat ígér, folyamatosan számolniuk kell azzal is, hogy, míg összetett feladatok – mint a hangmagasság változtatása, a frekvenciák szűrése, vagy a hang hosszának megváltoztatása – könnyeddé és egyszerűvé váltak a kesztyűk segítségével, addig olyan profán dolgok, mint a produkció azonnali elnémítása egészen nagy kihívást jelentenek.

Hogy a kesztyű a koncertek során se korlátozza Imogen-t a hangszerhasználatban, ujjai végét szabadon hagyták, így bármikor játszhat hagyományos hangszeren is, a csuklókhoz beépített mikrofonok pedig további lehetőséget nyújtanak speciális hangok rögzítésére. Hatalmas fejlesztés ez, ami folyamatosan vet fel újabb megoldandó problémákat, de a zenei kesztyűk teljesítménye már most is lenyűgöző.

http://www.youtube.com/watch?v=dcLFVhRHXUM

A prototípust 2011-ben mutatta be a TED Global, majd a Wired Future of Music konferenciákon, az első, kifejezetten a kesztyűkre komponált dalt pedig a Föld Napján mutatta be, energiatakarékos online közvetítéssel. Egy életen át tartó kutatási projekt kellős közepén jár a Music Gloves-zal, ami új irányt adhat a jövőben a zenei önmegvalósításnak. Nyilván előkövetelmény a használójával szemben, hogy tudja, milyen hanghatásokat érhet el egy-egy effektus használatával, és kulcsfontosságú a programozás személyreszabhatósága is. Ha viszont az új módszerrel kiiktatható az előadó és az elképzelései közt szükséges harmadik fél – legyen az akár egy az előadóval teljesen egy húron pendülő hangmérnök -, akkor ezzel a művészi önkifejezés maximumára érünk.