Laboratoř zvuků je interaktivní rodinná expozice z dílny DEPO2015, která návštěvníky vtahuje do světa hudby, rytmu, zvuku a audiovizuálních experimentů. Výstava představuje zvuk nejen jako něco, co slyšíme, ale také jako fyzický, vizuální a herní fenomén. Návštěvníci si mohli vyzkoušet různé způsoby práce se zvukem – od roztáčení gramofonu v životní velikosti přes pozorování zvukových vln až po dirigování animovaného orchestru.

Na expozici jsem se podílel vývojem několika interaktivních exponátů, které propojovaly fyzický pohyb návštěvníků, senzory, zvukový obsah, světelné prvky, mechanické části a projekce. Součástí mé práce byl návrh technického řešení, vývoj hardwaru a firmwaru, programování, zpracování senzorických dat, řízení zvuku, světel a motorů i příprava systémů pro spolehlivý provoz ve veřejné expozici.

#Dirigent

Interaktivní exponát umožňoval návštěvníkům dirigovat animovaný orchestr pomocí bezdrátové dirigentské hůlky. Návštěvník si na kiosku vybral konkrétní skladbu a část orchestru, která měla hrát. Pohyb hůlky následně ovlivňoval rychlost a hlasitost přehrávaného orchestru v projekci.

Technicky šlo o komplexní systém propojující vývoj miniaturního hardwaru, bezdrátovou komunikaci, gyroskopická data, herní software, zvukové stopy a projekci. Hůlka musela být dostatečně malá a lehká pro běžné používání, ale zároveň spolehlivě snímat pohyb v reálném čase. Data z gyroskopu byla zpracována jednoduchým AI modelem, který převáděl gesto dirigenta na tempo a dynamiku orchestru. Systém pracoval přibližně s deseti samostatnými zvukovými stopami, které byly řízené podle pohybu návštěvníka.

#Gramofon v životní velikosti

Interaktivní exponát převáděl princip gramofonu do fyzického měřítka, ve kterém mohl návštěvník s deskou pracovat přímo rukama podobně jako DJ. Rychlost otáčení velké fyzické desky ovlivňovala přehrávání hudby – při pomalém, rychlém nebo nepravidelném pohybu se zvuk měnil podle skutečné interakce návštěvníka.

Na exponátu jsem se podílel vývojem hardwaru a softwaru pro snímání otáčení pomocí optického senzoru, zpracování rychlosti pohybu a modulaci zvuku v reálném čase. Součástí řešení bylo také RFID čtení konkrétních velkých fyzických desek, díky kterému systém rozpoznal vloženou desku a spustil odpovídající hudební obsah.

#AI skladatel

Interaktivní exponát pracoval s klaviaturou jako fyzickým vstupním zařízením pro zadávání textu a s generováním výsledné audio skladby pomocí AI modelu. MIDI signál z klaviatury byl softwarově převáděn a interpolován do podoby standardního klávesnicového vstupu, který návštěvník využíval pro zadání textového promptu.

Na exponátu jsem se podílel vývojem backendu, který zpracovával MIDI data, převáděl je na textový vstup a zajišťoval propojení s API pro generování hudby pomocí AI modelu. Součástí práce bylo také řízení průběhu generování, zpracování odpovědí z API a příprava systému pro stabilní provoz ve veřejné expozici.

#Zvukové vlny

Exponát pracoval s optickým efektem, při kterém se rozkmitané lanko ve světle stroboskopu zdánlivě zastaví nebo zpomalí. Návštěvníci tak mohli sledovat pohyb, který běžně okem nejde vnímat, a vidět zvukovou vlnu jako fyzický a vizuální jev.

Na exponátu jsem se podílel vývojem hardwaru a firmwaru pro řízení motoru a stroboskopického osvětlení. Součástí práce bylo nastavení frekvencí a jejich vzájemného vztahu tak, aby vznikl stabilní optický efekt „zamrznutého“ pohybu lanka a celý systém spolehlivě fungoval v režimu veřejné expozice.