AI groovebox w przeglądarce: dwanaście ścieżek, własny silnik syntezy i samodzielnie wytrenowany model patternów, działający w całości w Twojej przeglądarce.
Bity z przeglądarki - AI Music Mixer
Groovebox z własnym modelem AI - bez konta i bez instalacji.
Czym jest AI Music Mixer?
Instrument muzyczny jako strona internetowa - i zarazem test tego, jak daleko sięga dziś inżynieria oprogramowania wspierana przez AI.
AI Music Mixer to groovebox działający jako aplikacja przeglądarkowa: wybierasz pattern, wciskasz play i przebudowujesz bit bezpośrednio w karcie. Samodzielnie wytrenowany model AI generuje i wariuje patterny perkusyjne.
Powstał jako engineering showcase: prawdziwe oprogramowanie, na którym pokazujemy, co narzędzia AI budują dobrze, gdzie zawodzą i co pozostaje pracą ręczną. Kod treningowy jest otwarty.
Dwanaście ścieżek, własny silnik syntezy
Wszystko, co słyszysz, jest obliczane w przeglądarce w chwili naciśnięcia play.
Dwanaście ścieżek obejmuje perkusję, bas, akordy i melodię. Każdy dźwięk pochodzi z własnego silnika syntezy - syntetyzowany od podstaw, bez zewnętrznych sampli.
Bank patternów przechowuje warianty bitu, a tryb utworu łączy je w aranżację. Tak z jednego patternu może wyrosnąć cały utwór.
Własny model działający w przeglądarce
Najciekawsza część projektu to machine learning tam, gdzie powstaje Twoja muzyka: w karcie przeglądarki.
Samodzielnie wytrenowany wariacyjny autoenkoder (VAE) generuje patterny perkusyjne: osiem klas perkusyjnych, pięć stylów, w tym „Fills". Model ma około 276 000 parametrów i waży około 540 KB.
Inferencja działa w całości w przeglądarce przez TensorFlow.js. Na zbiorze testowym model odtwarza wstrzymane patterny z onset F1 około 0,70.
Czego model nie potrafi
Publikujemy pomiary zamiast demo-magii - także te niewygodne.
Model generuje zbyt mało otwartych hi-hatów i tomów, bo oba są rzadkie w gatunkach, na których był trenowany.
Kwantyzacja ludzkiego grania do siatki szesnastkowej kosztuje około 7 procent oryginalnych onsetów - cenę tego uproszczenia podajemy wprost.
Posłuchaj
Mixer działa bezpośrednio w przeglądarce, bez konta i bez instalacji.