Terinspirasi dari seni memahat tradisional, SoundSculpt menawarkan pendekatan revolusioner dalam menciptakan musik dan visual. Dengan mengadaptasi prinsip-prinsip sentuhan dalam seni tembikar kuno, karya ini memungkinkan pengguna untuk “memahat” suara menggunakan gerakan tubuh, menciptakan lanskap audio-visual yang memukau. Pengalaman ini tidak hanya menempatkan pengguna sebagai pusat proses kreatif, tetapi juga menghubungkan kembali seni dengan emosi dan ekspresi personal secara mendalam.
Keunikan SoundSculpt terletak pada kemampuannya menggabungkan audio spasial, gerakan, dan seni visual dalam satu medium generatif. Dengan memanfaatkan teknologi Bose AR Frame, antarmuka ini menangkap gerakan kepala pengguna secara presisi dan mengubahnya menjadi modifikasi suara secara real-time melalui kerangka kerja MIDI. Inovasi ini membuka peluang baru dalam eksplorasi artistik, regulasi emosi, dan kesejahteraan mental, memperkuat peran teknologi sebagai alat ekspresi dan terapi.
Dibangun dengan teknologi XR mutakhir, SoundSculpt mengintegrasikan audio spasial dan pemrosesan visual untuk menciptakan pengalaman yang benar-benar imersif. Sensor giroskop pada Bose Frames merekam enam derajat kebebasan gerakan kepala, yang kemudian diterjemahkan ke dalam modulasi suara dan manipulasi permukaan visual secara dinamis. Pengembangan berbasis Unity dan skrip C# memungkinkan interaksi pengguna secara langsung, sementara deformasi mesh dan manipulasi vertex menghadirkan antarmuka yang responsif dan emosional.
Sistem ini menggunakan kerangka kerja MIDI untuk memetakan data orientasi kepala ke nada dan volume suara, yang selanjutnya dikombinasikan dengan manipulasi gelembung virtual melalui input sentuh. Prinsip sinestesia diterapkan untuk meningkatkan persepsi sensorik, menciptakan aliran holistik antara seni fisik dan digital. Dengan ukuran ringkas, bobot ringan, dan daya tahan baterai hingga 5,5 jam, SoundSculpt menawarkan fleksibilitas dan kenyamanan dalam penggunaan sehari-hari.
Penelitian di balik SoundSculpt menyoroti dampaknya dalam regulasi emosi dan peningkatan persepsi spasial. Melalui pengujian pengguna dan umpan balik biometrik, ditemukan bahwa partisipan merasakan peningkatan stabilitas emosi dan persepsi ruang yang lebih tajam. Temuan ini membuka peluang adopsi di bidang psikiatri dan terapi seni, memperluas kontribusi SoundSculpt dalam meningkatkan kesejahteraan emosional melalui kreasi yang menyenangkan.
SoundSculpt telah mendapatkan pengakuan internasional dengan meraih Iron A' Digital Art Award 2025, menegaskan posisinya sebagai karya inovatif yang memadukan praktik terbaik industri dan karakteristik teknis unggul. Dengan menghubungkan seni, teknologi, dan kesehatan mental, SoundSculpt menandai era baru dalam eksplorasi kreatif dan pengalaman imersif.
Desainer Proyek: Yiqi Zhao
Kredit Gambar: Image 1: Yiqi Zhao, 2024.
Image 2: Yiqi Zhao, 2024.
Image 3: Yiqi Zhao, 2024.
Image 4: Yiqi Zhao, 2024.
Image 5: Yiqi Zhao, 2024.
Video Credits: Yiqi Zhao, 2024.
Anggota Tim Proyek: Yiqi Zhao
Nama Proyek: Sound Sculpt
Klien Proyek: MIT Media Lab