Google meluncurkan MusicLM, AI yang mampu menghasilkan musik dari perintah teks

peneliti Google diperkenalkan MusikLM, model AI yang mampu menghasilkan musik fidelitas tinggi dari teks. MusicLM membuat musik pada frekuensi konstan 24 kHz selama beberapa menit dengan memodelkan proses pembuatan musik bersyarat sebagai masalah pemodelan hierarki urutan-ke-urutan.

Berdasarkan makalah penelitian, MusicLM dilatih pada kumpulan data 280.000 jam musik untuk menghasilkan lagu yang masuk akal untuk deskripsi yang rumit. Para peneliti juga mengklaim bahwa model mereka mengungguli sistem sebelumnya baik dalam kualitas audio maupun dalam hal deskripsi tekstual.

Sampel MusicLMtermasuk potongan lima menit yang dihasilkan hanya dari satu atau dua kata seperti techno melodi, serta sampel 30 detik yang terdengar seperti lagu utuh dan dibentuk dari deskripsi paragraf panjang yang menentukan genre, suasana, dan bahkan instrumen tertentu.

MusicLM juga mampu mengubah kumpulan deskripsi yang ditulis secara berurutan menjadi sebuah cerita atau narasi musik yang dibangun di atas melodi yang ada, baik yang disiulkan, dinyanyikan, dinyanyikan, atau dimainkan dengan alat musik.

musik yang dihasilkan AI memiliki sejarah panjang dan telah dikreditkan dengan menulis lagu-lagu hit dan meningkatkan penampilan live. Dalam versi yang lebih baru, prompt tertulis diubah menjadi spektogram dan musik menggunakan mesin pembuat gambar AI Siaran stabil.

Berbeda dengan pembelajaran mesin teks ke gambar, di mana diklaim bahwa kumpulan data besar telah berkontribusi secara signifikan terhadap kemajuan terkini, ada hambatan untuk musik AI terkait dengan kurangnya data audio dan teks yang digabungkan. Sebagai contoh, Siaran stabil dan Buka AI LEMPENG alat telah membangkitkan minat baru dari masyarakat umum. Juga fakta bahwa musik disusun menurut a dimensi waktu menghadirkan kesulitan lain dalam pembuatan musik AI. Oleh karena itu, dibandingkan menggunakan deskripsi untuk gambar diam, jauh lebih sulit untuk menyampaikan maksud dari sebuah karya musik menggunakan teks sederhana.

Google lebih berhati-hati dengan MusicLM daripada beberapa pesaingnya dengan teknologi yang sebanding, seperti yang telah dilakukan sebelumnya dalam bentuk AI ini. Artikel diakhiri dengan pernyataan: “Kami tidak bermaksud merilis model apa pun saat ini.”