Model AI NVIDIA dapat menghasilkan model 3D dari deskripsi teks

oleh Meghmala 24 November 2022

3D untuk semua pengguna? Magic3D Nvidia dapat membuat model 3D dari teks.

Pada hari Jumat, peneliti Nvidia mempresentasikan Magic3D, sistem AI yang mampu membuat model 3D dari deskripsi tekstual. Magic3D membuat model mesh 3D dengan tekstur berwarna dalam waktu sekitar 40 menit setelah menerima prompt seperti “Seekor katak racun biru duduk di atas bunga teratai”. Model yang dihasilkan dapat dimodifikasi dan digunakan dalam video game atau karya seni CGI. Nvidia menghadirkan Magic3D sebagai jawaban untuk DreamFusion, model teks 3D yang diluncurkan oleh peneliti Google pada bulan September, dalam makalah akademisnya. Magic3D menggunakan teknik dua langkah untuk mengambil model kasar yang dibuat dalam resolusi rendah dan mengoptimalkannya ke resolusi yang lebih tinggi, seperti halnya DreamFusion menggunakan model teks-gambar untuk membuat gambar 2D yang kemudian dioptimalkan dalam volumetrik NeRF (Neural radiance field) data. Penulis penelitian mengklaim bahwa pendekatan Magic3D yang dihasilkan dapat membuat objek 3D dua kali lebih cepat dari DreamFusion.

Jaring 3D juga dapat diedit menggunakan petunjuk di Magic3D. Prompt dasar dan model 3D beresolusi rendah dapat digunakan untuk memodifikasi model dengan mengubah label. Pembuat Magic3D juga menunjukkan cara mengubah model 3D menjadi gambar 2D yang terlihat seperti gambar 2D, seperti lukisan kubisme, dan cara mempertahankan subjek yang sama selama beberapa generasi (praktik yang dikenal sebagai konsistensi). Studi ilmiah Nvidia tidak menyertakan kode Magic3D apa pun.

Model difusi saat ini, yang menggunakan jaringan saraf untuk membuat materi baru setelah pelatihan intensif pada kumpulan data, tampak seperti langkah alami untuk dapat membuat 3D dari teks. Pengembangan model teks-ke-gambar yang mumpuni seperti DALL-E dan Stable Diffusion serta generator teks-ke-video dasar dari Google dan Meta baru terjadi pada tahun 2022. Model teks-ke-3D DreamFusion yang disebutkan di atas juga diperkenalkan oleh Google dua bulan lalu, dan sejak itu orang telah mengembangkan metode yang sebanding untuk digunakan sebagai model sumber terbuka berdasarkan Difusi Stabil.

READ Tidak murah, harga penyimpanan ekstra PS5 mulai dari Rp1,6 jutaan

Para peneliti yang mengembangkan Magic3D percaya bahwa teknologi tersebut akan memungkinkan siapa saja untuk membuat model 3D tanpa memerlukan pelatihan khusus. Setelah dikembangkan, teknologi yang dihasilkan akan mempercepat pembuatan video game (dan realitas virtual) dan bahkan dapat digunakan dalam efek khusus untuk film dan acara TV. “Kami percaya bahwa dengan Magic3D, kami dapat mendemokratisasi sintesis 3D dan membuka kreativitas setiap orang dalam produksi konten 3D”, para penulis menyimpulkan di akhir esai mereka.