Pakar Jelaskan Teknik di Balik UDC Galaxy Z Fold4 – Samsung Newsroom Indonesia

Kamera selfie adalah bagian penting dari setiap smartphone — tetapi menemukan sweet spot untuk kamera depan seringkali dapat menjadi penghalang untuk pengalaman menonton yang mulus. Namun, berkat Under Display Camera (UDC), pengguna dapat mengucapkan selamat tinggal pada titik hitam kecil di bagian depan layar mereka. Samsung Electronics telah memberi SVP peningkatan serius di Galaxy Z Fold4 baru, memberi pengguna pengalaman layar penuh yang lebih mendalam dan tanpa gangguan.

Seperti banyak inovasi hebat lainnya, UDC terbaru adalah upaya kelompok — dipandu oleh pakar Samsung dan umpan balik konsumen yang berharga. Untuk mempelajari lebih lanjut tentang SDU yang ditingkatkan untuk Galaxy Z Fold4, Samsung Newsroom berbicara dengan para ahli dari Samsung Research,¹ yang berkolaborasi dalam teknologi.

Baca terus untuk melihat apa yang John Seok-Jun Lee, Kepala Bagian Kamera Komputasi di Samsung Research America (SRA), dan Alok Shukla, Kepala Bagian Solusi Visi AI di Institut R&D Samsung India-Bangalore (SRI-B ), katakan tentang kolaborasi mereka di balik peningkatan teknologi UDC.

T: Apa itu Kamera Under-Display (UDC)?

Seok Jun: Kamera di bawah layar (UDC) adalah solusi kamera inovatif yang memungkinkan pengalaman menonton tanpa gangguan pada perangkat seluler dengan menyembunyikan kamera di bawah layar dan mendedikasikan seluruh layar untuk pengguna saat aplikasi sedang dijalankan. Ini tidak hanya membutuhkan inovasi perangkat keras dengan menempatkan kamera di bawah panel layar, tetapi juga inovasi algoritme untuk memulihkan kualitas gambar. — salah satu masalah restorasi citra yang paling kompleks.

T: Bagaimana cara kerja UDC?

OKE : Di UDC, kamera depan berada di bawah layar. Kerapatan piksel layar berkurang di area ini, memungkinkan layar menampilkan gambar tanpa hambatan — tetapi pada saat yang sama, jangan menghalangi cahaya mencapai kamera saat digunakan. Karena kamera ditempatkan di bawah layar, UDC dapat mengalami kualitas gambar yang buruk yang disebabkan oleh artefak difraksi, yang mengakibatkan suar, saturasi, buram, dan kabut. Oleh karena itu, meskipun UDC menghadirkan pengalaman tampilan yang lebih baik, hal itu juga memengaruhi kualitas gambar kamera dan tugas penglihatan hilir lainnya. Distorsi yang kompleks dan beragam ini membuat pemulihan gambar UDC menjadi sangat sulit.

T: Mengapa UDC merupakan teknologi penting dalam hal Galaxy Z Fold4? Nilai apa yang dibawanya kepada pelanggan?

Seok Jun: Perangkat lipat Samsung dirancang untuk menjadi baru dan berbeda, menggabungkan smartphone dan pengalaman menonton yang imersif dalam satu perangkat seluler melalui teknologi tampilan revolusioner. Saat dilipat, ini memberikan kegunaan seperti smartphone, dan saat dibuka, layar memberikan pengalaman yang lebih mendalam dan produktif. Riset konsumen kami menunjukkan bahwa pengguna seri Galaxy Z Fold lebih memilih Kamera Layar Sampul untuk mengambil foto dan selfie dan Tampilan Utama yang imersif untuk tugas yang lebih produktif seperti menonton video, bermain game, dan mengerjakan dokumen. Oleh karena itu, kami merasa bahwa teknologi UDC akan menjadi solusi ideal untuk memenuhi kebutuhan mereka akan layar tanpa gangguan sambil tetap dapat melakukan tugas seperti membuka panggilan video. Samsung meluncurkan solusi UDC yang dapat dilipat pertama kali di Galaxy Z Fold3 dan selanjutnya meningkatkan kualitasnya di Galaxy Z Fold4.

OKE : Galaxy Z Fold4 benar-benar mengungkap dunia tampilan yang imersif. Teknologi UDC adalah inti dari pencarian tampilan layar penuh yang sesungguhnya. Dengan menggabungkan inovasi mutakhir dalam teknologi tampilan dengan teknik AI canggih untuk pemulihan gambar, Galaxy Z Fold4 menghasilkan keseimbangan sempurna antara kualitas layar dan kualitas gambar kamera.

T: Bagaimana kualitas gambar kamera meningkat sejak Galaxy Z Fold3?

OKE : Samsung Galaxy Z Fold3 memperkenalkan UDC pertama di dunia yang dapat dilipat. Setelah Galaxy Z Fold3 dirilis, salah satu masukan utama konsumen adalah membuat SVP kurang terlihat. Di Galaxy Z Fold4, tata letak subpiksel telah dioptimalkan untuk menyembunyikan UDC lebih jauh.

Seperti yang disebutkan sebelumnya, bila kamera ditempatkan di bawah layar, itu dapat menyebabkan kualitas gambar yang buruk yang disebabkan oleh artefak difraksi, yang menyebabkan suar, saturasi, buram, dan kabut.

Itulah sebabnya, di Galaxy Z Fold4, kami memanfaatkan kekuatan AI, yang didukung oleh pemrosesan multi-gambar, untuk mengembangkan saluran pencitraan komputasi baru untuk pemulihan gambar UDC.

SRI-B, dengan Visual SW R&D Group di MX Business, berfokus pada pengembangan restorasi gambar AI untuk pengambilan foto dan pratinjau guna mengimbangi difraksi optik di UDC. Pada saat yang sama, lab Mobile Processor Innovation (MPI) SRA meningkatkan algoritme fotografi komputasi multi-bingkai. Galaxy Z Fold4 UDC memecahkan tantangan teknis utama dalam kualitas gambar untuk memberikan pengalaman unik kepada pelanggan akhir.

T: Ceritakan tentang perjalanan proyek kemitraan SRA-SRI. Mengapa kedua tim Anda berkolaborasi?

Seok Jun: SRA MPI Lab telah bekerja dengan SRI-B sepanjang sejarah MPI di Samsung, mulai dari peluncuran kamera Galaxy Note4 pada tahun 2014 hingga Galaxy Z Fold4 dan Z Flip4 pada tahun 2022. SRA MPI memimpin penelitian dan pengembangan pemrosesan multi-frame MX ( MFP) teknologi untuk UDC, Night Mode, Expert RAW dan teknologi lainnya. SRI-B telah berkontribusi pada semua SRA MPI MFP yang dirilis dengan menyediakan perangkat lunak kamera yang luar biasa, penyetelan kualitas gambar, dan sumber daya untuk komersialisasi serta R&D pada kamera AI. Kolaborasi 3 arah kami dengan grup R&D MX, SRA MPI dan SRI-B telah sukses — terutama ketika tim global memanfaatkan perbedaan zona waktu secara efektif untuk menyelesaikan pencapaian proyek yang begitu rumit tepat waktu. Selalu menyenangkan untuk bekerja dengan mereka dan menyatukan kesuksesan kamera perangkat Galaxy untuk mencapai tujuan bersama kami menjadi pengalaman kamera ponsel cerdas terbaik di dunia.

T: Tolong jelaskan peran Anda dan kontribusi tim Anda untuk UDC. Bagaimana Anda membantu membuat pengalaman pengguna sebaik mungkin?

OKE : Samsung Galaxy Z Fold4 UDC adalah proyek R&D yang kompleks, dan peran SRI-B adalah memikirkan ujung ke ujung untuk pengalaman konsumen terbaik. Ini membutuhkan keahlian multi-domain dan kolaborasi mendalam antara banyak tim. Para ahli dari SRI-B, SRA-MPI Lab, dan MX Visual SW R&D Group bekerja dengan mulus untuk menghadirkan eksperimen UDC ujung ke ujung.

SRI-B juga merupakan kunci dalam menggunakan Neural Processing Unit (NPU) untuk menjalankan model AI, mencapai kinerja waktu nyata dalam pratinjau dan waktu pemrosesan pengambilan yang jauh lebih cepat daripada di Samsung Galaxy Z Fold3 UDC. Pratinjau kamera, rekaman video, dan skenario panggilan video memerlukan kinerja waktu nyata tanpa menjatuhkan bingkai apa pun. Pemulihan UDC berbasis AI yang dipercepat dengan NPU untuk pemrosesan pratinjau pertama kali diterapkan di Samsung Galaxy Z Fold4. Meskipun pemrosesan waktu nyata tidak diperlukan, karena pengambilan kamera memerlukan kualitas gambar yang lebih tinggi daripada pratinjau, diinginkan untuk mencapai kualitas gambar yang lebih baik dengan waktu pemrosesan yang lebih sedikit untuk pengalaman pengguna.

T: Apa tantangan yang Anda hadapi saat mengembangkan teknologi ini, dan bagaimana Anda mengatasinya?

Seok Jun: Transmisi cahaya rendah dan difraksi cahaya adalah tantangan utama teknologi kamera UDC. Tantangan lain, yang berbeda dari saluran gambar kamera punch-hole, adalah bahwa kualitas tangkapan UDC tidak hanya dipengaruhi oleh modul kamera, tetapi juga oleh panel layar. Algoritma 3D ISP berbasis AI SRA MPI telah dirancang dengan fleksibilitas untuk menyesuaikan kualitas gambar keluaran dengan karakteristik tampilan yang berbeda. Memiliki fleksibilitas seperti itu dalam ISP 3D membantu mengatasi tantangan ini.

OKE : Tujuan utama SRI-B adalah untuk mengembangkan modul pemulihan gambar AI untuk Samsung Galaxy Z Fold4 UDC. Restorasi ini diperlukan untuk mode pengambilan foto serta mode video. Skenario perekaman video dan panggilan video memiliki persyaratan ketat untuk pemrosesan waktu nyata dalam batas konsumsi saat ini.

Pemulihan UDC berbasis AI pertama kali diterapkan di Samsung Galaxy Z Fold4 UDC untuk video. Untuk mendapatkan kualitas video yang lebih baik dari Galaxy Z Fold3, kami harus meringankan model AI sambil tetap mendapatkan kualitas pemulihan yang baik. Beberapa percobaan telah dilakukan dalam desain dan pelatihan jaringan untuk mencapai kualitas real-time yang baik. SRI-B memanfaatkan NPU dan teknik kuantisasi canggih secara ekstensif untuk menyiapkan model AI yang lebih ringan dan sangat dioptimalkan yang mencapai kinerja waktu nyata dengan konsumsi arus rendah.

T: Apa visi Anda untuk iterasi UDC masa depan di Samsung?

OKE : UDC Samsung Galaxy Z Fold4 telah membuka dimensi baru pada faktor bentuk kamera smartphone. UDC di masa depan akan memungkinkan sensor kamera yang lebih besar dan beberapa kamera ditempatkan pada posisi yang fleksibel tanpa mengorbankan pengalaman menonton. Tantangan besar lainnya adalah adopsi besar-besaran teknologi UDC di lebih banyak produk sebagai kamera depan utama. Agar hal ini terjadi, diperlukan peningkatan yang signifikan dalam kualitas gambar kamera, waktu pemrosesan, dan pengalaman tampilan.

Seok Jun: Karena Galaxy Z Fold4 UDC menawarkan pengalaman yang jauh lebih baik dalam hal menyembunyikan kamera di bawah layar dan meningkatkan kualitas gambar, arah R&D untuk perangkat unggulan mendatang akan berubah. Ini akan memberikan pengalaman tampilan seluler imersif terbaik tanpa gangguan sambil mencapai kualitas gambar yang sama dengan kamera punch-hole.

¹ Samsung Research, bertindak sebagai pusat R&D canggih Samsung Electronics, memimpin pengembangan teknologi masa depan untuk divisi Device eXperience (DX) perusahaan.