Lucky Sebastian

AI Computational Photography

Kita tahu bahwa kamera smartphone memiliki keterbatasan dibanding kamera profesional, terutama di sisi area, sehingga tidak bisa menggunakan lensa dan sensor yang besar seperti kamera profesional.

Karena itu kita melihat kehadiran multi kamera pada smartphone, untuk membantu mengatasi hal ini.

Pertama memang kehadiran multi kamera juga hanya berdiri sendiri-sendiri, misalnya lensa ultra lebar untuk mengambil gambar dengan cakupan area yang besar, atau lensa telefoto untuk bisa mengambil gambar dengan pembesaran optik.

Kehadiran AI atau artificial intelligence bisa dikatakan berkah bagi kamera smartphone. Sedikit-sedikit kemampuannya berkembang sesuai kemampuan chipset dan algoritma, dari pengenalan terbatas atas scene, objek, dan sekarang computational photography. Yang kita maksudkan disini, tahap dimana data yang di-capture kamera, diolah lebih jauh, baik data dari  single camera hingga gabungan multi camera, untuk mendapatkan hasil gambar terbaik yang dikerjakan AI.

Makanya sekarang ini, kalau kita lihat setiap peluncuran chipset smartphone baru, tidak sekedar bicara CPU dan GPU lagi, tetapi seberapa tinggi kemampuan AI nya mengolah data.

Teknologi kamera smartphone saya yakin banyak yang sudah mengerti, untuk gambar steady perlu OIS, sensor kamera dan software menentukan bagusnya gambar yang ditangkap, besaran MP kamera belum tentu hasilnya lebih baik dll.

Tetapi apa yang akan saya sarikan dan coba jelaskan ini, dari cerita tentang teknologi kamera di Galaxy S22 series oleh Dr Sundae Joshua Cho, Head of visual software R&D Samsung, will blow your mind.

Ternyata banyak yang kita tidak tahu, dan betapa advance teknologi kamera Galaxy S22 series.

Memang sekarang terasa kamera di Galaxy S22, leap, lebih bagus dari pendahulunya, dan dari apa yang diungkap Dr Joshua Cho, akan membuat kita mengerti teknologi di belakangnya.

Rahasia Kamera Galaxy S22

Pada kamera Galaxy S22, selain foto, Samsung fokus di video, karena di banding foto yang sudah bagus, video yang semakin banyak direkam masih banyak yang harus diperbaiki kemampuannya.

Super Steady

Pada awal kamera smartphone, perekaman video dengan bergerak akan menghasilkan gambar yang melompat-lompat, tidak enak dilihat, sehingga dibutuhkan perangkat gimbal tambahan.

Kemudian untuk mendapatkan hasil video yang lebih stabil, perekaman steady video banyak mengandalkan lensa ultra lebar, dengan bantuan EIS, electronic image stabilization.

Tapi penggunaan lensa ultra lebar ini biasanya hanya bagus saat merekam video di tempat yang berlimpah cahaya, karena biasanya selain pixel sensor yang lebih kecil bukaan lensanya juga kecil, sehingga hasilnya kurang bagus saat low light.

Pada Galaxy S22, Samsung mengandalkan OIS, optical image stabilization yang sekarang lebih besar sudut pergerakannya, dari semula yang 0.9 derajat menjadi 1.5 derajat. OIS yang semakin lebar sudutnya akan semakin bisa mengantisipasi pergerakan kamera yang banyak berubah saat berguncang dan bergerak.

Tidak hanya itu device S22 juga memanfaatkan giroskop yang sekarang lebih cepat mendeteksi gerakan kecil sekalipun, dengan getaran 833Hz dibanding pendahulunya di 200Hz.

Kemudian AI berdasarkan data yang diterimanya akan memprediksi kemana jalur kamera akan bergerak selanjutnya, yang hasilnya bisa membuat gerakan video menjadi lebih halus dan steady.

Reduce Noise

Dibanding foto, video lebih mudah hasil gambarnya tidak halus atau banyak noise, titik-titik seperti pixel atau pasir yang terlihat.

Dibandingkan foto yang bisa diambil multiframe dan diolah, dipadatkan, menjadi 1 frame yang lebih bebas noise, video secara konstan mengambil beberapa frame dalam satu detik, setidaknya 24 FPS. Untuk gambar yang lebih halus gerakannya, biasa digunakan 30 atau 60 FPS. Untuk gambar bergerak yang bisa dibuat slow motion dengan lebih baik, bisa diambil video dengan 120 FPS atau lebih.

Semakin besar resolusi dan semakin besar FPS yang diinginkan, membuat kerja ISP, image signal processing dari chipset semakin berat, untuk itu terima kasih kepada kemajuan pada flagship chipset sekarang yang memiliki ISP dengan kinerja cepat dan bagus.

Galaxy S22 untuk menghasilkan gambar video yang bagus dan lebih bebas noise, selain mengandalkan kemampuan ISP, juga sangat mengandalkan NPU, neural processing unit atau AI.

AI yang dulu saat awal bisa mengenali beberapa scene dan objek, sekarang diajari untuk mengenali lebih banyak objek dan scene, lebih cepat dan tepat.

Saat perekaman dibuat, AI pada NPU akan mengenali objek yang direkam, apakah manusia, binatang, scene nya seperti apa, yang sering dikenal dengan istilah image segmentation. 

Dari data ini dilakukan perekaman dengan auto frame, FPS tidak lagi statis, tetapi AI akan menyesuaikan FPS nya untuk gambar terbaik yang bebas noise, misalnya apakah framenya harus ditingkatkan, atau malah dikurangi. Jadi kamera akan otomatis mengganti banyaknya frame yang diambil per detik dengan seamless sesuai kondisi cahaya, dari 60 FPS – 15 FPS.

Selain itu otomatis AI melalui ISP melakukan 3A, auto focus, auto exposure, dan auto white balance pada setiap bagian, untuk menghasilkan gambar terbaik.

HDR

HDR atau High Dynamic Range yang bagus, membuat hasil gambar dalam kondisi pencahayaan yang ekstrim atau cukup ekstrim berbeda, misal video dengan pencahayaan di belakang objek yang terang, membuat objek tidak menjadi gelap atau siluet, atau sebaliknya objek terlihat tetapi background menjadi over exposure.

HDR membuat gambar tidak flat, tetapi terasa ada kedalaman.

Biasanya foto HDR pada kamera, ketika shutter ditekan, maka 2 gambar atau lebih yang berbeda exposure diambil dan kemudian disatukan, menjadi gambar dengan HDR yang baik.

Tetapi bagaimana dengan video yang FPS nya sedemikian banyak per detik?

Untuk itu pada Galaxy S22, video mengambil gambar bukan lagi dengan 8bit, tetapi 10bit gradasi warna (16 juta dibanding 1 miliar warna), hingga dari banyaknya gradasi ini bisa dipisahkan mana bagian gambar dengan high gain, dan mana yang low gain.

Nantinya hasil ini bisa dikomposisikan menjadi gambar dengan HDR yang baik, yang bisa memisahkan langit dan objek, membuat keduanya tetap terlihat, dan memberinya efek kedalaman.

Auto Framing

Pengenalan objek, segmentasi, dan pergerakan oleh AI, membuat video di Galaxy S22 bisa melakukan auto framing, dimana lensa akan melakukan zoom in atau zoom out, sesuai objek yang masuk dalam framing video.

Dari jarak 5 meter, kamera bisa mengenali hingga 10 orang, menyesuaikannya zoom agar semua masuk ke dalam bingkai, atau dengan mengubah sudut lensa.

ISOCELL 108MP

Kamera dengan MP besar sekarang ini sudah biasa kita dengar dan masih diperdebatkan apakah MP besar yang membuat besaran pixel sensor menjadi kecil akan lebih baik daripada pixel ukuran besar, walau dari MP yang besar bisa ditangkap detail yang banyak.

Kita tahu kelemahan pixel kamera kecil akan lemah menangkap cahaya di kondisi low light.

Untuk itu banyak yang sudah mendengar tentang teknologi Pixel Binning, dimana pixel yang kecil bisa grouping menjadi satu pixel lebih besar, seperti di sensor kamera 108 MP ISOCELL HM3 yang digunakan Galaxy S22 Ultra, dapat grouping 9 pixel kecil 0.8 micron menjadi 1 pixel besar 2.4 micron, yang membuat ukuran foto menjadi 12MP.

Salah satu kelebihan kamera di Galaxy S22 Ultra adalah gambar yang tajam dan detail yang bagus, darimana ini?

Ternyata ada teknologi baru yang digunakan di Galaxy S22 Ultra, dinamakan Fusion Bio Adaptive Pixel, dimana saat gambar diambil, sebenarnya kamera mengambil 2 foto, 1 berukuran 108MP dan 1 lagi 12MP, kemudian AI melakukan komposisi menjadi 1 gambar dengan detail yang lebih kaya.

Makanya sering kita lihat saat dibandingkan dengan pembesaran gambar, hasil kamera Galaxy S22 Ultra lebih kaya pada detail, dimana kamera lain kebanyakan sudah kabur gambarnya.

Portrait Malam Hari

Foto portrait atau sederhananya seperti foto selfie yang sering diambil para pangguna smartphone, sekarang ini semakin bagus. Tapi foto potrait ini tidak lepas dari cukupnya cahaya untuk hasil yang baik diambil oleh kamera smartphone, dan kondisinya akan menurun saat foto di cafe termaram atau malam hari dengan latar bagus sekalipun.

Makanya orang-orang tetap banyak ke studio untuk potret foto potrait, ini karena studio photo memiliki penerangan buatan (lampu) yang sangat memadai.

Mengatasi hal tersebut pada Galaxy S22, Samsung memanfaatkan kemampuan AI untuk segmentasi, mengenali objek dan kedalaman, sehingga bisa memisahkan pengaturan yang berbeda untuk objek di depan dan background di belakang.

Segmentasi AI ini juga bisa dilakukan kamera depan atau selfie, sementara pada kamera belakang, lensa telephoto juga difungsikan untuk bisa menangkap foto potrait selain kamera lensa wide utama.

Foto potrait biasanya untuk manusia sebagai objek foto, tetapi di Galaxy S22 binatang piaraan pun akan dikenali AI dan dibuatkan foto potrait dengan background blur yang sama bagusnya, termasuk foto selfie bersama binatang piaraan yang biasanya hanya mengenali wajah manusia, dan fokus kesana, tetapi sekarang bisa fokus ke kedua objek, manusia dan binatang, hingga fotonya sama-sama tajam. Ini akan menyenangkan para pemilik anjing atau kucing peliharaan yang mereka sayangi.

Bokeh

Salah satu kemajuan di kamera Galaxy S22 yang terasa, adalah bokeh yang lebih baik. Ini dicapai dengan memanfaatkan depth map yang dibuat dari perbedaan focal length lensa berbeda, kemudian dianalisa AI untuk memisahkan bagian subjek di depan dengan background.

Bagian-bagian kecil yang dulu sulit, seperti pagar atau rambut, dengan AI yang semakin powerful bisa dipisahkan dengan baik.

Setelah didapat pemisahan antara subjek di depan dan background, kemudian gambar pada background di blur dengan software, semirip mungkin dengan hasil lensa optik kamera profesional.

Multi Kamera AI

Smartphone sekarang melengkapi diri dengan multi kamera salah satunya untuk mengatasi keterbatasannya akan lensa dan sensor besar.

Kita selalu berpikir kalau 3 lensa utama, wide, ultra-wide, dan telephoto, punya tugas yang pasti. 

Foto standar dengan lensa Wide.

Foto cakupan lebar dengan ultra-wide

Foto zoom dengan telephoto.

Galaxy S22 memiliki sensor jarak yang akan mengetahui jarak antara kamera dan objek.

Jika objek difoto di bawah 30cm atau lebih dekat, otomatis lensa wide akan berpindah ke ultra-wide, dan lensa ultra-wide ini akan berfungsi seperti lensa makro. Kita bahkan bisa memfoto tulisan pada botol obat yang kecil-kecil untuk bisa membacanya.

Jika objek menjauh dari 80 cm, ada kemungkinan lensa berpindah dari wide ke telephoto.

Tetapi kalau AI melihat gambar yang akan ditangkap oleh lensa telephoto menjadi lebih gelap, akan otomatis pindah ke lensa wide.

Jadi pengguna tidak perlu banyak memilih sendiri harus menggunakan lensa apa untuk foto terbaiknya, karena sudah ditangani oleh AI.

Super Resolution

Dari multi kamera, harga part termahal adalah kamera telephoto periskop, seperti yang digunakan Galaxy S22 Ultra dengan 10x pembesaran optikal.

Dengan pembesaran hybrid perpaduan digital dan optikal, Galaxy S22 Ultra memberikan kemampuan 100x pembesaran, sehingga sanggup memfoto bulan.

Perpaduannya dengan teknologi OIS, Gyroscope, dan AI, membuat kita bisa memfoto bulan tanpa harus meletakkan smartphone di tripod, cukup asal tangan kita steady.

Kita tahu dengan jarak bulan 384.000 km dari bumi, pergerakan sedikit saja akan membuat bidikan lensa kita melenceng jauh.

Saat Zoom in, AI akan mengenali objek bulan dan fokus pada detail permukaannya dengan menetapkan setting kamera otomatis, agar tidak hanya terlihat sebagai bulatan putih saja. 

Ada teknologi dengan bantuan AI yang dinamai Super Resolution, agar saat pembesaran hingga 100x gambar masih pantas dilihat, tidak menjadi kabur. 

Ini dilakukan saat pengambilan gambar dengan telephoto, diambil multi frame gambar, dan disatukan atau dipadatkan oleh AI, menjadi gambar dengan detail yang masih bagus ketika diperbesar.

AI Training

Foto malam hari itu sulit, bukan sekedar membuat terang gambar.

Ada yang dipaksakan hingga kehilangan esensi suasana malamnya, ada yang penuh warna keunguan karena mencoba menerangi semua objek, dan ada yang warna-warna objek seperti layaknya siang hari.

Bagaimana Samsung di Galaxy S22 menentukan warna objek yang tetap natural di malam hari? Dengan AI Training.

Artificial Intelligence ini akan semakin baik ketika database yang dipelajarinya semakin banyak, misalnya contoh foto-foto di malam hari yang benar, sekaligus juga foto-foto yang ditambahi noise, untuk AI belajar memperbaikinya, sehingga didapat foto malam hari yang minim noise, dengan warna yang benar, dan HDR yang bagus.

Expert RAW

Walau kamera di Galaxy S22 Ultra sudah memiliki versi pro mode, yang bisa di setting di banyak bagian, dari exposure, ISO, bukaan, dll, tapi kali ini diperkenalkan aplikasi kamera khusus yang dinama Expert RAW.

Berbeda dengan fitur Pro pada kamera yang bisa mengambil 15 gambar dalam 1 take, Expert RAW hanya mengambil 1 gambar tapi kaya akan data, sehingga bisa diedit dengan bebas bagi mereka yang gemar mengulik foto secara lebih.

Edit foto ini menggunakan Adobe Lightroom yang sudah disertakan, untuk hasil foto RAW dengan format DNG, kerja sama Samsung dengan Adobe.

Expert RAW ini juga selain mengambil foto dalam format DNG yang berukuran besar, karena kaya akan data, juga mengambil foto dalam format JPG dalam saat bersamaan.

Hasil foto Expert RAW ini bisa diedit dengan detail dari banyak bagian, hingga bisa dihasilkan foto-foto kelas atas layaknya diambil dengan kamera profesional.

Penutup

Masih banyak bagian kamera yang bisa diceritakan sebenarnya, tetapi sepertinya karena waktu yang terbatas, bagian-bagian tersebut yang diceritakan Dr Joshua Cho.

Mengenal teknologi bagaimana cara kamera smartphone bekerja, bisa membuat kita lebih respek, dan memperkaya pandangan kita untuk lebih tahu bagaimana hasil kamera yang baik.

Mungkin lain kali kita akan mengetahui lebih banyak rahasia dari teknologi kamera Samsung.