Bagaimana cara kerja pengenalan wajah? Dari deteksi hingga pencocokan

Bagaimana situs web mengenali seseorang lewat kamera ponsel padahal ia mendaftar lewat laptop? Sistem tidak mencari dua foto yang identik. Sistem membandingkan ciri wajah pada kedua gambar. Berikut cara kerjanya dan apa yang bisa disimpulkan dari hasilnya.

Kembali ke Pusat Pengetahuan
Oleh Tim Teknis FACEIO

Deteksi wajah: di mana letak wajah dalam gambar?

Perhatikan kotak yang muncul di sekitar wajah saat Anda membuka kamera. Kotak itu menjawab pertanyaan di mana letak wajah?, bukan wajah siapa itu? Pada tahap pengenalan, sistem mengubah ciri wajah di dalam kotak menjadi deretan angka, lalu membandingkannya dengan data acuan. Dua foto bisa cocok meskipun posisi pikselnya tidak persis sama.

Misalnya, seorang karyawan sedang mengaktifkan login wajah di portal tunjangan perusahaan. Ada jendela terang di belakangnya sehingga wajahnya tampak gelap. Kamera mungkin bisa mendeteksi wajah, tetapi detail yang terekam belum cukup untuk pencocokan. Portal perlu mendapatkan gambar yang jelas dari satu wajah terlebih dahulu. Petunjuk “Coba menghadap ke arah cahaya” lebih membantu daripada pesan “Akun tidak ditemukan”.

Penyelarasan: membandingkan foto dari sudut berbeda

Saat mendaftar, karyawan tadi menggunakan laptop di atas meja. Saat masuk kembali, ia memegang ponsel sedikit ke samping. Posisi wajahnya di dalam gambar pun berubah. Jika kedua foto dibandingkan utuh piksel demi piksel, perbedaan latar belakang dan sudut kamera akan ikut menentukan hasil, padahal yang ingin dibandingkan adalah wajahnya.

Banyak sistem pengenalan mencari titik acuan, misalnya posisi kedua mata. Berdasarkan titik itu, sistem memotong, memutar, dan menyesuaikan ukuran gambar agar posisi wajah pada kedua foto sebanding. Tahap ini disebut penyelarasan. Penyelarasan mengurangi perbedaan akibat posisi kamera, tetapi tidak bisa mengembalikan detail yang kabur karena gerakan atau menampilkan bagian wajah yang berada di luar bingkai.

Ekstraksi ciri: apa isi templat wajah?

Model pengenalan mengubah gambar wajah yang sudah diselaraskan menjadi deretan angka yang disebut embedding atau vektor fitur. Angka-angka ini mewakili pola yang dipelajari model, bukan daftar ciri seperti warna mata atau panjang hidung. Tujuannya agar vektor dari dua foto orang yang sama lebih mirip satu sama lain daripada vektor dari foto dua orang yang berbeda.

Penelitian FaceNet memberikan contoh: modelnya belajar merepresentasikan wajah sehingga jarak antarvektor mencerminkan kemiripan wajah. Bentuk representasi dan cara membandingkannya bergantung pada mesin pengenalan. Templat wajah berbeda dari checksum berkas. Perubahan pencahayaan mengubah piksel foto, tetapi itu saja tidak seharusnya membuat dua foto orang yang sama tampak sama sekali tidak berkaitan.

Saat pendaftaran, kamera laptop menangkap wajah dari depan. Saat login berikutnya, kamera ponsel menangkap wajah yang sama dari sudut berbeda. Mesin membandingkan kedua templat.
Templat acuan dari pendaftaran tetap sama. Setiap pengambilan gambar menghasilkan templat baru. Mesin membandingkan kemiripannya, bukan mencari deretan angka yang identik. Angka pada ilustrasi hanya contoh.

Templat wajah dan pengenal akun memiliki fungsi berbeda. Mesin menggunakan templat untuk pencocokan, sedangkan situs Anda menggunakan pengenal untuk menemukan akun terkait. Pada FACEIO, hash biometrik dikelola oleh mesin pengenalan wajah yang Anda pilih. FACEIO tidak menyimpan, menangani, atau mengakses hash tersebut. Aplikasi Anda menerima Facial ID, bukan vektor fitur.

Pencocokan wajah: satu acuan atau banyak acuan?

Dalam verifikasi satu lawan satu, acuannya sudah diketahui. Misalnya, FACEIO ID Match membandingkan swafoto yang diambil saat itu juga dengan foto pada dokumen identitas yang ditunjukkan pengguna. Pertanyaannya terbatas: apakah kedua wajah itu tampak seperti wajah orang yang sama? Kecocokan tidak membuktikan keaslian dokumen ataupun identitas hukum orang yang menunjukkannya.

Dalam identifikasi satu lawan banyak, mesin mencari kandidat di antara sejumlah templat terdaftar, bukan membandingkan dengan satu acuan yang sudah ditentukan. Selalu ada kandidat yang paling mirip, bahkan jika orang di depan kamera belum pernah mendaftar. Karena itu, mesin juga harus bisa menyatakan bahwa tidak ada wajah yang cocok.

Cara membaca skor kemiripan

Skor menunjukkan seberapa mirip dua representasi wajah menurut model tertentu. Ambang batas menentukan kapan sistem menyatakan keduanya cocok. Misalnya, pada skala yang nilainya makin tinggi jika wajah makin mirip, skor 87 akan lolos jika ambangnya 85, tetapi tidak jika ambangnya 90. Angka ini hanya contoh, bukan rekomendasi pengaturan. Skor 87 tidak berarti ada peluang 87% bahwa orang tersebut adalah pemilik akun.

Ambang yang lebih ketat biasanya mengurangi kecocokan keliru (wajah dua orang berbeda dianggap cocok), tetapi meningkatkan penolakan keliru (dua foto orang yang sama dianggap tidak cocok). Jadi, angka akurasi saja tidak memberi tahu tim produk seberapa sering pengguna harus mencoba lagi. Evaluasi satu lawan satu oleh NIST melaporkan kedua tingkat kesalahan pada ambang yang sama. Dokumentasi Amazon Rekognition menunjukkan bagaimana mesin tersebut menerapkan ambang pada hasil pencarian.

Apa arti tingkat kecocokan keliru bagi proses login?

Bayangkan Anda menjalankan dua pengujian dengan ambang yang sama. Pada pengujian pertama, Anda membandingkan wajah setiap karyawan dengan foto pendaftarannya sendiri. Pada pengujian kedua, Anda membandingkan foto orang-orang berbeda yang bersedia ikut serta. Perhatikan apa yang dihitung dalam setiap pengujian:

  • Orang yang sama: jika 20 dari 1.000 perbandingan foto orang yang sama ditolak, tingkat penolakan keliru yang teramati adalah 2%. Yang gagal adalah 20 perbandingan, belum tentu 20 karyawan berbeda.
  • Orang berbeda: jika 2 dari 10.000 perbandingan antarorang dinyatakan cocok, tingkat kecocokan keliru yang teramati adalah 0,02%. Angka ini bukan peluang bahwa seseorang yang berhasil masuk ke akun tertentu adalah penyamar.

Angka tersebut bersifat hipotetis, bukan hasil uji kinerja FACEIO. Yang diukur adalah tahap pencocokan, bukan keseluruhan proses login. Jika pengguna menolak izin kamera, tidak ada wajah yang dibandingkan. Pengguna juga bisa salah memasukkan PIN setelah wajahnya cocok. Menghitung kedua kejadian itu sebagai kesalahan pencocokan akan membuat tim memperbaiki bagian yang salah.

Untuk portal tunjangan tadi, uji perangkat yang benar-benar digunakan karyawan. Jika mereka sering perlu mencoba lagi di meja resepsionis yang membelakangi cahaya, tetapi tidak saat menggunakan ponsel, perbaiki pencahayaan sebelum mengubah ambang untuk semua orang. NIST menjelaskan pengaruh pencahayaan dan sudut kamera terhadap pencocokan. Hasil pengujian dengan foto yang terang belum tentu berlaku di meja tersebut.

Mengapa wajah yang cocok belum tentu hadir di depan kamera?

Foto karyawan bisa sangat mirip dengan gambar yang digunakan saat pendaftaran. Mesin dapat menilai kemiripan itu dengan tepat tanpa menjawab pertanyaan keamanan yang berbeda: apakah orangnya benar-benar berada di depan kamera saat ini? Pemeriksaan kehadiran nyata (liveness) dan anti-spoofing menilai bagaimana gambar diambil, bukan sekadar membandingkan ciri wajah.

Validasi PIN juga aktif secara default di FACEIO. Kecocokan wajah tidak berarti seseorang mengetahui PIN pengguna. Kontrol ini saling melengkapi, tetapi tidak ada yang menjamin semua deepfake atau penggunaan rekaman akan terdeteksi. Tinjau pengaturan liveness dan PIN sebelum meluncurkan login wajah, lalu sediakan jalur pemulihan bagi pengguna yang tidak dapat menyelesaikan pemeriksaan kamera.

Cara situs Anda menggunakan hasil pencocokan FACEIO

Di portal tunjangan, pendaftaran dan login adalah dua tindakan berbeda. Saat pengguna baru mendaftar, minta persetujuannya lalu panggil enroll() untuk mendaftarkannya di aplikasi Anda. Kaitkan Facial ID yang dikembalikan dengan akun yang benar. Saat pengguna terdaftar kembali, panggil authenticate() untuk login. Kegagalan login tidak boleh otomatis memicu pendaftaran baru.

Hasil pengenalan tidak menentukan apa yang boleh dilakukan karyawan. Backend Anda bertanggung jawab membentuk sesi yang aman dan memeriksa hak akses. Berhasil masuk untuk melihat tunjangan sendiri tidak memberi hak untuk membuka data rekan kerja. Panduan Apa itu autentikasi wajah? menjelaskan peran pencocokan wajah dalam proses login.

Berikan langkah selanjutnya sesuai dengan masalahnya

  • fioErrCode.NO_FACES_DETECTED: tidak ada wajah yang terdeteksi dalam waktu yang tersedia. Minta pengguna memeriksa posisi wajah dan pencahayaan. Belum ada hasil pencocokan yang bisa ditafsirkan.
  • fioErrCode.UNRECOGNIZED_FACE: tidak ada pengguna terdaftar yang dikenali. Tawarkan kesempatan untuk mencoba lagi atau memulihkan akun. Jangan membuat pendaftaran kedua hanya untuk mengatasi kesalahan ini.
  • Berhasil masuk, tetapi akses dibatasi: jika karyawan dapat melihat tunjangannya sendiri tetapi tidak dapat membuka data rekan kerja, pemeriksaan izin berfungsi sebagaimana mestinya. Memindai ulang wajah tidak seharusnya mengubah hak aksesnya.

Referensi kode kesalahan fio.js juga membedakan masalah izin kamera dari kegagalan pengambilan gambar dan pengenalan wajah.

Uji pendaftaran dan login di situs Anda

Buat aplikasi di FACEIO Console, lalu ikuti panduan integrasi lima menit untuk memuat fio.js dengan Public ID Anda dan mencoba kedua alur tersebut.

Buka FACEIO Console