Deteksi Landmark Wajah dan Ekspresi Real-Time Menggunakan MediaPipe dan DeepFace Tanpa Training Dataset

Pendahuluan

Dalam era kecerdasan buatan yang terus berkembang, deteksi wajah dan ekspresi manusia telah menjadi salah satu topik paling aktif dikaji dalam bidang Computer Vision. Aplikasinya tersebar luas — mulai dari sistem keamanan biometrik, antarmuka pengguna yang adaptif, hingga analisis emosi dalam dunia pendidikan dan kesehatan mental digital.

Penelitian ini hadir dengan pendekatan yang berbeda dari kebanyakan implementasi konvensional. Alih-alih membangun dan melatih model dari nol yang membutuhkan ribuan data gambar dan waktu komputasi panjang, penelitian ini memanfaatkan dua model pretrained yang sudah matang: MediaPipe Face Landmarker dari Google dan DeepFace dari Facebook Research. Hasilnya adalah sebuah sistem yang mampu mendeteksi 478 titik landmark wajah sekaligus mengklasifikasikan tujuh jenis ekspresi secara real-time — hanya dengan webcam laptop biasa, tanpa GPU, tanpa dataset, dan tanpa proses training apapun.

Latar Belakang dan Motivasi

Sebagian besar pendekatan deteksi ekspresi wajah yang ada di literatur akademik menggunakan pipeline klasik: kumpulkan dataset, lakukan preprocessing, latih model CNN, lalu evaluasi. Proses ini tidak hanya membutuhkan waktu berminggu-minggu, tetapi juga bergantung pada kualitas dan kuantitas data yang dikumpulkan.

Pertanyaan yang mendorong penelitian ini sederhana namun relevan: seberapa jauh kita bisa berjalan hanya dengan model yang sudah ada?

MediaPipe Face Landmarker adalah model dari Google yang mampu mendeteksi 478 titik koordinat pada wajah manusia secara real-time dengan latensi sangat rendah. Sementara DeepFace adalah library Python yang mengenkapsulasi beberapa model deep learning terlatih untuk analisis wajah, termasuk klasifikasi tujuh ekspresi dasar. Menggabungkan keduanya menghasilkan pipeline yang efisien, ringan, dan langsung dapat digunakan.

Teknologi yang Digunakan

Penelitian ini menggunakan tiga komponen utama yang bekerja secara sinergis:

MediaPipe Face Landmarker berperan sebagai detektor geometri wajah. Model ini mendeteksi 478 titik landmark yang mencakup seluruh permukaan wajah — mata, alis, hidung, mulut, dan kontur rahang — dengan akurasi tinggi bahkan dalam kondisi pencahayaan yang bervariasi. Model ini dijalankan setiap frame untuk memastikan visualisasi landmark selalu sinkron dengan gerakan wajah pengguna.

DeepFace berperan sebagai pengklasifikasi ekspresi. Library ini mendukung tujuh kategori ekspresi dasar yang dikenal dalam psikologi: happy, sad, angry, surprise, fear, disgust, dan neutral. Untuk menjaga performa tetap smooth, DeepFace hanya dipanggil setiap delapan frame — hasil analisis sebelumnya di-cache dan ditampilkan pada frame-frame di antaranya.

OpenCV berperan sebagai jembatan antara kamera dan kedua model di atas. Library ini menangani capture video dari webcam, menggambar visualisasi landmark berwarna per region, menampilkan bounding box wajah, label ekspresi dengan confidence score, serta mini bar chart yang menunjukkan probabilitas seluruh kategori ekspresi secara bersamaan.

Arsitektur Pipeline Sistem

Pipeline sistem bekerja dalam urutan yang sederhana namun efektif. Setiap frame yang diambil dari webcam dikonversi dari format BGR ke RGB, lalu dikirimkan ke MediaPipe Face Landmarker untuk dideteksi titik-titik landmarknya. Hasil deteksi berupa koordinat 478 titik kemudian digambar di atas frame dengan warna berbeda untuk tiap region — cyan untuk mata, kuning untuk alis, hijau untuk hidung, biru tua untuk mulut, dan abu-abu untuk kontur rahang.

Secara paralel, setiap delapan frame, frame RGB yang sama dikirimkan ke DeepFace untuk dianalisis ekspresinya. Hasilnya berupa skor probabilitas untuk ketujuh kategori ekspresi, dari mana ekspresi dengan skor tertinggi dijadikan label dominan yang ditampilkan di atas bounding box wajah.

Seluruh output — landmark, bounding box, label ekspresi, confidence score, dan bar chart — ditampilkan secara overlay di atas frame webcam secara real-time. Pengguna juga bisa menekan tombol S kapan saja untuk menyimpan screenshot hasil deteksi ke folder lokal.

Implementasi

Sistem ini diimplementasikan dalam format Jupyter Notebook yang dijalankan di VSCode, terdiri dari dua cell utama. Seluruh dependency dapat diinstall dengan satu perintah:

pip install mediapipe deepface opencv-python matplotlib numpy tf-keras requests

Cell pertama menangani seluruh proses setup: import library, download model MediaPipe Face Landmarker (~12MB, hanya sekali), dan definisi konfigurasi warna per region wajah serta per kategori ekspresi.

Cell kedua adalah inti sistem: membuka koneksi webcam, menginisialisasi FaceLandmarker dalam mode video, lalu menjalankan loop deteksi secara real-time. Pada setiap iterasi, frame diproses oleh MediaPipe untuk landmark dan secara berkala oleh DeepFace untuk ekspresi, kemudian hasilnya divisualisasikan dan ditampilkan di jendela OpenCV.

Hasil dan Pembahasan

Pengujian dilakukan secara langsung menggunakan webcam laptop dalam kondisi pencahayaan ruangan normal. Sistem berhasil mendeteksi landmark wajah secara konsisten pada jarak 30 hingga 80 sentimeter dari kamera dengan frame rate yang stabil.

Dari sisi klasifikasi ekspresi, ekspresi happy dan surprise menunjukkan confidence score tertinggi, yang dapat dipahami karena kedua ekspresi ini menghasilkan perubahan geometri wajah yang paling signifikan — senyum lebar mengubah kontur mulut secara dramatis, sementara terkejut membuka mata dan mulut secara bersamaan. Sebaliknya, ekspresi fear dan disgust cenderung lebih sulit dibedakan karena memiliki pola perubahan landmark yang mirip satu sama lain.

Dari sisi performa komputasi, pendekatan caching DeepFace setiap delapan frame terbukti efektif. Sistem berjalan smooth tanpa stuttering yang berarti, bahkan pada laptop tanpa GPU dedicated. Hal ini membuktikan bahwa keseimbangan antara frekuensi analisis dan performa display dapat dicapai melalui strategi sederhana tanpa perlu optimasi kompleks.

Satu catatan penting adalah bahwa akurasi DeepFace sedikit menurun pada kondisi pencahayaan rendah atau sudut wajah yang ekstrem. Ini merupakan limitasi inheren dari model pretrained yang digunakan, bukan dari implementasi sistemnya.

Kesimpulan

Penelitian ini membuktikan bahwa kombinasi MediaPipe Face Landmarker dan DeepFace merupakan solusi yang efektif, efisien, dan praktis untuk membangun sistem deteksi landmark wajah dan ekspresi real-time tanpa memerlukan training dari awal.

Beberapa poin utama yang dapat ditarik sebagai kesimpulan: pertama, model pretrained berkualitas tinggi yang tersedia secara publik telah cukup matang untuk diaplikasikan langsung dalam penelitian dan pengembangan produk tanpa modifikasi signifikan. Kedua, strategi optimasi sederhana seperti caching hasil DeepFace dapat memberikan dampak performa yang nyata tanpa kompleksitas teknis tambahan. Ketiga, threshold antara aksesibilitas dan kapabilitas dalam Computer Vision modern semakin rendah — seseorang dengan pengetahuan Python dasar kini dapat membangun sistem computer vision yang fungsional dalam hitungan jam.

Ke depannya, sistem ini dapat dikembangkan lebih lanjut dengan menambahkan analisis temporal ekspresi untuk mendeteksi perubahan emosi sepanjang waktu, atau diintegrasikan dengan model bahasa untuk menghasilkan respons adaptif berdasarkan ekspresi pengguna yang terdeteksi.

Referensi

Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C. L., Yong, M. G., Lee, J., Chang, W. T., Hua, W., Georg, M., & Grundmann, M. (2019). MediaPipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172.

Serengil, S. I., & Ozpinar, A. (2021). HyperExtended LightFace: A facial attribute analysis framework. 2021 International Conference on Engineering and Emerging Technologies (ICEET), 1–4.

Ekman, P., & Friesen, W. V. (1978). Facial Action Coding System: A technique for the measurement of facial movement. Consulting Psychologists Press.

He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778.