ESP32-CAM: Kontrol Game dengan Gesture Tubuh

Apa Itu ESP32-CAM?

ESP32-CAM adalah modul pengembangan yang menggabungkan chip ESP32 dengan kamera OV2640. Perangkat kecil ini tidak hanya mampu terhubung ke Wi-Fi tetapi juga dapat menangkap gambar dan video, menjadikannya solusi sempurna untuk proyek IoT berbasis visi komputer.

Modul ESP32-CAM dengan pinout dan komponen utamanya

Bagaimana Cara Kerjanya?

Prinsipnya adalah ESP32-CAM akan menangkap gambar, memprosesnya untuk mendeteksi gerakan atau pose tertentu (gesture), dan kemudian mengirimkan perintah yang sesuai ke game atau komputer.

1. Akuisisi Gambar: ESP32-CAM mengambil gambar atau frame video menggunakan sensor kameranya.
2. Pemrosesan Gambar: Firmware pada ESP32 menganalisis gambar untuk mendeteksi gesture.
3. Pengiriman Perintah: Setelah gesture dikenali, ESP32-CAM mengirimkan perintah ke game.

Integrasi dengan Sensor ADXL345

Dengan menambahkan sensor akselerometer ADXL345 ke ESP32-CAM, kita dapat meningkatkan kemampuan deteksi gerakan secara signifikan. ADXL345 adalah sensor akselerometer 3-sumbu yang dapat mendeteksi percepatan dan orientasi dengan presisi tinggi.

Spesifikasi ADXL345

• Resolusi: 13-bit
• Rentang pengukuran: ±2g, ±4g, ±8g, ±16g
• Interface: I2C dan SPI
• Konsumsi daya rendah: 25-130μA

Cara Menghubungkan

ADXL345 dapat dihubungkan ke ESP32-CAM melalui interface I2C:

• VCC → 3.3V
• GND → GND
• SDA → GPIO14
• SCL → GPIO15

Kemampuan yang Ditambahkan oleh ADXL345

Contoh Implementasi dalam Game

Kontrol Mengemudi

Memutar ESP32-CAM seperti setir untuk mengontrol kendaraan dalam game balap. Akselerometer mendeteksi sudut putaran dengan presisi.

Gerakan Pedang

Mengayunkan perangkat seperti pedang dalam game pertarungan. Akselerometer mendeteksi akselerasi dan arah ayunan.

Deteksi Goyangan

Menggoyang perangkat untuk melakukan aksi tertentu dalam game, seperti mengocok dadu atau merestart level.

Contoh Kode Sederhana

Berikut adalah contoh kode untuk membaca data dari ADXL345 yang terhubung ke ESP32-CAM:

#include <Wire.h>
#include <Adafruit_Sensor.h>
#include <Adafruit_ADXL345_U.h>

Adafruit_ADXL345_Unified accel = Adafruit_ADXL345_Unified(12345);

void setup() {
  Serial.begin(115200);
  if(!accel.begin()) {
    Serial.println("Tidak dapat menemukan ADXL345");
    while(1);
  }
  accel.setRange(ADXL345_RANGE_16_G);
}

void loop() {
  sensors_event_t event; 
  accel.getEvent(&event);
  
  Serial.print("X: "); Serial.print(event.acceleration.x); Serial.print("  ");
  Serial.print("Y: "); Serial.print(event.acceleration.y); Serial.print("  ");
  Serial.print("Z: "); Serial.print(event.acceleration.z); Serial.print("  ");
  Serial.println("m/s^2");
  
  delay(100);
}
                

Contoh Penerapan Sederhana

Sebuah proyek yang realistis untuk pemula adalah membuat kontrol "Pelacakan Warna" untuk game balap sederhana.

Cara Kerja:

1. Program ESP32 untuk menangkap gambar dengan resolusi rendah (160x120)
2. Algoritma mencari piksel dengan warna target (orange)
3. Hitung centroid (titik pusat) dari kumpulan piksel berwarna tersebut
4. Jika centroid bergerak ke kiri, kirim perintah "A" (untuk belok kiri)
5. Jika centroid bergerak ke kanan, kirim perintah "D" (untuk belok kanan)
6. Gunakan data dari ADXL345 untuk mendeteksi gerakan seperti goyangan atau ketukan

Teknik Pemrosesan yang Dapat Digunakan

1. Deteksi Gerakan Sederhana (Motion Detection)

Membandingkan frame berurutan untuk melihat area mana yang berubah. Cocok untuk gesture seperti melambaikan tangan atau menggerakkan objek ke kiri/kanan.

2. Deteksi Warna (Color Tracking)

Melacak objek berwarna mencolok. Gerakan objek ini bisa dijadikan kontrol.

3. Machine Learning (TinyML)

Metode yang paling canggih. Melatih model machine learning untuk mengenali pose tubuh tertentu. Proses pelatihan dilakukan di komputer yang lebih kuat, lalu model yang sudah jadi di-deploy ke ESP32.

4. Sensor Fusion dengan ADXL345

Menggabungkan data dari kamera dan akselerometer untuk meningkatkan akurasi dan menambahkan kemampuan deteksi gerakan baru.

Contoh deteksi wajah dengan ESP32-CAM menggunakan OpenCV

Contoh Nyata Gesture Detection

Berikut adalah beberapa contoh gesture yang dapat dideteksi menggunakan ESP32-CAM dengan teknik pemrosesan gambar yang tepat:

Deteksi Telapak Tangan

Mendeteksi apakah telapak tangan terbuka atau tertutup. Dapat digunakan untuk mengontrol game dengan gerakan "stop" atau "go".

Deteksi Ekspresi Wajah

Mengenali senyum, kedipan mata, atau ekspresi terkejut. Dapat digunakan untuk kontrol game berdasarkan emosi pemain.

Deteksi Gesture Tubuh

Mengenali pose tubuh seperti melompat, berjongkok, atau merentangkan tangan. Cocok untuk game fitness atau olahraga.

Contoh Implementasi Palm Detection

Untuk mendeteksi telapak tangan, ESP32-CAM dapat diprogram untuk:

1. Mendeteksi area kulit berdasarkan rentang warna HSV
2. Menganalisis bentuk kontur untuk menentukan apakah menyerupai telapak tangan
3. Menghitung jumlah jari yang terangkat
4. Mengirim perintah berdasarkan jumlah jari (contoh: 1 jari = tombol A, 2 jari = tombol B)

Contoh Implementasi Deteksi Ekspresi Wajah

Deteksi ekspresi wajah memerlukan lebih banyak daya komputasi, tetapi dapat diimplementasikan dengan teknik:

1. Menggunakan algoritma Haar Cascade untuk mendeteksi wajah
2. Menganalisis area mata dan mulut untuk menentukan ekspresi
3. Membedakan antara mata terbuka dan tertutup (untuk deteksi kedipan)
4. Mengenai bentuk mulut (senyum atau tidak)