گوگل در رویداد I/O 2024 اعلام کرد کدهای پروژهی گیمفیس (Project Gameface) اکنون بهصورت متنباز در اختیار توسعهدهندگان اندروید قرار دارند؛ قابلیتی که امکان کنترل نشانگر ماوس با حرکات چهره را فراهم میکند و میتوان از آن حتی برای اجرای بازی استفاده کرد.
توسعهدهندگان میتوانند با گیمفیس، امکان کنترل المانهای مختلف را با حرکات صورت یا حرکت دادن سر به اپلیکیشنها و بازیهای خود اضافه کنند؛ بهعنوان مثال، کاربران میتوانند با باز کردن دهان، نشانگر ماوس را حرکت دهند یا با بالابردن ابروها، عملیات کلیک و درگ را انجام دهند.
پروژهی گیمفیس که سال گذشته در کنفرانس I/O برای کامپیوترهای رومیزی معرفی شد، از دوربین دستگاه و دیتابیسی از حالات چهره بهره میبرد. این دیتابیس از API تشخیص نشانههای صورت MediaPipe استفاده میکند.
گوگل در توضیح سرویس گیمفیس میگوید: «این پروژه با استفاده از دوربین دستگاه، حرکات صورت و سر را بهطور یکپارچه ردیابی و آنها را به کنترلهای بصری و شخصیسازیشده تبدیل میکند. توسعهدهندگان حالا میتوانند اپلیکیشنهایی بسازند که به کاربران اجازه میدهند با تنظیم حرکات صورت، مواردی مثل اندازهی حرکات و سرعت نشانگر ماوس را شخصیسازی کنند.»
پروژهی گیمفیس با الهام از لنس کر، استریمر بازیهای ویدیویی مبتلا به بیماری نقص عضلانی، شکل گرفت. او در پروژهی گیمفیس با گوگل همکاری کرد تا جایگزینی ارزانتر و دردسترستر برای سیستمهای گرانقیمت ردیابی سر بسازند.