In het derde prototype zouden extra gestures worden toegevoegd. De HoloLens heeft standaard een air tap gesture, ook kan het de positie van de hand tracken zodra de air tap gesture wordt gedaan. Echter zijn deze interacties ongeveer gelijk aan een muis met 1 knop. Dit is lang niet altijd genoeg. Daarom zouden extra gestures moeten worden toegevoegd.
Om handen te herkenen aan de hand van een camera is OpenCV gebruikt. Hier zijn een aantal C# wrappers voor (zodat het met Unity gebruikt kan worden). De twee waar ik naar gekeken heb zijn: OpenCVSharp en EmguCV. Daarbij is er ook nog het probleem dat OpenCV 2 en OpenCV 3 compleet anders zijn.
Voor het herkennen van handen heb ik ook verschillende websites afgezocht op zoek naar een goed algoritme. Het algoritme dat ik uiteindelijk als uitgangspunt heb genomen1 was gemaakt voor EmguCV en OpenCV 2. Dit framework werkt niet standaard voor UWP. Na veel gepruts bleek ook dat je een licentie van €300 moet aanschaffen om EmguCV voor UWP te builden.
Lang verhaal kort, uiteindelijk is het gelukt handen en het aantal vingers te herkennen op de HoloLens. Echter was dit ontzettend sloom. Met alleen al de tracking in de build en niks anders liep de app vast. Er was al veel tijd verloren aan dit onderdeel. Daarom heb ik besloten het op te geven en door te gaan met andere onderdelen.
Comments