[ GDSC ] MediaPipe 설치,환경설정 및 패키지 분석(Ubuntu 20.04)

• Google MediaPipie

https://github.com/google/mediapipe

GitHub - google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media.

 

MediaPipie는 구글에서 제공하는 AI 프레임워크로, 대표적으로 사람의 손 등 인체를 대상으로 하는 비전 AI기능을 파이프라인 형태로 제공되는 서비스이다. MediaPipe Face Detection, Face Mesh, Hands, Pose 등 다양한 기능을 제공하는데 본 프로젝트에선 MediaPipe Hands를 주로 개발할 계획이다.

 

https://developers.google.com/mediapipe/solutions/vision/hand_landmarker

Hand landmarks detection guide  |  MediaPipe  |  Google for Developers

 

위와 같이 기본적인 가이드라인이 제공되며, 손을 감지하고 손 랜드마크(관절)을 감지한다. 기본적으로 아래와 같은 랜드마크가 존재하며, 각 랜드마크를 감지 혹은 관저들의 벡터사이 각도를 이용하여 수화를 인식 할 수 있도록 개발할 계획이다.

MediaPipe Hands Model Landmark

 

• MediaPipe Installation in Ubuntu 20.04

기본적으로 pip, python, OpenCV, Webcam Module은 설치되어 있다는 가정하에 진행하겠습니다.

 

pip3를 통해 Mediapipe를 설치하자

pip3 install mediapipe

 

예제코드를 실행시키면 다음과 같다.

Example

 

• MediaPipe Package 분석

1. Coordinate

Coordinate

 

실제 각 Landmark의 Location이 World Coordinate 기준으로 출력된다고 하여 출력해본 결과 실제 5cm 차이가 10cm로 측정되는 약간의 오차가 있지만, 실제 미터 단위로 출력되고 각 coordinate 방향은 아래와 같다. 이때, 우리가 보고 있는 image 자체가 flip되어 self-camera 처럼 보이는 상황이고 이를 기준으로 했음을 주의하자.

Coordinate

 

2. 관절 Landmark를 이용한 벡터 계산

Example

 

단순히 엄지, 검지, 손바닥 가장자리 젤 아래 랜드만크만을 이용해서 각도를 계산하고 판단하기에는 x,y,z 다 고려해야 하기 때문에 조금 다른 방법을 찾아야 할 것 같다.