単眼カメラによる姿勢推定を用いた応用技術のメモ
単眼カメラによる2次元座標の姿勢推定を応用した論文調査のメモ。
個人の識別
カメラによる個人識別では顔認識が一般的に使用される。
顔が映らないことが想定される状況では、骨格情報を用いることが検討されている。
単眼カメラから得られる骨格情報を用いた人物識別 -CNNとSVMの比較-
http://www.mech.chuo-u.ac.jp/umedalab/publications/pdf/2017/D69.pdf
- 姿勢推定にはOpenPoseを使用
- 入力には骨格座標16点のx,y座標と尤度*1
- 骨格情報を直積で2次元に変換してCNNへと入力する
- SVMの推定では特徴の一部が欠落することを考慮し、特徴量を限定した (左パーツのみなど) SVMも用意する
- CNNの識別率は98.7%, SVM (8個全て) の識別率は78.0%
単眼RGBカメラによる姿勢推定情報と歩容特徴量を用いた個人識別手法
https://www.ams.giti.waseda.ac.jp/data/pdf-files/2019_yamaguchi_bt.pdf
- 姿勢推定にはOpenPoseを使用
- OpenPoseで得た2次元座標を3d-pose-baseline*2で3次元座標に変換して使用
3次元座標への変換
教師あり学習
日本語の概要 : 論文まとめ：A simple yet effective baseline for 3d human pose estimation - Qiita
教師なし学習
- 2Dの画像のみを使用して3Dの骨格情報に変換
- 敵対的に学習
- ランダムで奥行の情報を付与し、3Dの骨格情報を回転。別の角度になった3Dを2Dに変換し、2Dとして正しいかを識別する。
日本語の概要 :
ザックリまとめ Unsupervised 3D Pose Estimation with Geometric Self-Supervision論文 - Qiita
データセット
Human3.6M
- 360万の3Dの骨格情報とそれに対応した画像のデータセット
- 使用は教育・研究（アカデミック）のみ
MPII Human Pose Database
- 2.5K の画像とそれに対応した骨格情報のデータセット
*1:推定座標のaccuracy score ?
