BETA

2018年にやった技術チックなことまとめ(電子工作、Unity、機械学習)

投稿日:2019-01-07
最終更新:2019-01-07

2019年になったので、2018年にやったことを書き出して「あぁ、成長したなぁ」と感傷に浸りたい。

【モーションキャプチャースーツを自作する】

[概要]

加速度・ジャイロ・地磁気の9軸センサを使って身体に付けてモーションキャプチャする

[成果]

地磁気は上手く使えなかったが、加速度・ジャイロの6軸のセンサとUnityを使ってモーションキャプチャシステムを作れた(15fps、電池駆動)。
これを使ってVtuberとして最初の動画投稿をした。
URL:https://www.youtube.com/watch?v=KBAWhtl0snY&t=4s

[反省]

地磁気をうまく使えなかったのは、センサがMPU9250(安いやつ。といっても1個1000円するけど。)だったから。
部屋の環境による磁気影響に勝てなかった。(検証はしてないが)

[できるようになったこと]

~電子回路関係~
・マイコンを使ってセンサとやり取り(I2C通信)ができるようになった

・マイコンを使ってPCとUSBでやり取り(UART通信)できるようになった

・表面実装のマイコンを使ったから、はんだ付けめっちゃ上手くなった
写真:

~プログラム関連~
・Unityを使ってシリアル通信ができるようになった(マイコンとのやり取り)

・3Dの回転関連(クォータニオンとか)の知識が身についた

【機械学習で動画を学習し3Dモデルを動かす(OpenPose、3d-pose-baseline)】

[概要]

OpenPoseという機械学習のライブラリと、2D姿勢から3D姿勢を推定する3d-pose-baselineというのを使ってダンス系の動画の姿勢推定→3Dモデルに適応して踊らせる

[成果]

各関節はそれっぽく動いたが、実際にモデルに適応すると粗が目立つ。感覚だが、2D姿勢から3D姿勢を推定するときに不自然な姿勢になるっぽい。
URL:https://twitter.com/Maron_Vtuber/status/1002846876545081344

[反省]

機械学習はおろかPhytonも触ったことなかったので、改良・改造とかむりだった。自分で作ったのは
姿勢データをUnityに入れてUnity上で踊らせるところ。

[できるようになったこと]

・機械学習の環境構築ができた

【以上!!】

あれ、2つだけ、、、か、、、

、、、そういえばこれ以降の2018年後半はVIVE買ったからVRとUnityで遊んでばっかりだったなぁ、、、(笑)おわり

技術ブログをはじめよう Qrunch(クランチ)は、プログラマの技術アプトプットに特化したブログサービスです
駆け出しエンジニアからエキスパートまで全ての方々のアウトプットを歓迎しております!
or 外部アカウントで 登録 / ログイン する
クランチについてもっと詳しく

この記事が掲載されているブログ

@maronの技術ブログ

よく一緒に読まれる記事

0件のコメント

ブログ開設 or ログイン してコメントを送ってみよう
目次をみる
技術ブログをはじめよう Qrunch(クランチ)は、プログラマの技術アプトプットに特化したブログサービスです
or 外部アカウントではじめる
10秒で技術ブログが作れます!