VTuberハッカソン 全国ツアー2018 【島根会場】でやったこと

発表資料スライド

https://speakerdeck.com/regonn/vtuberhatukason-quan-guo-tua2018-dao-gen-hui-chang-timu-freeee

この記事で書くこと

2018/09/09 開催のVTuber ハッカソン 全国ツアー 2018【島根会場】 - connpass でやった作業内容

使った技術

• Unreal Engine 4
  • チームが 2 人のため、なるべく少ないコストで綺麗なシーンを撮りたかった
• Substance Painter - 3D Painting Software
  • オブジェクトの編集などで利用
• Oculus Rift | Oculus
  • Vive が提供されていたけど、二人とも Oculus Rift を持っていたので、操作も慣れており採用
• レッサーモクリ
  • VR 法人 HIKKY がモクリプロジェクトで公開している無料で営利目的で使って大丈夫なライセンス
  • 2 チームだったため出来合いのものを使いたかった
  • 私がケモナー
• Open Broadcaster Software
  • 録画

モクリを Unreal Engine に取り込む

公開されているモクリデータは unity project 形式だったので次の様な方法で Unreal Engine に取り込みました。(方法探り探りやったので、もっと効率の良い方法はありそう)

• モクリ unity project の assets から fbx ファイルを取り出す
• Substance Painter で着色、Unreal Engine 用ファイルでエクスポートする
• Unreal Engine で fbx を取り込み Substance Painter で着色した png を入れる

Unreal Engine で VR モーションを連携する

いくつかの記事を参考にして Oculus Rift のモーションを取り込む

• 【チュートリアル】Gray ちゃんになれる！　 UE4×Oculus でカンタンアバター | 特集 | CGWORLD.jp
• UE4 で VRIK みたいなことしたい
• 腕と頭が連動して動くところまで持っていく

録画する

• Unreal Engine の VR プレビューで再生
• Spectator Screen 機能を使ってカメラを用意してそれをプレビューで表示する(YouTube 動画用に 1920x1080px に設定)
• 録画内容は【UE4】Scene Capture 2D で別視点から見たものを写す を参考に鏡を用意してリアルタイムで確認できるように
• OBS を使って音声は Oculus から取り込み、Unreal Engine のプレビューを Window キャプチャ

所感

• Unreal Engine の日本語記事少なくて苦労する
• 記事読んでも専門用語ばっかりで何をしたらいいのか分からない
• ノードでのプログラミング楽しい
• VR モーションキャプチャは、ある程度 Unreal Engine 側で実装してくれているので楽だった