https://qiita.com/Hirosaji/items/83777124823683766d96, http://docs.live2d.com/cubism-sdk-tutorials/getting-started/ ↩, https://forum.live2d.com/discussion/comment/3653/#Comment_3653 ↩, 特に明示されていない場合、記事中のソースコードはパブリックドメインです。 なお、変更したパラメータは、右下の「Reset」ボタンでリセットすることができます。, さて、ここからはLive2Dモデルがキャラクターらしく振る舞うための設定をしていきます。, まずは自分の声に合わせてキャラクターが口パクをするようにしてみましょう。 配布ページにアクセスすると、利用にあたってのライセンスが表示されます。ライセンスに同意した上で、少し下の方にある「Download Live2D Cubism 3 SDK for Unity R10」のリンクをクリックしてください。ダウンロードが開始します。, 次に、ダウンロードしたCubism3SDKforUnity-9.unitypackageというファイルをダブルクリックしてください。, このような画面が開くと思います。 Live2Dでアニメ調のリップシンクを実現する『AniLipSync-live2d』の使い方, VTuberとして活動するとき、見た目と声が合っていない場合があると思います。 色々な技術を組み合わせてぜひ魅力的なキャラクターを生み出してください!, 明日は、バーチャルモーションキャプチャ開発者の @sh_akira さんによるUniVRM+SteamVR+Final IKで始めるVTuberです。 // 引数は、デバイス名(null ならデフォルト)、ループ、何秒取るか、サンプリング周波数, // CubismParameterの更新はLateUpdate()内で行う必要がある点に注意, http://docs.live2d.com/cubism-editor-manual/moc3-file/, https://docs.live2d.com/cubism-editor-manual/export-moc3-motion3-files/, Live2Dでアニメ調のリップシンクを実現する『AniLipSync-live2d』の使い方, FaceRig無しでも中の人(二次元)になりたい!【Unity × OpenCV × Dlib × Live2D】 - Qiita, https://qiita.com/Hirosaji/items/83777124823683766d96, http://docs.live2d.com/cubism-sdk-tutorials/getting-started/, https://forum.live2d.com/discussion/comment/3653/#Comment_3653, 2017.4.x~ / 2018.2.x~ (2018.2.11f1にて動作確認済み), you can read useful information later efficiently. あとは距離の遠いところから、紫、青とパーツを塗っていき、最後に一番手前の胸部分を赤で塗ります。, 5 最後にメニュー「GIFを生成」から揺れの方向を決めてOK、最後に出力サイズも指定すれば、GIFが出力されます。, まずは最初のVRoidに戻り、パラメータをいじりつつ下記の4種の画像を用意しましょう!, 1_目あき口とじ.png 3_目あき口あき.png 以下のように設定してください。対応するパラメータが存在しない場合があるかと思いますが、ある分だけで大丈夫です。, ここからは応用編です。いくつかの「より魅力的になる表現」を紹介するので、ぜひ参考にしてみてください。, Live2Dでアニメ調のリップシンクを実現できるAniLipSync-live2dというライブラリを使った例です。, 別の記事で導入方法を紹介しているので、参考にしてみてください。 2020年9月5日【VRoid】キャラの作成方法とUnityで操作する方法, 3 モデルができたら「撮影・エクスポート」タブからモデルにポーズをつけて、右下の撮影ボタンから静止画を出力します。, こちらが今回使う一枚絵になります。(背景は見やすいようにPhotoshopの塗りつぶしツールでザクッと黒にしました), What's Hot on @reddit Today: [R][P] Talking Head Anime from a Single Image #Anime #MediaSynthesis #GAN #MachineLearning #AI Click here to see the original post: https://t.co/8dCOlPUIyZ pic.twitter.com/2GH5VNwMUM, — Synced (@Synced_Global) November 26, 2019, GoogleのソフトウェアエンジニアのPramook Khungurnさんが一枚絵からAIを使って、VTuberできるシステムを作りました。凄い!!!, 本当はこちらのメイキング記事を紹介したかったのですが、公開予定はあるものの会社の許可がまだ降りてないそうです!(待つしか無いです><), ということで現状の技術ソフトでイラストの「分け」をすることなく、一枚絵を動かせたりVTuberできないか調べてみました。, 下記のサイトからダウンロード。その後ZIPを解凍して、XX-CAKE.exeを起動します。, 3 「設定」ボタンを押し、重さを80%くらいにして胸の周りを左クック押しながら塗りましょう。(※消す時は右クリックで塗る), 実はこのソフト10年前に作られたものです。 自作モデルを利用する場合などは、適宜読み替えて進めてください。, サンプルモデル集より『桃瀬ひより』の「Freeダウンロード」をクリックしてください。利用の際には『無償提供マテリアルの使用許諾契約書』を確認しておいてください。, zipファイルがダウンロード出来るので、ダブルクリックなどで解凍しておいてください。, Live2D Cubism 3のモデルデータは.cmo3という拡張子で保存されています。しかし、Unityにインポートする際には.moc3という拡張子の組込み用ファイル形式を用意する必要があります。, 今回利用する『桃瀬ひより』は.cmo3形式のみの配布なので、.moc3形式に書き出す方法を説明します。, 利用規約に同意した後、メールアドレスを入力し「最新版をダウンロード」をクリックしてください。ダウンロードしたファイルをダブルクリックし、手順に従ってインストールしてください。, moc3ファイルの書き出し | Live2D Manuals & Tutorials Windows, Mac, Linuxをサポートしているオープンソースの配信ソフトウェアです。, こちらのダウンロードページを開き、お使いのOSに対応したインストーラーをダウンロードしてください。また、そのままインストールを進めてください。, インストールが完了したらOBSを起動します。初回起動時におすすめ設定を適用するか聞かれるかもしれませんが、あとから変更できるのでどちらでも大丈夫です。, 新規作成が選択された状態で任意の名前を入力し、OKを押します。名前はそのままでも大丈夫です。, リストの中から書き出したアプリを選択する。 似たような表現はブラウザーゲームでもよく見かけたような気がしますね。, 1 下記のサイトから「チクワしか持ってねえ」のダウンロードボタンを押して、ダウンロード&解凍, まずは色は「黒」を選び、バケツアイコンを押して塗りつぶします。 分からない点があれば、適宜VTuberKitを参考にしてください。, Unityのインストールが済んでいない方は、こちらからインストーラーをダウンロードします。UnityHubを利用すると複数バージョンのUnityを管理出来るのでオススメです。, UnityでLive2Dを扱うためのSDKをインポートします。 書き出したアプリをOBSを並べて口パクさせてみると、元アプリ(右)の口が動いてからOBS(左)の口が動くまでにワンテンポ遅れていることが分かると思います。, そこで、ボイスの収録を映像の遅延に併せて少し遅らせる設定をします。 ミキサーの右の歯車アイコンをクリックし、「オーディオの詳細プロパティ」を選択してください。, マイクの同期オフセットに値を入力してください。環境毎に遅延時間が異なるので、調整してみてください。, 右下の「設定」より、出力タブの「録画フォーマット」をmp4やmovなどに変更してください。 https://github.com/nkjzm/VTuberKit, 今回紹介する方法の完成プロジェクトです。 http://docs.live2d.com/cubism-editor-manual/moc3-file/, (2020.07.27追記)上記URLがリンク切れになっていました。恐らく以下の手順で大丈夫ですが、未確認です。 Adobe Character Animatorで2次元バーチャルYoutuberを作れる, Adobe Character Animatorを使った2次元バーチャルYoutuberの作り方, FaceRig Live2Dアバターを自作する方法(序章、第1章)FaceRig Live2Dアバターを自作する方法(序章、第1章) – ぬぬぬのこっそりブロマガ, 絵学.blogの「無料で超かんたん!自分の顔でキャラを動かすAdobe Character Animatorがすごい」, AdobeのホームページからAdobe Character Animatorをダウンロード. - モデル/Parameters/ParamEyeROpen, 呼吸に合わせて動かしたいパラメータにCubismHarmonicMotionParameterをAddComponentします。, 今回は以下の2つに追加してみましょう。 (問題がある場合は、後述のAniLipSync-live2dなどを使用してください。口の形が一つだけでも5箇所に設定してしまって大丈夫です。), まばたきさせたいパラメータ(=目の開閉パラメータ)にCubismEyeBlinkParameterをAddComponentします。, 対象は以下の2つです。 「参照」をクリックし、ファイラーから任意の画像を選択します。, 背景がキャラクターよりも上に表示されているので、重なり順を入れ替えます。 拡張性アプリケーションのリリースライセンスについて, 記事中で分からないことがあれば@nkjzmまでご連絡ください(軽い質問であればお答えします)。また、月額制のメンターサービスで開発サポートをしているので、詳しく教えてほしい方はこちらをご利用ください。  その場合はボイスチェンジャーを使ってリアルタイムに別の声に変換するという選択肢があります。, Windowsではフリーソフトの恋声を使ったやり方がお手軽です。MacならGarageBandで代替出来ると思います。, また、VT-4などボイストランスフォーマーと呼ばれる機器を用いて声の変換を行うこともあります。是非調べてみてください。, あっまじだ、隠すと全然違う…知見だ… pic.twitter.com/JKK0Je8kds, iPhone X以降のFaceIDが付いた端末で利用できるARKitのFace Trackingという機能を使うと、このように高い精度で顔認識をして表情などを変えることが出来ます。, iPhone X+ARKit+Live2Dがどんな感じに動くかのサンプル(音声はPCで再生してるやつを録音したもの)まだ表情のパラメーターは弄りがいがある感じ pic.twitter.com/xNQZcQhsTY, ARKitのFace Trackingを使わない顔認識だと、このような選択肢もあります。 起動中のアプリのみがリストに表示される点に注意してください。, 正しく選択できると上記のように書き出したアプリの映像が表示されるので、その状態でOKを押します。, ソースから、先程追加したウィンドウキャプチャの上で右クリックをし、フィルタを選択します。, デフォルトで緑になっているので、このように背景が透過されます。 出力場所は、「設定」から出力タブを選び、「録画ファイルのパス」にて確認・変更することが出来ます。, あとはTwitterやYouTubeにアップロードすれば、見事VTuberデビューです!, OBSにはYouTubeなどの生配信を行う機能や、音声のノイズを除去する機能など、様々な機能が付いています。 InspectorビューにCubism Parameters Inspecotr (Script)というコンポーネントが表示されると思います。それぞれの項目がモデルの各パラメータと対応しています。自由に色々と動かしてみましょう。, このように連動してモデルが動くことが確認できます。 By following users and tags, you can catch up information on technical fields that you are interested in as a whole, By "stocking" the articles you like, you can search right away. © 2020 木村すらいむ All rights reserved. 去年の夏どうしてもVTtuberになりたくて、土日の時間をフルフル使ってなんとかLive2D+FacceRig用VTuberモデルを制作しました。, ということで今回はもっと簡単にできないか一枚絵VTuberを目指していろいろ試してみました。, 某美大の油絵科を卒業後、大手CG映像プロダクションに入社。 2次元バーチャルYoutuberの作り方(Facerig+Live2D) 以上で紹介したように、Live2Dで作成したキャラクターをFacerigで顔認識させて動かす、という作り方が2DバーチャルYoutuberの主流です。 ざっくりいえばこんな感じ。 イラストを作る(Photoshop) VTuber Tech #1 Advent Calendar 2018 端の方は補正が効くので合わせやすいと思います。, 背景を設定します。今回は画像を利用しますが、例えば動画ファイルやデスクトップ、ゲーム画面などを背景にしても大丈夫です。著作権などには十分に注意してください。, ソースの「+」から画像を選択し、新規作成から任意の名前を付けてOKを押します。 (参考:バーチャルYouTuberのやり方 #VTuber – ReDo ) 3D系を個人でやるのは相当しんどそうだな。安価にやる方法もあるみたいだけど標準のだと10-20万する機器が必要になるし。こりゃ2Dから始めるのが正解だわ。 — 木村すらいむ (@kimu3_slime) February 27, 2018 現在は技術系のCGデザイナーをしています。 その後ゲーム業界に転職。 少し高額な有料アセットが必要ですが、導入しやすいと思います。, 参考: FaceRig無しでも中の人(二次元)になりたい!【Unity × OpenCV × Dlib × Live2D】 - Qiita, キャラクターを動かすための配信システムは最低限できたと思うので、次は実際に配信する手順を紹介します。, メニューより、[Edit]>[Project Settings]>[Player]を選択します。, Inscpectビューで[スタンドアロンタブ]>[Resolution and Presentation]を開き、Run In Backgroundにチェックをいれる。, Add Open Scenesを選択し、MainシーンがScenes In Buildに追加されたことを確認してBuildボタンを押す。, このように無事アプリが書き出されたらビルド成功です。