感想日記

LoRAを使ってみよう

またもAI絵のお話。

「LoRA」というのはボンヤリ説明すると「特定の要素について学習させたデータ」を学習モデルとは別途用意して、外付け的に読み込ませることで、『既存の学習モデルでの出力＋特定の要素の再現』を実現するもの。
一例として、版権キャラの要素を学習させたLoRAを読み込ませることで、AI絵でキャラクターを再現させたりすることができるようになるわけですね。
もちろんキャラだけでなく、画風や特定のオブジェクトなども再現可能。

私もLoRAでサ終したスマホゲーのキャラを描かせたりなんてやってみたいのですが、どう始めりゃ良いのかイマイチよくわからんのでまだ手を出していません。
自分で学習データを作るなら、PCのスペックはVRAMで8GB以上が必要なようです。

さて、「LoRAを作る」のはいささかハードルが高いですが、「LoRAを使う」だけならそこまで大変なこともありません。
というのも、ネット上のAI絵コミュニティなどで「こんなん作ってみたけどどう？」みたいな感じでLoRAを共有してくれる人たちが大勢いるからです。

なお今回の記事はWEB UI(1111版)前提です。

sd-webui-additional-networks

LoRAを1111版で使うために必要なExtensionです。

githubのリンクはこちら。
英語のページっぽいので一瞬戸惑いますが、下の方に日本語の解説も掲載されています。

解説にあるけど念のため。
まずWeb uiを起動したら、「Extenstion」タブを開いて、そこから更に「Install from URL」タブを開きます。
「URL for extension’s git repository」に

を入れて、オレンジのInstallボタンを押しましょう。
インストールが完了したら、一度Web uiを終了させます。

LoRAを使ってみよう

「Additional Networks」をクリックすると、設定項目がスライドして出てきます。
まず「Enable」にチェックを入れたら、「Model 1」のプルダウンから、先程models/loraに入れた「.safetensors」を選択しましょう。

その下の数字は「LoRAを描画に反映する強度」みたいなもの。
1を基準値として、大抵のLoRAは0.6～0.8あたりを推奨するものが多め。
LoRAを配布している方は、配布ページ内におすすめ設定値を記載してくれていることが多いので、参照しましょう。

また、その下にはNetwork module 2以降の項目があり、一度の描画に複数のLoRAを組み合わせて出力することが出来ます。
1でキャラクター、2で背景のLoRAを読み込ませて複合的な画像を生成したりできるわけですね。

書き出してみよう

というわけでこちらが、Hugging faceだったかで共有されていた、原神のバーバラちゃんのLoRAをお借りして書き出したもの。
なんとなく再現されている、なんてレベルではなくバリバリの原作再現ぶりです。
使ったモデルは「AbyssOrangemix」かな。

原神の胡桃ちゃん。
衣装の再現が難しい、みたいなことがReadmeに書いてあったんだけど、その結果か何故かバニースーツみたいになった謎。
待機モーションや元素爆発時に出てくる幽霊ちゃんも、特定のワードで呼び出すことが出来ます。芸が細かいぜ。

Fateよりモードレッド。
さすがに鎧のLoRAは作っていないそうで、獅子劫のおっさんが贈った私服衣装での再現です。
ジャケットのデザイン自体はちょっとアレンジ入っちゃってるけど、もっと再現度高く出来ているときもあったので、AI君の裁量みたい。

マギアレコードよりいろはちゃん。
原作がシンプルめなタッチの絵なので、AIでディティール感マシマシにしてあるとだいぶ見栄えが変わりますね。
画風の影響かロリ感が薄れてて、年齢が20歳前後くらいに見える。ベテラン魔法少女っぽいな。

こちらはやちよさん。
クールビューティな雰囲気がすごいしっかり出ていてとても良いですね。足ふっと。