reference_onlyで擬似LoRA的なことをする【ControlNet】
個人的にここ最近のAI絵で一番「スゲー！」と思った「reference_only」の話です。
ControlNetの機能ですので、それのインストールについては「ControlNetを使って構図をコントロールする」の記事を、アップデートについては昨日の「openpose_fullで顔も手もキメる【ControlNet】」を参照ください。
reference_only
多分一週間くらい前に実装されたばかりの新機能。
なんと「既存のイラストのキャラクターを認識して、キャラクター性を維持したまま新しいイラストを生成する」という、言ってみれば簡易版LoRAみたいな機能です。
LoRA
複数枚の画像を学習元にして、キャラクターや画風、アイテムや背景などをピンポイントで再現させる技術のこと。
技術が登場した頃よりは簡単に出来るようになったらしい。
もちろん何枚もの画像を使って学習させるLoRAと比べると同一性の維持は弱いですが、何より画像1枚から始められる点が強い。
精度の足りない部分は、良いものが出るまでガチャを回せばいいだけですね。そこは普段どおりですし。
では早速やってみましょう。
「ControlNet v1.1.166」のタブをクリックし、画像をドラッグ＆ドロップします。
今回使う画像は、元素法典で生成した画像です。
Preprocessorは「reference_only」にします。
これは単独で動作する機能のため、右側にあったmodelの選択肢は消えてしまいますが、問題ありません。
というわけで元画像はこちら。
Promptは以下のとおりです。元素法典に、自分で定形的に使ってるクオリティ系タグが混じってカオス。
beautiful detailed flower, beautiful detailed eyes,hyper detailed,flower,hyper quality,,eyes,flower and hair is same color,beautifuly color,face,her hair is becoming flower, flower,hair,flower,butterfly,,1girlkawaii,,high details, high quality,back light,hair and clothes is flower,upper body ,high quality,hair with body ,webbed dress, upper body, flower leg, flower hands,body with flower, flower with clothes , dress with flower, , light particles,black background, Hair with flower,small breast with flower,big hair with flower,floating hair with flower,floating1girl,small breast, marbling with hair and clothes, looking at viewer,original,arm down, paper cutting, black background, flower forground, hair with flower,highres, hair with flower,hair with flower ,hair, wavy hair ,diffusion lighting, abstract,Butterfly with body, flower with hair, her hair is flower,big top sleeves, floating
Negative：
EasyNegative, large breast, huge breast, worst quality masterpiece,black hair, ,landscape,adult, old, phobia,loli , low-teen, blush,fate,flat color, wear,realistic,Smrealist,clothes,nsfw,masterpiece,a,,naturalistic,hair,hair,flower,dress,hatching,absolutely long hair,nsfw, owres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked
これをreference_onlyで再生成した画像がこちら。
ちゃんとキャラクターの同一性が維持されていますね。
細かな前髪の処理や服装はだいぶ変わってしまいましたが、同じキャラの別絵と言っていいものになってるんじゃないでしょうか。
Promptは
だけ追加しました。違うアングルになっても同じキャラに見えたら、reference_onlyの機能説明として十分だろうと思ったので。
もう一例。AIでよく生成している、よくわからんが清楚な聖職者っぽいお嬢さんの絵です。
Promptはこちら。
((keep one’s head in the frame)), ((close to viewer)), dutch angle, ((black long hair)), gold eyes, white skin, asymmetrical hair, wearing gold decoration white robe, white coat, clergyman, white long skirt, pixiv, official art,
Negative：
nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, longbody, lowres, bad anatomy, bad hands, missing fingers, pubic hair,extra digit, fewer digits, cropped, worst quality, low quality, multiple boobs,
再生成して出来た画像はこちら。
ちょっと雰囲気が変わってしまった感があるかなー…気にしなければ気にならないくらいだとは思う。
Promptは
を追加しました。
装飾の多い服装だと、変化も大きくなってしまいますね。
ただこの画像はガチャ1回目で出たものなので、もっと粘ればもうちょっと近いのは出せたのかも。
最後にもう1つ。ファンタジー系のお嬢さんです。
Promptはこちら。
1 girl, solo,
looking at viewer, clear face, masterpiece, best quality,
fantasy, adventurer,
sitting, smile,
sacred place, floor,
Negative：
((hair intakes)), expose skin, nsfw, EasyNegative
再生成して出来た画像がこれ。
表情がクリアになってしまったのと、何故か腋と肩を露出させてきましたが、概ね同じ人物になっていると思います。
Promptは
を追加しました。角度ではなくシチュエーションを追加してみました。
元絵の雰囲気を再現するなら、smileとblushを0.7くらいで入れてみるべきでしたね。
ガチャの試行回数にもよりますが、元画像さえあればふんわりと再現してくれるのはかなり凄いのではないでしょうか。
特に「前髪がどの辺で別れておでこが出ていて、この辺でハネている髪型」みたいな、Promptに盛り込みようがない要素の再現が期待できるのが素晴らしいです。
AIがたまたま出してくれた可愛い子、というこれまで手が伸ばせなかった場所に手が届くようになりましたね。
