こんばんは。
3日前にNovelAIの画像生成に「キャラ参照（Character References）」のプレビュー版が発表されました。
これは1枚のキャラクター画像からキャラの特徴や服装を抽出し、それを別のアングルや別要素を追加してキャラクターを再現できる機能です。
私はこれで3日間遊んでお金と時間を吸い取られていました。
この記事ではこれがどれ程の機能なのかを試した結果を書き記そうと思います。
まずは再現の難しいキャラクターを用意します。
画像はソーシャルゲーム「ウチの姫さまがいちばんカワイイ（ウチ姫）」のコノハナサクヤというキャラクターです。
彼女の画像はほぼ全く出回っていない上に、独特の髪型と服装でStable DiffusionやComfyUIといったローカルの画像生成AIでは再現が難しいキャラクターとなっております。
彼女のLoRAを自作して、それを用いてComfyUIで生成するとこうなりました。
大体それっぽく生成できていますが、サイドの肩にかかる髪といった部分が再現できていません。
次はNovelAIのキャラ参照（Character References）を使って彼女の画像を1枚読み込ませて再現してみます。
こうなりました。
「絵柄参照」という、キャラクターの特徴のみならず作者の画風を取り込む設定を左からそれぞれオフ・オンにして、同じタグで生成したらこのようになりました。
どちらもサイドの髪型や独特なデザインの服装が再現できていて驚きました。
左の絵柄参照なし髪の色が元画像と比べてやや薄かったり、左手のアイスクリームを持つ手がおかしいのが欠点ですが、それでも概ね再現できていています。
絵柄参照なしについてはありの時と比べてタグの影響を受けやすいので、これに彼女の髪色に近い
red hair | pink hairタグ（「|（バーティカルバー）」でタグを混ぜる事ができる）と大雑把に服装を
※9/15 追記
「|」によるプロンプト混合V4以降は廃止されたので「reddish-pink hair（赤っぽいピンク髪）」といった表現でカバーする方が良いらしいです。
Danbooruのプロンプトにはない表現でもいけるみたいです。
japanese clothesと指定し、絵柄参照なしのままで生成してみます。
こうなりました。結構再現できているように見えます。
今回は絵柄参照オフで上手くいきましたが、キャラクターによっては絵柄参照オンでタグを付けた方が再現しやすい場合があるので、そこは画像生成の為のリソースであるAnlasを消費して色々試していくしかありません。
ここまで書きましたが欠点があります。
キャラクター画像を参照して再度生成するというプロセスを経てサーバに多くの負担をかけるせいか、通常の画像生成よりAnlasを多く消費するのと、現時点ではポーションといった他の機能との併用はできず、さらに複数のキャラクターを読み込んで集合写真のような画像を生成する事はできないです。
今後も改良されるとの事でこの辺りも改善していくと思われるので、注視していきたいと思います。
コメント