第118回遊びのテーマ
「SDXLは本当に変わったのか」
現バージョンのアナウンスに、SDXL関連のことが書いてあったので、今回はSDXLで遊んでみます。大好きだったSDXL1.0が、SDXLに変わって、とんでもなく劣化したのであまりいいイメージがないのですが、頑張ってみましょう。
(※SDXLに1.0が付いたのと付いていないのとは、内部的な処理に関するものだったり、SeaArtだけの任意の呼び方だったりして誤解が生まれやすいところです。呼称はあくまでもSeaArtの中だけのお話ですので、誤解のないようにお願いします。)
それでは、お約束で、いつものようにお借りしてきます。
モード SDXL
モデル XXMix_9realisticSDXL
プロンプト
「xxmixgirl, 謎の女性, 立ち込める霧, 映画のライト, 青とピンクのテーマ, ほほえんでいる」
これを、モデルだけSDXLにチェンジします。
モード SDXL
モデル SDXL
一瞬、また、失敗かと思いました。しかし、プロンプトを見直して驚きます。
「xxmixgirl, 謎の女性, 立ち込める霧, 映画のライト, 青とピンクのテーマ, ほほえんでいる」
ハイライトした部分がすべて画像に反映されています。むしろ、初めにお借りしてきた画像は、プロンプトがどこに反映されているのかという感じです。
そして、第118回まできてようやく謎が解けました。「モデルの力は絶大だ!!」
話が本題からそれてしまいますが、最近、ある用途専用と思われるモデルやLoRAが激増しています。それを使うと、プロンプトで生成するというよりimg2imgで作るような感覚で特殊な画像が作れます。どれをとってもプロンプトとの関連が見えてきません。
話を元に戻して再び確かめます。またまた、お借りしてきます。
モード デフォルト
モデル IdolTrainee_JuicyBoy_Year_1.0
プロンプト
「大気の少年，ポケットにはランドセルが入る, グレーの服, 質感のある肌, カメラのバストを見る, り写真, 黒髪のリアルな写真, 高品質の画像効果」
これを、
モード SDXL
モデル SDXL
に変更して画像生成します。
※失敗画像ではありましたがそのまま載せています。
「大気の少年，ポケットにはランドセルが入る, グレーの服, 質感のある肌, カメラのバストを見る, り写真, 黒髪のリアルな写真, 高品質の画像効果」
こちらもやはり、お借りしてきた画像よりも、ダブルSDXLの方がプロンプトにとても忠実な画像生成をしています。
まとめ
「モデルの力は絶大」だとわかりました。そして、「どうしてこのプロンプトでこの画像が生成されるの」という疑問が解決されました。これまで、txt2imgで作っていたと思っていたものが、実際は、モデルによるどちらかというとimg2imgに近いものだったという気がします。SDXLこそtxt2img、そんな気がします。
今回のバージョンアップで変身したSDXLは、前バージョンのものとは別物です。最大の特徴は、プロンプトのほとんどが生かされるというところです。
公式のアナウンスにはSDXL用のモデルのことがいろいろ書かれていたので、SDXLについては引き続き確かめていこうと思います。
今度のSDXLは、コストが高い分の働きをしてくれそうな予感がします。
ここでいったん終了してアップロードの予定でした。数時間後、改めて試したら驚愕の事実が………。
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
第118回 ～続編～
「SDXL 二日目にして緊急警報発令中!!」
これまでの遊びで、いろいろ試すときに、まず初めにプロンプトに「1人の女性」と入れて画像生成させました。今回もそのようにしてみます。
モード SDXL
モデル SDXL
プロンプト「1人の女性」
何かの間違いかと思い、今度は４枚と２枚生成します。
8枚生成して画像崩壊率100％でした。更にネガティブプロンプトなど関係なく人物融合の図。しかも、NSFWまで。プロンプトの「１人」はどこへ行った?
念のために、男性にチェンジ。
モード SDXL
モデル SDXL
プロンプト「1人の男性」
うーん。間違いではないようです。女性より人数が増えています。嫌がらせとしか思えないこの仕打ち。
SDXL警戒警報発令中!!
初心にかえって今回の出来事を振り返ってみます。
「SDXLはプロンプトにとても忠実」だけど「１つだけのプロンプトでは画像崩壊」。
何となくだけれど想像がつきました。
AI広場に行ってプロンプトだけお借りしてきます。
モード SDXL
モデル SDXL
プロンプト「ピロキシウムリアリズムスタイル、ポートレート、夜間、都市環境、詳細な背景、フォトリアリズム」
※「ピロキシウムリアリズムスタイル」という言葉がわからず調べに行きました。言葉を分解しても何もひっかかりませんでした。また、４枚生成中４枚が１人の黒人男性になった理由はわかりません。
おそらく、SDXLは、「プロンプト提示」にあるような、「ノーマル」「スタイル」「品質」などの条件が必要で、それに対象となるメインのプロンプト1つを加えるとうまくいくのかなと思います。
SDXL1.0の時は、「トイプードル」というプロンプト一つでとてもいい画像を一発で生成してくれました。また、「1人の女性」もきちんと生成していました。
それがSDXLに変わり、前バージョンまでは、貧相な人物やしわくちゃの服装が生成される状態に変わりました。LoRAとの連携もうまくいっていませんでした。
現バージョンになったら、悪いところは改善されました。しかし、短いプロンプトでは失敗するなど気を付けなければならないことがあるようです。
今回は載せませんでしたが、LoRAを使った画像は、きちんと生成されるようになりました。モードがSDXLではない時と同じように扱えるようになったのはいいことです。
ただ一つ問題は、コインの消費が激しすぎることです。４枚生成１回で24コインなので大変です。検証の数をこなせません。8回で１日の補充分がほぼなくなります。
コントロールネットとの戦いが中盤を過ぎたかと思ったら、今度はSDXL(改)との戦いが始まったようです。
コメント