第178回遊びのテーマ
「コントロールネット(再) openpose_full」
まず、他のサイトで勉強してきたことを引用致します。
Stable Diffusionでは、
openpose 棒人形のみ
openpose_face 表情と棒人形
openpose_faceonly 表情のみ
openpose_full 表情と手のついた棒人形
openpose_hand 手のついた棒人形
このブログでは、過去に２度、「ポーズを変える」という試みをしていました。その時は、上記のことを全く理解していなかったので、結果についても偶然の産物でしかありませんでした。
今回は、初めに失敗することをわかりつつ１度試行し、２度目に想定通りになるかどうか確かめます。画像のクオリティは求めずに、ポーズに関してだけ集中します。
では、いつものようにお借りしてきます。
まずは、「プレビュー openpose_full」で画像生成します。
このようになりました。
他のサイトで同じようなものを見ました。色遣いなどに意味があるのか、首はいつも青でした。顔部分のピンクもやはり同様で、推測ですが、これは表情を表しているのかなと思います。
「コントロールパネル openpose_ful」へ行き以下の画像をアップロードします。
この画像は、ソフトで作成したものです。Stable Diffusionでは、このようなものが、生成の過程で使われているようです。「プレビュー」で生成されたものを真似ただけでは、生かすことができないのかなと思いつつも進めていきます。
先ほどの元画像のプロンプトとモデルを使って画像生成します。
全く、ポーズ等は生かされていません。全身になったところはただの偶然でしょうか。
同じような手順で２度目を行います。棒人間からlineartに画像を変更しました。
生成画像は、以下のようになりました。
バランスモードでしたので、画像的には良くなかったですが、ポーズは反映されました。
過去のものと合わせて全部で3回、「ポーズ」について見てきました。結論としては、SeaArtの場合は、やはり、ポーズ変更は似たような画像を使うのが一番いいということです。棒人形は、やはり認識できませんでした。
他の画像生成AIでは、棒人形画像や3Dモデリングポーズ画像を使っても、ポーズは簡単に変えられるようです。初めに引用した通り、SeaArtは、「openpose_full」だけしかないので、すべてを含めた「ポーズ」(※顔や表情なども)という解釈だと思います。
3Dモデリングポーズ画像については、公開はしていないものの過去に何度か試しました。手足の関節にひねりが入るとうまく生成できません。
また、他の画像生成AIの中には、本体そのものにポーズ生成機能があるものが登場しています。将来的にはSeaArtもそこまで行くかなとも思います。
現時点のSeaArtでポーズを変えるには、かなり似たような画像同士で行うのがいいと思います。
×棒人形
△lineart
〇画像同士
書き終えてから、少し不備があったかなと思い、数時間後、もう少し確かめました。
「プレビュー」生成されたこの画像を、「コントロールパネル openpose_ful」へ持っていき、違う画像のモデルとプロンプトを使って画像生成しました。
やはり、棒人形ではポーズは生かされないようです。
コメント