NO.206 LoRAを作成する

データセット編集と画像アップロード
トレーニング→データセット作成→「名称任意」+「種類選択」→「+」をクリックして複数画像をアップロード
※画像は100枚までアップロード可能です。
LoRAトレーニング
LoRA名入力→トレーニングタイプ選択　SDまたはSDXL
※消費スタミナ(コイン)
今回は、429スタミナ(コイン)消費でした。画像枚数によって変わるのかなと思います。
トレーニングは時間がかかります。10分から数十分かと思います。今回は１０分で37％まで進んだ後、完成まで放置していました。
完成すると「自分のLoRA」から使えるようになります。
実際の作成
練習とテストを兼ねてとにかく素早く作成したいと思いました。
「実写風」+「顔」のLoRAを作成します。
まず、元になる画像を３枚用意しました。



3枚それぞれを、コントロールネット　canny へ持っていきます。
「前処理画像に近い」と「バランス」で生成します。３種×４枚×4回で48枚になります。あと２枚追加で作成して50枚にしました。

この50枚を使って、上記の手順でLoRAを作成しました。
できたLoRAを早速使ってみます。
まずは、いつものようにお借りしてきます。


リフレッシュアイコンし、LoRAを外して、自分のLoRAを選択します。そして、画像生成。




ここで、いろいろなことがわかりました。
LoRAの値は「1」です。今まで、「強すぎるLoRA」と呼んでいたものの謎が解けたのかなと思います。トレーニングさせたのは50枚であっても元は３種だけでした。従って、生成された画像は、トレーニングに使用した画像とほとんど変わりません。プロンプトがほとんど生きていないような感じです。
顔の向きもトレーニング元画像と全く同じです。ここから、二つのことが考えられます。
・まったく同じ向きのトレーニング画像を使えば、特化したLoRAが作れる。
・上下左右、いろいろな顔の向きのトレーニング画像を100枚使えば、表現力が増したLoRAが作れる。

今回は、大急ぎで作ってみましたが、LoRAは、何かに特化したものを作れば、いろいろ役立つようです。例えば、背景、ポーズ、物体、服装、画風などです。
このことから、LoRAが3つ使えるようになった意味と数値の決め方の理解が少し深まりました。例えば、
・顔LoRA+顔LoRA+顔LoRA
・顔LoRA+ポーズLoRA+服装LoRA
・画風LoRA+背景LoRA+物体LoRA
など、何かを意識したLoRAの使い方と数値の決め方が少し見えてきました。

さて、先ほどのお借りした画像例では、自分のLoRAがうまく使えていないので、数値を0.5にしてもう一度作成してみます。




いい感じになったでしょうか。設定する数値についても、また少しわかったような気がします。
LoRAの作成については、無料開放→VIP限定→無料開放という流れで現在に至ります。本家のStable Diffusionで作成するのは大変そうですが、SeaArt内でのLoRAの作成はとても簡単でした。次は、きちんと考えていいものを作りたいなと思います。100枚の画像を使うにはコインを貯めないと…。

第７回「マジックワンド」を振り返る
「笑顔の少年」

リフレッシュアイコン後、マジックワンドをクリックすると
(best quality,4k,highres,masterpiece:1.2),ultra-detailed,realistic,happy smiling boy,beautiful detailed eyes,beautiful detailed lips,extremely detailed eyes and face,long eyelashes,joyful expression,colorful,playful,soft lighting,outdoor setting,lush garden background,green grass, vibrant flowers,bright sunlight,summer vibes,breezy atmosphere
驚きました、何かの間違いかなと。英文プロンプトは全く読んでいませんでした。英文プロンプトを見直してみます。「happy smiling boy」なのですが…。
手順を少し変えてみます。
「躍動する陸上選手」と入力した後すぐにマジックワンドをクリックします。
(best quality,4k,8k,highres,masterpiece:1.2),ultra-detailed,(realistic,photorealistic,photo-realistic:1.37),HDR,UHD,studio lighting,ultra-fine painting,sharp focus,physically-based rendering,extreme detail description,professional,vivid colors,bokeh,athletics,sprinting,athletes,sports,running track,jumping,explosive power,intense speed,gold medal,acceleration,focused determination,motion blur,muscular legs,elegant posture,athlete in action,athletic physique,tense facial expression,endurance,competition,emotion,winning triumph,professional vigor,concentration,long strides,enthusiasm,motion,desire to win,energy,fit and healthy physique,competitive spirit,dedication,mental strength,physical strength,inner determination,effort,perseverance,achievement,reaching the finish line,adrenaline rush,pushing the limits,inspiration,athletic hero,goal-oriented,enjoying the challenge,elevated heartbeat,exhilaration,joy of movement,team spirit,rivalry,overcoming obstacles,stamina,desire for excellence,sportsmanship,fierce rivalry,heroic performance,mind over matter,passion for sports,glorious victory,celebration,pride of accomplishment,feeling invincible,overcoming adversity,record-breaking performance,adrenaline-fueled excitement,exceptional athletic ability
長い・・・。
今度は、「躍動する陸上選手」のとてもいい画像を生成してくれたと思います。
第７回の時は、プロンプトを入力した後マジックワンドをクリックすると、入力したプロンプトの後に何かが付け足される感じでした。現在は、「画質宣言+元プロンプト+何か」の形で、プロンプトが英文で再生成されます。
第7回時点と比べていい方向への変化が見られました。
振り返り表(改)