私はこれまで、キミコエの画像学習を続けてきました。
生成AI技術も日進月歩であり、私も都度都度キャッチアップしてきているので、その成果をシェアするという目的で記事を書いています。
今回は、キミコエの主要キャラクターを出し分けることにチャレンジしてみました。
キミコエ再上映を祝して久しぶりにAI描き。#AIart pic.twitter.com/WS0ht5dgxT
— 岩淵碧音物智 (@yuki_i0913) June 15, 2024
たとえばこのような感じで「AIモデル特有の画風でなぎさを描く」みたいなことができます。
ちびキャラなぎさ習作#AIart pic.twitter.com/QFBd4UQ9QP
— 岩淵碧音物智 (@yuki_i0913) November 3, 2024
別のAIモデルを使ったら「ちびキャラのなぎさ」とかも描けます。
キャラを振り分けて学習した新モデルを使った実験。
— 岩淵碧音物智 (@yuki_i0913) November 21, 2024
結果はあまり振るわずだったものの、
眼鏡を外した絵画モデルのようなあやめはこれはこれで素敵!#AIart pic.twitter.com/ZJYOdR4MXw
今回は、キミコエの主要キャラクターを出し分ける実験を行いました。
計300枚近くの素材を使っての学習なので、前回の全フレームよりはだいぶ軽い学習ですが、キャラクターの切り抜きをある程度自動で行って画像化するのを頑張りました。
計300枚の素材を使って学習の際のnum_repeatsを1回、4回、8回と増やしていったら、8回に増やしてやっとキャラの特徴が活きてきました。
— 岩淵碧音物智 (@yuki_i0913) November 22, 2024
(添付画像は8回、4回、1回の順)#AIart pic.twitter.com/4Mncb1jJfI
それでは、それぞれの描画をお見せします。
キャラクター名のみの指定
まずは、キャラクター名のみ指定した場合です。
1girl, solo, kimikoe, yukiai-nagisa <lora:kimikoe-2024-11-21-3:0.8>
のようなプロンプトで生成します。
行合なぎさ。なんか別アニメっぽい。
龍ノ口かえで。これはかなり再現度高い。特に目がいい感じ。
土橋雫。全然似てなくない!?
浜須賀夕。雰囲気は似てる。というか髪型の問題?
中原あやめ。なんとなく雰囲気はある。
琵琶小路乙葉。だいぶ雰囲気が違う。
矢沢紫音。性格は違いそうだけど髪型と顔立ちはいい感じ。
矢沢朱音。違う感じだけど大人っぽさは出てるかも。
このように、似てるキャラクター、だいぶ違うキャラクターが分かれました。
おそらく「素の」特徴は捉えられているのでしょうが、逆にキャラクター固有の「特徴的なもの」が削ぎ落とされているみたいです。
キャラクター付随のタグ併記
たとえばなぎさだと、
kimikoe, yukiai-nagisa, 1girl, solo, brown eyes, brown hair, smile <lora:kimikoe-2024-11-21-3:0.8>
とか、あやめだと
kimikoe, nakahara-ayame, 1girl, glasses, short hair, solo, green eyes, black hair, bob cut <lora:kimikoe-2024-11-21-3:0.8>
とか。
あやめのキャラ指定をして何も書かなかったら眼鏡なしで出力されました。
— 岩淵碧音物智 (@yuki_i0913) November 22, 2024
眼鏡は本体ではなかった…
← glasses指定あり glasses指定なし →#AIart pic.twitter.com/xRk3DLuwbV
では、改めてキャラクター別にお見せします。
行合なぎさ。再現度は高くなった気がする。
龍ノ口かえで。これは相変わらず。
土橋雫。なんか違うんだけど髪型とかはかなり改善。
浜須賀夕。まあいいんじゃないかな。
中原あやめ。やっぱり眼鏡があると違う。
琵琶小路乙葉。髪色は向上。
矢沢紫音。ヘアクリップあるとさらに近い。
矢沢朱音。期待通りにはいかず…。
学習の改善に向けて
今回は「キャラクター付随のタグを併記する」という方法でキャラクターを再現しましたが、
自動でタグ付けされたタグ列からキャラクター付随のタグを削除して学習する(たとえばあやめには glasses
のタグが自動で付くので、それを消すことによって「あやめ」に吸収させる、的な)、というのが本来の学習方法らしいので、
それでの学習もやってみたいです。
キャラの画像学習枚数が数枚~数十枚と少なめ・まばらなので、あまり再現性が高くないキャラも多くありました。
フルフレームでキャラクターのタグも追加したらどうなるか、というところは未開拓なので今後の展望として挙げられます。