AI生成画像でシェルを作ってみる

このページは　伺か Advent Calendar 2023　24日目の記事です。

はじめまして、あるいはお久しぶりです。企画専門で活動しております、おもちよいちと申します。

前日のZichqec様より襷を繋ぎまして、この度は画像生成AIを活用してシェルを作ってみたレポートをお送りいたします。

（ちなみに生成AIについて、りすな様が企画4日目に大変ためになるお話を公開していらっしゃったのでそちらもおすすめです）

今回は以前やってみた手順を軽くお話するだけで、生成環境の導入やシェル定義などの詳しい解説は割愛させていただきます。

もし興味を持った方はご自分で調べてみていただけると幸いです。

（特に生成AI関係は今現在お話してもすぐ古い情報になってしまうのでその時々で調べる方がおそらく効率的です）

はじめに　－今回紹介するシェルを制作したきっかけ－

今年8月頃に開催された企画「ゴースト上野駅」に参加しようと思い、そのためにはシェルが必要でした。

しかし、自分は絵を描く作業が苦手なのでなるべく絵の自作はしたくありません。（シェル定義を書くのは大好きです）

フリーシェルや立ち絵素材を探しても作りたいイメージに合いそうなものはすぐに見当たる範囲にはなく、

どなたかに制作依頼をするというのも打ち合わせや納品待ちの時間を取る余裕がなく完成の保証もできなかったため、

それならばやはり自作するしかないだろう、というところに至ってしまいました。

そこで思い付いたのがその頃色々と触って遊んでいた画像生成AIの活用です。

AI相手なら即納品・リテイクし放題、加筆修正も遠慮なくできるので引っ込み思案の自分にもってこいでした。

というわけで当時どういった手順でシェル制作をしたのか記憶を頼りに実際使った画像付きでざっくりとご紹介していきたいと思います。

もう4ヶ月前のことですので既に時代遅れな手法もあるかもしれませんが「こんなことができるんだな」くらいにゆるーく読んでいただけると幸いです。

シェルの作り方の説明に入る前に　－作っていたゴーストのご紹介－

まずはどんなものが出来上がったのかを先にお見せしておきます。

こんな感じ。特にこれといって工夫していないので当時のイラスト特化モデルにありがちな画風ですね。

本題　－シェル用の画像をAI生成してみる－

そういえば、生成環境はStable Diffusion web UI (AUTOMATIC1111氏版)で、ローカルで動かしています。

先述の通りweb UI本体や拡張機能の導入方法および詳しい使い方については解説いたしませんので気になる方は調べながらご覧ください。

最初は「椅子に座っている絵にしよう、それなら全身絵がいいな」と考えました。

しかしテキストでchair,sitting,full bodyを指定するだけではちょうどいい構図が出るまでのガチャが長くなりそうです。

そこで役に立ったのがControlNetという拡張機能です。ここではOpenPoseを使います。

ポーズを指示するための画像はOpenPose Editorという別の拡張機能でちゃちゃっと作りました。

テキストで簡単な容姿と服装も指示していざ生成！

いきなりいい感じにイメージに合う可愛い子が生成されました。

プロンプトを修正して再生成した方では太腿も盛られてとてもよいです。しかし上半身は最初の方が気に入っています。

なんだかもうこの背景から切り抜くのも面倒だし足指の崩れも気になるし着せ替えを付けたくなったので服の影も邪魔ですね。

なんだかちょっとデッサンが狂っている感じがしますが今回は時短と省エネが目的だと割り切って作業を続けます。

こうして出来上がった線画をControlNetのCannyというものに通して色を塗ってもらいます。

以下に生成された画像を載せておきますが元の線画を見ての通りのっぺらぼうかつ裸なのでご覧になる時は気を付けてください。

AIに描き直してもらうのでこれくらい大雑把で十分。服への干渉を減らすため後ろ髪は一旦消しておきます。切り抜きやすいよう背景も真っ白に。

1枚目、Tシャツの形と影は最初に生成したものを大まかにトレス。

2枚目、Tシャツの色を変えて短パンを同様にトレス。それと忘れていた肌色の調整をここで。

3枚目、中のシャツは1枚目を基に生成した画像を使い回しています。

Tシャツというだけなら普通に描いてもらえるのですが柄ガチャから逃げたかったのでこの手を使いました。

これらの画像を丸ごとi2iに放り込んでノイズ強度控えめで生成したのが以下。

表情等の細かいところがちょっと変わっていますが例によって服以外の部分は使わないので構いません。

というわけで、こうします。

切り抜いて加筆修正、肌に落ちる服の影も適当に入れました。

今はシェルに透過pngが使えるので簡単な着せ替えならこんな画像をそのままポンと乗せるだけで済んで楽ですね。

さあ、この子を座らせるための椅子の画像も作っていきましょう。

最初に生成した画像の椅子が気に入っていたのですが手の置き方と合わないので……とこねくり回していましたが

隠れていた部分を加筆するのがうまくいきませんでしたしそもそも幅を変えたらなんだか踏み台みたいになりましたし諦めました。

左手の形からしてソファのようなものに座っている感じも合わないし……ということで座布団にします。最初クッションとか言いましたがぶっちゃけ座布団です。

そんなこんなでできあがり～

座布団、体、服、後ろ髪、顔、前髪をばらばらの状態でpng出力して縮小してサーフェス定義で重ねます。

後ろ髪が肩に乗って服の上に回ってしまうのでそこはさらに切り離しました。

あとは当たり判定の設定も適当にやって本当に完成です。めでたい。

実際に絵を描く工程をAIに委託しているだけで用意する画像自体はよくあるシェル制作と同じですね。

おかげさまで絵が描けなくても半日もあればそれなりのシェルができてしまいました。辞書はできてないけど。

おわりに

以上、解説未満の駆け足なレポートでした。駆け足過ぎて文体が土砂崩れになっていて申し訳ないです。

明日はアドベントカレンダー最終日、安馬様が担当なさいます。最後まで楽しんでいきましょう。

ご清覧ありがとうございました。