画像生成編-02. Kritaで雑な落書きから画像生成

画像生成はプロンプトを用いる方法や、Controlnetという手法で特定のポーズを指定して生成するのが主でした。ところが新しいAIツールが誕生してきています。
オープンソースのグラフィックツールkritaにStableDiffusionのプラグインを開発した人が現れました。
kritaで書いたものをベースに、短時間で生成を行えるということで、今までのプロンプト頼りの生成とは一味違った活用ができそうです。

Windows,Linuxどちらでも大丈夫なのですが、armへの対応がまだできてなさそうなので今回はWindows PCにインストールして行きたいと思います。

①今日のコンセプト

kritaを使って落書きから短時間で画像生成を行う。

PCスペック

CPU：Core i7-12700
GPU：NVIDIA RTX-4070
メモリ：32.0 GB
ストレージ：M.2 SSD

②kritaをインストール

②-01. krita本体のインストール

まずはインストール。インストールファイルは以下から。

インストールはダウンロードファイルをダブルクリックしはいを押していればサクッと完了します。
インストールが完了したらKritaが追加されているのでクリックして起動します。

②-02. pythonプラグインのインストール

起動したら次はツールのダウンロード。以下からデータを落としてきます。
https://github.com/Acly/krita-ai-diffusion/releases

ダウンロードが終わったらkritaの画面に戻って機能の追加です。
ツール > スクリプト > Pythonプラグインをファイルからインポートをクリックします。

ダウンロードしたkrita diffusionのファイルを選択します。

プラグインをアクティブにするか聞かれるのではいを押し、kritaを再起動します。
ちゃんとインストールができているのか試すため、新しい画像をクリックします。

とりあえず作成をクリック。

設定 > ドッキングパネル > AI Image Generation をクリックします。

すると画面右下にAI Image Generationの表示が出ます。
pythonプラグインのインストールは無事完了ですが、追加ファイルのインストールも必要になります。

②-03. 追加ファイルのインストール

続いては、先程の画面からConfigureボタンを押します。

AI Image Generationの設定画面が開きますのでインストールボタンをクリックします。
Python・ComfyUI・Pytorchなどがインストールされていない場合は自動でインストールしてくれます。
かなり容量を取ります。10GBは空き容量を確保してください。

インストールが完了したら緑の文字が出てきます。でも更に追加でインストールを行います。
少し下にスクロールするとControl extensionsの項目が現れます。ControlNet Scribbleにチェックを入れてインストールします。

全部インストールできたら準備完了です。
いったん前回入力したプロンプトで画像生成を試してみます。

Starry night milky sky, master piece,  best quality , detailed , ((background only))

そして生成されてきたのはこちらです。
特に設定いじってないんですが、かなりきれいな画像が生成されてきました。しかも、キャンバスサイズに合わせて生成されるようで画像サイズが2480 * 3508となっています。
生成に3分30秒かかりましたが、高解像度でかなりきれいな画像が生成できました。これは驚きです。時間はかかっていますがStableDiffusionで生成すると512 *512なので何倍？高解像度の自分が指定したキャンパスサイズの画像が作れちゃうなんて、、、

③落書きから画像生成

それでは画像を生成していきます。
絵心を発揮してアートを描いていきます。

タコさんウィンナーの妖精 ペンギンの親子ですね。これを以下のプロンプトで生成していきます。南極にいるペンギンの親子となるようなイメージです。

penguin, parent and child, Antarctic

実際に出てきた画像はこちらです。

マジで思ったとおりです。しかもくちばしの向きを向き合うように書いたのですが、ちゃんとそこまで読み取って顔の向きを生成してくれています。楽しくなってきたのでもう一枚試してみます。

先程よりも細かい指定をして見るため、背景まで書き込んでみました。
誰がどう見ても森を抜ける道路を横切っている鹿ですね。これを以下のプロンプトで生成したいと思います。

Road through the forest, deer on the road , overhead view , Lush forest

この画像が出てきました。鹿のディティールが潰れてしまっていますがほしかったものは全部画面内にあります。ちょっと俯瞰視点のプロンプトを削除して再生成してみます。

すごいいい感じです！鹿の数が多いですがなんとなく思ったような物ができています。

④まとめ

プロンプトをそこまで工夫しなくても思ったとおりに画像が出せるのは本当に触ってて楽しいです。しかも生成される画像が高解像度でスピードも早いので単純にStable Diffusion webUIよりも生成ツールとしても使いたくなります。Krita本体がオープンソースで誰でも使えるものなのも素晴らしい。AIがどんどん一般化してきますね。
個人的にはMacの対応が待ち望んでいます。

chatGPTと同じくらい盛り上がっている画像生成、まだまだ色々触っていきたいと思います。