前回作ったSNSアイコンが非常にお気に入りとなったため、もっとうまく活用するためにいろいろ試していきます。 数秒で指定した方向性の画像を生成できるのは本当にすごいですね。イラストもかけず、デザインも苦手な自分には天啓が下りたようです。実生活に役立つのは本当に使ってて嬉しいです。今日も活用していきたいと思います。
chat-GPTとStable Diffusionを組み合わせてみる
これまで、Stable Diffusionで画像を生成してきましたが、今までは自分で一生懸命プロンプトを考えていました。しかし、AIのことはAIが一番知っているのかもしれない。。。そんな考えが頭を過りました。 おもむろに検索をかけた私の目に飛び込んできたのはStable Diffusionにはchat-GPTによるプロンプトの生成機能が備えられているという記事が！ AIブームの火付け役「chat-GPT」、使わせて頂きます。
①コンセプトなど
今日のコンセプト
今回もフリー素材の画像を参考にさせて頂きます。上記画像からプロンプトを作り画像を生成していきます。 やりたいことは以下のような形です。 ・img2imgという、画像からプロンプトを生成する機能を使用 ・画像を見て自分でプロンプトを考えてみる ・自分で考えてみたプロンプトをchat-GPTに整えてもらう ・ついでにGoogle Bardにも整えてもらう
どのように進めるのか
以下のように進行していきたいと思います。 1.参考となる風景の写真を用意する（完了） 2.プロンプトを4種類の方法で用意する 2-01. img2imgでStable Diffusionに生成してもらう 2-02. 自分で風景を文章にしてみる 2-03. chat-GPTに整えてもらう 2-04. ついでにGoogleのチャットAI「Bard」にも考えてもらう 3.それぞれのプロンプトで画像を3枚ずつ生成する 4.比べてみる 順番に進めていきます。
②プロンプトを用意する
②-01. img2imgでStable Diffusionに生成してもらう
まずはStable Diffusionのimg2imgでプロンプトを出してみます。 Stable Diffusionのimg2imgタブを選択し、画像を貼り付けます。 今回は写真なのでCLIPによる解析を実行し、少し待つとプロンプトができました。
a lake with a mountain in the background and red leaves on it’s branches in the foreground, ukiyo-e, japan, Ai-Mitsu, a jigsaw puzzle
ukiyo-e（浮世絵）、a jigsaw puzzle（ジグソーパズル）といったプロンプトが生成されました。ちょっとニュアンスが違う気もしますが、言いたいことはわかります。 ちなみに「Ai-Mitsu」がわからなかったのですが、検索したところ以下の内容が出てきました。画家の方ということなのでこれのことを表しているのかと思います。 ちなみに2回やってみましたが同じプロンプトが生成されました。ここはランダムにはならないようです。
靉光（あいみつ、1907年6月24日 – 1946年1月19日）は、日本の洋画家。昭和前期（戦前・戦中期）に活動した。本名は石村 日郎（いしむら にちろう）。
②-02. 自分で風景を文章にしてみる
今度は自分で風景を描写してみます。文章力はいまいちなので短い文を並べてみたいと思います。
湖・湖の向こうに見える富士山・真っ赤な紅葉・もみじの向こうに見える湖とさらに向こうの富士山・湖に反射する富士山・山頂に雪のかかった山
これをDeepL翻訳で英語にします。
lake, Mt. Fuji seen across the lake, Bright red autumn leaves, Lake seen beyond the maples and Mt., Fuji reflected in the lake, Mountains with snow on top
これを自分で考えたプロンプトとします。
②-03. chat-GPTに整えてもらう
日本語の方の文章をchat-GPT先生に整えて頂きます。これもStable Diffusion web UIの機能を使用します。毎回違うプロンプトが生成されました。今回は一番最初に生成されたものを使用します。 日本語をそのままプロンプトにしてくれるので非常に楽ちんです。
high-quality illustration, serene atmosphere, a large calm lake, reflecting vivid red autumn leaves, beautiful snowy Mount Fuji in the background, picturesque landscape of Mount Fuji from behind maple trees, (reflection of Mount Fuji on the lake), distinct trees by the lake
生成されたものは、英語のプロンプトだけではなく、タイトルやポイントといったものを一緒に出てきました。 なんだか壮大な雰囲気になりました。さすが先生です。 まるで一つの作品のようですね？
Generated Prompt：
high-quality illustration, serene atmosphere, a large calm lake, reflecting vivid red autumn leaves, beautiful snowy Mount Fuji in the background, picturesque landscape of Mount Fuji from behind maple trees, (reflection of Mount Fuji on the lake), distinct trees by the lake
Title：
紅葉と富士山の調和
Points：
落ち着いた雰囲気の中で、湖とその先に見える雪をかぶった富士山が美しい景色を作り出しています。真っ赤な紅葉が優雅に湖に映り、富士山の姿も湖に映りこんでいます。もみじの向こうに見える富士山と湖が絵の具のような色彩を持ち、至極の風景を創り出しています。また、湖畔に立ち並ぶ木々が変化に富んだ光景を与えています。
②-04. ついでにGoogleのチャットAI「Bard」にも考えてもらう
Bardでもプロンプトの生成を試してみます。 汎用の対話型チャットAIなので、まずはぶんしょうでお願いをしてみます。
Stable Diffusionで画像を生成する際のプロンプトを考えてください。以下の内容を入れてほしいです。英語でお願いします。
湖・湖の向こうに見える富士山・真っ赤な紅葉・もみじの向こうに見える湖とさらに向こうの富士山・湖に反射する富士山・山頂に雪のかかった山
そして生成されたのが以下となります。
A serene lake in the fall with beautiful red maple leaves. The lake is surrounded by trees, and Mount Fuji is visible in the distance. The mountain is capped with snow, and the sun is shining brightly. The water in the lake is calm and clear, and the reflection of the trees and mountains is stunning.
情景をより細かく書いてくれているように思います。
②-05. プロンプトがそろった
これでプロンプト4種が出揃いました。 こちらを使って画像生成を行っていきます。
| img2img | a lake with a mountain in the background and red leaves on it’s branches in the foreground, ukiyo-e, japan, Ai-Mitsu, a jigsaw puzzle |
| 自分で考えた | lake, Mt. Fuji seen across the lake, Bright red autumn leaves, Lake seen beyond the maples and Mt., Fuji reflected in the lake, Mountains with snow on top |
| chat-GPT | high-quality illustration, serene atmosphere, a large calm lake, reflecting vivid red autumn leaves, beautiful snowy Mount Fuji in the background, picturesque landscape of Mount Fuji from behind maple trees, (reflection of Mount Fuji on the lake), distinct trees by the lake |
| Bard | A serene lake in the fall with beautiful red maple leaves. The lake is surrounded by trees, and Mount Fuji is visible in the distance. The mountain is capped with snow, and the sun is shining brightly. The water in the lake is calm and clear, and the reflection of the trees and mountains is stunning. |
③画像生成スタート
プロンプトが出揃いましたので生成をやっていきたいと思います。今回は各3回ずつ生成してもらいます。 モデルはすべて「realisticVisionV20_v20_2」を使用します。
③-01. img2imgのプロンプトで生成
a lake with a mountain in the background and red leaves on it’s branches in the foreground, ukiyo-e, japan, Ai-Mitsu, a jigsaw puzzle
japanって感じですね。 やはり浮世絵の記載があったこともあり、浮世絵のテイストが濃いですね。 img2img-01はなんでしょう、おみやげのパッケージにありそうなデザインになっています。 思ってたのとは違いますが、これはこれで面白い気がします。
③-02. 自分で作ったプロンプトで生成
lake, Mt. Fuji seen across the lake, Bright red autumn leaves, Lake seen beyond the maples and Mt., Fuji reflected in the lake, Mountains with snow on top
わりと思っていたものに近いものが出ているように思います。ただ、最後の画像では手前にあるはずのもみじがなぜか湖に反射していて、位置関係がおかしくなってしまっています。 悔しかったのでもう一度生成してみます。
自分プロンプト-04の画像は非常にいい感じですね！
③-03. chat-GPTのプロンプトで生成
high-quality illustration, serene atmosphere, a large calm lake, reflecting vivid red autumn leaves, beautiful snowy Mount Fuji in the background, picturesque landscape of Mount Fuji from behind maple trees, (reflection of Mount Fuji on the lake), distinct trees by the lake
いずれも、描写がより繊細になっているように見えます。 特に水面の反射のところがきれいです。この連携はぜひ活用していった方がいいですね。
③-04. Google Bardのプロンプトで生成
A serene lake in the fall with beautiful red maple leaves. The lake is surrounded by trees, and Mount Fuji is visible in the distance. The mountain is capped with snow, and the sun is shining brightly. The water in the lake is calm and clear, and the reflection of the trees and mountains is stunning.
こちらも、素のプロンプトよりもきれいに描写されているように思います。 また、写真のような描写になっていて非常に求めていた形に近いです。 同じモデルでもプロンプトによりかなり見栄えが変わっています。
まとめ
人間が考えたものよりも、チャットAIに整えてもらった文章の方がより良い生成結果になっているように感じました。描写が細かくなっているように感じます。 英語ができないこともあり、直訳でやっていることも関係しているのかもしれません。 自分で考えたプロンプトは単語の集まりのようになっていますが、AIに生成してもらったものは、1文で作られているように思います。このあたりを意識しつつ、chat-GPTなどのAIを活用していきたいですね。 プロンプトの書き方のコツもつかんできたら、思い通りの生成に一歩近づけそうです。 今回はこのあたりで。
コメント