pinokioをご存知ですか？ 嘘をついて鼻が長くなっちゃう彼のことではなく、各種AIツールをお手軽に導入できるツールが出てきたみたいです。
これの何が面白いってTOP画面のわりと見えるところに思いっきりモザイクかかったピ◯キオが出てくるところです。そんなことある？って感じです。 元々はTokenflowという、テキストで動画の編集をできるAIツールを試そうとしていたのですが、こちらのPinokioを使ってインストールしてね！というようなことが書かれていました。そこで気になって調べてみたところこちらを使って様々なAIツールをワンクリックで導入できるというようなことがわかったのです。これは使ってみるしか無いと言うことで試していきたいと思います。
今回は M1 Macbook Airにインストールしていきます。本当はJetsonを使いたかったのですが、残念ながらNvidiaのJetson用Pytorchをconda環境から読み出せないようで、Pytorchを使用するものはうまく実行できませんでした。。
①今日のコンセプト
まずはPinokioの導入と、Tokenflowのインストールを行ってみます。他にも気になるツールがあったら簡単に入れられるか導入を試していきたいと思います。 ・Pinokioのインストール ・Tokenflowのインストール ・他に気になるのがあったらインストール
②Pinokioのインストール
②-01.ダウンロード
Pinokioのサイトから必要なデータをダウンロードしてきます。 ページの上部のDownloadボタンをクリックします。
次のページではインストーラーの形式を決めるためにインストールするOSを選びます。 M1/M2 Macを選択します。勝手にインストーラーがダウンロードされます。
②-02. インストール
.dmgファイルからインストールを行っていきます。ダブルクリックするといかが表示されます。
画面の指示通り左のアイコンをアプリケーションフォルダに突っ込みます。 そこですぐに起動するとしようとエラーが出ます。 ちゃんと書いてくれているようにpatch.commandファイルを実行しましょう。
ターミナルが立ち上がり、パスワードの入力を求められます。Macのパスワードを入力しましょう。
Launchpadから起動します。
無事起動できました。
②-03. AIツールを導入してみる
対応ツールの確認
このままAIツールを導入してみたいと思います。まずはTokenflowを入れてみます。 ※カラーテーマはDarkにしています。 テーマを変えるとページの中央にWelcomeの表示が出てきます。そのすぐ下のVisit Discover Pageをクリックします。
Featuredとして様々なものが出てきます。
自分が特にこれはと思ったものだとStableDiffusionWebUIや、触ってみたかったTokenflow、以前の記事で触れたWhisperのWebui版、数秒のサンプルで様々な声を真似できるVALL-E Xなどかなりいろいろありました。更新頻度もかなり高いようですし、こちらのツールがスタンダードになってくるかもしれないですね。。。
上記は全体の一部ですので気になった方はぜひインストールしてみたください！
Tokenflowのインストール
Tokenflowを実際にインストールしていきます。 Featuredの中からTokenflowを選択します。
Downloadボタンを押すと、必要なソフトウェアのインストール状況が表示されます。 こういった依存関係も勝手に確認し、インストールしてくれます。これは本当に画期的です。わりとこのあたり苦戦したりうまくいかなくて諦めがちなので、、、 とりあえずInstallボタンを押したら自動で進めてくれます。
少し待っているとインストール完了です。
OKを押すとTakenflowのクローンが始まります。Save asの表示が出てきます。ここで入れた名前でPinokioフォルダの配下にインストールフォルダが作成されます。 User > pinokio > api > tokenflow.pinokio.git
クローンが終わったら以下のように表示されるのでInstallボタンをクリックします。
ちょっと謎なのですが、ここでbrewをインストールしたいよと言われました。さっきのタイミングで入れてくれればよかったのでは。。？となりますがとりあえずインストールです。
brewのインストールが終わると、そのままTokenflow本体のインストールが始まります。
すべて終わるとブラウザが開き、GUIが起動します。
マジでポチポチして待っているだけでインストールできます。何も難しくない。
③Tokenflow実行・・・したかった
せっかくなので早速使っていきたいと思います。山の中を走る鉄道の動画をフリー動画素材をもってきて、その素材の木々を紅葉させられないかなと試します。。。
Edit your video!のボタンを押し、いざ実行すると、、、
無常にもエラーの表示が出てしまいました。 pinokioのコマンドを確認してみると以下のような表示が出ていました。ざっと見た感じメモリの不足かな？というところでしたが、今日はとりあえず実行するところが見れればいいかなということで流します。。
④せっかくなので他のツールも入れてみる
このままでは消化不良なので他のも試してみましょう。
④-01. LCM
LCMはざっくりいうと今までよりも高速に画像生成ができるモデル？としてちょっと話題になっているやつです。リアルタイムの生成が有名ですが、pinokioからインストールできるのはMacで動く数秒で画像を生成できるこちらのものかなと思います。 バンバン行きます。
Runの表示まで言ったらほぼ完了です。 ※初回はモデルのダウンロードが入るので時間がかかります。 LCMについては別のGUIが開いたりすることなく、右下にプロンプトの入力欄がパッと出てきます。
お試しでは以下のプロンプトで画像を生成します。
black car,future, best quality
実行時間見ると驚くのですが、1枚の画像を生成するのにかかっている時間は3～4秒と非常に短いです。LCMについては別で掘り下げたいと思っています。AIの生成で厄介なことの一つ、時間がかかるの部分をなくせるのはホント画期的ですね。生成されたものは下記です。
最後のランボルギーニ風の車は特にかっこいいですね。ただ、何故か画面からはみ出しているものが多いですね。。 まあそれにしてもあまり破綻のない画像が4秒で生成できるようになったというのは驚きです。。
④-02. Whisper webui
WhisperをコマンドではなくWebuiで使えるものがあるようです。ちょうど以前Whisperを使ったときの音声ファイルが残っているのでサクッと試していきます。 ※インストールは省きます。
使うのは夏目漱石のこころを音読したデータで長さ11分30秒のものです。largeモデルで文字起こしします。
精度などは変わらなそうです。こちらの方が使いやすいですよね。コマンドで出されるとめんどくさいし、、、 でもなぜか最後がちょっと切れてしまっていますが、、、
文字起こし内容 ※長いです
kokoro
心 夏目漱石
上 先生と私
一 私はその人を常に先生と呼んで
いた だからここでもただ先生と書く
だけで本名は打ち明けないこれは 世間をはばかる遠慮というより
もそのほうが私にとって自然だから である私はその人の記憶を呼び
起すごとにすぐ先生と云いたく なる筆をとっても心持ちは同じ
ことであるよそよそしい頭文字 などはとても使う気にならない
私が先生と知り合いになったのは 鎌倉であるその時私はまだ若々しい
書生であった初中休暇を利用して 海水浴に行った友達から是非来い
というはがきを受け取ったので 私は多少の金を苦面して出かける
ことにした私は金の苦面に二三 地を費やしたところが私が鎌倉
に着いて三日と経たないうちに 私を呼び寄せた友達は急に国も
とから帰れという電報を受け取 った電報には母が病気だからと
断ってあったけれども友達はそれを 信じなかった友達はかねてから
国もとにいる親達に進まない結婚 を強いられていた彼は現代の習慣
から云うと結婚するには余り年 が若すぎたそれに肝心の当人が
気に入らなかったそれで夏休み に当然帰るべきところをわざと
避けて東京の近くで遊んでいた のである彼は電報を私に見せて
どうしようと相談をした私には どうしていいかわからなかった
けれども実際彼の母が病気である とすれば彼はもとより帰るべき
はずであったそれで彼はとうとう 帰ることになったせっかく来た
私はひとり取り残された学校の 授業が始まるにはまだだいぶ日
数があるので鎌倉に居ってもよし 帰ってもよいという境遇にいた
私は当分元の宿に泊まる覚悟を した友達は中国のある資産家の
息子で金に不自由のない男であった けれども学校が学校なのと年が
年なので生活の程度は私とそう 変りもしなかったしたがって
ひとりぼっちになった私は別に 格好な宿を探す面倒も持たなかった
のである宿は鎌倉でもへんぴな 方角にあった玉月田のアイスクリーム
だのという灰殻のものには長い 縄手をひとつこさなければ手が
届かなかった車で行っても二十 千は取られたけれども個人の別
倉はそこここに幾つでも建てられて いたそれに海へはごく近いので
海水浴をやるには至極便利な地位 を占めていた私は毎日海へ入り
に出かけた古いくすぶり返った 藁吹の間を通り抜けて急い降りる
とこのへんにこれほどの都会人種 が住んでいるかと思うほど秘書
に来た男や女で砂の上が動いて いたある時は海の中が銭湯のように
黒い頭でごちゃごちゃしている こともあったその中に知った人
を一人も持たない私もこういう 賑やかな景色の中に包まれて砂
の上に寝そべって見たり膝頭を 波に打たしてそこいらをはねま
わるのは愉快であった私は実に 先生をこの雑踏の間に見つけ出
したのであるその時海岸には掛 蛇屋が二軒あった私はふとした
弾みからその一軒の方に生きな れていた長谷辺に大きな別荘を
構えている人と違って明々に専 勇の着替え場をこしらえていない
ここいらの秘書客には是非とも こうした共同着替所といったふう
なものが必要なのであった彼ら はここで茶を飲みここで休息する
他にここで海水儀を洗濯させたり ここで潮はゆい体を清めたりここ
へ帽子や傘を預けたりするのである 海水儀を持たない私にも持物を
盗まれる恐れはあったので私は 海へ入る度にその茶屋へ一切を
脱ぎ捨てることにしていた
二
私がその掛茶屋で先生を見た時は 先生がちょうど着物を脱いでこれ
から海へ入ろうとするところであった 私はその時反対に濡れた体を風
に吹かして水から上って来た二人 の間には眼を遮さえぎる幾多の
黒い頭が動いていた特別の事情 の無い限り私はついに先生を見
逃したかも知れなかったそれほど 浜辺が混雑しそれほど私の頭が
飽満であったにもかかわらず私が すぐ先生を見つけ出したのは先生
が一人の西洋人を連れていたから であるその西洋人のすぐれて白い
皮膚の色が掛茶屋へ入るや否や すぐ私の注意をひいた純粋の日本
の浴衣を着ていた彼はそれを章 儀の上にすぽりと放り出したまま
腕組をして海の方を向いて立って いた彼は我々の白衣さるまと
ひとつの他何者も肌につけていなかった 私にはそれが第一不思議だった
私はその二日前に湯河浜まで行って 砂の上にしゃがみながら長い間
西洋人の海へ入る様子を眺めて いた私の尻をおろしたところは
少し小高い丘の上でそのすぐ脇 がホテルの裏口になっていたので
私のじっとしている間にだいぶ 多くの男が潮を浴びに出て来た
がいずれも胴とうでと桃は出して いなかった女は事さら肉を隠し
がちであったたいていは頭にゴム 製の頭巾をかぶって海老茶やコン
や藍の色を波間に浮かしていた そういう有様を目撃したばかり
の私の眼には猿又ひとつで済まして みんなの前に立っているこの西洋人
が如何にも珍しく見えた彼はや がて自分の脇をかえり見てそこに
こごんでいる日本人に一言二言 何か云ったその日本人は砂の上
に落ちた手ぬぐいを拾い上げている ところであったがそれを取り上げる
や否やすぐ頭を包んで海の方へ 歩き出したその人がすなわち先生
であった私は単に好奇心のために 並んで浜辺を降りて行く二人の
後姿を見守っていたすると彼ら は真っ直ぐに波の中に足を踏み
込んだそうして遠浅の磯ちかく にわいわい騒いでいる他人ずの
間を通り抜けて比較的広々した ところへ来ると二人とも泳ぎ出
した彼らの頭が小さく見えるまで 沖の方へ向いて行ったそれから
引き返してまた一直線に浜辺まで 戻って来た掛谷へ帰ると井戸の
水も浴びずにすぐ体を拭いて着物 を着てさっさとどこかへ行って
しまった彼らの出て行った後私は やはり元の将棋に腰を下して煙草
を吹かしていたその時私はぽかん としながら先生の事を考えたどう
もどこかで見た事のある顔のように 思われてならなかったしかしどう
してもいつどこで会った人か思い 出せずにしまったその時の私は
くったくがないというよりむしろ 無良に苦しんでいたそれであくる
日もまた先生に会った時刻を見 計らってわざわざ掛谷山で出かけ
て見たすると西洋人は来ないで 先生一人麦わら帽をかぶってやって
来た先生は眼鏡をとって台の上に 置いてすぐ手拭で頭を包んです
たすた浜を下りて行った先生が 昨日のように騒がしい浴格の中を
通り抜けて一人で泳ぎ出した時私は 急にその後が追いかけたくなった
私は浅い水を頭の上まで跳ねかして 相当の深さの所まで来てそこから
先生を目印に抜き出を切ったすると 先生は昨日と違って一種の弧線
を描いて妙な方向から岸の方へ 帰りはじめたそれで私の目的は
ついに達せられなかった私が丘 へ上って雫の垂れる手を振りながら
掛谷山に入ると先生はもうちゃん と着物を着て入れ違いに外へ出
⑤まとめ
お手軽AIツール、非常に有用です。 誰でもAIに触れられる状況が出来上がってきているような、、、 少なくともゴリゴリのプログラマーとか研究者ではなくても触って楽しめるのが普及期に入っているのではと思わされます。他にも様々なツールがありますし、更新もどんどんされているので偶に見ておくといろんなものがすぐに試せそうです。 StableDiffusion webuiもあったりするし、なんか詳しい人達が盛り上がっているComfyUIもあったりするので自分で試すときにこれを使ってやってみるのもありですね。 あと、今回うまく使えなかったTokenflowは別でJetsonにローカルでインストールするなどして動かしてみたいと思います。
コメント