diffusersでプロンプトの重みが効かないまま絵を作っていた話

印刷用PDF(A4・全13ページ)は無料です

年間1枚(A4横・六曜つき):月曜始まり/日曜始まり

生まれ年を選んで、自分の星の動く日を光らせる ↓
diffusersのプロンプト重みが効かず原因を調べ直した AI副業実録

AIから返ってきた報告の画面には、こう書かれていました。「全部の道具を探して確かめました。括弧と数字も、ただの文字として渡っていました。」

続けて、もう一文ありました。「「重みを1.6に上げても出ない」といった記録は、実際には「その文字を書いても出なかった」という意味です。」

私は1か月以上、人物の絵をひとコマずつ作る道具に向かって、強めたい言葉を「(語:1.5)」のように括弧と数字で囲んで書いてきました。昼は会社員をしていて、コードは書けません。その道具はClaudeというAIが作ってくれたもので、Pythonの「diffusers」という部品の上で動いています。

ただの文字だった括弧と数字

画像を作る人たちの間では、強めたい語を「(語:1.5)」のように書くやり方がよく使われています。AUTOMATIC1111やComfyUIといった有名な道具では、こう書けばその言葉が重みとして効きます。私も同じように、指示の文のあちこちにその書き方を入れていました。

思ったように出ない所があると、数字を上げて書き直してきました。手元の記録には、重みを1.6まで上げても出ない、と残した所もあります。

前の月には、指示の文が長すぎると後ろが黙って切り捨てられる問題が見つかり、AIが文を区切って全部読ませる部品を作って直していました。だから言葉は全部届いていると思っていました。

きっかけは、ある朝のことでした。この道具の使い方を手順書にまとめて、点検をOpenAIのCodexという別のAIに頼みました。

返ってきた指摘の中に、括弧と数字で重みを書くように手順書には書いてあるのに、それを処理する作りが無い、というものがありました。普通のdiffusersに文字のまま渡すだけでは重みにならない、とも書かれていました。確かさの欄には、確実とありました。

私が使っていた長い文を読ませる部品も、重みは読んでいませんでした。diffusersは、この書き方をそのままでは重みにしない仕組みでした。

全て進めて、私が指示した

Claudeは報告のあと、「重みを読む処理を足せば狙いどおりに効くようになるかもしれません。ただし、今までの絵の出方も変わります。」と書いてきました。今のまま続けるか、試しに比べてから入れるかを決めてほしい、と聞いてきました。

そのとき、ほかにも私の返事を待って止まっていた作業がいくつもありました。しばらくして、私は「全て進めて、私が指示した」と返しました。止まっていたほかの作業の分もまとめての返事でした。

AIは、有名な道具と同じ読み方で重みを読む処理を、私の道具の中に足しました。重みを読むか読まないかは切り替えられるようにして、最初は読まない側にしてありました。読まない側では、直す前と数がひとつも変わらないことをAIが確かめました。

それから、同じ種(シード)を使って、重みを読まない版と読む版を並べて、4枚の絵を作って比べました。

重みを読む版と読まない版の4枚

比べてみたAIの報告は、「絵は大きく変わります。」という一文から始まっていました。

ひとりの人物を描いた絵では、重みを読まない版では出ていなかった顔の向きが、読む版では指示のとおりに出ました。ふたりの人物を描いた絵では、読む版で指示した手の動きは出ましたが、顔が別の人に寄ってしまいました。

これまで指示の文の重みは、効いていないまま何度も書き足してきたので、大きな値ばかりになっていました。それをそのまま効かせると、人物の顔を覚えさせた学習(LoRA)よりも強く出てしまいます。

もし本番に入れるなら、値を小さく丸めて、顔の見本から確かめ直す手順になる。AIはそう書いて、「この判断はお任せします。」で報告を終えました。

本番の道具は、重みを読まないまま続けました。私はこの件に、それ以上の返事をしていません。

次の月の初め、絵の土台にしている画像のAIを別のものに替えました。新しい土台で重みを読む側に切り替えると、人物の目の色が崩れました。今も、重みは読まないまま絵を作っています。

あわせて読む

鑑定
生年月日から2027年の吉方位カレンダーを作ります
365日分の吉方位と毎日の過ごし方。待受12枚つき
有料ツール
命式・鑑定書作成ツール(四柱推命・算命学・九星気学)
流派切り替えに対応。A4・6ページの鑑定書も自動で作れます
不動産投資の収支シミュレーター(Excel)
10物件の比較・60年の収支・売却・融資資料・申告まで
ライフプラン表(Excel)
家族6人・100歳まで、将来のお金を年ごとに見える化
ROOMネタ帳(楽天ROOM)
ジャンルを入れるだけ。商品選び・紹介文・NG表現チェックまで
動画リサーチ帳(Windows・Mac)
キーワードを入れるだけで動画の再生回数と登録者数が表になるリサーチツール
スタンプ仕上げ(Windows・Mac)
透過・切り分け・白フチ・規格チェック。APIキー不要
仕上げスタジオ
漫画の写植から書き出しまで、ブラウザだけで
AI副業実録
satoruをフォローする

コメント

タイトルとURLをコピーしました