AIに作らせているアフィリエイトサイトで、部品ごとに書いた検査はすべて通っていました。ところが、本物と同じ順に部品をつないで1本だけ通してみると、不良が3つ出てきます。しかも、どれも部品だけを見れば、正しく動いているものばかりです。AIにものを作らせている人ほど、同じところで足をすくわれると思うので、何が起きていたのかを順に書きます。
部品ごとの検査は、全部通っていた
サイトは、いくつかの部品に分けて作っています。記事を組み立てる部品、記事の下に広告の枠を差し込む部品、公開する前に中身を確かめて止める関門、SNSへの投稿文を作る部品といった具合です。部品ごとに検査を書き、AIが直すたびに全部を回して、すべて通ることを確かめていました。ここまでは、できているものだと思っていたのです。
本物と同じ順に、1本だけ通してみた
そこで、外のサービスにつなぐ鍵が一つも無い状態でも、本物と同じ順に部品を通して、サイトの実物を組み立てるコマンドを作りました。材料には実際の商品データを使い、できあがったページをそのままブラウザで開きます。期待した結果にならなければ、その場で失敗として止まる作りです。
これを走らせると、それまで全部通っていた部品から不良が3つ出てきました。部品をつないだときに初めて起きる食い違いは、部品ごとの検査からは見えないのです。
自分の売り場へのリンクまで、広告として止められていた
一つ目は、広告の枠です。関門には、広告のリンクには決められた印を付けること、という検査があります。ところが枠には自分の販売ページへのリンクも入っていて、自分の持ち物なのに、広告の検査に引っかかります。設定を全部埋めた瞬間に、すべての記事が関門で止まり、1本も出せなくなるところだったのです。
決まり文句が本文に数えられ、空の記事が検査を抜けていた
二つ目は、本文の量を見る検査です。関門には、人が書いた本文の文がある程度そろっていなければ出さない、という決まりを入れています。ところが、広告の枠に入る決まり文句まで本文の文として数えられていました。そのせいで、本文が空のままでも、文の数の検査を通り抜けてしまうのです。止めたいものを止めていない検査は、無いより悪いかもしれません。
カテゴリ名の「・」で、ハッシュタグが途中で切れていた
三つ目は、SNSへの投稿文です。新しい記事を出すと、カテゴリ名をハッシュタグにして投稿する作りにしています。ところがカテゴリ名のおよそ4分の1に「・」や「/」が入っていて、ハッシュタグがそこで切れてしまいます。前半だけがタグになり、残りはただの文字として後ろにくっつくのです。投稿文を作る部品だけを見ていると、正しい文字列を返しているので気づけませんでした。
説明に書いた機能が、まだ無かった
同じ日に、販売ページに書いた説明も、いまのコードと一つずつ突き合わせました。すると、作るより先に書いた文言が、実際の機能と食い違っています。たとえば「インストール不要」と書いていたのに、実際には別の道具を入れないと動かなかったのです。それ以来、点検の項目に、説明に書いた機能がいまのコードに本当にあるかを足しています。
出口まで通す検査を、最初に作っておく
部品ごとの検査が確かめているのは、その部品が約束どおりに動くかどうかだけです。部品どうしをつないだときの食い違いや、読む人の前に出てくるものの正しさは、出口まで通さないと見えません。AIは部品を直すのが速いぶん、部品の検査が全部通った状態がすぐに作れてしまいます。だからこそ、本物と同じ順に1本通す検査を、いちばん最初に用意しておくほうが安全だと思います。
AIに作らせているものを、どこで1本通して確かめていますか。
コメント