「直しました」をそのまま信じないことにしました

Poglでは、作ったゲームを言葉で直します。「壁をもっと高く」「地形を山のように」といった依頼を送ると、AIがコードを直し、結果を返答で知らせます。

しばらくの間、コミュニティに似た投稿が何度も上がりました。直してほしいと頼んだのに、そのままだという投稿です。記録を開いてみると、本当にそうでした。AIは「直しました」と答えているのに、ゲームは変わっていないケースが少なくありませんでした。

原因は確認のしかたにありました。修正が終わったという根拠は、修正したAI自身の報告ひとつだけでした。作業したAIが、自分の作業が終わったかどうかを自分で判断していたのです。

まず、修正するAIが画面で直接確認するようにしました

最初に変えたのは、修正するAIの作業順序でした。依頼を項目に分け、項目ごとに、どの画面で何が見えれば直ったことになるのかを先に一行で書かせました。そのあとブラウザで問題を直接再現し、直したあとは同じ入力でもう一度確認します。コードを読んだだけで推測した原因が、よく外れていたからです。

同じ修正24件で試したところ、依頼が実際に反映された割合は67%から90%に上がりました。24件の試験なので、本番では別途測ることにしました。

完了したかどうかは別のモデルが判定するようにしました

自分で確認させても、やはり自己申告です。そこで、修正したAIとは別のモデルをもうひとつ置きました。この判定モデルは、依頼文、修正前の画面、修正後の画面、コードの変わった部分をあわせて見ます。クリエイターが「これみたいに」と添付した画像があれば、それも見ます。そして項目ごとに「完了」「未完了」「確認できず」のいずれかを出します。

「未完了」が出たら、その理由を伝えてもう一度直します。判定が出た修正は、返答も判定結果をもとに書きます。ただし、修正したAIはすべて終わったと言っているのに判定だけが「未完了」の場合は、失敗とは書かずに「確認できず」としてお見せします。判定も間違えることがあるからです。

判定も初日から間違えました

本番の初日から、誤った判定が出ました。最初に使った判定モデルが画面内の小さな文字を読み違え、すでに反映された修正を「未完了」と判断したのです。小さな文字をより正確に読めるモデルに替えました。

コードの変更を1万4千字で切って見せていたために、すでにある機能を見つけられなかったこともありました。見せる量を4万字に増やし、問いかけも「変わったか」から「依頼した方向に変わったか」に改めました。

翌日には、過去14日分の判定からサンプルを抜き出して見直しました。誤って出た「未完了」は、ほぼすべてが最初の画面一枚には映らない変更でした。メニューの奥にあるもの、スタートボタンを押さないと出てこないもの、数秒たたないと見えないものです。二つのまとまりで、それぞれ22件中19件、15件中13件がそうでした。そのため現在は、画面一枚だけを見て「未完了」とは判定しません。

入れて同じ日に外した機能もあります

「確認できず」が出た修正も、もう一度回せば良くなるだろうと考えました。入れてみると、本番の最初の一時間で44件中32件が再実行され、修正一回にかかる作業量が普段の二倍近くに増えました。試験でも品質が良くなる様子は見られませんでした。誤った「完了」は判定の段階ですでに取り除かれていたため、同じ日に外しました。

いまは「完了」の割合を見守っています

直近一時間に判定が出た修正のうち、「完了」の割合を常に見ています。20件以上たまった状態でこの値が二回続けて90%を下回ると、通知が届きます。すでに残っている判定記録を数えるだけなので、追加で回すものはありません。最初に測った値は98%でした。

本番の修正129件を同じ判定でもう一度回してみた点検では、「完了」と「未完了」に分かれた94件のうち87件が「完了」でした。まだ解決できていないのは、「確認できず」になった19件です。「写真とまったく同じに」「本物みたいに」のように好みが関わる依頼では、判定結果がまだ安定しません。そこで、判定が見る画面を、スタートボタンを押す前、プレイに入ったあと、10秒たったあとの三枚に増やしているところです。

おわりに

• 作業したAIの「全部できました」は、完了の根拠として使いません。自分で確認させることも役に立ちましたが、完了したかどうかは、作業していないモデルが前後の画面を比べて判定する必要がありました。
• 判定が間違ったときは、判定モデルの性能より先に、私たちが見せた資料が十分だったかを確認します。誤って出た「未完了」の大半は、画面一枚や途中で切れたコードのように、判定から見えないところに変更があったケースでした。
• 安全装置を加えるときも、効果を測ってから残します。再実行は修正の作業量を二倍近くに増やしましたが、結果は良くなりませんでした。