7月、自作のデザイン用手順書「design-forge」は「手順書なし」に負けていた（88対92）。改修後にもう一度戦わせたら、96対77まで逆転した。ただしその日のうちに「測定が追いついていない」という指摘も受けた。
なぜやったか
手順書を改修するたびに機能は増えていたが、それが実際に成果物の質を上げているのか、直近では確かめていなかった。架空の陶芸工房向けサービスを題材に、改修後のバージョンとスキルなしを比べ直すことにした。
やったこと
- 架空のプロダクトを題材に、スキルなし条件と改修後の手順書を使った条件、2つのサブエージェントに並行してサイトを作らせた
- 完成物を匿名化し、別のAIにブラインドで100点満点の採点をさせた
- 結果は、スキルなしが77点、改修後の手順書が96点。19点差での逆転だった
- 同日、改修中の手順書について「どう思うか」とAIに率直な意見を求めた
決めたこと
逆転の要因は、AIっぽい定型表現（生成り色+明朝体+テラコッタ色の組み合わせなど）を避け、題材固有の要素を2つ発明したことにあると分析した。一方で課題も残った。採点基準が自作の手順書由来のものなので、手順書側に有利なバイアスがかかっている。生成コストも改修後の手順書のほうが1.5倍かかっていた。
率直な意見を求めたところ、「作り込みの質は高いが、チェックツールへの投資に改修が偏っていて、それが実際に効いているかの測定が追いついていない」という診断が返ってきた。7月の敗北以降、チェック機能への投資は積み上がったが、それが最終的な点数を上げた証拠は乏しく、次に必要なのはコードを触ることより実測を重ねることだ、という指摘だった。
わかったこと
- 改修は「効いた」ように見えても、採点基準や題材が変われば結果も変わる。1回の比較だけで「勝った」と断言しないほうがよい
- ツールを育てるほど、機能を増やすこと自体が目的化しやすい。効果測定を後回しにしていないか、定期的に立ち止まって確認する必要がある
後日行った4条件（自作・公式・他社製・手順書なし）の比較テストでは、自作の手順書は2位という結果だった（詳しくは/journal/design-skill-ab-test）。
次にやること
指摘を受けて、コードを増やす前に同条件のA/Bテストをもう1本走らせ、実測データを積み増す。