僕が運営している競艇予想サイト「穴熊」で、有料会員になる割合（CVR）を人が介在せずに改善し続けるループを作った。毎週、クラウド上の AI が「どちらの見せ方が良いか」を判定し、良い方を実装して本番に反映する。一晩で動くところまで持っていけた。
なぜ作ったか
きっかけは、サイトの計測がまったく動いていないと気づいたこと。ボタンをどこに置けば会員が増えるかを、勘で決めるしかない状態だった。どうせ計測を直すなら、「仮説→検証→採用」まで自動で回したい。僕の時間を使わずにサイトが勝手に良くなる形にした。
やったこと
- 計測を直した。表示・クリック・課金の3つを記録し、訪問者を半分ずつ2つの見せ方に振り分ける（A/B テスト）
- 毎週動く AI を置いた。Claude の「ルーティン」（決まった時間にクラウドで動く AI）が結果を読み、勝った方を実装して送ってくる
- 本番に入れる前の検査を作った。AI の変更が「触ってよいファイルの一覧」に収まっているかを機械で確かめ、外れていれば取り込まずメールで知らせる
決めたこと
一番の分岐は「人の承認を挟むか」だった。挟めば安全だが、一人で複数の事業を回している以上、週1回の「読んで承認する」工程は必ず止まる。だから承認を外し、代わりに AI が触れる範囲をコードで縛った。人の判断を外すなら、判断の代わりになる検査を機械に持たせる。この交換が設計の軸だ。
つまずいた点
最後のレビューで致命的な穴が2つ出た。
- 課金の記録に「どちらの見せ方を見た人か」が載っておらず、新しい案の課金がいつもゼロと集計される。良い案ほど早く「悪化した」と判定されて止められてしまう
- 検査が「触ってはいけないファイルの一覧」方式だったため、思いつかなかった穴が残っていた。「触ってよい一覧」方式に変えた
どちらも本番に入る前に直せた。作る AI より、見直す AI に強いモデルを当てるほうが費用対効果が高かった。
わかったこと
- 「計測が動いている」は前提ではなく、確認する項目
- 無人で動かす安全弁は「許可リスト」で書く。禁止リストには必ず抜けが残る
- 訪問者が少ないサイトでは、差がはっきりするまで数週間かかる。ループだけでは足りず、人を呼び込む施策とセットで意味を持つ
次にやること
初回の自動実行のあと、週報・取り込み・メールが一周するかを確かめる。人を呼ぶ施策（SNS・検索）もループの仮説に入れてある。