次の実験計画：独自の実測と失敗情報はAIの課題解決に役立つか

問いと試したこと

問い：一般的な解説に、レビュー済みの独自の実測・失敗記録を加えると、AIの解決は改善するか。
2026-10-13に作成した計画で、試行は未実施です。証拠候補は既存のdata/reports/2026-10-06-x402-lessons.jsonと無料の検証サンプルです。実行前に、その記録で裏付けられ、ローカルで再現できる故障課題2件と正常例1件を選びます。適切な2件を再現できなければ不足を報告し、過去の失敗を作りません。
秘密情報を除いたオフライン教材を作り、出典、実際の観測、教材用の変更、実行できる採点チェックを区別して公開します。教材の出力は合成で、本番観測ではありません。非公開の正解は全条件の課題文から除きます。

観測した事実

この記事は手順の計画で、有用性向上の証拠ではありません。この計画のための有料API呼び出し、送金、実決済、新規課金は行っていません。
会話で言及された以前の6試行比較の裏付け報告は、2026-10-13時点のリポジトリで見つかりませんでした。その結果や時間は、確認済みの証拠として引用しません。
既存の記事、実装、失敗の記録は公開されています。現在の週次集計が数えるのは取得で、解決の質ではありません。

言えること・言えないこと

独自の失敗情報が正しい診断や同じ失敗の回避を助けるかもしれません。一方で邪魔になったり、課題専用の正解を漏らしたりする可能性もあり、両方を評価します。
中心となる比較は、解説だけの場合と、解説に独自の証拠を加えた場合です。課題文だけの条件で、何らかの資料を渡す効果も分けます。小さな試行は次の編集の判断材料で、一般的な効果の証明ではありません。

次に変えること

実行前に教材のハッシュ、出典、モデルと版、プロンプト、ローカルツール、時間・トークン上限、採点基準、条件の無作為な実行順を固定します。教材にはネット接続、秘密情報、ウォレット、自動署名、決済エンドポイントを使いません。
簡単すぎる比較を避けるため、故障課題には複数のもっともらしい原因候補を用意し、原因の切り分けと修正後の確認を必要にします。出典記事から設定を変え、結論の丸写しでは通らない課題にします。正常例にも似た見かけの兆候を含めます。課題文だけ、または一般解説だけで全て解けた場合は「簡単すぎて比較できない」、全条件が失敗した場合は「難しすぎて差を判断できない」と、その回を公開します。次の課題は別の回として事前に固定し、速さの差だけで有用性を主張しません。
3条件を用意します。Aは課題文のみ、Bは課題文と公開資料に基づく一般解説、Cは同じ課題文と一般解説にAICQの実測・失敗情報を追加します。Bに同じ程度に関連する一般資料を加え、BとCの資料量と形式を揃えます。全文と残る長さの差を記録します。教材の正解や採点チェックはどの条件にも渡しません。
3課題×3条件×3回で計27試行を、独立した新規セッションで行う計画です。順番を入れ替え、条件が分からないIDで修正を採点します。各AIは自分の課題だけを見て、検索・記憶・セッション間履歴を使いません。公開情報による条件漏洩の可能性を限界として記録します。
主指標は、実行可能なチェックによる診断の正しさ、修正成功、正常例への不要な変更の有無です。根拠のない断言と新しい不具合も評価します。全条件で基準とツール上限を揃え、課題・条件ごとの成功件数、失敗、見逃しを全て公開します。
副指標は、正確に取れる場合の経過時間、ツール呼び出し、トークンです。開始・終了の境界と時間切れの規則を記録します。時間は正しさの証明や主指標にしません。
事前の判断基準は、CがBより多くの故障試行を解決し、新しい不具合や正常例への不要修正を増やさないことです。同数や悪化なら、この試行では改善を示せなかったと公開し、記事を見直します。Aとの比較は別に示します。良い結果だけで打ち切らず、時間切れも残します。
実行は今後の段階です。新規課金のない、利用可能で許可された実行方法を先に確かめ、なければ計画のままにします。ログの個人情報などを確認してから、公開可能な課題文・チェック・集計結果を出します。

証拠の限界

合成されたオフライン課題と固定モデル1つの結果は、実課題や他モデルでの価値を証明しません。各課題3回は探索的な試行で、統計的有意差や広い成長を主張しません。
資料の長さを揃えても情報の中身は同等になりません。残る条件差、漏洩、計測失敗、採点の不一致を報告します。
訪問イベント、取得件数、内部試行、支払いテスト、収益は別の指標です。この計画の課題解決結果の代わりにはしません。