AIモデル予測精度ランキング。基準値「いつも"上"」が60.4%（動いた日1226件中の上昇割合）と出ている。通算ランキングは採点済み1594件で、 #1 Gemini Flash 542件 50.9% -9.5pt、#2 GPT (Mid Tier) 513件 48.0% -12.5pt、 #3 Claude Sonnet 539件 43.2% -17.3pt。vs いつも"上" の列は3行とも赤字。 — Fig.01 🔴 **3モデルとも基準値に負けている。** それを自分で赤く出している。⭐ 採点済 542+513+539 = **1594** で申告と一致し、引き算（50.9−60.4＝−9.5）も画面どおりだった。

ページ: 70本; 予測33・日次15ほか
拾えた予測: 206件; 確率分布つき
分布の合計: 206 / 206; ⭐ すべて100
採点済: 1,594件; 3モデルの合計と一致

何ができるか

Claude・GPT・Gemini に完全同一のプロンプト・同一の市場データ・同一の時刻でドル円・日経平均・S&P500 の方向を毎日予測させ、結果を機械採点する公開ベンチマークです。ページは70本あります。

予測は毎日3市場ぶんで、こういう形で出ます。

予測方向（上昇／下落／横ばい／予測不能）
確信度（0〜100%の自己申告。80以上で外すと過信ペナルティ）
確率分布（上昇・横ばい・下落それぞれの起こりやすさ。合計100）
横ばい判定の閾値（±0.40% など）と、翌営業日／1週間の2つの期間

🔴 数字が内側で揃っているかを数えました。 70ページから206件の予測を拾って、こう確かめています。

確率分布の合計が100 … 206 / 206 確信度が0〜100%の範囲 … 206 / 206 最大の確率と予測方向が一致 … 154 / 154（ほかに予測不能52件）

⭐ 1件も食い違いませんでした。

⭐ いちばん良いのは、基準値を先に置いていることです。

相場は長期的に上がりやすいため、中身を一切見ず毎日「上がる」と言うだけでも動いた日の 60% が当たります。 AIがこの線を超えて初めて「相場を読めている」と言えます。

🔴 その基準値は 60.4%。3モデルの成績はこうです。

Gemini Flash 50.9%（−9.5pt）
GPT (Mid Tier) 48.0%（−12.5pt）
Claude Sonnet 43.2%（−17.3pt）

★ 3モデルとも負けています。 それを自分の画面に赤字で出しています。

トップページの本日のAI予測一覧。日経平均・S&P500・ドル円の3市場について、 Claude Sonnet・Gemini Flash・GPT (Mid Tier) の予測方向（上昇／下落／横ばい／予測不能）と確信度、上昇・横ばい・下落の確率分布が並ぶ。横ばい判定の閾値（±0.40%）とホライズン（翌営業日＋1週間）も出ている。 — Fig.02 ★ **確率分布まで出す。** 「↑70／→15／↓15」のように3つの数字が並ぶ。🔴 サイト全体で**206件**拾って、**合計が100でないものは0件**だった。

プロンプト公開のページ。各AIモデルへ渡している指示文が掲載されており、同一条件で比較していることを確かめられるようになっている。 — Fig.03 ⭐ **渡している指示文まで公開している。** 「完全同一プロンプト」という主張を、読む側が確かめられる形にしてある。

実際に当てた

照らしたもの	結果	中身
ページ	70 / 70	sitemap の全URLが 200 で返った
確率分布の合計	206 / 206	⭐ 上昇＋横ばい＋下落が、206件すべてで100
確信度の範囲	206 / 206	すべて0〜100%に収まっていた
方向と分布の整合	154 / 154	⭐ 最大の確率と予測方向が食い違う例は0件（ほかに予測不能52件）
採点済の合計	1,594	⭐ 542＋513＋539。画面の「採点済み1594件」と一致
基準値との差	3 / 3	50.9−60.4＝−9.5pt など、引き算が画面どおり
キャリブレーションの件数	1,298	262＋535＋501。画面の申告と一致
採点済との差	296件	⚠️ ランキング1594とキャリブレーション1298の差。理由は書かれていない
プロンプトの公開	あり	⭐ 各モデルへ渡す指示文が読める
強調の印の漏れ	0 / 70	アスタリスク2つが画面に出ているページは無かった

🔴 2026-09-07。70ページを全部開き、予測の確率分布とランキングの数字をサイトの中だけで突き合わせた。⚠️ 予測が当たるかどうか、相場データそのものの正しさは当てていない。

上下当て率（動いた日）と基準値

いつも"上"（基準） 60.4%
Gemini Flash 50.9%
GPT (Mid Tier) 48.0%
Claude Sonnet 43.2%

🔴 基準値（毎日"上"と言うだけ）が60.4%。 3モデルとも下回っている。★ 相場は長期的に上がりやすいので、何も考えずに「上がる」と言うだけで動いた日の6割が当たる。⭐ その線を先に置いたのが、この benchmark の骨。

向いている人・向いていない人

向いている人

AIの予測がどのくらい当たるのかを、数字で見たい人。 ⭐ 基準値を先に置いてから比べています。 「毎日"上"と言うだけ」の線を引き、それを超えて初めて腕があると定義する。この置き方が誠実です。🔴 3モデルとも基準値に負けていることを、自分で赤く出しています。自社のベンチマークで都合の悪い結果を隠していません。★ 確率分布と確信度まで出します。 「上昇70／横ばい15／下落15」のように、どのくらい自信があるかが読めます。⭐ キャリブレーション分析があります。確信度80%と言った予測が本当に 80%当たるのかを、確信度のビン別に並べています。🅿️ プロンプトを公開しています。 同一条件だという主張を確かめられます。🅿️ 採点方法・データ源・公平性のページが分かれています。

向いていない人

⚠️ 投資の役には立ちません。 サイト自身が繰り返し断っています。「投資助言・売買推奨ではなく、AIモデルの予測精度を検証する目的の公開Arenaです」。★ そもそも3モデルとも基準値に負けているので、予測を真似する対象ではありません。⚠️ こちらは当否を評価していません。 確かめたのは確率分布の合計やランキングの引き算といった内側の整合だけで、★ 市場データそのものや、採点の正しさは当てていません。 ⚠️ 件数が2つの見方で違います。 ランキングは「採点済み1594件」、キャリブレーションは「1298件採点済」で、 296件の差の理由は書かれていません。 ⚠️ 対象は3市場・3モデルだけです。 ドル円・日経平均・S&P500 と、 Claude Sonnet・Gemini Flash・GPT (Mid Tier)。★ 上位のモデルは入っていません。

触ってみて気づいたこと

⭐ このサイトの骨は「基準値」です。

予測の当たり外れを測るとき、いちばん多い誤りは「50%より上だから当たっている」と考えることです。ところが相場は長期的に上がりやすいので、 何も考えず毎日「上がる」と言うだけで6割当たります。

Shinden はその線を先に引きます。

基準値：「いつも"上"」と言うだけの戦略 60.4% （動いた日 1226 件中の上昇割合）

🔴 そして3モデルの成績を、この線からの差で出します。 Gemini Flash −9.5pt、GPT −12.5pt、Claude Sonnet −17.3pt。 ★ 全部マイナスで、画面でも赤く出ています。

🔴 数字を検算しました。 採点済は 542＋513＋539 ＝ 1594 で、画面の「採点済み1594件」と一致。引き算も 50.9−60.4 ＝ −9.5 で画面どおり。キャリブレーションの件数も 262＋535＋501 ＝ 1298 で申告どおりでした。

⭐ 確率分布は206件すべてで揃っていました。 「↑70／→15／↓15」のような3つ組を70ページから拾って合計すると、 206件とも100。予測方向がいちばん高い確率と食い違う例も0件でした。

★ コミット率の関係も筋が通っています。 Gemini は88%の予測で上下を言い切り、そのうち動いた日が375件。 542×0.88＝477 に対して 375 なので、動いた日は約79%。 GPT は約77%、Claude は約74%。⭐ 3モデルで近い値になるので、「動いた日」の定義がモデルによって変わっていないと分かります。

⚠️ 説明が無いところが1つあります。 ランキングの「採点済み1594件」と、キャリブレーションの「1298件採点済」で 296件ずれます。確信度が記録されていない予測が除かれていると考えれば自然ですが、🔴 そう書かれてはいません。

⚠️ こちらが評価していないことのほうが多い掲載です。 予測が当たるかどうかも、日経平均62,833.84のような相場データの正しさも、採点の実装が正しいかも当てていません。 ★ 数えられるもの——確率の合計、件数の足し算、引き算——だけを見ています。

確認の記録

いつ、何を見て書いたかを残しています。確認していないことは書きません。

2026年9月7日
★ サイト自身が全ページで「投資助言・売買推奨ではなく、AIモデルの予測精度を検証する目的の公開Arenaです」と断っている。
2026年9月7日
⚠️ 予測が当たるかどうかは評価していない。日経平均・S&P500・ドル円の相場データそのものも、採点の実装も一次情報に当てていない。
2026年9月7日
70ページの本文を機械で読み、強調の印（アスタリスク2つ）が画面にそのまま出ているページは0本だった。
2026年9月7日
★ コミット率と「動いた日」の関係を見た。542×0.88 に対し n=375（約79%）、 513×0.75 に対し n=298（約77%）、539×0.33 に対し n=132（約74%）。 3モデルで近い値なので、定義がモデルごとに変わってはいない。
2026年9月7日
⚠️ ランキングの「採点済み1594件」とキャリブレーションの「1298件」で 296件の差があるが、理由はどこにも書かれていない。確信度の記録が無い予測が除かれていると考えれば自然だが、こちらでは確かめられなかった。
2026年9月7日
キャリブレーションのモデル別件数 262＋535＋501 ＝ 1298 で、画面の「1298件採点済」と一致した。
2026年9月7日
🔴 ランキングを検算した。採点済 542＋513＋539 ＝ 1594 で画面の申告と一致。「vs いつも"上"」も 50.9−60.4＝−9.5pt など画面どおりだった。
2026年9月7日
⭐ 予測方向が確率分布の最大と食い違う例は0件（154件が一致、ほかに「予測不能」が52件）。
2026年9月7日
🔴 70ページを全部開き、確率分布つきの予測を206件拾った。上昇＋横ばい＋下落の合計が100でないものは0件、確信度が0〜100%の範囲外のものも0件だった。
2026年9月7日
sitemap の 70 URL の内訳を数えた。予測33・日次15・対戦4・市場3・モデル3のほか、ランキング・キャリブレーション・プロンプト・用語集・採点方法・公平性・データ源・免責など。