⚡ 概要

3 つのフロンティアモデルで、かなりスパルタなコーディングチャレンジを回した。HTML ファイル 1 本で、シネマティック品質の Three.js 太陽系シミュレーターを生成させる——プロシージャル・テクスチャ、カスタムシェーダー、ブルームのポスト処理、インタラクティブな操作、すべてを外部アセットゼロで詰め込む。

🎯 チャレンジの内容
同じプロンプト、3 つのモデル、ガチの対決。プロンプトには 15 以上の天体ごとのシェーダー要件(多層 FBM ノイズ、渦ノイズ、セルラーノイズ)、太陽の 3 層グロー、木星の大赤斑のらせん状の縁、土星のカッシーニの隙間、地球の夜側の都市光などが明確に指定してある。手抜きは一切許さない。

🤖 テストしたモデル

モデルツールタスク 1:太陽系タスク 2:都市レンダラー
GPT-5.6 SolCodex11 分11 分 + 33 分(2 ラウンド)
Kimi K3Kimi Code45 分3 時間以上、第 2 ラウンドは放棄
Qwen3.8Max直接呼び出し10 分未満(2 ラウンド)
⚠️ テスト方法について
これは正式なベンチマークではない。GitHub ユーザーの OBdangshang07 による実環境のストレステストだ。同じプロンプト、同じ期待値で、ツールの呼び出しから完全な出力が得られるまでの実時間を計測した。品質はビジュアルの忠実度とコードの完全性で判定している。

🌌 タスク 1:太陽系シミュレーター

プロンプトが求めたのは、15 以上の天体を持つシネマティック品質の太陽系で、それぞれにカスタム ShaderMaterial と多層ノイズを要求する。主な要件は以下の通り。

  • 太陽:ダイナミックなプラズマテクスチャ + 3 層グロー + 黒点 + 太陽風パーティクル
  • 木星:多層の引き伸ばされたノイズ縞、らせん状の縁を持つ大赤斑、3 個以上の小規模な渦
  • 土星:多層の半透明リング + カッシーニの隙間 + シェーダーの discard によるパーティクル散乱
  • 地球:海面の鏡面ハイライト、夜側の都市光、フレネル大気シェル
  • 衛星:ガリレオ衛星 4 個 + 土星の衛星 4 個、それぞれに固有のプロシージャル・テクスチャ

結果

評価軸GPT-5.6 Sol(11 分)Kimi K3(45 分)
ビジュアル品質⭐⭐⭐⭐⭐ シェーダーが優秀、木星の縞が有機的⭐⭐⭐⭐ 悪くないが、一部の天体でノイズが単純
コードの完全性15 以上の天体すべてを網羅、衛星も完備天体は揃っているが、一部の衛星が簡略化
インタラクティブ性滑らかなオービット操作、情報パネル、タイムワープ操作系は同等、UI の作り込みはやや劣る
ポスト処理UnrealBloomPass の調整が良好ブルームはあるが、洗練度に欠ける
安定性60fps で安定ローエンド GPU で時折フレームドロップ

🏙️ タスク 2:都市レンダラー

さらに難易度が上がる。50 以上の調整可能なパラメータを持つリアルタイムのメトロポリタンレンダラーを生成させる——プロシージャルの無限都市、ダイナミックな昼夜サイクル、大気散乱、それぞれテクスチャの異なる高密度な 3D 建物群。

結果

モデル第 1 ラウンド第 2 ラウンド(精製)建物の密度テクスチャ品質
Qwen3.8Max10 分未満10 分未満⭐⭐⭐⭐⭐ 高密度かつ多様⭐⭐⭐⭐ プロシージャルとしては良好
GPT-5.6 Sol11 分33 分⭐⭐⭐⭐ 高密度⭐⭐⭐⭐⭐ ディテールが優秀
Kimi K33 時間以上❌ 放棄⭐⭐⭐ 中程度⭐⭐⭐ まずまず
🚨 Kimi K3 が失速
Kimi K3 は第 1 ラウンドに 3 時間以上を費やし、第 2 ラウンドは完了できなかった。この都市レンダラータスクは、道路・交通・ライティング・建物生成といった多くの相互依存システムを抱える、性能敏感な 3D コードを生成する際の K3 の弱点を浮き彫りにした。

📊 主要な発見

🏎️ 速度

Qwen3.8Max が速度の王者——2 ラウンド合計でも 10 分未満。GPT-5.6 Sol はタスクあたり ~11 分で安定。Kimi K3 は複雑なタスクで 3〜4 倍遅くなる。

🎨 品質

GPT-5.6 Sol が最も高いビジュアル品質を示した——シェーダーはより洗練され、ノイズ層はより有機的で、ポスト処理の調整も上出来。Qwen3.8Max はビジュアルの磨きを速度とトレードしている。Kimi K3 の出力は機能するが、シネマティックとは言い難い。

🔧 信頼性

GPT-5.6 Sol が最も信頼できる——両タスクを完全に完走した。Qwen3.8Max は速いが、精製ラウンドが必要になることがある。Kimi K3 は複雑なマルチシステムタスクでタイムアウトするリスクがある。

🎮 ライブデモ——実際に触ってみる

以下は各モデルの実際の出力だ。ブラウザで開いて、ビジュアル品質・インタラクティブ性・パフォーマンスを自分の目で比べてみてほしい。

☀️ 太陽系シミュレーター

モデル生成時間デモ
GPT-5.6 Sol11 分🚀 デモを起動 →
Kimi K345 分🚀 デモを起動 →

🌃 都市レンダラー

モデル生成時間デモ
GPT-5.6 Sol11 + 33 分🚀 デモを起動 →
Kimi K33 時間以上🚀 デモを起動 →
Qwen3.8Max10 分未満 × 2🚀 デモを起動 →

🎯 開発者への示唆

💡 モデル選択ガイド
  • 最高のビジュアル品質が欲しい?→ GPT-5.6 Sol(Codex)。シェーダーが最も良く、出力の仕上がりが最も洗練されている。
  • 速度が欲しい?→ Qwen3.8Max。爆速で、プロトタイピング品質としては十分。
  • 複雑なマルチシステム 3D?→ 今のところ Kimi K3 は避ける。単純なタスクでは優秀だが、相互接続されたシステムには弱い。
  • コストを気にする?→ Qwen3.8Max が時間あたりの品質で最も優位。

モデル間の差は速度だけではない——複雑さの天井(シーリング)の差だ。GPT-5.6 Sol は 15 以上の相互依存するシェーダーシステムを含むプロンプトをこなせる。Qwen3.8Max は速いが、精製パスが必要になることがある。Kimi K3 は複雑な 3D タスクでは天井が低い。

単一 HTML ファイルの生成——いま台頭しつつある "vibe coding" のベンチマーク——において、GPT-5.6 Sol は品質で現時点トップQwen3.8Max はスループットでトップだ。優先順位に合わせて選ぼう。

📎 ソース

すべてのコード、プロンプト、テスト結果はオープンソース:github.com/OBdangshang07/AI_project

テストは GitHub ユーザーの OBdangshang07 が実施。デモはオリジナルの HTML 出力ファイルをそのまま再現している。