⚡ Pangkalahatang-ideya
Subinan namin ang tatlong frontier AI model sa isang matinding coding challenge: bumuo ng isang movie-quality na Three.js solar system simulator sa isang HTML file — lahat ng procedural textures, custom shaders, bloom post-processing, at interactive controls, walang external assets.
Parehong prompt, tatlong model, harap-harapan. Espesipikado ng prompt ang 15+ celestial bodies na may eksaktong pangangailangan sa shader (multi-layer FBM noise, vortex noise, cellular noise), 3 glow layers sa araw, Great Red Spot ng Jupiter na may spiral edges, Cassini division ng Saturn, city lights sa dark side ng Earth, at higit pa. Bawal ang shortcuts.
🤖 Mga model na sinusubukan
| Model | Tool | Gawain 1: Solar System | Gawain 2: City Renderer |
|---|---|---|---|
| GPT-5.6 Sol | Codex | 11 min | 11 + 33 min (2 rounds) |
| Kimi K3 | Kimi Code | 45 min | 3+ oras, inabandona ang round 2 |
| Qwen3.8Max | Direct | — | <10 min (2 rounds) |
Hindi ito formal benchmark — isang real-world stress test ng GitHub user na OBdangshang07. Parehong prompt, parehong inaasahan, sinusukat ang wall-clock time mula sa pagtawag ng tool hanggang sa kumpletong output. Hinuhusgahan ang kalidad ayon sa visual fidelity at pagkakumpleto ng code.
🌌 Gawain 1: Solar System Simulator
Hinihingi ng prompt ang isang cinematic-grade na solar system na may 15+ celestial bodies, na bawat isa ay nangangailangan ng custom ShaderMaterial na may multi-layer noise. Mga pangunahing pangangailangan:
- Araw: Dynamic plasma texture na may 3 glow layers, sunspots, solar wind particles
- Jupiter: Multi-layer stretched noise bands, Great Red Spot na may spiral edges, 3+ mas maliliit na vortices
- Saturn: Multi-layer translucent rings na may Cassini division, particle scatter sa pamamagitan ng shader
discard - Earth: Ocean specular highlights, city lights sa dark side, Fresnel atmosphere shell
- Mga buwan: 4 Galilean moons + 4 Saturnian moons, bawat isa na may natatanging procedural textures
Mga resulta
| Aspekto | GPT-5.6 Sol (11 min) | Kimi K3 (45 min) |
|---|---|---|
| Visual fidelity | ⭐⭐⭐⭐⭐ Magaling ang shaders, organiko ang itsura ng bands ng Jupiter | ⭐⭐⭐⭐ Maganda ngunit mas simpleng noise ang ilang bodies |
| Pagkakumpleto ng code | Lahat ng 15+ bodies, kasama ang lahat ng buwan | Lahat ng bodies nandoon, pinasimple ang ilang buwan |
| Interactivity | Maayos na orbit controls, info panels, time warp | Katulad na controls, medyo hindi pinakinis ang UI |
| Post-processing | Maganda ang tuning ng UnrealBloomPass | Mayroon bloom ngunit hindi gaanong pinakinis |
| Stability | Tuwid sa 60fps | Pansamantalang na-drop ang frames sa mas mababang GPUs |
🏙️ Gawain 2: City Renderer
Mas mahirap na hamon: bumuo ng real-time metropolitan renderer na may 50+ adjustable parameters, procedural infinite city, dynamic day/night cycle, atmospheric scattering, at magsiksikang 3D building clusters na may natatanging textures.
Mga resulta
| Model | Round 1 | Round 2 (Refinement) | Density ng gusali | Kalidad ng texture |
|---|---|---|---|---|
| Qwen3.8Max | <10 min | <10 min | ⭐⭐⭐⭐⭐ Siksik, sari-sari | ⭐⭐⭐⭐ Magandang procedural |
| GPT-5.6 Sol | 11 min | 33 min | ⭐⭐⭐⭐ Siksik | ⭐⭐⭐⭐⭐ Magaling ang detalye |
| Kimi K3 | 3+ oras | ❌ Inabandona | ⭐⭐⭐ Katamtaman | ⭐⭐⭐ Decent |
Umabot ng mahigit 3 oras ang Kimi K3 sa unang round at hindi natapos ang pangalawa. Ipinakita ng city renderer task ang kahinaan ng K3 sa paggawa ng kompleks, performance-sensitive na 3D code na may maraming interdependent systems (roads, traffic, lighting, building generation).
📊 Mga pangunahing natuklasan
🏎️ Bilis
Ang Qwen3.8Max ang hari ng bilis — kapwa rounds sa ilalim ng 10 minuto. Consistent ang GPT-5.6 Sol (~11 min kada gawain). 3-4x mas mabagal ang Kimi K3 sa kompleks na gawain.
🎨 Kalidad
Pinakamaganda ang visual quality ng GPT-5.6 Sol — mas pinakinis ang shaders, mas organiko ang noise layers, at mas mahusay na tuning ang post-processing. Ipinagpapalit ng Qwen3.8Max ang ilang visual polish para sa raw na bilis. Functional ngunit hindi gaanong cinematic ang output ng Kimi K3.
🔧 Reliability
Pinaka-reliable ang GPT-5.6 Sol — nakumpleto nang buo ang dalawang gawain. Mabilis ang Qwen3.8Max ngunit maaaring mangailangan ng refinement round. Maaaring ma-timeout ang Kimi K3 sa kompleks na multi-system tasks.
🎮 Mga live demo — subukan mo mismo
Narito ang mga aktwal na output mula sa bawat model. Buksan mo sa browser at ihambing ang visual quality, interactivity, at performance:
☀️ Solar System Simulator
| Model | Oras ng paggawa | Demo |
|---|---|---|
| GPT-5.6 Sol | 11 min | 🚀 Buksan ang demo → |
| Kimi K3 | 45 min | 🚀 Buksan ang demo → |
🌃 City Renderer
| Model | Oras ng paggawa | Demo |
|---|---|---|
| GPT-5.6 Sol | 11 + 33 min | 🚀 Buksan ang demo → |
| Kimi K3 | 3+ oras | 🚀 Buksan ang demo → |
| Qwen3.8Max | <10 min × 2 | 🚀 Buksan ang demo → |
🎯 Ano ang ibig sabihin nito para sa mga developer
- Kailangan mo ang pinakamagandang visual quality? → GPT-5.6 Sol (Codex). Pinakamagaling na shaders, pinaka-pinakinis na output.
- Kailangan mo ang bilis? → Qwen3.8Max. Napakabilis, sapat na kalidad para sa prototyping.
- Kompleks na multi-system na 3D? → Iwasan muna ang Kimi K3. Magaling ito sa mas simpleng gawain ngunit nahihirapan sa interconnected systems.
- Cost-sensitive? → Pinakamaganda ang time-to-quality ratio ng Qwen3.8Max.
Ang agwat sa pagitan ng mga model ay hindi lamang bilis — tungkol ito sa complexity ceiling. Kayang hawakan ng GPT-5.6 Sol ang mga prompt na may 15+ interdependent shader systems. Mabilis ang Qwen3.8Max ngunit maaaring mangailangan ng refinement passes. Mas mababa ang ceiling ng Kimi K3 sa kompleks na 3D tasks.
Para sa single-file HTML generation — ang lumalabas na "vibe coding" benchmark — sa ngayon nangunguna sa kalidad ang GPT-5.6 Sol, habang nangunguna naman sa throughput ang Qwen3.8Max. Piliin ayon sa priority mo.
📎 Source
Open source ang lahat ng code, prompts, at test results: github.com/OBdangshang07/AI_project
Isinagawa ang pagsubok ng GitHub user na OBdangshang07. Muling ginawa ang mga demo gamit ang orihinal na HTML output files.