⚡ Gambaran Umum
Kami menguji tiga model AI frontier pada tantangan coding yang brutal: menghasilkan simulator tata surya Three.js bernuansa sinematik dalam satu berkas HTML tunggal — seluruh tekstur prosedural, shader kustom, post-processing bloom, dan kontrol interaktif, tanpa aset eksternal sama sekali.
Prompt yang sama, tiga model, adu langsung. Prompt tersebut mensyaratkan 15+ benda langit dengan kebutuhan shader yang presisi (noise FBM multi-lapis, noise vortex, noise cellular), 3 lapis glow pada matahari, Bintik Merah Besar Jupiter dengan tepi spiral, pembagi Cassini pada Saturnus, lampu kota di sisi gelap Bumi, dan lain-lain. Tidak boleh ada jalan pintas.
🤖 Model yang Diuji
| Model | Alat | Tugas 1: Tata Surya | Tugas 2: Renderer Kota |
|---|---|---|---|
| GPT-5.6 Sol | Codex | 11 menit | 11 + 33 menit (dua ronde) |
| Kimi K3 | Kimi Code | 45 menit | 3 jam+, ronde kedua ditinggalkan |
| Qwen3.8Max | Langsung | — | <10 menit (dua ronde) |
Ini bukan benchmark formal — melainkan stress test dunia nyata oleh pengguna GitHub OBdangshang07. Prompt yang sama, ekspektasi yang sama, mengukur waktu dinding dari pemanggilan alat sampai output lengkap. Kualitas dinilai dari ketepatan visual dan kelengkapan kode.
🌌 Tugas 1: Simulator Tata Surya
Prompt menuntut tata surya bernuansa sinematik dengan 15+ benda langit, masing-masing memerlukan ShaderMaterial kustom dengan noise multi-lapis. Kebutuhan inti:
- Matahari: Tekstur plasma dinamis + 3 lapis glow + bintik matahari + partikel angin matahari
- Jupiter: Pita noise terburai multi-lapis, Bintik Merah Besar dengan tepi spiral, 3+ vortex kecil
- Saturnus: Cincin semi-transparan multi-lapis + pembagi Cassini + partikel terhambur via
discardshader - Bumi: Kilau spekulasi samudra, lampu kota di sisi gelap, selubung atmosfer Fresnel
- Bulan: 4 bulan Galilean + 4 bulan Saturnus, masing-masing dengan tekstur prosedural unik
Hasil
| Aspek | GPT-5.6 Sol (11 menit) | Kimi K3 (45 menit) |
|---|---|---|
| Ketepatan visual | ⭐⭐⭐⭐⭐ Shader luar biasa, pita Jupiter terlihat organik | ⭐⭐⭐⭐ Bagus, tetapi beberapa benda memakai noise lebih sederhana |
| Kelengkapan kode | Seluruh 15+ benda, semua bulan termasuk | Semua benda ada, sebagian bulan disederhanakan |
| Interaktivitas | Kontrol orbit mulus, panel info, time warp | Kontrol serupa, UI sedikit kurang halus |
| Post-processing | UnrealBloomPass terkalibrasi dengan baik | Bloom ada tetapi kurang halus |
| Stabilitas | Stabil di 60fps | Kadang drop frame di GPU lebih rendah |
🏙️ Tugas 2: Renderer Kota
Tantangan lebih sulit: menghasilkan renderer metropolitan real-time dengan 50+ parameter yang dapat diatur, kota tak terbatas prosedural, siklus siang-malam dinamis, scattering atmosfer, dan klaster bangunan 3D padat dengan tekstur unik pada masing-masing.
Hasil
| Model | Ronde 1 | Ronde 2 (Penyempurnaan) | Kepadatan Bangunan | Kualitas Tekstur |
|---|---|---|---|---|
| Qwen3.8Max | <10 menit | <10 menit | ⭐⭐⭐⭐⭐ Padat, bervariasi | ⭐⭐⭐⭐ Procedural bagus |
| GPT-5.6 Sol | 11 menit | 33 menit | ⭐⭐⭐⭐ Padat | ⭐⭐⭐⭐⭐ Detail luar biasa |
| Kimi K3 | 3 jam+ | ❌ Ditinggalkan | ⭐⭐⭐ Sedang | ⭐⭐⭐ Layak |
Kimi K3 butuh lebih dari 3 jam untuk ronde pertama dan tidak bisa menyelesaikan ronde kedua. Tugas renderer kota ini menyingkap kelemahan K3 dalam menghasilkan kode 3D kompleks dan sensitif performa dengan banyak sistem yang saling bergantung (jalan, lalu lintas, pencahayaan, pembangkitan bangunan).
📊 Temuan Utama
🏎️ Kecepatan
Qwen3.8Max adalah raja kecepatan — kedua ronde total di bawah 10 menit. GPT-5.6 Sol konsisten (~11 menit per tugas). Kimi K3 lebih lambat 3-4 kali pada tugas kompleks.
🎨 Kualitas
GPT-5.6 Sol menghasilkan kualitas visual terbaik — shader-nya lebih halus, lapisan noise lebih organik, dan post-processing lebih terkalibrasi. Qwen3.8Max menukar sebagian polesan visual demi kecepatan mentah. Output Kimi K3 berfungsi tetapi kurang sinematik.
🔧 Keandalan
GPT-5.6 Sol paling andal — menyelesaikan kedua tugas secara penuh. Qwen3.8Max cepat tetapi mungkin butuh ronde penyempurnaan. Kimi K3 bisa habis waktu pada tugas multi-sistem yang kompleks.
🎮 Demo Langsung — Coba Sendiri
Berikut adalah output aktual dari masing-masing model. Buka di browser Anda dan bandingkan kualitas visual, interaktivitas, dan performa:
☀️ Simulator Tata Surya
| Model | Waktu Pembuatan | Demo |
|---|---|---|
| GPT-5.6 Sol | 11 menit | 🚀 Buka Demo → |
| Kimi K3 | 45 menit | 🚀 Buka Demo → |
🌃 Renderer Kota
| Model | Waktu Pembuatan | Demo |
|---|---|---|
| GPT-5.6 Sol | 11 + 33 menit | 🚀 Buka Demo → |
| Kimi K3 | 3 jam+ | 🚀 Buka Demo → |
| Qwen3.8Max | <10 menit × 2 | 🚀 Buka Demo → |
🎯 Apa Artinya bagi Developer
- Butuh kualitas visual terbaik? → GPT-5.6 Sol (Codex). Shader terbaik, output paling halus.
- Butuh kecepatan? → Qwen3.8Max. Sangat cepat, kualitas yang cukup untuk prototipe.
- 3D multi-sistem kompleks? → Hindari Kimi K3 untuk saat ini. Unggul pada tugas lebih sederhana tetapi kesulitan dengan sistem yang saling terhubung.
- Sensitif biaya? → Qwen3.8Max memberi rasio waktu-terhadap-kualitas terbaik.
Celah antar-model bukan hanya soal kecepatan — melainkan soal plafon kompleksitas. GPT-5.6 Sol mampu menangani prompt dengan 15+ sistem shader yang saling bergantung. Qwen3.8Max cepat tetapi mungkin butuh ronde penyempurnaan. Kimi K3 punya plafon lebih rendah pada tugas 3D kompleks.
Untuk pembuatan HTML berkas tunggal — benchmark "vibe coding" yang sedang naik daun — GPT-5.6 Sol saat ini memimpin dalam kualitas, sementara Qwen3.8Max memimpin dalam throughput. Pilih sesuai prioritas Anda.
📎 Sumber
Seluruh kode, prompt, dan hasil pengujian bersifat open source: github.com/OBdangshang07/AI_project
Pengujian dilakukan oleh pengguna GitHub OBdangshang07. Demo direproduksi dengan berkas output HTML asli.