⚡ Yhteenveto
Testasimme kolmea eturintaman tekoälymallia armottomassa koodaushaasteessa: laatia elokuvatason Three.js-aurinkokuntasimulaattori yhteen HTML-tiedostoon — kaikki proseduraaliset tekstuurit, omat varjostimet, bloom-jälkikäsittely ja interaktiiviset säätimet, ei yhtään ulkoista resurssia.
Sama kehotte, kolme mallia, kasvotusten. Kehote määritti 15+ taivaankappaletta tarkkoine varjostinvaatimuksineen (monikerroksinen FBM-kohina, pyörrekohina, solukohina), auringon 3 hehvykerrosta, Jupiterin Suuren Punaisen Läiskän spiraalireunat, Saturnuksen Cassinin jaon, Maan pimeän puolen kaupunkivalot ja paljon muuta. Oikoteitä ei sallittu.
🤖 Testatut mallit
| Malli | Työkalu | Tehtävä 1: Aurinkokunta | Tehtävä 2: Kaupunkirenderöinti |
|---|---|---|---|
| GPT-5.6 Sol | Codex | 11 min | 11 + 33 min (kaksi kierrosta) |
| Kimi K3 | Kimi Code | 45 min | 3+ tuntia, toinen kierros keskeytettiin |
| Qwen3.8Max | Suora kutsu | — | <10 min (kaksi kierrosta) |
Tämä ei ole muodollinen vertailu — se on tosielämän stressitesti, jonka teki GitHub-käyttäjä OBdangshang07. Sama kehotte, samat odotukset, mitattu seinäkeluaika työkalun kutsusta valmiiseen tulosteeseen. Laatu arvioitiin visuaalisen uskottavuuden ja koodin täydellisyyden perusteella.
🌌 Tehtävä 1: Aurinkokuntasimulaattori
Kehote vaati elokuvatason aurinkokunnan, jossa on 15+ taivaankappaletta, joista jokainen vaatii omavaraisen ShaderMaterial-materiaalin monikerroksisella kohinalla. Keskeiset vaatimukset:
- Aurinko: Dynaaminen plasmatekstuuri, 3 hehvykerrosta, auringonpilkut, aurinkotuulihiukkaset
- Jupiter: Monikerroksiset venytetyt kohinajuovat, Suuri Punainen Läiskä spiraalireunoineen, 3+ pientä pyörrettä
- Saturnus: Monikerroksiset läpikuultavat renkaat ja Cassinin jako, hiukkashajonta varjostimen
discard-komennolla - Maa: Valtamerten peilivaloheijastukset, pimeän puolen kaupunkivalot, Fresnel-ilmakehäkuori
- Kuut: 4 Galilein kuuta + 4 Saturnuksen kuuta, kullakin oma proseduraalinen tekstuurinsa
Tulokset
| Ominaisuus | GPT-5.6 Sol (11 min) | Kimi K3 (45 min) |
|---|---|---|
| Visuaalinen uskottavuus | ⭐⭐⭐⭐⭐ Erinomaiset varjostimet, Jupiterin juovat näyttävät orgaanisilta | ⭐⭐⭐⭐ Hyvä, mutta osa kappaleista käyttää yksinkertaisempaa kohinaa |
| Koodin täydellisyys | Kaikki 15+ kappaletta, kaikki kuut mukana | Kaikki kappaleet läsnä, osa kuista yksinkertaistettu |
| Interaktiivisuus | Pehmeät kiertoratasäätimet, tietopaneelit, aikahyppy | Samankaltaiset säätimet, hieman vähemmän hiottu käyttöliittymä |
| Jälkikäsittely | UnrealBloomPass hyvin viritetty | Bloom läsnä, mutta vähemmän hiottu |
| Vakaus | Vakaa 60 fps | Joitakin kehysputoituksia heikommilla GPU:illa |
🏙️ Tehtävä 2: Kaupunkirenderöijä
Vaikeampi haaste: tuottaa reaaliaikainen metropolirenderöijä, jossa on 50+ säädettävää parametria, proseduraalinen ääretön kaupunki, dynaaminen päivä/yö-sykli, ilmakehän siroaminen ja tiheitä 3D-rakennusklustereita, joilla on omat tekstuurinsa.
Tulokset
| Malli | Kierros 1 | Kierros 2 (hiominen) | Rakennustiheys | Tekstuurilaatu |
|---|---|---|---|---|
| Qwen3.8Max | <10 min | <10 min | ⭐⭐⭐⭐⭐ Tiheä, vaihteleva | ⭐⭐⭐⭐ Hyvä proseduraalinen |
| GPT-5.6 Sol | 11 min | 33 min | ⭐⭐⭐⭐ Tiheä | ⭐⭐⭐⭐⭐ Erinomaiset yksityiskohdat |
| Kimi K3 | 3+ tuntia | ❌ Keskeytetty | ⭐⭐⭐ Kohtalainen | ⭐⭐⭐ Kelvollinen |
Kimi K3 käytti ensimmäisessä kierroksessa yli 3 tuntia eikä saanut toista valmiiksi. Kaupunkirenderöintitehtävä paljasti K3:n heikkouden sellaisen koodin tuottamisessa, joka on monimutkaista ja suorituskykyherkkää, ja jossa on useita toisistaan riippuvaisia järjestelmiä (tiet, liikenne, valaistus, rakennusten tuotto).
📊 Keskeiset havainnot
🏎️ Nopeus
Qwen3.8Max on nopeuskuningas — molemmat kierrokset alle 10 minuutissa yhteensä. GPT-5.6 Sol on tasainen (~11 min per tehtävä). Kimi K3 on 3–4 kertaa hitaampi monimutkaisissa tehtävissä.
🎨 Laatu
GPT-5.6 Sol tuottaa parhaan visuaalisen laadun — sen varjostimet ovat hiomattuja, kohinakerrokset orgaanisempia ja jälkikäsittely paremmin viritettyä. Qwen3.8Max vaihtaa hieman visuaalista kiiltoa raakanopeuteen. Kimi K3:n tuloste on toimiva mutta vähemmän elokuvamainen.
🔧 Luotettavuus
GPT-5.6 Sol on luotettavin — se suoritti molemmat tehtävät kokonaan. Qwen3.8Max on nopea mutta saattaa tarvita hiomiskierroksen. Kimi K3 voi aikakatkaista monimutkaisissa monijärjestelmätehtävissä.
🎮 Live-demo — kokeile itse
Alla on kunkin mallin todelliset tulosteet. Avaa ne selaimessa ja vertaa visuaalista laatua, interaktiivisuutta ja suorituskykyä:
☀️ Aurinkokuntasimulaattori
| Malli | Tuottoaika | Demo |
|---|---|---|
| GPT-5.6 Sol | 11 min | 🚀 Avaa demo → |
| Kimi K3 | 45 min | 🚀 Avaa demo → |
🌃 Kaupunkirenderöijä
| Malli | Tuottoaika | Demo |
|---|---|---|
| GPT-5.6 Sol | 11 + 33 min | 🚀 Avaa demo → |
| Kimi K3 | 3+ tuntia | 🚀 Avaa demo → |
| Qwen3.8Max | <10 min × 2 | 🚀 Avaa demo → |
🎯 Mitä tämä merkitsee kehittäjille
- Tarvitset parhaan visuaalisen laadun? → GPT-5.6 Sol (Codex). Parhaat varjostimet, hiomatuin tuloste.
- Tarvitset nopeutta? → Qwen3.8Max. Tulipalo nopea, riittävä laatu prototyyppiin.
- Monimutkainen monijärjestelmä-3D? → Vältä Kimi K3:ta toistaiseksi. Se loistaa yksinkertaisemmissa tehtävissä mutta kamppailee toisiinsa kytkeytyvissä järjestelmissä.
- Hintaherkkä? → Qwen3.8Max tarjoaa parhaan aika-laatu -suhteen.
Mallien välinen kuilu ei ole pelkkä nopeus — se koskee monimutkaisuuskattoa. GPT-5.6 Sel pystyy käsittelemään kehotteet, joissa on 15+ toisistaan riippuvaista varjostinjärjestelmää. Qwen3.8Max on nopea mutta saattaa tarvita hiomiskierroksia. Kimi K3:lla on matalampi katto monimutkaisissa 3D-tehtävissä.
Yksittäisen HTML-tiedoston tuotannossa — tämä nouseva "vibe coding" -benchmark — GPT-5.6 Sol johtaa tällä hetkellä laatua, kun taas Qwen3.8Max johtaa läpimenoa. Valitse prioriteettisi mukaan.
📎 Lähde
Kaikki koodi, kehotteet ja testitulokset ovat avointa lähdekoodia: github.com/OBdangshang07/AI_project
Testin suoritti GitHub-käyttäjä OBdangshang07. Demot on jälleenluotu alkuperäisillä HTML-tulostetiedostoilla.