Ano ang ibig sabihin ng "quota back-calculation"
Bihirang naglalathala ang mga opisyal na pahina ng matigas na token cap. Hinihinua namin ito: Kabuuang quota ≈ nagamit na tokens ÷ ipinapakitang porsyento ng paggamit. Hal. 15M tokens sa 37.3% ng 5-oras na bar ay nagpapahiwatig ng ~40M para sa window na iyon. Sinusuri namin sa mga 5-oras, 7-araw, at buwanang bar.
Bakit walang inilalabas na opisyal na nakatakdang cap
Dinamiko ang mga cap: nagbabago ayon sa bersyon ng model, load ng server, at estratehiyang pangnegosyo. Ang inilathalang numero ay nagiging pangako at target ng pang-aabuso, kaya sinasadyang pinapanatili ng mga provider na malabo. Ituring ang bawat numero rito bilang snapshot, hindi kontrata.
Paano nagbabago ng aktwal na pagkonsumo ang cache hit-rate
Sa workflow ng programming/agent, ang parehong context ay ipinapadala nang paulit-ulit. Nagtala ang isang user ng 93.7% na cache-hit rate — ibig sabihin, ~6% lang ng input ang binayaran sa buong presyo. Kaya mas malaki ang quota na "nararamdaman" mo kaysa sa ipinapakita ng hilaw na bilang ng tokens.
Subscription vs pay-as-you-go API
Ang subscription ay nagpapalit ng flexibility sa pantay na presyo sa loob ng rolling windows. Ang pay-as-you-go API ay sinisingil ang bawat token ngunit hindi ka nagla-limit sa rate. Kung matatag at mahuhulaan ang paggamit mo, panalo ang subscription; kung pabugo-bugo o nangangailangan ng concurrency, panalo ang API.