Kesimpulan Inti
Token turun 27,1%, Tool Calls turun 55%, F1 naik dari 0,844 menjadi 0,946.
Pada 4 tugas lokalisasi kode di basis kode Django, kami membandingkan performa Kimi K3 murni dengan Kimi K3 setelah dipasangi claude-context MCP. Hasilnya menunjukkan bahwa dukungan kemampuan retrieval semantik secara signifikan meningkatkan efisiensi dan akurasi retrieval kode.
01 · Pengujian Kimi K3
Kami memilih basis kode Django dan merancang 4 tugas lokalisasi kode untuk menguji kemampuan retrieval murni dari model Kimi K3. Setiap tugas mengharuskan model menemukan lokasi implementasi fungsi tertentu di dalam basis kode.
Performa Kimi K3 murni:
| Metrik | Rata-rata |
|---|---|
| Konsumsi Token | 125.147 |
| Tool Calls | 4,2 |
| F1 Score | 0,844 |
02 · Optimasi dengan Retrieval Semantik
Setelah memasang claude-context MCP, Kimi K3 bisa lebih dulu menemukan fragmen kode yang relevan secara presisi melalui retrieval semantik, lalu melakukan pembacaan yang terarah — sehingga efisiensi meningkat drastis.
| Metrik | Pure Kimi K3 | Kimi K3 + claude-context | Perubahan |
|---|---|---|---|
| Rata-rata Token | 125.147 | 91.174 | ↓ 27,1% |
| Rata-rata Tool Calls | 4,2 | 1,9 | ↓ 55% |
| F1 Score | 0,844 | 0,946 | ↑ 12,1% |
Selisih terbesar muncul pada tugas datetime_year_bounds_timezone:
Token turun dari 143.684 menjadi 59.375, penurunan -58,7%. Tugas ini menyangkut logika mendalam penanganan zona waktu Django; model murni perlu melakukan banyak traversal, sementara retrieval semantik bisa langsung tembus sasaran dalam satu langkah.
03 · Panduan Pemasangan
1. Siapkan konfigurasi Milvus / Zilliz
claude-context memakai basis data vektor untuk menyimpan indeks semantik kode. Mendukung Milvus lokal maupun Zilliz Cloud.
~/.context/.env. Memakai Zilliz Cloud memungkinkan Anda melewatkan deployment lokal.
2. Konfigurasi .kimi-code/mcp.json
Buat berkas .kimi-code/mcp.json di root proyek, lalu tulis konfigurasi berikut:
{
"mcpServers": {
"claude-context": {
"command": "bash",
"args": [
"-lc",
"set -a; source ~/.context/.env; set +a; export CUSTOM_EXTENSIONS=.py,.js,.ts,.tsx,.go,.java; export CUSTOM_IGNORE_PATTERNS=node_modules/**,.git/**,dist/**,build/**,*.png,*.jpg,*.jpeg,*.gif,*.svg; npx -y @zilliz/claude-context-mcp@latest"
],
"startupTimeoutMs": 60000,
"toolTimeoutMs": 600000
}
}
}
3. Jalankan Kimi Code untuk membangun indeks
Setelah Kimi Code dijalankan, claude-context MCP akan otomatis membangun indeks semantik untuk basis kode Anda. Waktu pengindeksan pertama bergantung pada ukuran basis kode, sementara kueri berikutnya bisa kembali dalam hitungan detik.
04 · Kesimpulan
- Pure Kimi Code: untuk skenario berupa fungsi kecil, satu berkas, atau target yang sudah jelas — bisa langsung dipakai tanpa konfigurasi tambahan.
- Kimi K3 + claude-context: untuk basis kode besar, lokalisasi lintas modul, atau skenario yang menuntut pemahaman hubungan semantik — efeknya sangat terasa setelah dipasang.
Kemampuan retrieval semantik dari claude-context menutupi kekurangan model murni yang cenderung "mencari buta" di basis kode besar, menurunkan konsumsi token dan tool calls ke tingkat yang wajar, sekaligus meningkatkan akurasi lokalisasi. Untuk skenario pengembangan berbantuan AI pada basis kode tingkat enterprise, ini adalah arah optimasi yang sepadan untuk ditanam investasinya.
Sumber
- 📄 Artikel asli akun resmi WeChat: https://mp.weixin.qq.com/s/Av3Du22F0lTwBK-OVWgFCQ
- 💻 GitHub claude-context: https://github.com/zilliztech/claude-context