Mehmet Ali TOPRAK

500 gerçek GitHub issue’sundan oluşan en önemli benchmark. Unit testlerle doğrulanır.

⭐ EN ÖNEMLİ

Terminal’de CLI görevleri, dosya sistemi ve build süreçlerini ölçer. DevOps için kritik.

CLI / DEVOPS

C++, Go, Java, JS, Python, Rust dahil 6 programlama dilinde kod düzenleme yeteneği.

ÇOK DİLLİ

Sürekli güncellenen rekabetçi programlama soruları. Elo sistemi ile sıralanır.

KOMPETİTİF

Python fonksiyonlarını docstring’den üretme kapasitesini ölçen klasik benchmark.

KLASİK

İnsan değerlendirmecilerin kodlama tercihine dayalı Arena oylaması.

İNSAN TERCİHİ

S TIER

Neden 1. sırada? LM Arena Code Elo’da açık ara birinci (1497). Cursor ve Devin’in birincil tercihi. Uzun süreli otonom çalışmada ve gerçek GitHub sorunlarını çözmede rakipsiz.

S TIER

Neden 2. sırada? Aider Polyglot’ta (82.4%) rakipsiz — çok dilli proje üretiminde #1. Opus 4.6’ya kıyasla 5x daha ucuz, performans farkı sadece %1.2. En rasyonel seçim.

S TIER

Neden 3. sırada? Rekabetçi programlamada açık ara lider (LiveCodeBench 2887 Elo). 1M token bağlam penceresi tüm repo’yu sığdırır. SWE-bench’te Claude’a çok yakın, fiyat çok daha uygun.

S TIER

Neden 4. sırada? Açık kaynak SWE-bench #1 (80.2%). Closed-source modellere karşı da 4. sıra — çarpıcı başarı. Claude’un 1/10 fiyatına. MIT lisansı: self-host edilebilir.

A TIER

Değerlendirme: HumanEval’de neredeyse kusursuz (98.7%). OpenAI ekosistemi entegrasyonu güçlü. SWE-bench’te frontier tier’ın biraz gerisinde.

A TIER

Değerlendirme: Açık kaynak modeller arasında SWE-bench 2. sıra. Hallüsinasyon direnci yüksek. Z.ai platformunda $3/ay gibi son derece uygun fiyatla erişilebilir.

A TIER

Değerlendirme: HumanEval’de 99.0% ile tüm modelleri geçiyor. Vision yetenekleri Gemini seviyesi. Ancak hallüsinasyon riski yüksek ve ortalama 6x fazla token üretiyor.

A TIER

Değerlendirme: GPQA Diamond’da #1 (88.4%). UI screenshot’lardan kod yazabilme benzersiz. Apache 2.0 lisansı ticari kullanımı tamamen özgür kılar.

Otomatik tamamlama ve hızlı code review için ideal. High modunun ~%90 performansını çok daha düşük gecikme ile sunar. 1M token bağlam.

SWE-rebench’te Flash, Pro’yu geçti! En ucuz Gemini. Agent loop’larında hız kritikse en iyi seçenek.

256K bağlam + 32K output + system prompt uyumu mükemmel. Resmi benchmark yok.

ÜCRETSİZ

Matematik #1. Data science için değerli. Genel SWE performansı orta.

ÜCRETSİZ

Kilo IDE’ye özgü hafif model. Sadece basit tamamlama için.

ÜCRETSİZ

Gerçek dünya GitHub sorunları, büyük codebase, debugging

Claude Opus 4.6

Günlük geliştirme, çok dilli proje, maliyet kritik ortam

Claude Sonnet 4.6

LeetCode / Codeforces, algoritmik problemler, matematik

Gemini 3.1 Pro High

Self-host, maliyet minimizasyonu, kendi sunucusu

MiniMax M2.5

UI screenshot’tan kod, multimodal geliştirme

Kimi K2.5 / Qwen3.5+

Bütçe yok, deneme amaçlı, öğrenme ortamı

MiniMax M2.5 / Kimi K2.5