Databricks'te AI ile Yazılım Geliştirme
Databricks, yazılım geliştirme süreçlerini hızlandırmak amacıyla yapay zekayı (AI) agresif bir şekilde benimsemekte. Son bir yıl içinde, kod yazma için modeller ve araçların yelpazesi hızla genişledi. Bu değişim, geliştiricilere daha fazla seçenek sunarken, hangi kodlama ajanlarının gerçek dünya görevlerinde en iyi performansı sağladığını anlamayı kritik hale getiriyor.
İç Benchmarking Sonuçları
Databricks, mühendislerin gerçekleştirdiği gerçek kodlama görevleri üzerinden bir iç benchmark oluşturdu. Bu benchmark, Python, Go, TypeScript ve Scala gibi popüler dillerle yazılmış, milyonlarca satırlık bir kod tabanında yapılan düzenlemeleri içeriyor. Önemli bulgular şunlardı:
Pareto Sınırı: Kodlama görevleri için en iyi kaliteyi en uygun maliyetle sunan modeller arasında OpenAI, Anthropic ve açık kaynak seçenekleri bulunuyor. Bu durum, bugünün en iyi performansını sunan araçların bir karışımını gerektiriyor.
Açık Modeller: GLM 5.2, yüksek zorluk seviyesindeki görevleri bile başarıyla yönetebiliyor. Bu, geliştiriciler için günlük bir model olma potansiyeli taşıyor.
Token Maliyeti: Modelin token fiyatı, görevlerin toplam maliyetini doğru yansıtmayabiliyor. Daha büyük modeller, token etkinliğini artırabilir ve toplam maliyetleri düşürebilir.
Harnes Etkisi: Bir modelin çağrıldığı araç, maliyet ve kalite üzerinde büyük bir etkiye sahip. Basit araçlar, daha iyi sonuçlar verebilir.
Kapasite Grupları
Sonuçlar, modellerin üç ana kapasite grubuna ayrıldığını gösterdi. En üst düzey performansa sahip en zeki modeller, her türlü sorunu çözmede etkili, fakat maliyetleri yüksek. Orta ve düşük zeka seviyesine sahip modeller, yaygın görevlerde oldukça etkili ve genellikle daha ucuz. Mühendislerin günlük işlerinde, karmaşıklığı düşük olan görevler için daha az maliyetli modellerin kullanılması gerektiği vurgulandı.
GLM 5.2'nin Yükselişi
GLM 5.2, kalite açısından Opus 4.8 ile karşılaştırıldığında en üst kapasite grubunda yer alıyor ve görev başına maliyeti $1.28. Bu modelin kullanıcı geri bildirimleri, günlük geliştirme süreçlerinde etkinliğini kanıtlıyor.
Maliyet Analizi: Görev Başına vs Token Başına
Geliştiriciler, bir modelin maliyetini belirlerken sıklıkla token maliyetlerine bakıyor. Ancak, bu yaklaşım genellikle yanıltıcı olabiliyor. Örneğin, Sonnet 5'in token maliyeti Opus 4.8'den %1.7 daha ucuz olsa da, Sonnet'in görev başına maliyeti $2.09, Opus'un maliyeti ise $1.94. Bu durum, token verimliliğinin her modelde farklılık gösterdiğini ortaya koyuyor.
Araçların Etkisi
Aynı modeli farklı araçlarla çalıştırdığımızda, maliyetlerin %2'den fazla farklılık gösterdiğini gözlemledik. Örneğin, Claude Code/Codex ve Pi araçları arasında, görev başına maliyet farklılıkları ortaya çıkabiliyor. Önemli olan, her aracın modele sağladığı bağlamın miktarıdır. Pi, bağlamı daha iyi yöneterek görevleri daha az çalıştırma ile tamamlıyor.
Neden Kendi Benchmark'ınızı Oluşturmalısınız?
Halka açık benchmarklar, bazı soruları yanıtlamakta yetersiz kalıyor. Özellikle, görevlerin kamuya açık olması, çözümlerin zamanla eğitim verilerine sızmasına neden oluyor. Ayrıca, Databricks'in kod tabanı 10'dan fazla dil içeriyor ve bu da genel sonuçların temsil yeteneğini zayıflatıyor.
Benchmark Nasıl Oluşturuldu?
Benchmark oluşturmak için, mühendislerin kodlama etkileşimlerinin loglarını yakalamak amacıyla Unity AI Gateway kullanıldı. Bu, mühendislerin gerçekleştirdiği görevlerin karmaşıklığını analiz etmemizi sağladı. Görevlerin %25'i düşük, %60'ı ise orta karmaşıklıkta olarak sınıflandırıldı. Bu süreç, yüksek kaliteli testlerin bulunduğu PR'lar ile sınırlı tutuldu. Sonuç olarak, mühendislik süreçlerini daha verimli hale getirmek için büyük bir fırsat belirdi.
