TurboQuant Nedir?
TurboQuant, Google Araştırma ekibi tarafından geliştirilen ve büyük dil modelleri ile vektör arama motorları için önemli bir sıkıştırma algoritmasıdır. Bu algoritma, yüksek boyutlu vektörlerin hafızada kapladığı alanı azaltarak, verimliliği artırmayı hedefliyor. Vektörler, yapay zeka modellerinin bilgi işleme biçimidir ve bu modellerin performansı doğrudan vektörlerin boyutuna bağlıdır. Yani, büyük boyutlu vektörler güçlü olsa da, hafıza tüketimi sorunlarına yol açar.
TurboQuant Nasıl Çalışır?
TurboQuant, model boyutunu büyük ölçüde azaltırken doğruluk kaybı yaşamadan çalışır. Bu, iki aşamalı bir süreçle gerçekleştirilir:
Yüksek Kaliteli Sıkıştırma (PolarQuant Yöntemi): Bu aşamada, veri vektörleri rastgele döndürülerek verilerin geometrisi basitleştirilir. Bu sayede standart bir yüksek kaliteli quantizer (sıkıştırma aracı) uygulamak kolaylaşır.
Gizli Hataların Ortadan Kaldırılması: Bu aşamada, yalnızca 1 bitlik bir ekleme ile QJL algoritması kullanılarak hatalar düzeltilir. Bu, modelin dikkat puanlarını daha doğru hale getirir.
QJL ve PolarQuant: Yeni Yaklaşımlar
QJL: Sıfır Hafıza Aşımı, 1 Bitlik Hile
QJL, Johnson-Lindenstrauss dönüşümünü kullanarak karmaşık verileri küçültürken, veri noktaları arasındaki mesafeleri korur. Bu yöntem, hafıza aşımını sıfıra indirirken, yüksek hassasiyetli sorgular ile düşük hassasiyetli verileri dengeler. Sonuç olarak, modelin dikkat puanlarının hesaplanmasını doğru bir şekilde gerçekleştirir.
PolarQuant: Sıkıştırmada Yeni Bir Açı
PolarQuant, hafıza aşımını çözmek için tamamen farklı bir yaklaşım benimser. Verileri kutupsal koordinatlara dönüştürerek, geleneksel yöntemlerin gerektirdiği pahalı veri normalizasyonunu ortadan kaldırır. Bu, hafıza tüketimini önemli ölçüde azaltır.
Deneyler ve Sonuçlar
TurboQuant ve diğer iki algoritma, LongBench, Needle In A Haystack gibi standart uzun bağlam benchmark'ları üzerinde test edildi. Deneyler, TurboQuant'ın dikkat puanı distorsiyonu ve geri çağırma açısından en iyi sonuçları elde ettiğini göstermektedir. Özellikle, TurboQuant, anahtar-değer (KV) belleğini 6 kat daha küçük hale getirirken, modelin doğruluğunda herhangi bir kayıp yaşanmadan çalışmaktadır.
TurboQuant, 3 bitlik KV belleği sıkıştırmasını, eğitim veya ince ayar gerektirmeden gerçekleştirebilir. Bu, modelin performansını artırırken, uygulama süresinde de önemli bir hızlanma sağlar. Örneğin, 4 bitlik TurboQuant, 32 bitlik unquantize anahtarlar üzerinde %800'e kadar performans artışı sağlar.
TurboQuant, özellikle vektör arama gibi uygulamalar için idealdir ve dizin oluşturma sürecini büyük ölçüde hızlandırır. Bu da, Türkiye'deki geliştiricilerin ve araştırmacıların yapay zeka projelerinde verimliliği artırmak adına kullanabilecekleri bir araçtır.
