SALOMI: Düşük Bitli Kuantizasyon Araştırması

SALOMI Nedir?

SALOMI, düşük bitli dönüştürücü kuantizasyonu (transformer quantization) üzerine odaklanmış bir araştırma deposudur. Bu depo, binary (ikilik) veya yakın-binary ağırlık temsillerinin, gerçekçi değerlendirmeler altında üçlü (ternary) temel değerlerine yaklaşma veya aşma kapasitesini sorgulamaktadır. Bu bağlamda, SALOMI, yalnızca bir komutla çalıştırılabilen bir ürün paketi değil, bir araştırma çalışma alanı olarak ele alınmalıdır.

Depodaki İçerikler

SALOMI, aşağıdaki bileşenleri içermektedir:

onebit/: Kuantizasyon, çalışma zamanı çıkarımı, değerlendirme, çekirdekler ve ilgili araçlar için paket.
tests/: Doğrulama ve deneyler için geniş bir test ağacı.
docs/: Araştırma yazımları.
onebit/research/paper/: Tarihsel belge tarzında materyaller.

Kurulum ve Kullanım

SALOMI'yi kurmak için şu adımları takip edebilirsiniz:

Sanal ortam oluşturma:

python -m venv .venv
.venv\Scripts\activate

Bağımlılıkları yükleyin:
```
pip install -r requirements.txt
```
Testleri çalıştırın:
```
pytest
```

Önemli Not: pyopencl isteğe bağlıdır, yalnızca OpenCL arka ucunu keşfetmek istiyorsanız gereklidir. Ayrıca, bazı araştırma skriptleri Hugging Face model veri indirmelerini bekleyebilir ve makinenizin durumuna bağlı olarak ek ortam ayarları veya kimlik bilgileri gerektirebilir.

Araştırmanın Sonuçları

SALOMI'deki en önemli genel sonuçlar şunlardır:

Katı 1.00 bpp (bit per pixel) sonrası binary kuantizasyon, titiz değerlendirmeler altında güçlü bir GPT-2 sınıfı dil modelleme çözümü olarak geçerliliğini yitirmektedir.
Bu depodaki daha güvenilir pratik sonuçlar, Hessian rehberliğindeki VQ, karışık hassasiyet veya büyüklük kurtarma yöntemleri kullanılarak ~1.2-1.35 bpp civarında toplanmaktadır.

Okuma Sırası

SALOMI ile ilgili en iyi bilgi edinme sırası:

docs/HONEST_ASSESSMENT.md
docs/PROJECT_ANALYSIS_SUMMARY.md
docs/REPOSITORY_GUIDE.md

Daha fazla bilgi için bu belgeleri okuyarak başlayabilirsiniz. Tarihsel makale taslaklarından ziyade, düzenlenmiş belgeleri ve doğrulanmış test yollarını önceliklendirin.