Giriş
Bu yazıda, AMD’nin Ryzen™ AI Max+ AI PC platformunu kullanarak küçük ölçekli bir dağıtık çıkarım kümesi kurma adımlarını ve bir trilyon parametreli büyük dil modeli olan Kimi K2.5'i çalıştırmayı detaylandırıyoruz. Dört düğümlü bir Framework Desktop sistemi ile dağıtık yerel çıkarım gerçekleştireceğiz. Kimi K2.5, Moonshot AI’nin en gelişmiş açık akıl yürütme modeli olarak yazılım mühendisliği görevlerinde ve çok modlu girdi analizi yapabilme yeteneği ile dikkat çekiyor.
Kurulum Detayları
Sistem Yapılandırması: 4x Framework Desktop - AMD Ryzen™ AI Max+ 395 - 128GB
Çıkarım Motoru: Ubuntu 24.04.3 LTS
Model: Kimi-K2.5 (UD_Q2_K_XL) (375GB)
Ağ Bağlantısı: 5Gbps üzerinden Ethernet
Teknik Kurulum
Her Ryzen AI Max+ sistemi için şu adımları takip etmeliyiz:
1. Genişletilmiş VRAM Tahsisi
BIOS'ta iGPU Bellek Boyutunu 512MB olarak ayarlayın. Framework Desktop Ryzen AI Max+ 395 128GB yapılandırması için, her düğümde tahsis edilebilecek maksimum bellek 96GB’dır. Ancak, Linux'ta Çeviri Tablosu Yöneticisi (TTM) kernel parametresi kullanarak bu değeri 120GB'a çıkarabiliriz. Bu ayarları yapmak için terminalde şu komutları girmemiz gerekecek:
sudo nano /etc/default/grub
Aşağıdaki satırı bulun ve şu parametreleri ekleyin:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash ttm.pages_limit=30720000 amdgpu.gttsize=120000"
Değişiklikleri kaydedin ve çıkın. Ardından şu komutları çalıştırın:
sudo update-grub
sudo reboot
2. Kurulum Seçenekleri
Opsiyon 1: Önerilen Kurulum (Lemonade SDK)
Kolay bir kurulum için Lemonade SDK'nın önceden derlenmiş ikili dosyalarını kullanmanızı öneriyoruz. Bu projeden, AMD ROCm™ 7 hızlandırması içeren llama.cpp'nın en son sürümlerini indirebilirsiniz. İndirilen dosyayı çıkartıp dizine geçtikten sonra şu komutları çalıştırın:
chmod +x llama-cli llama-server rpc-server
Opsiyon 2: Manuel Kurulum (Kaynak Derleme)
ROCm 7.0.2'yi kurmak için öncelikle kernel sürümünüzün sistem gereksinimleri ile uyumlu olduğundan emin olun. Bunun için şu komutları sırasıyla çalıştırın:
wget
sudo apt install ./amdgpu-install_7.0.2.70002-1_all.deb
sudo apt update
sudo apt install python3-setuptools python3-wheel
sudo usermod -a -G render,video $LOGNAME
sudo apt install rocm
Kurulumdan sonra ayarları uygulamak için sistemi yeniden başlatın.
3. Çıkarım Tarifi
RPC Uç Noktalarını Başlatma
Dört makinemizi tek bir koordineli çıkarım çalışma zamanı olarak ele almak için llama.cpp RPC motorunu kullanıyoruz. RPC, bir llama.cpp örneğinin modelin parçalarını uzaktaki işçilere aktararak tek bir yürütme grafiği sürdürmesine olanak tanır.
Her makine, yerel GPU belleğini ve işlem kaynaklarını kontrolöre açan hafif RPC sunucuları çalıştırır. Model yüklendikten sonra çıkarım, sanki tek bir büyük hızlandırıcı üzerinde çalışıyormuş gibi devam eder.
Ağ topolojisini oluşturmak için, Host makinemizden (Makine 1) RPC uç noktalarını şu şekilde oluşturmalıyız:
./rpc-server -p 50053 -c --host 0.0.0.0
Yukarıdaki komut, makinelerin belirli bir port üzerinden RPC sunucusunu yayınlamasını sağlar.
Sonuç
Bu adımları takip ederek, AMD Ryzen AI Max+ platformunda trilyon parametreli bir LLM'yi başarıyla çalıştırabilirsiniz. Yerel çıkarım için gereken sistem yapılandırması ve yazılım ayarları, yüksek performanslı AI uygulamaları için önemli bir temel sunar.
