Nvidia’nın RTX 30 serisi grafik kartları, oyun performanslarının yanı sıra yapay zekâ alanındaki uygulamalarda yeniden popüler hale gelebilir. Açık kaynaklı yeni bir proje, Ampere mimarisine sahip bazı GeForce modellerinde uygulanan hesaplama sınırlamalarını kaldırarak FP16 ve BF16 performansını önemli ölçüde artırıyor.
RTX 30 serisinde yüzde 80’e kadar artış
Zagita adlı proje, özellikle RTX 30 serisinin profesyonel modellere kıyasla kısıtlı olan hesaplama kapasitesini ortaya çıkarmayı hedefliyor. Araç, donanım değişikliği ya da ekran kartının vBIOS’unu değiştirmeyi gerektirmeden kullanılabiliyor. Yeni çözüm, özellikle GA102, GA103, GA104 ve GA106 GPU’larına sahip RTX 30 serisi modellerinde etkin. Yapılan testlerde bazı ekran kartlarında FP16/BF16 hesaplama performansının neredeyse iki katına çıktığı gözlemleniyor.
Örneğin RTX 3090 Ti, BF16 performansında 87,5 TFLOPS seviyesinden 157 TFLOPS’a ulaşırken, TF32 performansı da 42,6 TFLOPS’tan 82,6 TFLOPS’a yükseliyor. RTX 3080 10 GB modelinde ise FP16 performansının 65 TFLOPS’tan 113 TFLOPS’a çıktığı bildiriliyor. Kullanıcı testlerinde RTX 30 serisi için yüzde 80’e kadar performans artışı rapor edilse de kazanımlar modele ve iş yüküne göre farklılık gösteriyor.
Zeka alanındaki sonuçlar da dikkat çekici. Testlerde kilidi açılmış RTX 30 grafik kartlarının uzun bağlamlı LLM işlemlerinde Prefill performansını yüzde 33-36 artırdığı ve ilk token üretimine kadar geçen süredeki gecikmeyi ise yaklaşık yüzde 25 azalttığı ifade ediliyor. Ancak Decode performansında belirgin bir değişiklik yaşanmamış durumda.
Sadece RTX 20 ve RTX 40 serileri de destekleniyor.
Ayrıca projenin yalnızca RTX 30 serisiyle sınırlı olmadığı bilgisi veriliyor. Daha eski GTX 9, GTX 10 ve RTX 20 serisi grafik kartlarının yanı sıra RTX 40 serisinde de belirli kazanımlar elde edilebildiği bildirildi. Şu an için en büyük avantaj ise Ampere tabanlı RTX 30 modellerinde görülüyor. Projenin Linux ile sınırlı olması ve Bunun yanında Windows desteğinin henüz mevcut olmaması önemli bir kısıtlama oluşturuyor.
Bunlar yanı sıra bu gelişmeler eski ekran kartlarını yapay zekâ kullanıcıları açısından yeniden cazip kılmakta. Özellikle örneğin,24 GB VRAM’e sahip olan RTX3090 gibi modeller yeniden ilgi çekmektedir. Ancak bu artan ilgi ikinci el piyasasını da etkilemekte. Yurt dışında yaklaşık $1,000 civarında satılan RTX3090’ın son dönemde $2,000’in üzerine çıktığı belirtildi.
Ayrıca belirtelim ki RTX3090 Ti’nın fiyatı $3,000’a yaklaşmış durumda.
Buna bağlı olarak RTX30 serisinin yapay zekâ alanında tekrar değer kazanması durumu, bu grafik kartlarını satın almak isteyen oyuncular için artan ikinci el fiyatları anlamına gelebilir.
