Başlıkta 35k, konu mesajında 53k olarak bütçe belirtmişsiniz bilginiz olsun.
Böyle söylemek oldukça yanıltıcı olur ya. Sadece inference için(eğitilmiş hazır bir modeli çalıştırmak olarak özetleyebiliriz) en çok kullanılan yazılımlardan biri olan llama.cpp tabanlı ollama yazılımı Nvidia(Cuda), AMD(ROCm) ve Intel(oneAPI denebilir, henüz oturtamadılar) hali hazırda destekliyor zaten. Inferencing için hangi ekran kartını aldığınızın çok bir önemi yok.
https://github.com/ollama/ollama/pull/3278 şurada intel gpu desteği de gelmiş oldu geçtiğimiz aylarda.
Inference konu başlığı haricinde ai alanında training gibi etkileşimlerde de bulunacaksanız, Nvidia Cuda şu an itibari ile önde olsa da AMD'nin ROCm teknolojisi ve george hotz isimli şahsiyetin tinygrad girişiminin AMD'ye kafayı takmış olması sayesinde, önümüzdeki yıllarda Nvidia ile ne yapabiliyorsanız AMD ile de yapabileceksiniz. Zaten ülkede Nvidia Cuda programlayabilen insan sayısı iki elin parmaklarını geçmez ama, günümüzde AMD ekran kartlarında da ROCm ile biraz ekstra kod yazarak Nvidia Cuda ile yapabildiğiniz her şeyin yapılabildiğini bilin. İnternetteki hazır projeler, kütüphaneler ve frameworklerin çok yüksek çoğunluğu Nvidia Cuda için yazıldığından ai alanında çalışırken akıl sağlığı için
Nvidia tercih edilmeli, ama tek seçeneğin bu olmadığını bilmekte fayda var. Bizzat denemedim ama PyTorch resmi olarak AMD ROCm destekliyor.
Deepseek R1 geliştirilirken Nvidia Cuda'nın sunduğu performanstan çok daha fazlasını almak istedikleri için PTX(Nvidia ekran kartları için assembly dili desek yanlış olmaz) dilinde kod yazmışlar. Cuda tarafı da dört dörtlük değil yani.
Uzun lafın kısası; şu an için para yetiyorsa Nvidia. Ucuza daha fazla VRAM cezbediyorsa AMD alıp önümüzdeki yıllarda(minimum 2 yıl sürecek gibi) AMD'nin Nvidia'yı yakalaması için dua edebilirsiniz.
Ai için sistem toplama diye genelleştirmelerden ziyade siz tam olarak ne yapmak istiyorsunuz bu da önemli. Sadece inference için kullanacaksanız AMD de tercih edilebilir.
