Selamlar, konu net:
Colab’e sürekli para vermekten bıktım. T4’ü, A100’ü geçtim; artık 4090 almak bile hayal olmuş durumda.
Aklıma şu soru takıldı:
Acaba birden fazla eski Nvidia GPU’yu riser kullanarak tek bir sistemde toplayıp, AI training veya büyük modelleri (ör. 7B–14B) çalıştırmak mümkün mü?
Yani madencilik rig’i mantığıyla:
GPT abimiz, GPU’lar arası iletişim PCIe x1/x4 hızına düştüğü için darboğaz olacağını söylüyor.
Ama yine de merak ediyorum:
Colab’e sürekli para vermekten bıktım. T4’ü, A100’ü geçtim; artık 4090 almak bile hayal olmuş durumda.
Aklıma şu soru takıldı:
Acaba birden fazla eski Nvidia GPU’yu riser kullanarak tek bir sistemde toplayıp, AI training veya büyük modelleri (ör. 7B–14B) çalıştırmak mümkün mü?
Yani madencilik rig’i mantığıyla:
- 4–6–8 tane 4 GB / 6 GB / 8 GB kart
- PCIe riser’lar
- Tek anakart
GPT abimiz, GPU’lar arası iletişim PCIe x1/x4 hızına düştüğü için darboğaz olacağını söylüyor.
Ama yine de merak ediyorum:
- Çoklu eski GPU → Eğitimde gerçekten işe yarar mı?
- Model parallel / tensor parallel ile VRAM’i “dağıtarak” büyük modeller çalıştırılabilir mi?
- Yoksa pratikte verim çok mu düşük kalır?
