🔥İndirim Mac Mini M6 12 GPU-CPU 256 GB - 47.999 TL

Alıntıyı görüntüle
Sol m6 + 32GB ram sağ 5070Tİ oradan mantık yürüt
Burda şu detay var token hızlarının altında q4 q3 q2 gibi ibareler var. Bunlar quantize yani bir tokenin kaç bit olduğunu gösteren değerler. Modelin performansını doğrudan etkiler.

daha detaylı bilgi için kaynak bıraktım inceleyebilirsiniz kısa ve öz olmak gerekirse günlük kullanım için q4 en ideali q3 q2 de doğruluk çok düşüyor

bir not daha düşeyim. model çalıştıracaksanız olay mac studio çünkü genel olarak 36gb ve üstü ram ile geliyorlar
Mesaj otomatik olarak birleştirildi:

Konuda da pt linki var zaten
Yeni gördüm kusura bakmayın
 
Hocam açıkçası tablodan pek bir şey anlamadım ama Claude'a attığımda kalite anlamında M6 hız anlamında ise Rtx 5070 Ti'nin daha başarılı olduğunu söyledi. Tabloda ki M6'da 32GB Ram mevcut, 16GB ile çok farkı olur mu?
Model bazlı fark değişir
27b modelleri q2 olarak çalıştıracağınız için doğruluk ve kalite düşüşü yaşarsınız
 
Burda şu detay var token hızlarının altında q4 q3 q2 gibi ibareler var. Bunlar quantize yani bir tokenin kaç bit olduğunu gösteren değerler. Modelin performansını doğrudan etkiler.

daha detaylı bilgi için kaynak bıraktım inceleyebilirsiniz kısa ve öz olmak gerekirse günlük kullanım için q4 en ideali q3 q2 de doğruluk çok düşüyor

bir not daha düşeyim. model çalıştıracaksanız olay mac studio çünkü genel olarak 36gb ve üstü ram ile geliyorlar
Mesaj otomatik olarak birleştirildi:


Yeni gördüm kusura bakmayın
Evet gözüm takıldı ama gemini bağlantı hatası verip durdu tam sorgulayamadım.
Mesaj otomatik olarak birleştirildi:

Mesela tokenler arasındaki fark ortadan kaldırılsa 6 kat olan verimlilik farkı kaça indirgenir en iyi?
 
Model bazlı fark değişir
27b modelleri q2 olarak çalıştıracağınız için doğruluk ve kalite düşüşü yaşarsınız
Q4 ile Q3 arasında ortalama %15 fark var yine hız farkı 5x gibi bir şey. Ama olay 5070 Ti'ın memorysinin çoğu iyi modelde Q4'te yetersiz oluşu. Çoklu inference/sunucu, training olayları dışında kişisel işler için unified memory vazgeçilmez zaten 32gb üstü vram yoksa çok iyi sonuçlar alınamıyor. M6 5070 seviyesinde demek de doğru değil anca 3050 seviyesinde falandır kullanım yerleri farklı
 
Son düzenleme:
GPU oyunculuk konusunda 3050 gibi davranıyor. Crossover ile tatlı oynayış tecrübesi verir
 
Siz çok yanlış değerlendiriyorsunuz LLM Performansını.... Evet VRAM/Unified Memory önemli ama asıl önemli olan bant genişliği. 153GBps ile 900GBps bant genişliğini karşılaştıramazsınız. Mac mini ile 5070ti teoride aynı boyutta modeli depolayabilir ama modelin performansı 5070ti'da 3-4 kat daha iyi olacaktır bunu unutmayın. Bu demek değil ki M6 16gb kötüdür almayın. Bende kovalıyorum lakin ram fiyatlarından RTX 3090 bile alamıyoruz 50k fiyat çekiyorlar.
Mesaj otomatik olarak birleştirildi:

O yüzden eğer 12B altında bir modeller için bu cihazları tercih edebilirsiniz ve işinizi görür ama daha büyük model isterseniz Qwen 3.8 27B gibi ne yazık ki Bu cihaz yetersiz gelecektir. en az 16 gb Ekran kartı almanızı şiddetle öneririm. RTX 3090 bulabilirseniz onu alıp geçin fazlasıyla yeterli olur. Bende M6 32gb versiyonunu arıyorum ama 11 Aralıktan önce Türkiyeye zor gelir.
Mesaj otomatik olarak birleştirildi:

Ek bir bilgilendirme daha vereyim. Eğer bu cihazı sadece LLM için alırsanız ne yazık ki en yüksek 9B modellerle işlem yapabilirsiniz. MacOS 6 gb ram yiyiyor. Modelin depolanmasından sonraki en önemli kısım context boyutu buda ne yazık ki bu cihazda yeterli Ram'in olmamasından kaynaklı düşük kalıyor. Yetersiz demiyorum çünkü 9B gibi modeller bu elektrik tüketimiyle mükemmel bir ortamda çalışıyorlar bunlardan daha verimli cihazlar bulamazsınız 9B gibi düşük modeller için.... Ama kodlama/yazılım yada ağır düşünme işlemleri için yetersiz olduğunu unutmayın. Claude/ChatGPT aboneliği ile güzel gider onu belirtiyim.
 
Son düzenleme:
Mesaj otomatik olarak birleştirildi:
 
Son düzenleme:
Proton macte çalışmıyor mu oyun için illa windows mu kurulacak
 
Proton macte çalışmıyor mu oyun için illa windows mu kurulacak
Proton yok, crossover diye bir uygulama var wine üzerinden macte çalıştırıyor. Windows sanal kurulabilir o da tonla ram yiyor ve çok fazla çeviri katmanı ekliyor. Apple silicon için Omarchy linux var, hala deneme aşamasında, belki ilerleyen günlerde onun üzerinde steamos+proton çalıştırılabilir.
 
Şu cihazın LLM, yapay zeka performansı Rtx 5070 kadar var mıdır?
Birincisi bu ram ile zaten sığacak modeller çok basit kalır, ikincisi gddr7 bellek hızına sahip nvidia gpu nun rakibi değildir mac mini, çok tasarruflu şekilde düşük token da olsa verimli çok iyidir ama 16gb mac mini değil 32gb tercih etmeniz uygundur
5070 de 12gb vram nedeniyle her nekadar fp4 destekli Blackwell olsada sığacak modeller sınırlı kalır yada ekstra sıkıştırma ile hem performans hemde hata yapma nedeniyle tercih edilmez. Bu iş için ya 4090 3090 gibi 24gb eski nesil yada 5070ti gerekir, parası yetmeyen için tek seçenek 5060ti 16gb olur ki bu kartında fiyatı sırf bu yüzden 5070 ile yarışıyor çünkü 5070 yerine 5060ti 16gb tercih edilir
 
Yeni mesajlar Yeni Konu Aç  

SON KONULAR

Forum istatistikleri

Konular
1,255,339
Mesajlar
11,448,797
Üyeler
207,084
Son üye
Authoria
Geri
Top