Local Ai Amaçlı Sistem Önerisi

[osmanpaşa.1877]

Bütçe: 665K

Apple Mac Studio M5 Ultra 30 CPU/64 GPU 256 GB RAM 1 TB Depolama
Local Ai için en mantıklı cihaz bu mudur?

Arkadaşım alacak hocalarım
200B'lik büyük yapay zeka modellerini local çalıştırabilmek istiyor

Hız olarak daha iyi performans verecek bir sistem de olabilir
Örneğin ekran kartı olarak bunları buldum

4 adet ekran kartını anakart kaldırır mı bilmiyorum (z890 anakart olması lazım cudimm ram kullanılcak)

@flyingatm @Tablet123

 

[kadax]

200b model kullancaksa 128gb üstü lazım en az sadece model sığsın diye, local llm kullanmak çok mantıksız kalıyor fiyatlar o kadar pahalı ki. Tabi gizlilik/denial vs özel durumlar hariç.

 

[Tablet123]

Bütçe: 665K

Apple Mac Studio M5 Ultra 30 CPU/64 GPU 256 GB RAM 1 TB Depolama
Local Ai için en mantıklı cihaz bu mudur?

Arkadaşım alacak hocalarım
200B'lik büyük yapay zeka modellerini local çalıştırabilmek istiyor

Hız olarak daha iyi performans verecek bir sistem de olabilir
Örneğin ekran kartı olarak bunları buldum
Alıntıyı görüntüle
Alıntıyı görüntüle
Alıntıyı görüntüle
4 adet ekran kartını anakart kaldırır mı bilmiyorum (z890 anakart olması lazım cudimm ram kullanılcak)

@flyingatm @Tablet123

Normal masaüstü anakartlara maks 2 ekran kartı takabilirsin PCI kanalları en fazla 2 tane X8 verebiliyor o anakartlarda. 4 tane için Threadripper, Xeon, İntel Extreme serileri gibi özel serilere uygun iş sınıfı anakartlar lazım.

AMD kart da pek önermem, çok uyumluluk sorunu çıkarabiliyorlar Ai konusunda. Ek olarak Ai eğitimi tarzı işlere girilecekse (bu sistemi toplayan biri dener bence) AMD ROCm o iş için hala emekleme aşamasında. Bu konuya ağırlık verilecekse de en iyisi Nvidia bu arada, Cuda alternatifsiz bu sektörde.

Ana amaç lokal Ai çalıştırmak ise bence Mac en mantıklısı. 256GB RAM hepsinden iyi zaten, en fazla 16GB kadarını sistem kullansa kalanın tamamını Ai modeli için kullanabilir. Çok yavaş da kalmıyor, diğer kartlar bu konuda GDDR bellek kullandığından daha hızlı ama orada da 4 kart birbiriyle iletişim kuracağı için PCI hattı darboğaza girebilir burada her şey tek GPU da ve bellekte toplanıyor (aslında Ultrada 2 tane paralel bağlanan M5 Max ve haliyle 2 tane GPU var o konuda bir ekleme yapayım yanlış bilgi olmasın ama tek çipte birleştirmiş Apple bunları). Bir de 4 tane güçlü kartı, bilmem kaç tane fanı 1000W üstü güçle çalıştırmak yerine 150-250W civarı güçle ve bir fanla iş halleden Mac baya verimli kalıyor.

Macde tek sorun şu, ilerde yükseltemezsin.

 

[osmanpaşa.1877]

Normal masaüstü anakartlara maks 2 ekran kartı takabilirsin PCI kanalları en fazla 2 tane X8 verebiliyor o anakartlarda. 4 tane için Threadripper, Xeon, İntel Extreme serileri gibi özel serilere uygun iş sınıfı anakartlar lazım.

AMD kart da pek önermem, çok uyumluluk sorunu çıkarabiliyorlar Ai konusunda. Ek olarak Ai eğitimi tarzı işlere girilecekse (bu sistemi toplayan biri dener bence) AMD ROCm o iş için hala emekleme aşamasında. Bu konuya ağırlık verilecekse de en iyisi Nvidia bu arada, Cuda alternatifsiz bu sektörde.

Ana amaç lokal Ai çalıştırmak ise bence Mac en mantıklısı. 256GB RAM hepsinden iyi zaten, en fazla 16GB kadarını sistem kullansa kalanın tamamını Ai modeli için kullanabilir. 512 bit olduğundan çok yavaş da kalmıyor, diğer kartlar bu konuda GDDR bellek kullandığından daha hızlı ama orada da 4 kart birbiriyle iletişim kuracağı için PCI hattı darboğaza girebilir burada her şey tek GPU da ve bellekte toplanıyor. Bir de 4 tane güçlü kartı, bilmem kaç tane fanı 1000W üstü güçle çalıştırmak yerine 100-150W civarı güçle ve bir fanla iş halleden Mac baya verimli kalıyor.

Macde tek sorun şu, ilerde yükseltemezsin.

Mac'i o zaman bi sorayım hocam

 

[Tablet123]

Mac'i o zaman bi sorayım hocam

Mac bence kompakt olması ve buna rağmen devasa modelleri sorunsuz çalıştırması yönünden çok başarılı. Buna tek alternatif şu olur bence, sağlam bir 4 ekran kartına kadar destek sunan anakart altyapısı kurulup en güçlülerinden bütçeye göre 1-2 tane Nvidia kart alınır. Zamanla 4 karta tamamlanır.

Bu arada Mac konusunda ufak bir düzeltme yapayım 256GB M5 Ultrada 2 tane 128GB 512 bit bellekli M5 Max var, o da tek çip değil ikisi birleşip 256GB 1024 bit oluyor. Yalnız şöyle bir fark var bu iki çip arasında aşırı sağlam bir bağlantı var, klasik PCI hatlarından onlarca kat hızlı bir bağlantı. O yüzden o taraftaki sorun minimize edilmiş.

 

[Pendroz]

Masaüstü tarafında bir şey toplanıcaksa profesyonel yardım alın forumdan olacak işler değil en azından hangi bileşenler bir arada kullanılır incelemek bilgi almak için aklıma gelen Arma Computer var bir şey satın almasanız bile çalışacağınız dil modeli vs bilgi verirsininiz ona göre sistem teklifi yaparlar bir fikir oluşur kafanızda.

 

[osmanpaşa.1877]

Masaüstü tarafında bir şey toplanıcaksa profesyonel yardım alın forumdan olacak işler değil en azından hangi bileşenler bir arada kullanılır incelemek bilgi almak için aklıma gelen Arma Computer var bir şey satın almasanız bile çalışacağınız dil modeli vs bilgi verirsininiz ona göre sistem teklifi yaparlar bir fikir oluşur kafanızda.

Arma Computer çok kazık ya, fikir için yine de sağol

Mac bence kompakt olması ve buna rağmen devasa modelleri sorunsuz çalıştırması yönünden çok başarılı. Buna tek alternatif şu olur bence, sağlam bir 4 ekran kartına kadar destek sunan anakart altyapısı kurulup en güçlülerinden bütçeye göre 1-2 tane Nvidia kart alınır. Zamanla 4 karta tamamlanır.

Bu arada Mac konusunda ufak bir düzeltme yapayım 256GB M5 Ultrada 2 tane 128GB 512 bit bellekli M5 Max var, o da tek çip değil ikisi birleşip 256GB 1024 bit oluyor. Yalnız şöyle bir fark var bu iki çip arasında aşırı sağlam bir bağlantı var, klasik PCI hatlarından onlarca kat hızlı bir bağlantı. O yüzden o taraftaki sorun minimize edilmiş.

Hocam aslında onun kafasında ikinci el 4 adet 3090 almak vardı vazgeçirdim mining çıkması 3090 illetiyle uğraşmasın diye

He bu arada masaüstü için bir hesaplama yaptım la işlemci+anakart+ram+ssd+psu 250K ediyor bir de üstüne 500K ekran kartı masrafı, hayatta alacağını zannetmiyorum

PC Toplama Sihirbazı | EnUcuzSistem

Parçaları adım adım seç, mağaza fiyatlarını karşılaştır, uyumluluğu anında gör.

enucuzsistem.com

 

[osmanpaşa.1877]

Aslında bütçesi 300K idi lakin fiyatına değecekse bu 600-700K'ya kadar çekerim dedi bende 300K'ya verim alamayacağını bildiğimden çıtayı baya yükselttim

Mac bence kompakt olması ve buna rağmen devasa modelleri sorunsuz çalıştırması yönünden çok başarılı. Buna tek alternatif şu olur bence, sağlam bir 4 ekran kartına kadar destek sunan anakart altyapısı kurulup en güçlülerinden bütçeye göre 1-2 tane Nvidia kart alınır. Zamanla 4 karta tamamlanır.

Bu arada Mac konusunda ufak bir düzeltme yapayım 256GB M5 Ultrada 2 tane 128GB 512 bit bellekli M5 Max var, o da tek çip değil ikisi birleşip 256GB 1024 bit oluyor. Yalnız şöyle bir fark var bu iki çip arasında aşırı sağlam bir bağlantı var, klasik PCI hatlarından onlarca kat hızlı bir bağlantı. O yüzden o taraftaki sorun minimize edilmiş.

Bu arada arkadaş önyargılı da yapay zeka çalıştırırken apple; verileri internet ortamına gönderir mi diye, öyle bir durum var mı?

 

[Erenlnl]

Aslında bütçesi 300K idi lakin fiyatına değecekse bu 600-700K'ya kadar çekerim dedi bende 300K'ya verim alamayacağını bildiğimden çıtayı baya yükselttim


Bu arada arkadaş önyargılı da yapay zeka çalıştırırken apple; verileri internet ortamına gönderir mi diye, öyle bir durum var mı?

En kesin çözüm, saçma derecede basit ama insan pek heves etmiyor. İnterneti kesmek. Sözde bazı programlar izin ile bazı durumlara erişim veriyor ne kadar güvenilirdir kestiremiyorum .

 

[Bilal539]

Localde çalıştıracağı model ne kadar etkili olabilirki ben boş yatırım olarak görüyorum bireyselde

 

[Tablet123]

Aslında bütçesi 300K idi lakin fiyatına değecekse bu 600-700K'ya kadar çekerim dedi bende 300K'ya verim alamayacağını bildiğimden çıtayı baya yükselttim


Bu arada arkadaş önyargılı da yapay zeka çalıştırırken apple; verileri internet ortamına gönderir mi diye, öyle bir durum var mı?

Orası biraz tartışmalı ama bu Apple ile alakalı değil, herhangi bir bilgisayar için aynı endişe oluyor. Onun kesin olarak tek ve en mantıklı çözümü interneti keserek kullanmak diye düşünüyorum ama risk çok fazla mı derseniz bence değil.

Apple özelinde ben çok veri toplayabildiklerini (veya toplanıyorsa bile kullanabildiklerini) düşünmüyorum, adamlar kendi Ai modelini bile eğitemedi mesela.

Mesaj otomatik olarak birleştirildi: Cuma, 23:49

Aslında bütçesi 300K idi lakin fiyatına değecekse bu 600-700K'ya kadar çekerim dedi bende 300K'ya verim alamayacağını bildiğimden çıtayı baya yükselttim


Bu arada arkadaş önyargılı da yapay zeka çalıştırırken apple; verileri internet ortamına gönderir mi diye, öyle bir durum var mı?

Bu arada alternatif bir öneri daha yapayım, gücü Apple ile yarışamaz ama Nvidia ekosistemi olması avantaj:

Asus Ascent GX10-GG0003BN Nvidia GB10 128 GB 1 TB SSD Blackwell Mini PC Fiyatları, Özellikleri ve Yorumları | En Ucuzu Akakçe

En ucuz Asus Ascent GX10-GG0003BN Nvidia GB10 128 GB 1 TB SSD Blackwell Mini PC fiyatları için 6 taksit ve indirimleri kaçırma! Asus Ascent GX10-GG0003BN Nvidia GB10 128 GB 1 TB SSD Blackwell Mini PC özelliklerini incele, 475.639,06 TL'den başlayan fırsatları yakala!

www.akakce.com

 

[osmanpaşa.1877]

Orası biraz tartışmalı ama bu Apple ile alakalı değil, herhangi bir bilgisayar için aynı endişe oluyor. Onun kesin olarak tek ve en mantıklı çözümü interneti keserek kullanmak diye düşünüyorum ama risk çok fazla mı derseniz bence değil.

Apple özelinde ben çok veri toplayabildiklerini (veya toplanıyorsa bile kullanabildiklerini) düşünmüyorum, adamlar kendi Ai modelini bile eğitemedi mesela.

Mesaj otomatik olarak birleştirildi: Cuma, 23:49

Bu arada alternatif bir öneri daha yapayım, gücü Apple ile yarışamaz ama Nvidia ekosistemi olması avantaj:

Asus Ascent GX10-GG0003BN Nvidia GB10 128 GB 1 TB SSD Blackwell Mini PC Fiyatları, Özellikleri ve Yorumları | En Ucuzu Akakçe

En ucuz Asus Ascent GX10-GG0003BN Nvidia GB10 128 GB 1 TB SSD Blackwell Mini PC fiyatları için 6 taksit ve indirimleri kaçırma! Asus Ascent GX10-GG0003BN Nvidia GB10 128 GB 1 TB SSD Blackwell Mini PC özelliklerini incele, 475.639,06 TL'den başlayan fırsatları yakala!

www.akakce.com

Bunun ikinci elini de söyleyim o zaman belki daha ucuz olması işine gelir

 

[Tablet123]

Bunun ikinci elini de söyleyim o zaman belki daha ucuz olması işine gelir

Olabilir, bunlar eskiden 100-200K arasıydı da şuan piyasa malum RTX ekran kartları bile ne fiyatlara satılıyor…

Rakip olarak kıyaslama yaparsanız bence o sistemin rakibi M5 Max 128GB olan Studio olur. Mac kas gücünde yine biraz daha iyi ama Nvidia ekosistemi de başka açılardan performansa katkı sağlıyor denk gibi olurlar.