2 Bilgisayarı Llm Olarak Kullanmak?

[furkangorur]

3 pc var

1.) LLM için kullanılacak 7800x3d / 2x32 toplam 64gb ram / 5070Ti 16gb ekran kartı
2.) LLM için kullanılacak mac mini m4 16/256
3.) üstteki 2 LLM i yönetecek ve kullanacak macbook air M5 mevcut.

1. ve 2. pcyi birleştirip tek bir yerden yani 3. pcden kontrol etmek istiyorum. Sn/token hızı önemli, 2x64 ram iş yaparsa iyi bir şekilde daha da yükseltebilirim.

Bunu nasıl yapabillirim?

 

[Quaze]

Bu hevesler kağıt üstünde güzel görünüyor ama işin ucunda dönüp dolaşıp super agentlara mecbur kalıyoruz. Şahıs için fazlaca güçlü olan donanımlar, iş AI a geldiğinde karınca gibi kalıyor.

Yine de uğraşmaya değecrk argümanların varsa;

Donanım için yapabileceğin en iyi şey ya mac in ram kapasitesi yüksek olan modeline geçmek, ya da kasaya yüksek vramli kart takmak veya 2.ekran kartını takmanın yolunu bulmak.

Sistemine kuracağın LLM ler dışardan beslenecekse OpenClaw'ı bloklamaya başladılar, yakında diğerleri de bloklanır.
Ollama ile ilerleyebilirsin, fakat LLM leri çalıştırdığın makinelerde kişisel işlemlerini yapmanı asla tavsiye etmem.
Başa bela olabiliyorlar, çok fazla örnek duydum.

 

[Equila]

Sistemine kuracağın LLM ler dışardan beslenecekse OpenClaw'ı bloklamaya başladılar, yakında diğerleri de bloklanır.
Ollama ile ilerleyebilirsin, fakat LLM leri çalıştırdığın makinelerde kişisel işlemlerini yapmanı asla tavsiye etmem.
Başa bela olabiliyorlar, çok fazla örnek duydum.

Bu kısımda ne demek istediğinizi açabilir misiniz acaba? Ben llama.cpp öneriyorum ollamaya kıyasla, biraz daha manuel bir yazılım ama en azından Ollama'ya kıyasla kapalı kutu değil ve tam kontrol veriyor.

 

[Quaze]

Bu kısımda ne demek istediğinizi açabilir misiniz acaba? Ben llama.cpp öneriyorum ollamaya kıyasla, biraz daha manuel bir yazılım ama en azından Ollama'ya kıyasla kapalı kutu değil ve tam kontrol veriyor.

"İnternetteki ücretsiz yaygın LLM leri sistemine bağlamaya çalışmak günlük hobiden öteye geçemiyor. Kök şirketler o kapıları kapatıyor, yakında tokenla bile haberleşemeyecek. Yine de kuracaksan inciğiyle cıncığıyla uğraşmayacağın Ollama kullanarak kendi bilgisayarına yasal ve açık kaynaklı modeller kurabilirsin. Ancak bu modelleri çalıştırdığın bilgisayarda bankacılık işlemlerini yapma, kişisel şifrelerini tutma ve özel işlerini yürütme. Güvenlik açığı yaşayabilirsin, verilerin silinebilir veya bilgisayarın kilitlenebilir. Bu yüzden yapay zeka testlerini ayrı/izole bir makinede yap. Sanal sunucu içine kurup kullanabilirsin."

diyorum.