Bilgisayarda İnternetsiz Yapay Zeka Çalıştıran Bir Uygulama Yaptım

kaptans

80+
Katılım
16 Kasım 2026
Mesajlar
3
Reaksiyon skoru
1
Selam,

Yaklaşık bir yıldır boş zamanlarımda tek başıma bir uygulama geliştiriyorum, sonunda ilk beta sürümünü yayınladım. Adı DeskLLM. Yapay zeka modellerini kendi bilgisayarında, internete bağlanmadan çalıştırmanı sağlıyor. Hesap açmak yok, abonelik yok, yazdıkların bilgisayarından çıkmıyor.

Amacım, teknik bilgisi olmayan birinin de terminal komutlarıyla uğraşmadan, birkaç tıkla kendi bilgisayarında yapay zeka kullanabilmesiydi.

Neler yapıyor?
- Ekran kartına ve RAM'ine bakıp bilgisayarına uygun modelleri öneriyor, tek tıkla indiriyor
- Model indikten sonra internetsiz sohbet
- PDF, Word ya da kod dosyası ekleyip onlar hakkında soru sorabiliyorsun, cevabın belgenin hangi kısmına dayandığını da gösteriyor
- Mikrofonla Türkçe konuşup yazdırabiliyorsun, bu da internetsiz
- Bazı modeller resimleri de anlıyor
- Türkçe ve İngilizce arayüz, koyu ve açık tema

Hız konusunda: Benim RTX 3070'imde Gemma 4 12B modeliyle yaptığım ölçümler şöyle:
- CUDA: saniyede 12,8 token
- Vulkan: saniyede 6,4 token
- Sadece işlemci: saniyede 3,3 token

NVIDIA kartlarda CUDA, AMD ve Intel kartlarda Vulkan kullanıyor. Ekran kartı yoksa model işlemcide de çalışıyor ama yavaş kalıyor. Yani ekran kartı olması deneyimi ciddi şekilde iyileştiriyor.

Gereksinimler:
- Windows 10/11, 64 bit
- En az 8 GB RAM (16 GB önerilir)
- Ekran kartı önerilir: en az 6 GB belleği olan bir kartla çok daha hızlı çalışıyor
- Modeller için diskte 2-20 GB boş yer (modelin boyutuna göre)


Kurulum dosyası dijital olarak imzalı olmadığı için Windows "bilinmeyen yayıncı" uyarısı verebilir, "Ek bilgi → Yine de çalıştır" diyerek devam edebilirsiniz. Kodu açık kaynak (GPL-3.0), merak eden GitHub'da içine bakabilir.

Sizden ricam: Uygulamayı sadece kendi bilgisayarımda (RTX 3070) deneyebildim. Özellikle AMD ya da Intel ekran kartı olanlar, RTX 40/50 serisi kullananlar ve ekran kartı olmayan bilgisayarlarda deneyenler nasıl çalıştığını yazarsa çok sevinirim. Hangi kart, hangi model, saniyede kaç token aldınız, bir hata çıktı mı... Her türlü eleştiriye açığım.

Hata bulursanız uygulamada Ayarlar → Hakkında → Sürüm Bilgisini Kopyala deyip buraya yapıştırırsanız sorunu bulmam çok kolaylaşır.

Daha fazla detay için GitHub sayfamda Türkçe Readme'yi okuyabilirsiniz.

Şimdiden teşekkürler!

Github Linki
 

Ekler

  • home.webp
    home.webp
    22.1 KB · Hit: 26
  • home-light.webp
    home-light.webp
    21.3 KB · Hit: 21
  • library.webp
    library.webp
    98.4 KB · Hit: 24
  • settings.webp
    settings.webp
    47.2 KB · Hit: 24
Sadece chat mi görsel de mevcut mu hocam
 
Selam,

Yaklaşık bir yıldır boş zamanlarımda tek başıma bir uygulama geliştiriyorum, sonunda ilk beta sürümünü yayınladım. Adı DeskLLM. Yapay zeka modellerini kendi bilgisayarında, internete bağlanmadan çalıştırmanı sağlıyor. Hesap açmak yok, abonelik yok, yazdıkların bilgisayarından çıkmıyor.

Amacım, teknik bilgisi olmayan birinin de terminal komutlarıyla uğraşmadan, birkaç tıkla kendi bilgisayarında yapay zeka kullanabilmesiydi.

Neler yapıyor?
- Ekran kartına ve RAM'ine bakıp bilgisayarına uygun modelleri öneriyor, tek tıkla indiriyor
- Model indikten sonra internetsiz sohbet
- PDF, Word ya da kod dosyası ekleyip onlar hakkında soru sorabiliyorsun, cevabın belgenin hangi kısmına dayandığını da gösteriyor
- Mikrofonla Türkçe konuşup yazdırabiliyorsun, bu da internetsiz
- Bazı modeller resimleri de anlıyor
- Türkçe ve İngilizce arayüz, koyu ve açık tema

Hız konusunda: Benim RTX 3070'imde Gemma 4 12B modeliyle yaptığım ölçümler şöyle:
- CUDA: saniyede 12,8 token
- Vulkan: saniyede 6,4 token
- Sadece işlemci: saniyede 3,3 token

NVIDIA kartlarda CUDA, AMD ve Intel kartlarda Vulkan kullanıyor. Ekran kartı yoksa model işlemcide de çalışıyor ama yavaş kalıyor. Yani ekran kartı olması deneyimi ciddi şekilde iyileştiriyor.

Gereksinimler:
- Windows 10/11, 64 bit
- En az 8 GB RAM (16 GB önerilir)
- Ekran kartı önerilir: en az 6 GB belleği olan bir kartla çok daha hızlı çalışıyor
- Modeller için diskte 2-20 GB boş yer (modelin boyutuna göre)


Kurulum dosyası dijital olarak imzalı olmadığı için Windows "bilinmeyen yayıncı" uyarısı verebilir, "Ek bilgi → Yine de çalıştır" diyerek devam edebilirsiniz. Kodu açık kaynak (GPL-3.0), merak eden GitHub'da içine bakabilir.

Sizden ricam: Uygulamayı sadece kendi bilgisayarımda (RTX 3070) deneyebildim. Özellikle AMD ya da Intel ekran kartı olanlar, RTX 40/50 serisi kullananlar ve ekran kartı olmayan bilgisayarlarda deneyenler nasıl çalıştığını yazarsa çok sevinirim. Hangi kart, hangi model, saniyede kaç token aldınız, bir hata çıktı mı... Her türlü eleştiriye açığım.

Hata bulursanız uygulamada Ayarlar → Hakkında → Sürüm Bilgisini Kopyala deyip buraya yapıştırırsanız sorunu bulmam çok kolaylaşır.

Daha fazla detay için GitHub sayfamda Türkçe Readme'yi okuyabilirsiniz.

Şimdiden teşekkürler!

Github Linki
Projene Rocm desteği katmaya çalış. AMD'de Vulcan - Rocm performans farkı çok fazla. Ollama'ya windows'da ROCM desteği getiren açık kaynaklar var. Bir kaçını tersine mühendislik ile incele nasıl yapmışlar. Bence güzel yol haritası olur senin için.

(Örnek: https://github.com/likelovewant/ollama-for-amd)

Ek olarak; 1) /chats/ klasör içeriği şifrelenmiyor. metinler - konuşmalar direkt okunabilir halde.
2) .gguf uygulama içi model indirmelerde (ModelDownloadThread) hash doğrulaması yok, hatta boyut doğrulaması da yok. projendeki repo kaynaklarından (mradermacher, MaziyarPanahi, bartowski...) birine kötü niyetli .gguf model eklenirse, uygulaman hiç bir hash'i kontrol etmeden download yapar ve llama.cpp üzerinden sızıntı verir.
 
Son düzenleme:
Projene Rocm desteği katmaya çalış. AMD'de Vulcan - Rocm performans farkı çok fazla. Ollama'ya windows'da ROCM desteği getiren açık kaynaklar var. Bir kaçını tersine mühendislik ile incele nasıl yapmışlar. Bence güzel yol haritası olur senin için.

(Örnek: https://github.com/likelovewant/ollama-for-amd)

Ek olarak; 1) /chats/ klasör içeriği şifrelenmiyor. metinler - konuşmalar direkt okunabilir halde.
2) .gguf uygulama içi model indirmelerde (ModelDownloadThread) hash doğrulaması yok, hatta boyut doğrulaması da yok. projendeki repo kaynaklarından (mradermacher, MaziyarPanahi, bartowski...) birine kötü niyetli .gguf model eklenirse, uygulaman hiç bir hash'i kontrol etmeden download yapar ve llama.cpp üzerinden sızıntı verir.
Hocam eline sağlık, kodu bu kadar detaylı incelemene gerçekten çok sevindim, çok teşekkür ederim.

Hash konusunda haklısın, şu an sadece boyuta bakıyor. Bir sonraki sürümde SHA256 kontrolünü ekleyeceğim. Yalnız şunu da fark ettim, repodaki dosya değiştirilirse Hugging Face'teki hash de değişiyor, o yüzden önerilen modellere sabit hash koymayı da düşünüyorum.

Sohbetler konusu da doğru. LM Studio ve Ollama da düz tutuyor diye öyle bırakmıştım ama ayarlara isteğe bağlı bir şifreleme koyabilirim.

ROCm'u açıkçası hiç düşünmemiştim, verdiğin repoya bakacağım. Bende AMD kart olmadığı için test etmesi biraz zor olacak. Eklediğim zaman Sende AMD varsa Vulkan ile ROCm arasında ne kadar fark gördüğünü yazabilirsen çok işime yarar.

Birde son olarak uygulama sence nasıl diğerlerine göre nasıl LM Studio Ollama gibi birde 10 üzerinden puan verseydin kaç verirdin

Beğendiysen GitHub'da bir yıldız bırakırsan çok sevinirim, tek başıma uğraştığım için baya motive ediyor. Tekrar sağ ol!
 
Gayet işini yapıyor. Ana amacı local de çalışması. Hiç bir port açmıyor, veri göndermiyor. dışarıya auto update/model download haricinde internet ile bağlantısı yok. Rocm desteğini denemek için free amd gpu kiralamayı kullanabilirsin. oradaki gpu larda denersin. (https://www.amd.com/en/developer/re...cles/2026/how-to-claim-amd-cloud-credits.html)

Ufak tefek şeyler var çok önemli değil yani, mesela win 11 laptop'u win 10 tanıdı gibi basit şeyler.
Mavi siyah tema AI'ların default olarak bastığı bir tema. Bir kaç yeni tema kullanılabilir.
https://github.com/nextlevelbuilder/ui-ux-pro-max-skill bu yeteneği kullanabilirsin. bir kaç örnek tema göster deyip seçtiğini entegre edersin.

İşini yapıyor yani kısaca 10 üzerinden 10 :) yıldız da verdim.


1795086750174.webp
 
Son düzenleme:
Yeni mesajlar Yeni Konu Aç  

SON KONULAR

Forum istatistikleri

Konular
1,255,075
Mesajlar
11,445,875
Üyeler
207,022
Son üye
C4n00
Geri
Top