Kendi Yapay Zekamı Baştan Sona Tamamen Kendim Yapmak İstiyorum.

[boneslasher]

Merhabalar arkadaşlar. Uyumlu konu türünü bulamadım bu arada kusura bakmayın. Başlıkta da belirttiğim gibi, bizim Kumru'ya benzer, tamamen sıfırdan yapılmış bir yapay zeka geliştirmek istiyorum. Son zamanlarda genel olarak yapay zeka konularına bayağı merak saldım ve heveslenmeye başladım. Zaten şu an için çoğunlukla hobi amacıyla uğraşıyorum; yeterli bütçem olmadığı için de doğal olarak büyük bir beklentim yok. Ama yine de en azından küçük çaplı da olsa kendi yapay zekamı yapmak istiyorum. Detaylandırmak gerekirse amacım; Llama gibi hazır bir model kullanıp onun üzerinden bir yapay zeka geliştirmek değil, mimarisini tamamen kendim baştan inşa edeceğim bir modeli Türkçe ile eğitip bir SLM (Small Language Model) haline dönüştürmek. Şu anki hedefim bu. Gelecekte neler yapabilirim pek bilmiyorum ama şimdilik bunu başarabilmek için bilgili kişilerin tavsiyelerine ihtiyacım var. Sizce yol haritamı nasıl çizmeliyim? Neler yapmalıyım, neler yapmamalıyım? Nelere ihtiyacım var? Bu soruların cevaplarını verebilirseniz çok mutlu olurum. Şimdiden teşekkürler.

 

[Tablet123]

Merhabalar arkadaşlar. Uyumlu konu türünü bulamadım bu arada kusura bakmayın. Başlıkta da belirttiğim gibi, bizim Kumru'ya benzer, tamamen sıfırdan yapılmış bir yapay zeka geliştirmek istiyorum. Son zamanlarda genel olarak yapay zeka konularına bayağı merak saldım ve heveslenmeye başladım. Zaten şu an için çoğunlukla hobi amacıyla uğraşıyorum; yeterli bütçem olmadığı için de doğal olarak büyük bir beklentim yok. Ama yine de en azından küçük çaplı da olsa kendi yapay zekamı yapmak istiyorum. Detaylandırmak gerekirse amacım; Llama gibi hazır bir model kullanıp onun üzerinden bir yapay zeka geliştirmek değil, mimarisini tamamen kendim baştan inşa edeceğim bir modeli Türkçe ile eğitip bir SLM (Small Language Model) haline dönüştürmek. Şu anki hedefim bu. Gelecekte neler yapabilirim pek bilmiyorum ama şimdilik bunu başarabilmek için bilgili kişilerin tavsiyelerine ihtiyacım var. Sizce yol haritamı nasıl çizmeliyim? Neler yapmalıyım, neler yapmamalıyım? Nelere ihtiyacım var? Bu soruların cevaplarını verebilirseniz çok mutlu olurum. Şimdiden teşekkürler.

Tonla eğitim verisine ihtiyacın var, çözülmesi en zor kısmı orası. Yoksa altyapı kurma işi öğrenilir donanım gücü de çok yüksek olmayan fiyatlara kiralanıyor bunlar gerçekten kararlıysan engel olacak şeyler değil.

 

[boneslasher]

Tonla eğitim verisine ihtiyacın var, çözülmesi en zor kısmı orası. Yoksa altyapı kurma işi öğrenilir donanım gücü de çok yüksek olmayan fiyatlara kiralanıyor bunlar gerçekten kararlıysan engel olacak şeyler değil.

Eğitim verisinden kastınız türkçe içeren dosyaları yapay zekaya gönderip onu eğitmek mi?

 

[Koyun Shaun]

Eğitim verisinden kastınız türkçe içeren dosyaları yapay zekaya gönderip onu eğitmek mi?

Sıfırdan yapay zeka yaratmak tek kişilik bir iş değildir. Yapabilirsin ama yıllarını alabilir hazır bir model alıp eğitmek daha kolaydır

 

[OrkunJJ]

Yani kendi yapay zekanı tabi ki yapabilirsin ama sermaye, bilgi ve en önemlisi veri setleri lazım.

Örnek vermem gerekir ise Google'ı düşün, Gemini'ı pat diye çıkarttı bunu nasıl yaptı? Elinde zaten on yıllardır mevcut olan arama motoru indeksleri ile biriktirdiği milyarlarca belki trilyon katrilyonlarca verileri düzenleyip eğitim için uygun hale getirerek Gemini'ı besledi.

Ama tabi bu iş o kadar kolay değil. Yani diyelim ki senin elinde Google'daki gibi bol bol veri var, bunu direkt bir modele verip eğitemezsin ki eğitsen bile evdeki bilgisayarla belki yüz yıllar sürer öyle söyleyeyim. Adamlar milyar dolarlık tesislerde paralel çalışan devasa sistemler, ekran kartı tarlaları kullanıyorlar. Ancak o güçle birkaç sene içerisinde temel baz modeli çıkarabildiler. Zaten baz model sonrası iş bir tık daha kolay çünkü model şekil alıyor ve daha hızlı, daha kolay öğreniyor.

Ve verdiğim örnek sadece Google'ın elinde mevcut olan veriler üzerindendi. Belki de kendi mevcut elindeki verilerin on binlerce katını dışarıda bu işi yapan veri şirketlerinden vs. parça parça toparlayıp bütün hale getirip eğitmeye devam etti. Yani sıfırdan yapabilirsin ama tek başına yapman imkansız demek istemiyorum ama bir ekip şart ve proje boyutuna göre ciddi bir sermaye şart.

Bir de bu yapay zeka sistemlerinin nasıl çalıştığını en temel mantıkla açıklamam gerekirse, insan beynindeki sinir ağları gibi düşün. Sıfırdan başladın yapay zeka modeli geliştirmeye ve bir yapay sinir ağı mimarisi oluşturuyorsun. Sen modele verileri, metinleri verdikçe model o ağın içindeki milyarlarca bağlantının ağırlıklarını, yani sayısal değerlerini yavaş yavaş değiştiriyor ve zamanla kelimeler arasındaki ilişkileri öğrenmeye başlıyor. Sen bir sorgu girdiğinde, model o milyarlarca bağlantı üzerinden devasa matematiksel hesaplamalar yaparak hangi kelimeden sonra hangi kelimenin geleceğini tahmin ediyor.

Temel mantıkta anlattım nasıl çalıştığını basit olarak bil diye. Bugün Gemini'ı düşündüğünde internette gördüğüm veriye göre 288 milyar bahsettiğim o bağlantı noktası, yani parametresi var. Bu sayıda parametreyi oturup elle ya da basit bir sistemle ayarlamak zaten imkansız. Genelde ana modeli eğitmek için arkada bir tane de eğitmen model mantığı falan kurarlar, otomasyon şeklinde gibi düşün; veri verdikçe sistem durmadan ana modeli eğitir ve şekillendirir.

Aklıma bu kadarı geldi bu saatte idare et

 

[camazota]

Eğitim verisinden kastınız türkçe içeren dosyaları yapay zekaya gönderip onu eğitmek mi?

Yapay zeka aslında biyolojik olarak canlıların sinir ağının, nöronlarının yaptığını donanım kısıtıyla en iyi şekilde yapmaya çalışan matematik işlemleridir. İnsanların nöronlarının bağları aslında birer boşluktur ve bu boşluğun giderek azalması ya da artması, reseptörlerin artması gibi biyolojik olaylar ile bir nöron kendi verisini bağlandığı nörona azaltarak ya da tam olarak aktarır. Yapay zekada buna nöron ağırlığı denir. Yazılımda bu ağırlık değeri genelde 0,1 ya da -1,1 arası seçilir. -1 seçilme sebebi veriyi karşı nörona gönderirken negatif iletim yapması gerekmesindendir. Buna baskılayıcı tepki denir. Örnek olarak bir insana "Bana köpek ismi söyle" dendiğinde sadece "isim söyle" kısmı kafamızda çok genel isimler çağrıştırır. Fakat köpek kelimesi, cevabı oluşturacak olan nöronların çoğunu baskılayarak sinir ağını sadece köpek isimlerine yönlendirir. Nöronlara gelen mesaj atomiktir, elektrikseldir. Bir matematik işlemi vardır. Yazılımda da nöronların matematiğini taklit edebilmemiz için metnin harflerden ya da kelimelerden çok sayı olması gerekir. Bu nedenle önce kelimeler birden fazla sayı içeren vektörlere dönüştürülür. Bu dönüştürme rastgele değildir. Aynı anlama sahip ya da benzer anlamlara sahip kelimelerin sayısal değerlerinin birbirine yakın olması amaçlanır. Çeşitli yöntemler var bunlardan birini seçip test edebilir deneyebilirsin. Ayrıca fark edeceksin ki ağırlıklar ve metin vektörleri 0,1 aralığındaki ondalıklı sayılardır. Bunun sebebi matris çarpımlarında yani metin vektörleri ile matris ağırlıklarının çarpımında çıkan sonucun çok fazla büyümesi vrami çok daha hızlı dolduracaktır. Bunu önlemek ve modelin öğrenme hassasiyetini daha ince yapmak için ondalıklı 0,1 ya da -1,1 arası sayılar kullanılır. Her nöron çarpım sonucu veriyi bağlı olduğu nöronlara iletir. En son çıktı nöronlarına gelindiğinde elimizde 0 ve 1 aralığında sayı dizisi olur. İlk girdiğimiz metnin "Merhaba, nasılsın?" olduğunu düşün ve tüm işlemler yapıldı. Veri setinde de bu sorunun cevap karşılığı "İyiyim, sen nasılsın?". Fakat model ilk başta tıpkı yeni doğmuş bir bebek gibi daha hiçbir şeyi öğrenmiş değildir ve çok saçma bir metin üretir. Çıktı vektörlerini kullanarak gerçek cevap ile üretilen cevap arasındaki hata hesaplanır. Yine birçok hata hesaplama yöntemleri var. Hata puanı bulunur. Daha sonrasında türev ile her sinaps ağırlığının bu hata oranına etkisi hesaplanır. En son her sinaps için yeni bir ağırlık hesaplanılır. Bu birkaç kez tekrar edilir ve en sonunda model sorduğun soruya veri setindeki gibi cevap vermeyi öğrenir. Veri setinde eğer sadece soru cevap çiftleri tutarsan muhtemelen modelin tek soruluk bi model olur. Soru sorarsın cevap verir. Daha sonrasında ona önceki sorduğun soruyu anlattığında hatırlamaz. Bunu çözmek için ise soru cevap çiftleri yerine veri seti olarak uzun diyaloglar kullanılır. Bu da yapay zekanın uzun diyaloglarda geriye dönük daha anlamlı mesajlar üretmeyi öğrenmesini sağlar. Aynı zamanda modelin çalışma esnasında sadece sorulan soruyu veri olarak değil tüm diyaloğu tekrar ve tekrar veri olarak verilir. Bu yapay zekanın unutmamasını ve hatırlamasını sağlar. İnsanlardaki gibi eşik değer ile zaman bazlı ateşlemeler ve birlikte ateşlenen nöronlar bağlanır ilkesi ne yazık ki donanım kısıtı sebebiyle yapay zekada modellenemez ve çalışma anında öğrenmesini imkansız kılar. Bu nedenle eğitim ve çalıştırma birbirinden ayrı gerçekleşir. Eğitimin sonunda ssdye bir dosya kaydedilir. Bu dosya eğitmiş olduğun sinapsların ağırlıklarını barındırır. Yapay zeka modelinin çok çok hızlı çalışabilmesi için ekran kartı kullanılır. Ram yerine veriler ekran kartının vraminde depolanır. Ekran kartı işlemciye kıyasla çok fazla çekirdek barındırdığından aynı anda binlerce işlemi yapabilir. Vram kapasitesi de ne kadar ise o kadar nöron ağırlığı tutabilir. Vramin yüksek olması demek daha fazla nöron demektir. Tüm bu matematiği öğrendikten sonra artık yazılım dili öğrenmeye başlayabilirsin. Tüm bu ekran kartında çalıştırma, vrame yazma gibi işlemleri oldukça kolaylaştıran kütüphanelere sahip bir dil var. Python. Python yapısı gereği yorumlanan bir dil olduğu için çok yavaş çalışır fakat yapay zeka için derlenmiş ve C++ hızında yani makinanın çalıştırabileceği maksimum hızda çalışan yazılımları, kütüphaneleri vardır. Bu yüzden önereceğim dil pythondur. Pytorch öneririm fakat farklı kütüphanelerle de kodlanabilir. Son olarak şuan günümüz kullanıcısı için çıkarılan ekran kartları, güçlü yapay zeka modellerini çalıştırabilir vrami yettiği sürece. Fakat ne yazık ki model eğitmek için yeterli vrame yaklaşamaz bile. Matris çarpımları ekran kartında aynı anda olan işlemlerdir. Her iki sayının çarpımı yeni bir sayı üretir ve bu sayı çok daha fazla alan kaplar. Bunun tüm sinaps ağırlıkları ile aynı anda olduğunu düşündüğümüzde 16gb bir model eğitmeye çalıştığını varsayarsak modelin eğitim için muhtemelen 100+ GB vrame ihtiyaç duyar. Bu nedenle tüm altyapını tamamladığında ve veri setini hazır hale getirdiğinde kendi modelini eğitmek için yapay zeka çipi kiralamalısın. Eğitim bittikten sonra elinde tüm ağırlıkların kaydedilmiş hali kalır. Bu modeli çalıştırmak için ise modele göre değişmekle birlikte 16gb vramli ekran kartında veya belki 8gb vramli ekran kartında bile kendi modelini çalıştırabilirsin. Ayrıca ağırlıkların ondalık basamakları ne kadar artarsa vramde tutucağı alan o kadar artar. Bu basamakları en iyi ölçüde azaltabilirsin. Çok fazla azaltırsan modelin hassasiyeti bozulur dikkat etmen gerek. Basamakları azaltman daha düşük vram kullanımını sağlar. O dengeyi de kendine göre ayarlaman gerek. Eğer ciddi amaçlı yapmıyorsan da test amaçlı denemeler yapıp tüm mantığı pekiştirebilir ve hatta daha iyi yollar arayarak kendi algoritmalarını, optimizasyonlarını yapabilirsin. Fakat yine de ciddi olsun olmasın model eğitimi için yeterli vrame ve de güçlü, hızlı bir ekran kartına sahip olman ya da ulaşabiliyor olman gerekiyor

 

[Alihanyilmaz]

Yaparsın. Sıkıntı yok. Programlama bilmen gerekir.

 

[size xxl]

Yani kendi yapay zekanı tabi ki yapabilirsin ama sermaye, bilgi ve en önemlisi veri setleri lazım.

Örnek vermem gerekir ise Google'ı düşün, Gemini'ı pat diye çıkarttı bunu nasıl yaptı? Elinde zaten on yıllardır mevcut olan arama motoru indeksleri ile biriktirdiği milyarlarca belki trilyon katrilyonlarca verileri düzenleyip eğitim için uygun hale getirerek Gemini'ı besledi.

Ama tabi bu iş o kadar kolay değil. Yani diyelim ki senin elinde Google'daki gibi bol bol veri var, bunu direkt bir modele verip eğitemezsin ki eğitsen bile evdeki bilgisayarla belki yüz yıllar sürer öyle söyleyeyim. Adamlar milyar dolarlık tesislerde paralel çalışan devasa sistemler, ekran kartı tarlaları kullanıyorlar. Ancak o güçle birkaç sene içerisinde temel baz modeli çıkarabildiler. Zaten baz model sonrası iş bir tık daha kolay çünkü model şekil alıyor ve daha hızlı, daha kolay öğreniyor.

Ve verdiğim örnek sadece Google'ın elinde mevcut olan veriler üzerindendi. Belki de kendi mevcut elindeki verilerin on binlerce katını dışarıda bu işi yapan veri şirketlerinden vs. parça parça toparlayıp bütün hale getirip eğitmeye devam etti. Yani sıfırdan yapabilirsin ama tek başına yapman imkansız demek istemiyorum ama bir ekip şart ve proje boyutuna göre ciddi bir sermaye şart.

Bir de bu yapay zeka sistemlerinin nasıl çalıştığını en temel mantıkla açıklamam gerekirse, insan beynindeki sinir ağları gibi düşün. Sıfırdan başladın yapay zeka modeli geliştirmeye ve bir yapay sinir ağı mimarisi oluşturuyorsun. Sen modele verileri, metinleri verdikçe model o ağın içindeki milyarlarca bağlantının ağırlıklarını, yani sayısal değerlerini yavaş yavaş değiştiriyor ve zamanla kelimeler arasındaki ilişkileri öğrenmeye başlıyor. Sen bir sorgu girdiğinde, model o milyarlarca bağlantı üzerinden devasa matematiksel hesaplamalar yaparak hangi kelimeden sonra hangi kelimenin geleceğini tahmin ediyor.

Temel mantıkta anlattım nasıl çalıştığını basit olarak bil diye. Bugün Gemini'ı düşündüğünde internette gördüğüm veriye göre 288 milyar bahsettiğim o bağlantı noktası, yani parametresi var. Bu sayıda parametreyi oturup elle ya da basit bir sistemle ayarlamak zaten imkansız. Genelde ana modeli eğitmek için arkada bir tane de eğitmen model mantığı falan kurarlar, otomasyon şeklinde gibi düşün; veri verdikçe sistem durmadan ana modeli eğitir ve şekillendirir.

Aklıma bu kadarı geldi bu saatte idare et

Google kendi içinde 2008 den beri yapay zeka kullanıyor hocam pat diye çıkarabilme sebebinini biride bu.

 

[Henry Avery]

Merhabalar arkadaşlar. Uyumlu konu türünü bulamadım bu arada kusura bakmayın. Başlıkta da belirttiğim gibi, bizim Kumru'ya benzer, tamamen sıfırdan yapılmış bir yapay zeka geliştirmek istiyorum. Son zamanlarda genel olarak yapay zeka konularına bayağı merak saldım ve heveslenmeye başladım. Zaten şu an için çoğunlukla hobi amacıyla uğraşıyorum; yeterli bütçem olmadığı için de doğal olarak büyük bir beklentim yok. Ama yine de en azından küçük çaplı da olsa kendi yapay zekamı yapmak istiyorum. Detaylandırmak gerekirse amacım; Llama gibi hazır bir model kullanıp onun üzerinden bir yapay zeka geliştirmek değil, mimarisini tamamen kendim baştan inşa edeceğim bir modeli Türkçe ile eğitip bir SLM (Small Language Model) haline dönüştürmek. Şu anki hedefim bu. Gelecekte neler yapabilirim pek bilmiyorum ama şimdilik bunu başarabilmek için bilgili kişilerin tavsiyelerine ihtiyacım var. Sizce yol haritamı nasıl çizmeliyim? Neler yapmalıyım, neler yapmamalıyım? Nelere ihtiyacım var? Bu soruların cevaplarını verebilirseniz çok mutlu olurum. Şimdiden teşekkürler.

Çok mümkün değil