Sıfırdan Kendi Yz Modelimi Eğitiyorum!

[GermiyanWithPlan]

Arkadaşlar hoş geldiniz konuya ilk baştan...

"Oğlum Bu Nedir Loo"
Adı Aloe Vera,sıfırdan kendim eğitmeye başladığım YZ modelim

"Niye Böyle bir şeye kalkıştın"
PC Prog okuyordum o vakit YZ karşıtıydım(Hala öyleyim) ama o vakit baya underqualified kaldım tek başıma HTML kodu yazamıyordum ondan sonra Gemini ile projeler geliştirmeyi başlayınca bu işlere merak saldım,sonra claude ile projelerim adeta çağ atladı,3050 ekran kartım ile Ollamada Qwen 2.5 Coder 14B,Oppo A15s telefonumda pocketpal üzerinden Qwen 3 0.6B gibi modeller ile YZ macerama devam ettim,dedim ulan benim modelim olsun sıfırdan olsun dedim ve kolları sıvayıp işe başladım

"Kardeş Nasıl Gözüküyor bu"
Tam Olarak Şöyle:

"Neyle Besliyon bunu arpayla mı yoncayla mı"
Hugging Face Üzerinden Edindiğim,2023-2024 güncel verileri dahil eden FineWeb adında 3 Milyar Token'lı Verisetini aldım onu şuan boğazına tıka tıka ilerliyorum

"Bu Süreçte nasıl gidiyor öğreniyor mu bir şeyler domalan"
ilk olarak 3050 4GB ekran kartım ile eğitmeye başladım 10ar adım 100 adımda bir kayıt olacak şekilde,saniyede 6000-6500 token hızlara ulaşabiliyordum,şuan colab üzerinde ilerlerken 250 adımda bir kayıt alıyorum,T4 ile 12-13K token alıyorum

Cloud şekilde eğitim olduğunu ama ücretsiz olanları olduğunu gerçekten bilmiyordum o da benim ayıbım olsun,gemini sayesinde google colab'ın varlığını öğrendim 3050 4GB'dan Tesla T4 16GB'a geçtim şuan ilk resimde görebileceğiniz gibi token miktarı 2ye katladı 13K Token hızları görebildim

"Abi bu 1.4 Motor mu 1.6 Motor mu gali,gaç pa'ça boya va' "

Toplam Parametre Sayısı:118.526.208
Mixed Precision:FP16,FP32'ye o vakit bulaşmadım 3050'nin VRAM yetmiyor diye
Efektif Batch Boyutu:64 (Batch Size=16 * Grad_Accum_Adım=4)

Şu ana kadarki en iyi Val_Los değeri=4.9476 (Val_Los 10-10.5'dan başlar,ilk başlarda çok çabuk 5e düşer ilk başta öğrendiği şeyler çok oluğu için,6'nın altına düştüğü kayda değer şekilde yavaşlar artık belleyerek öğrenmeye başladığı için)

ben bunu yazarken 23.300-23400. Adımlarda,tam takır hazır olup pre-training bitti dememiz için daha önümüzde en az 100000 adım daha var

Ayrıca ve Ayrıca,MODEL RAG ÖZELLİĞİ İLE GELECEK,bu da demek oluyor ki bu modele ayrı bir dosya yükleyip buna veri verip o veriye göre çıktı oluşturmasını sağlayabiliriz,böylece mesela 2023-2024'ye kadar olan bilgiler elinde olmasını rağmen dışarıdan bilgi vererek 2025-2026 ile alakalı output vermesini sağlayabiliriz,RAG özelliği eğitimi/tesi bu şuanki eğitim bittikten sonra yapacağız

muhtemelen piyasaya Q4K_M Q5K_M Q4XS Sıkıştırma Yöntemleriyle Github'ımda sunmayı planlıyorum,Tahmini Olarak 150MB Depolama/Bellek Harcayacak Çalışırken,

GGUF Formatına olacak,Ollama ve Pocketpal üzerinden deneyimleyebileceksiniz

Şimdiden Vatana Millete Hayırlı Olsun,Fikirlerinizi lütfen Yorumlara Yazınız

Hayırlı Günler Dilerim...

 

[Ebulehb]

Deneysel açıdan işleyişi anlaman için güzel bi proje ama zaten hali hazırda aynı datasetle ve daha fazlasıyla eğitilmiş çok daha üst seviye modeller varken bunu kullanmak biraz fantazi olur.

 

[GermiyanWithPlan]

Deneysel açıdan işleyişi anlaman için güzel bi proje ama zaten hali hazırda aynı datasetle ve daha fazlasıyla eğitilmiş çok daha üst seviye modeller varken bunu kullanmak biraz fantazi olur.

usta bu zaten ısınma amaçlı ondna sonra çok daha manyak projelere girişecem ben

 

[Ben10]

usta bu zaten ısınma amaçlı ondna sonra çok daha manyak projelere girişecem ben

Hocam eğitme işlerinden çok anlamıyorum ama machine learning yoluyla mı ilerliyorsunuz şuan Deep learn mü?

 

[GermiyanWithPlan]

Hocam eğitme işlerinden çok anlamıyorum ama machine learning yoluyla mı ilerliyorsunuz şuan Deep learn mü?

Machine learning şeklinde