Mühendislik Notları

Yön Bulma · Modül 01 · Büyük Resim

Bir LLM'in uçtan uca nasıl çalıştığını tek oturuşta görün; derin modüller bu haritanın parçalarını tek tek açar.

1. Baştan Sona Bir LLM — token, transformer, eğitim, çıkarım ve neden uydurduğuToken'lardan attention'a, eğitimden çıkarıma ve uydurmaya kadar bir LLM'in bütün parçalarını tek okumada bir araya getiriyoruz.29 Ağu 202616 dk okuma

Temeller · Modül 02 · Sinir Ağlarının Yapı Taşları

Bir sinir ağını eğitilebilir kılan beş parçayı kuruyoruz: aktivasyon, kayıp, geriye yayılım, optimizasyon ve normalizasyon.

1. Aktivasyon Fonksiyonları — doğrusalsızlığın geometrisi, sönümlenen gradyanlar ve SwiGLU devrimiDoğrusalsızlık olmadan katmanların neden tek bir matrise çöktüğünü ve ReLU'dan SwiGLU'ya giden yolu anlatıyoruz.1 Eki 202618 dk okuma
2. Kayıp Fonksiyonları — hatanın geometrisi, Log-Sum-Exp kararlılığı ve Cross-Entropy sadeleşmesiMSE'nin sınıflandırmada neden iflas ettiğini, Cross-Entropy türevinin p − y'ye nasıl sadeleştiğini ve onu kararlı tutan Log-Sum-Exp hilesini açıklıyoruz.1 Eki 202620 dk okuma
3. Geriye Yayılım ve Otomatik Türev — hesaplama çizgesi, aktivasyon belleği ve zincir kuralı anatomisiZincir kuralının bir hesaplama çizgesi üzerinde nasıl işletildiğini ve geriye yayılımın belleği neden aktivasyonlarla doldurduğunu görüyoruz.1 Eki 202620 dk okuma
4. Optimizasyon Algoritmaları — SGD salınımları, AdamW paradoksu ve Muon devrimiSGD'nin dar vadilerde neden salındığını, AdamW'nin weight decay'i neden ayırdığını ve Muon'un neyi değiştirdiğini adım adım hesaplıyoruz.1 Eki 202622 dk okuma
5. Ağırlık Başlatma ve Normalizasyon — Xavier, Kaiming, LayerNorm ve RMSNorm matematiğiXavier ve Kaiming başlatmanın, LayerNorm ve RMSNorm'un derin bir ağda sinyali nasıl ayakta tuttuğunu varyans hesabıyla gösteriyoruz.1 Eki 202620 dk okuma

Mimari · Modül 03 · Bir Prompt'un Yolculuğu

Bir prompt'u tokenizer'dan transformer bloğunun çıkışına ve çıktı katmanına kadar adım adım izliyoruz.

1. Tokenizasyon — kelimelerden tamsayılara, BPE mekaniği ve fertilityMetnin modele ulaşmadan tamsayılara nasıl dönüştüğünü, BPE'nin sözlüğü nasıl kurduğunu ve Türkçe metnin neden daha çok token harcadığını anlatıyoruz.19 Eyl 202612 dk okuma
2. Embedding Katmanı — token ID'lerinden sürekli vektörlere, lookup tablosu ve RoPEToken ID'lerini sürekli vektörlere çeviren arama tablosunu, lm_head ile paylaştığı ağırlıkları ve RoPE'un devreye girdiği yeri inceliyoruz.20 Eyl 202616 dk okuma
3. Anlamsal Embedding'ler — anlamın koordinatları, kosinüs mesafesi ve HNSW arama uzayıBir cümlenin anlam uzayında tek bir noktaya nasıl dönüştüğünü, kosinüs benzerliğinin gerçekte ne söylediğini ve HNSW'nin komşuları nasıl bulduğunu anlatıyoruz.21 Eyl 202611 dk okuma
4. Self-Attention — Q, K, V mantığı, adım adım matris matematiği ve bağlam vektörleriQ, K ve V'nin neden ayrı tutulduğunu üç kelimelik bir örnek üzerinde, hiçbir adımı atlamadan elle hesaplıyoruz.26 Eyl 202618 dk okuma
5. Causal Attention — zamanın oku, alt üçgensel matris ve yokluğun matematiğiMaske matrisinin her token'ın yalnızca geçmişe bakmasını nasıl sağladığını ve eğitimin buna neden muhtaç olduğunu gösteriyoruz.28 Eyl 202622 dk okuma
6. Multi-Head Attention — alt uzaylar, simetri kırılması ve kafa budamaModel boyutunu alt uzaylara bölen kafaların farklı ilişkileri paralel olarak nasıl takip ettiğini ve hangilerinin budanabildiğini inceliyoruz.29 Eyl 202618 dk okuma
7. Transformer Bloğu — gradyan otoyolu, konveks örtü ve FFN'in ilişkisel belleğiResidual bağlantıların, normalizasyonun ve FFN'in tek bir transformer bloğunda nasıl birlikte çalıştığını parçalarına ayırıyoruz.30 Eyl 202622 dk okuma
8. Çıktı Katmanı (LM Head) — logitler, bellek duvarı, Megatron-LM ve spekülatif kod çözmeSon transformer bloğundan çıkan gizli vektörün ekrandaki kelimeye nasıl dönüştüğünü, bellek duvarını ve spekülatif kod çözmeyi inceliyoruz.4 Eki 202624 dk okuma
9. Bağlam Penceresi (Context Window) — 2K duvarından FlashAttention, RoPE/YaRN ve 2026 hibrit Mamba modellerine2K duvarından başlayıp FlashAttention, RoPE/YaRN ve 2026'nın hibrit Mamba topolojilerine uzanan bağlam penceresi ve donanım mimarisini inceliyoruz.10 Eki 202626 dk okuma

Sistemler · Modül 04 · Üretimde LLM Sistemleri

Bir LLM'i üretimde hızlı ve ekonomik tutmak için maliyete, gecikmeye ve vLLM motorunun içine bakıyoruz.

1. Maliyet ve Gecikme Anatomisi — TTFT, TPOT, prompt caching ve model yönlendirmeTTFT ve TPOT ölçümleri, prompt caching ve model yönlendirme ile bir LLM çağrısının faturasını ve gecikmesini nasıl düşüreceğinizi gösteriyoruz.4 Eyl 202618 dk okuma
2. vLLM Motor Mimarisi — continuous batching, prefix cache ve KV bellek yönetimivLLM'in KV belleğini bloklara nasıl böldüğünü, continuous batching'in ve prefix cache'in nasıl çalıştığını motorun içinden izliyoruz.5 Eyl 202614 dk okuma

Sistemler · Modül 05 · Prompting'den Otonom Ajanlara

Prompting tekniklerinden başlayıp ajanın sistem prompt'unu ve uzun süreli hafızasını kuruyoruz.

1. Akıl Yürütme ve Prompting — Chain-of-Thought, ReAct ve akıl yürüten modeller çağıChain-of-Thought ve ReAct gibi tekniklerin, kendi başına akıl yürüten modeller çağında hâlâ nerede işe yaradığını tartışıyoruz.3 Eyl 20266 dk okuma
2. Ajan Prompt'unun Anatomisi — sistem sözleşmesi, araç sınırları ve 8 yapı taşıBir ajanın sistem prompt'unu, rolden araç sınırlarına kadar sekiz yapı taşından oluşan bir sözleşme olarak kuruyoruz.4 Eyl 202611 dk okuma
3. Ajan Hafızası — yazma ve okuma yolları, geçersiz kılma, dreaming ve çok ajanlı kapsamDurumsuz bir modelin etrafında neyin hatırlanacağına, neyin güncelleneceğine ve neyin unutulacağına karar veren sistemi kuruyoruz.27 Eyl 202635 dk okuma

Sistemler · Modül 06 · RAG ve Bilgi Erişimi

Vektör veritabanının içinden başlayıp üretimde ayakta kalan RAG desenlerine kadar erişim katmanını inceliyoruz.

1. Vektör Veritabanı Mimarisi — ANN indekslerinden metadata filtreleme ve canlı veriyeBir vektör veritabanının ANN indeksinin etrafına silme, metadata filtreleme ve canlı veri için neler kurduğunu inceliyoruz.2 Eyl 202611 dk okuma
2. Üretimde RAG Desenleri — 4 temel hata teşhisi, HyDE, hybrid arama ve rerankingRAG hatalarını dört aileye ayırıyor, HyDE, hybrid arama ve reranking gibi desenleri belirtiye bakarak seçmeyi gösteriyoruz.3 Eyl 20268 dk okuma

Tekil Yazılar

1. GPU Mimarisi ve LLM Ölçekleme — Silikon Hesaplamadan NVSwitch Ağlarına, GPUDirect Depolamadan Paralellik Roofline'larınaHesaplama (Compute), Ağ (Network) ve Depolama (Storage): Silikondan NVSwitch kümelerine, kolektiflerden GPUDirect Storage ve 4D paralelliğe modern GPU ölçekleme anatomisi.10 Eki 202649 dk okuma