ENID
Tahap 4 dari 6

LLM dan Generative AI

Representasi teks, model bahasa, transformer, diffusion, RLHF, LoRA, dan RAG.

Kamu ingin memahami cara kerja LLM dan model generatif dari dalam. 4 jalur · 22 penjelasan.

Jalur 01 · 7 penjelasan

NLP I: Teks sebagai Angka

Tokenization, feature teks klasik, dan word embedding

  1. 1Tokenization & BPE
  2. 2Bag of Words
  3. 3TF-IDF
  4. 4Word2Vec & Word Embedding
  5. 5CBOW (Continuous Bag of Words)
  6. 6Skip-gram
  7. 7Embedding
Jalur 02 · 5 penjelasan

NLP II: Model Bahasa

Klasifikasi, seq2seq, NER, dan pemodelan bahasa dengan BERT

  1. 1Text Classification & Sentiment
  2. 2Seq2Seq & Beam Search
  3. 3Named Entity Recognition
  4. 4Language Modeling
  5. 5BERT dan Masked Language Modeling
QKV
Jalur 03 · 6 penjelasan

Cara Kerja LLM

Dari attention sampai transformer decoder-only, arsitektur di balik GPT

  1. 1Cara Kerja Self-Attention
  2. 2Multi-Head Attention
  3. 3Positional Encoding
  4. 4Cross-Attention
  5. 5Arsitektur Transformer
  6. 6Decoder-Only Transformer
Jalur 04 · 4 penjelasan

Generative AI

Diffusion model, RLHF, LoRA, dan retrieval-augmented generation

  1. 1Diffusion Model
  2. 2Retrieval-Augmented Generation
  3. 3LoRA dan Parameter-Efficient Fine-Tuning
  4. 4RLHF