RLHF và cách nó hoạt động
RLHF - Reinforcement Learning from Human Feedback: ba giai đoạn huấn luyện LLM, reward model và thuật toán PPO.
12 phút đọc Cập nhật ngày
#llama
2 bài viết
Kiến trúc của mô hình Llama
Phân tích kiến trúc mô hình Llama: RMSNorm, RoPE, SwiGLU và Grouped Query Attention.
9 phút đọc