Thư viện
248 chủ đề · 17 danh mục · lọc theo độ khó hoặc nhấn ⌘K để tìm nhanh.
Perceptron: viên gạch đầu tiên của mạng nơ-ron
Một nơ-ron nhân tạo làm được gì? Nó cộng có trọng số mọi đầu vào rồi trả lời 'có' hoặc 'không'. Bạn tự tay kéo trọng số và nhìn đường quyết định xoay theo.
MLP: xếp nhiều perceptron thành mạng
Một perceptron chỉ vẽ được đường thẳng. Xếp chúng thành nhiều lớp, bạn có đường cong. Đó là chìa khoá cho gần như mọi mô hình hiện đại.
Hàm kích hoạt: cái uốn cong của mạng nơ-ron
Bỏ hàm kích hoạt đi, cả một mạng nơ-ron sâu chỉ còn là một phép tính tuyến tính khổng lồ. Kéo, thử, so sánh để thấy vì sao 5 đường cong nhỏ lại thay đổi mọi thứ.
Lan truyền thuận
Dữ liệu đi qua mạng như tin nhắn qua các trạm. Mỗi trạm xử lý một chút rồi chuyển cho trạm sau.
Lan truyền ngược: truy ngược lỗi qua từng lớp
Mạng đoán sai. Lỗi đến từ lớp nào, weight nào cần sửa bao nhiêu? Backpropagation dùng quy tắc chuỗi để truy ngược lỗi từ đầu ra về từng trọng số, chỉ trong một lần duyệt.
Gradient descent: xoay weight để loss giảm dần
Bạn đã hiểu gradient là mũi tên chỉ đường. Giờ áp vào bài toán huấn luyện thật. Mỗi bước xoay các weight để loss giảm dần. So sánh ba cách bước: Vanilla, Momentum, Adam.
Hạ gradient ngẫu nhiên
Biến thể hiệu quả của gradient descent, cập nhật trọng số sau mỗi mẫu hoặc mỗi lô nhỏ.
Tốc độ học
Siêu tham số quan trọng nhất trong huấn luyện mạng nơ-ron, quyết định kích thước bước di chuyển khi tối ưu.
Hàm loss: điểm số của model
Loss là 'điểm số' của model. Càng thấp càng tốt. Chọn sai loss thì model sẽ học sai mục tiêu. Kéo từng điểm dự đoán và thấy MSE, MAE, cross-entropy phản ứng rất khác nhau.
Overfit và underfit: hai cách học sai của model
Hai thái cực ngược nhau khi huấn luyện model. Thuộc lòng đề cũ thì gặp đề mới là trượt (overfit). Đọc mỗi lý thuyết, chưa luyện bài thì cũng không làm nổi (underfit).
Chính quy hóa
Các kỹ thuật chống overfitting bằng cách thêm ràng buộc vào quá trình huấn luyện.
Chuẩn hóa theo lô
Kỹ thuật chuẩn hóa activation theo mini-batch để ổn định gradient, giúp huấn luyện nhanh hơn và bớt nhạy với khởi tạo.