Forward Propagation

import numpy as np

def forward(X, weights, biases):
    """Forward pass qua mạng nơ-ron — phiên bản gốc."""
    a = X  # đầu vào ban đầu, shape (batch, input_dim)
    cache = [a]  # lưu lại cho backprop

    for W, b in zip(weights[:-1], biases[:-1]):
        z = a @ W + b          # biến đổi tuyến tính
        a = np.maximum(0, z)   # ReLU cho lớp ẩn
        cache.append(a)

    # Lớp cuối: sigmoid cho phân loại nhị phân
    z = a @ weights[-1] + biases[-1]
    y_hat = 1 / (1 + np.exp(-z))
    cache.append(y_hat)

    return y_hat, cache

import torch
import torch.nn as nn
import torch.nn.functional as F

class MLP(nn.Module):
    def __init__(self, in_dim=784, hidden=128, out_dim=10):
        super().__init__()
        self.fc1 = nn.Linear(in_dim, hidden)
        self.fc2 = nn.Linear(hidden, hidden)
        self.fc3 = nn.Linear(hidden, out_dim)

    def forward(self, x):
        # Mỗi lớp = Linear(W, b) + activation
        h1 = F.relu(self.fc1(x))    # lớp ẩn 1
        h2 = F.relu(self.fc2(h1))   # lớp ẩn 2
        logits = self.fc3(h2)       # đầu ra thô (chưa softmax)
        return logits

model = MLP()
x = torch.randn(32, 784)           # batch 32 ảnh MNIST

# Huấn luyện: cần gradient
logits = model(x)                  # computation graph được dựng

# Inference: tắt gradient, nhanh và tiết kiệm RAM
model.eval()
with torch.no_grad():
    preds = model(x).argmax(dim=1)