Tokenization: AI đọc chữ như thế nào?
Gõ một câu.
Mô hình AI không đọc chữ
cắt câu thành token. là một mảnh chữ.
- Văn bản31 ký tự
- Token11 token
- ID352, 363, 439, 430, 294, 261, 272, 385, …
là số thứ tự của một token. Mô hình AI chỉ đọc dãy ID.
Bước 2
Tokenizer học ít tiếng Việt thì tiếng Việt tốn token hơn
Tokenizer học cách cắt từ một kho văn bản.
Kho văn bản dùng để học gọi là văn bản huấn luyện.
Tokenizer học ít tiếng Việt thì cắt câu tiếng Việt thành nhiều token hơn.
Nhiều dịch vụ tính tiền theo số token.
Mỗi mô hình AI chỉ đọc và viết được một số token có hạn.
Khi tokenizer học ít tiếng Việt, cùng một giới hạn token chứa ít chữ tiếng Việt hơn.
Tokenizer học 70% tiếng Việt
Bạn có muốn uống trà sữa không?
11 token
Tokenizer học 70% tiếng Việt cắt câu tiếng Việt thành 11 token.
Do you want to drink milk tea?
Tokenizer học 70% tiếng Việt cắt câu tiếng Anh thành 20 token.
Tokenizer học 100% tiếng Anh
Bạn có muốn uống trà sữa không?
36 token
Tokenizer học 100% tiếng Anh cắt câu tiếng Việt thành 36 token.
Do you want to drink milk tea?
Tokenizer học 100% tiếng Anh cắt câu tiếng Anh thành 11 token.
Bước 3
Tokenizer học ghép token
là cách tokenizer học token mới.
Mỗi lượt, BPE ghép cặp token đứng cạnh nhau nhiều nhất.
là danh sách mọi token mà tokenizer biết.
Khi cắt câu mới, tokenizer làm lại các lượt ghép theo thứ tự đã học.
Chạy từng lượt ghép
Đã ghép 200 lượt. Bấm Về lượt 0, rồi bấm Chạy.
Mỗi lượt ghép thêm một token mới vào từ điển.
Cặp vừa ghép có trong câu thì câu bớt token.
Dấu · ở đầu token là một dấu cách.
Các cặp gặp nhiều nhất trong văn bản huấn luyện
- or+k→ork18 lầnlượt tiếp theo
- ·mor+ning→·morning18 lần
- ·s+t→·st18 lần
- a+m→am16 lần
- Th+e→The15 lần
Số lần là số lần cặp đứng cạnh nhau khi học.
Số lần bằng nhau thì cặp xếp trước được ghép trước.
Bước 4
Token thành số, và ngược lại
Tokenizer đổi mỗi token thành một ID.
Mô hình AI trả lời bằng một dãy ID.
là bước tokenizer đổi dãy ID trở lại thành chữ.
Mô hình AI học nghĩa của từng ID trong từ điển.
Dấu · ở đầu token là một dấu cách.
Nhờ dấu ·, ghép token lại ra đúng câu gốc.
Thử thách
Ba tình huống, bạn chọn gì?
Từ “Udemi” không có trong từ điển. Tokenizer giữ từ này bằng cách nào?
Một ứng dụng AI giới hạn câu trả lời ở mức 500. Số 500 tính theo đơn vị nào?
Bạn đổi tokenizer và không học lại mô hình AI. Điều gì xảy ra?
Kiểm tra
8 câu hỏi nhanh
Vì sao tokenizer cắt chữ thành token nhỏ hơn một từ?
Tóm tắt
5 ý ngắn
- Tokenizer cắt câu thành token. Tokenizer đổi mỗi token thành một ID.
- Tokenizer học ít tiếng Việt thì câu tiếng Việt tốn nhiều token hơn.
- BPE ghép cặp token đứng cạnh nhau nhiều nhất thành token mới.
- Mô hình AI đọc và trả về dãy ID. Decode đổi dãy ID thành chữ.
- Từ lạ được cắt thành các token có trong từ điển.
Phần nâng caoĐào sâu
8 phần về byte, cách cắt, BPE và ID.
Phần 1
Đường đi của một câu
Câu ở bước 1 đi qua năm thẻ này.
Bấm một thẻ để xem bước đó.
Tokenizer: từ byte, 60 cặp câu, 70% tiếng Việt, 200 lượt ghép.
Phần 2
Chữ thành byte
Máy tính chỉ lưu được con số.
Mỗi ký tự có một mã số Unicode.
UTF-8 ghi mỗi mã số thành một đến bốn byte.
Một byte là một số từ 0 đến 255.
Mỗi byte viết bằng 8 bit.
Một bit là chữ số 0 hoặc 1.
Trang này viết mỗi byte bằng hai ký tự hệ 16.
Hệ 16 dùng chữ số 0 đến 9 và A đến F.
Ví dụ, E1 là số 225.
Mã Unicode cũng viết theo hệ 16.
U+1EC7 (chữ ệ) là số 7.879.
Bấm một ký tự để xem bit của ký tự đó.
Dạng dựng sẵn: mỗi chữ có dấu là một ký tự. Dạng tổ hợp: mỗi dấu là một ký tự riêng. Dạng tổ hợp có 41 ký tự và 51 byte.
Từng ký tự và byte của ký tự đó
Viền nét đứt: ký tự cần hơn 1 byte. Chữ a đến z cần 1 byte. Chữ có dấu dựng sẵn cần 2 hoặc 3 byte. Chữ đ cần 2 byte. Biểu tượng cảm xúc thường cần 4 byte. Ở dạng tổ hợp, mỗi dấu là một ký tự. Một chữ có dấu có thể cần 5 byte.
Ký tự thứ 2: ạ
Mã Unicode: U+1EA1
Tức là số 7.841. Viết bằng nhị phân cần 13 bit. Khuôn 2 byte chỉ chở được 11 bit, nên UTF-8 dùng khuôn 3 byte (16 chỗ) và thêm số 0 ở đầu cho đủ chỗ.
- Mã số viết bằng nhị phân
- 0001111010100001
- Khuôn UTF-8 cho ký tự 3 byte
- 1110xxxx10xxxxxx10xxxxxx
- Đổ các bit vào khuôn, được các byte
- 11100001= E1 (hệ 16) = 22510111010= BA (hệ 16) = 18610100001= A1 (hệ 16) = 161
Phần in đậm cho biết ký tự dài mấy byte. 0 là 1 byte. 110 là 2 byte. 1110 là 3 byte. 11110 là 4 byte. Mỗi byte sau bắt đầu bằng 10. Phần còn lại chở các bit của mã số.
Phần 3
Cắt thành từ trước đã
Tokenizer cắt câu ở dấu cách và dấu câu.
Một token không được dính qua hai từ.
Tiếng Việt viết cách nhau từng tiếng.
“Trà sữa” bị cắt làm hai tiếng.
Ở trang này, “từ” là chữ nằm giữa hai dấu cách.
8 từ và dấu câu
Dấu · ở đầu token là một dấu cách.
Ghép các từ lại thành câu:
Bạn có muốn uống trà sữa không?
Ghép lại đúng như câu ban đầu.
Token ·đi khác token Đi. Chữ hoa Đi khác chữ thường đi.
Phần 4
Huấn luyện tokenizer ghép token
Tokenizer không có sẵn từ điển.
Tokenizer tự học từ văn bản huấn luyện, bằng thuật toán BPE.
- Bắt đầu từ từng ký tự, hoặc từ từng byte như mô hình GPT.
- Đếm mọi cặp token đứng cạnh nhau trong văn bản.
- Ghép cặp gặp nhiều nhất thành một token mới và thêm token đó vào từ điển.
- Lặp lại bước đếm và bước ghép.
Bạn chọn văn bản huấn luyện và số lượt ghép.
Mọi phần bên dưới dùng tokenizer vừa huấn luyện ở đây.
Tokenizer của bạn
Token gốc lúc bắt đầu
Từ điển gốc có 256 byte. Mọi chữ đều cắt được. Biểu tượng cảm xúc cũng cắt được.
Văn bản huấn luyện
Mỗi câu tiếng Việt được đếm 7 lần. Mỗi câu tiếng Anh được đếm 3 lần. Kéo về 0% để tokenizer chỉ học tiếng Anh.
Xem 60 cặp câu
- Tôi thích uống cà phê sữa đá vào buổi sáng.I like to drink iced milk coffee in the morning.
- Mẹ tôi đi chợ mua xoài và rau.My mother goes to the market to buy mangoes and vegetables.
- Hôm nay trời mưa nên tôi ở nhà.Today it is raining so I stay at home.
- Bạn có muốn đi ăn phở với tôi không?Do you want to go eat pho with me?
- Con mèo đang ngủ trên ghế.The cat is sleeping on the chair.
- Tôi học tiếng Anh mỗi ngày.I study English every day.
- Quán cà phê này rất đông vào buổi tối.This coffee shop is very busy in the evening.
- Chúng tôi đi làm bằng xe máy.We go to work by motorbike.
- Cô giáo dạy chúng tôi môn toán.The teacher teaches us math.
- Bố tôi đọc báo vào buổi sáng.My father reads the newspaper in the morning.
- Tôi muốn mua một chiếc điện thoại mới.I want to buy a new phone.
- Hà Nội rất lạnh vào mùa đông.Hanoi is very cold in the winter.
- Em gái tôi thích ăn xoài chín.My younger sister likes to eat ripe mangoes.
- Máy tính của tôi chạy rất chậm.My computer runs very slowly.
- Chúng tôi xem phim vào cuối tuần.We watch movies on the weekend.
- Bạn làm việc ở đâu?Where do you work?
- Tôi làm việc ở một công ty nhỏ.I work at a small company.
- Mùa hè ở Sài Gòn rất nóng.Summer in Saigon is very hot.
- Anh ấy chạy bộ mỗi buổi sáng.He goes running every morning.
- Chị ấy nấu ăn rất ngon.She cooks very well.
- Tôi uống trà nóng vào buổi tối.I drink hot tea in the evening.
- Con chó nhà tôi rất thích đi dạo.My dog really likes to go for walks.
- Chúng tôi học bài ở thư viện.We study at the library.
- Cửa hàng mở cửa lúc bảy giờ sáng.The store opens at seven in the morning.
- Tôi không thích trời mưa.I do not like rainy weather.
- Ông bà tôi sống ở quê.My grandparents live in the countryside.
- Bạn có thích học máy không?Do you like machine learning?
- Máy học từ dữ liệu và ví dụ.Machines learn from data and examples.
- Tôi viết thư cho bạn tôi.I write a letter to my friend.
- Chúng tôi ăn cơm tối lúc bảy giờ.We eat dinner at seven.
- Trời hôm nay đẹp quá.The weather is so nice today.
- Tôi đi ngủ lúc mười giờ tối.I go to bed at ten at night.
- Sáng nay tôi dậy sớm để tập thể dục.This morning I got up early to exercise.
- Bà tôi trồng rất nhiều hoa trong vườn.My grandmother grows a lot of flowers in the garden.
- Chiếc xe buýt này đi đến trường học.This bus goes to the school.
- Tôi thường nghe nhạc khi làm bài tập.I often listen to music when doing homework.
- Học sinh phải đến lớp đúng giờ.Students must come to class on time.
- Chúng tôi đi biển vào mùa hè.We go to the beach in the summer.
- Bạn tôi vừa mua một chiếc máy tính mới.My friend just bought a new computer.
- Mẹ nấu canh chua rất ngon.Mom cooks very tasty sour soup.
- Tôi cần đi ngân hàng chiều nay.I need to go to the bank this afternoon.
- Thành phố này có nhiều công viên đẹp.This city has many beautiful parks.
- Anh trai tôi làm bác sĩ ở bệnh viện.My older brother works as a doctor at the hospital.
- Chúng tôi chơi bóng đá sau giờ học.We play football after school.
- Cô ấy đang đọc một cuốn sách hay.She is reading a good book.
- Giá rau ở chợ hôm nay rất rẻ.Vegetables at the market are very cheap today.
- Tôi gửi tin nhắn cho mẹ mỗi tối.I send my mother a message every evening.
- Máy tính có thể học từ rất nhiều dữ liệu.Computers can learn from a lot of data.
- Mô hình ngôn ngữ đọc văn bản thành từng token.Language models read text as tokens.
- Trí tuệ nhân tạo đang thay đổi cách chúng ta làm việc.Artificial intelligence is changing the way we work.
- Ngày mai chúng tôi sẽ đi thăm ông bà.Tomorrow we will visit our grandparents.
- Tôi thích đi dạo trong công viên vào buổi chiều.I like to walk in the park in the afternoon.
- Con mèo thích nằm dưới ánh nắng.The cat likes to lie in the sunlight.
- Bạn có biết đường đến nhà ga không?Do you know the way to the train station?
- Chúng tôi học lập trình vào thứ bảy.We study programming on Saturdays.
- Quyển sách này nói về lịch sử Việt Nam.This book is about the history of Vietnam.
- Tôi muốn học thêm về trí tuệ nhân tạo.I want to learn more about artificial intelligence.
- Mùa thu ở Hà Nội rất đẹp.Autumn in Hanoi is very beautiful.
- Bố mẹ tôi uống trà mỗi buổi sáng.My parents drink tea every morning.
- Chúng tôi sẽ nghỉ hè vào tháng sáu.We will have summer vacation in June.
Kéo Số lượt ghép về 0. Rồi bấm Chạy.
256 gốc + 200 mới
lúc đầu 24.502 token, nay ít hơn 59%
Lượt ghép #201 sẽ chọn cặp nào?
10 cặp token đứng cạnh nhau nhiều nhất. Cặp đầu tiên sẽ được ghép. Số lần bằng nhau thì cặp xếp trước được ghép trước. Bấm một cặp để thấy vị trí trong văn bản huấn luyện.
Cặp or + k nằm ở đâu?
Đặt số lượt ghép về 0. Mọi từ thành byte. Bấm Chạy để thấy các từ liền lại. Văn bản huấn luyện có 443 từ khác nhau.
3 từ trong văn bản huấn luyện có cặp này (viền đậm). Số ×n là số lần từ được đếm. Mỗi câu tiếng Việt tính 7 lần. Mỗi câu tiếng Anh tính 3 lần. Cộng lại:
12 + 3 + 3 = 18 lần
- ·work×12
- ·homework×3
- ·works×3
40 từ hay gặp nhất, cắt bằng tokenizer lúc này
- .×560
- ·tôi×168
- Tôi×91
- ·the×78
- ·rất×77
- ·vào×70
- ·đi×70
- ·học×63
- ·to×63
- ·ở×63
- Chúng×56
- ·buổi×49
- ·thích×49
- ·in×45
- ·làm×42
- ?×40
- I×39
- Bạn×35
- ·có×35
- ·giờ×35
- ·nay×35
- ·sáng×35
- ·tối×35
- My×30
- ·is×30
- ·không×28
- ·mỗi×28
- ·một×28
- ·này×28
- ·ăn×28
- ·a×27
- ·at×27
- We×24
- ·very×24
- Con×21
- Máy×21
- ·bảy×21
- ·chúng×21
- ·công×21
- ·hè×21
Ghép càng nhiều, văn bản càng ngắn
Trục dọc là phần token còn lại. Mốc 100% là lúc chưa ghép lượt nào. Các lượt ghép làm văn bản huấn luyện ngắn đi. Câu có nhiều từ đã học thì ngắn nhanh. Câu có từ lạ thì ngắn chậm. Bấm biểu đồ để chọn một lượt ghép.
Xem dạng bảng
| Lượt ghép | Từ điển | Văn bản huấn luyện | Còn lại (%) | Câu của bạn |
|---|---|---|---|---|
| 0 | 256 | 24.502 | 100% | 42 (100%) |
| 50 | 306 | 15.221 | 62,1% | 26 (61,9%) |
| 100 | 356 | 12.586 | 51,4% | 19 (45,2%) |
| 150 | 406 | 11.093 | 45,3% | 14 (33,3%) |
| 200 | 456 | 10.055 | 41% | 11 (26,2%) |
| 250 | 506 | 9.329 | 38,1% | 11 (26,2%) |
| 300 | 556 | 8.629 | 35,2% | 10 (23,8%) |
| 350 | 606 | 8.089 | 33% | 10 (23,8%) |
| 400 | 656 | 7.709 | 31,5% | 10 (23,8%) |
Sổ ghép: 200 lượt đã học
Sổ ghép là danh sách lượt ghép. Lượt mới nhất ở trên cùng. Bấm một dòng để quay về lượt đó. Phím mũi tên đi qua các dòng.
Phần 5
Cắt câu của bạn
Tokenizer không đoán.
Với mỗi từ, tokenizer tách thành token gốc.
Tokenizer làm lại các lượt ghép đã học, đúng thứ tự đã học.
Cặp có trong sổ ghép thì được ghép.
Sổ ghép là danh sách các lượt ghép ở Phần 4.
Bấm một token để xem ID, byte và cây ghép của token đó.
Tokenizer: từ byte, 60 cặp câu, 70% tiếng Việt, 200 lượt ghép.
Hai cách dùng chung một từ điển.
BPE làm lại các lượt ghép.
Cách kia chọn token dài nhất, từ trái sang.
BERT là một mô hình ngôn ngữ của Google.
WordPiece thật của BERT còn khác ở vài điểm.
Ở đây chỉ đổi cách cắt.
Câu đang ở dạng dựng sẵn. Nút NFC không đổi câu.
11 token
Cách lấy token dài nhất cho 11 token. Với câu này, hai cách cắt giống hệt nhau.
Token thứ 3
- Số ID
- 439
- Byte
- 20 6D 75 E1 BB 91 6E (7 byte)
- Tạo ra ở
- Lượt ghép #184
- Trong văn bản huấn luyện
- 21 lần
Cây ghép
Đọc từ dưới lên. Hàng cuối là token gốc. Mỗi lượt ghép tạo token ở hàng trên.
- #1: E1 + BB → E1 BB
- #8: · + m → ·m
- #24: u + E1 BB → 75 E1 BB
- #70: 75 E1 BB + 91 → uố
- #123: uố + n → uốn
- #184: ·m + uốn → ·muốn
Số # là lượt ghép. Số nhỏ học trước.
Từ “·muốn”, ghép từng lượt
Từ này qua 6 lượt ghép, từ 7 token xuống còn 1 token. Các lượt khác không có cặp ở đây, nên bị bỏ qua.
Lượt #184: ·m + uốn → ·muốn
Phần 6
Cắt to hay cắt nhỏ?
Cùng một câu có thể cắt theo bốn cỡ.
Cắt càng nhỏ thì câu càng dài.
Mô hình AI phải đọc nhiều token hơn.
Nhiều dịch vụ tính tiền theo số token.
Cắt cả từ thì câu ngắn.
Từ điển cả từ phải chứa mọi từ.
Với văn bản thật, từ điển cả từ có hàng trăm nghìn từ.
Ở đây chỉ có vài trăm, vì văn bản huấn luyện nhỏ.
Từ mới vẫn không có trong từ điển.
BPE cho bạn chọn ở giữa.
Ít lượt ghép thì câu dài.
Nhiều lượt ghép thì câu ngắn.
Từng byte
42 token · từ điển 256 token
Từ điển cố định 256 byte, đủ cho mọi thứ tiếng: không chữ nào bị mất. Nhưng mỗi chữ có dấu tốn 2 đến 3 token.
Từng ký tự
31 token · từ điển 97 token
Mỗi chữ cái, mỗi dấu câu, mỗi dấu cách (·) là một token. Câu vẫn dài.
BPE, 200 lượt ghép
11 token · từ điển 456 token
Từ hay gặp thành một token. Từ lạ được ghép từ token đã học, xuống tới từng byte. Tokenizer bắt đầu từ byte thì không mất chữ nào.
Cả từ
8 token · từ điển 444 token
Câu ngắn nhất. Nhưng từ điển phải chứa mọi từ, và từ mới nào cũng thành [UNK] (token cho chữ lạ).
Bốn cách cắt, cùng một thang
Mỗi thanh là số token của câu bạn gõ. Thanh dài hơn là nhiều token hơn. Thang này là thang thường, không phải thang logarit.
- Byte42
- Ký tự31
- BPE11
- Cả từ8
Từ điển lớn thì câu ngắn
Trục ngang là số token trong từ điển. Khoảng từ 10 đến 100 bằng khoảng từ 100 đến 1.000. Trục dọc là số token của câu bạn gõ. Đường liền là BPE, từ 0 đến 400 lượt ghép. Ba chấm là ba cách cắt còn lại. Bấm đường để đổi số lượt ghép.
Xem dạng bảng
| Cách cắt | Từ điển | Số token | Token lạ |
|---|---|---|---|
| Từng byte | 256 | 42 | 0 |
| Từng ký tự | 97 | 31 | 0 |
| BPE, 200 lượt ghép | 456 | 11 | 0 |
| Cả từ | 444 | 8 | 0 |
Tokenizer GPT-4o có khoảng 200.000 token trong từ điển. Tải tokenizer này ở Phần 7.
Phần 7
Tiếng Việt tốn token hơn?
Tokenizer học từ văn bản nào thì cắt giỏi văn bản đó.
Văn bản huấn luyện phần lớn là tiếng Anh thì tiếng Việt bị cắt thành nhiều token.
Người dùng tiếng Việt trả nhiều tiền hơn cho cùng một ý.
Cùng một giới hạn token chứa ít chữ hơn.
Thí nghiệm này dùng sáu cặp câu.
Tokenizer chưa thấy sáu cặp câu này khi học.
Đổi tỉ lệ tiếng Việt trong văn bản huấn luyện
Trang này học lại 11 tokenizer, từ 0% đến 100% tiếng Việt. Mỗi tokenizer bắt đầu từ byte và dừng ở 200 lượt ghép. Mỗi điểm là tổng số token của sáu câu thử. Bấm biểu đồ để chọn một tỉ lệ.
Chuẩn bị học 11 tokenizer…
Xem dạng bảng
| Tiếng Việt trong văn bản huấn luyện | Token tiếng Việt | Token tiếng Anh | Việt so với Anh |
|---|
Đang học các tokenizer.
Sáu câu thử, cắt bằng tokenizer của bạn
Bấm một cặp câu để xem từng câu bị cắt thế nào.
Tiếng Việt: 11 token
Tiếng Anh: 20 token
Tokenizer thật của OpenAI
Đây là ba tokenizer thật của OpenAI. GPT-2 là tokenizer cũ (2019). Hai tokenizer còn lại dùng cho ChatGPT. Ba tokenizer chạy ngay trong trình duyệt. Bấm một tokenizer để tải về và cắt câu của bạn.
Sáu câu thử: tokenizer của bạn so với tokenizer thật
Tokenizer của bạn (456 token)Việt so với Anh: ×0,8
Tiếng Việt93 tokenTiếng Anh124 token
So sánh số token tiếng Việt qua ba tokenizer.
Phần 8
Từ token thành số, và ngược lại
Mỗi token trong từ điển có một ID.
ID là số thứ tự của một token.
Từ điển có 456 token, nên ID đi từ 0 đến 455.
Mô hình AI không thấy chữ nào.
Mô hình AI chỉ nhận dãy ID.
Khi mô hình AI trả lời, mô hình AI cũng trả về dãy ID.
Tokenizer đổi từng ID thành token.
Tokenizer nối các token thành chữ.
Bước này gọi là decode.
Câu của bạn thành dãy số
[352, 363, 439, 430, 294, 261, 272, 385, 97, 389, 63]
Bật “Thêm token đặc biệt”. Hai token đặc biệt đánh dấu chỗ bắt đầu và chỗ kết thúc.
Đi ngược lại: sửa dãy số, xem chữ
Chữ ghép lại từ dãy số:
Bạn có muốn uống trà sữa không?
Đảo thứ tự thì câu vẫn đủ token. Câu đảo thứ tự không còn nghĩa. Mô hình AI cần thứ tự của các ID. Nếu tokenizer bắt đầu từ byte, bỏ một ID có thể làm vỡ chữ có dấu.
Tra từ điển: 456 token
200 token do các lượt ghép tạo ra, hiện 60 token. Gõ để tìm cả các token gốc.
- ooID 455lượt #200
- ofID 454lượt #199
- itID 453lượt #198
- ·buID 452lượt #197
- aiID 451lượt #196
- ·đọcID 450lượt #195
- ·đếnID 449lượt #194
- ·đẹpID 448lượt #193
- ·đangID 447lượt #192
- ·xeID 446lượt #191
- ·việcID 445lượt #190
- ·từID 444lượt #189
- ·tínhID 443lượt #188
- ·nhàID 442lượt #187
- ·nhiềuID 441lượt #186
- ·máyID 440lượt #185
- ·muốnID 439lượt #184
- ·muaID 438lượt #183
- ·morID 437lượt #182
- ·lúcID 436lượt #181
- ·hèID 435lượt #180
- ·chúngID 434lượt #179
- ·côngID 433lượt #178
- ·bảyID 432lượt #177
- ·ấyID 431lượt #176
- ·uốngID 430lượt #175
- ·evID 429lượt #174
- ·NID 428lượt #173
- ờiID 427lượt #172
- ộID 426lượt #171
- ểID 425lượt #170
- ủID 424lượt #169
- ậpID 423lượt #168
- ếnID 422lượt #167
- ẹpID 421lượt #166
- ấyID 420lượt #165
- ạyID 419lượt #164
- ườngID 418lượt #163
- ínhID 417lượt #162
- úcID 416lượt #161
- ômID 415lượt #160
- óngID 414lượt #159
- ânID 413lượt #158
- uốngID 412lượt #157
- keID 411lượt #156
- iếcID 410lượt #155
- auID 409lượt #154
- MáyID 408lượt #153
- ConID 407lượt #152
- AnhID 406lượt #151
- ·veryID 405lượt #150
- ·fID 404lượt #149
- ningID 403lượt #148
- llID 402lượt #147
- herID 401lượt #146
- WeID 400lượt #145
- ·atID 399lượt #144
- terID 398lượt #143
- evID 397lượt #142
- arID 396lượt #141
Kiểm tra phần 2
Hai câu về byte và dấu
Vì sao chữ “ệ” (dạng dựng sẵn) tốn nhiều byte hơn chữ “e”?
Nguồn:Hugging Face LLM Course, thuật toán BPE (chương 6.5)(mở tab mới)Cập nhật ngày