---
title: "Distillation (chưng cất model) là gì? Model thầy và trò"
description: "Distillation huấn luyện một model “trò” nhỏ bắt chước model “thầy” lớn hơn để chạy rẻ hơn. Soft target hoạt động thế nào và model suy luận chưng cất được tạo ra sao."
url: https://broadrouter.com/vi/glossary/distillation/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/distillation/) (cập nhật ngày 2026-11-16).

# Chưng cất tri thức (knowledge distillation)

Cập nhật 2026-11-16

Distillation, hay chưng cất tri thức (knowledge distillation), là phương pháp huấn luyện trong đó một model trò nhỏ hơn học tái tạo đầu ra của một model thầy lớn hơn, như phân phối xác suất hay câu trả lời sinh ra, để model trò giữ được phần lớn chất lượng của model thầy với chi phí chạy thấp hơn.

Còn gọi là: distillation là gì, chưng cất tri thức, chưng cất model, model chưng cất, huấn luyện thầy trò, knowledge distillation, model distillation, distilled model, teacher-student training

Model lớn tốn kém khi phục vụ. Distillation chuyển những gì model lớn biết sang một model nhỏ.

## Cách hoạt động

Hinton, Vinyals và Dean mô tả dạng hiện đại vào năm 2015. Xác suất đầu ra của model thầy trở thành “soft targets” (Bản dịch: mục tiêu mềm) cho model trò. Một nhãn thông thường chỉ nói “đây là số 7”. Xác suất của model thầy còn cho biết nó hơi giống số 1 và hoàn toàn không giống số 4, và tín hiệu thêm đó giúp model trò học.

Để làm lộ tín hiệu này, họ tăng [temperature](https://broadrouter.com/vi/glossary/temperature/) của softmax. Bài báo lưu ý rằng T cao hơn “produces a softer probability distribution over classes” (Bản dịch: tạo ra phân phối xác suất mềm hơn trên các lớp). Kết quả MNIST của họ:

| Model | Số lỗi trên tập test |
| --- | --- |
| Mạng thầy lớn | 67 |
| Mạng nhỏ, chỉ huấn luyện trên nhãn | 146 |
| Cùng mạng nhỏ đó, chưng cất ở T = 20 | 74 |

Với LLM, distillation thường dùng văn bản được sinh ra thay cho xác suất. Model thầy viết câu trả lời, và model trò được [fine-tune](https://broadrouter.com/vi/glossary/fine-tuning/) trên đó. Bài báo DeepSeek-R1 báo cáo rằng các mẫu suy luận của model lớn có thể dẫn dắt model nhỏ hơn. Model card của nó liệt kê sáu model chưng cất từ 1,5B đến 70B tham số, xây trên nền Qwen2.5 và Llama và được fine-tune trên dữ liệu suy luận do DeepSeek-R1 sinh ra.

## Vì sao quan trọng

-   **Chi phí và tốc độ.** Model nhỏ hơn cần ít bộ nhớ GPU hơn và sinh nhanh hơn, điều này thể hiện ở giá mỗi token và độ trễ.
-   **Năng lực hẹp hơn.** Model trò mạnh ở chỗ nó được huấn luyện và yếu hơn ở chỗ khác. Hãy test trên tác vụ của chính bạn thay vì tin vào benchmark của model thầy.
-   **Kết hợp.** Trong các hệ thống tự host, distillation đi cùng [lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/) và [LoRA](https://broadrouter.com/vi/glossary/lora/).
-   **Giấy phép.** Giấy phép hoặc điều khoản API của model thầy quyết định bạn có được huấn luyện trên đầu ra của nó hay không.

## Trên BroadNet Inference

[Tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-distillation&utm_content=body#models) của BroadNet không nói model nào của họ được chưng cất, nên đừng giả định như vậy. Dù vậy, chênh lệch giá giữa các model cho thấy vì sao model nhỏ quan trọng: BroadNet Gemma 4 VL 26B niêm yết $0.22 mỗi 1 triệu token đầu ra, so với $3.46 của GLM 5.3. Model nhỏ hơn có đủ tốt hay không là câu hỏi dành cho bộ eval của riêng bạn. Bài viết về [model mở tốt nhất cho coding agent](https://broadrouter.com/vi/blog/best-open-model-for-coding-agents/) so sánh các lựa chọn theo tác vụ.

## Câu hỏi thường gặp

### Distillation khác quantization thế nào?

Distillation huấn luyện một model mới, nhỏ hơn. Quantization giữ nguyên model và lưu trọng số ở độ chính xác thấp hơn. Cả hai đều làm inference rẻ hơn, và có thể kết hợp với nhau.

### Model chưng cất có tốt bằng model thầy không?

Thường không phải ở mọi tác vụ, nhưng có thể tiến sát ở những tác vụ nó được chưng cất. Trong thử nghiệm MNIST của Hinton, Vinyals và Dean, mạng nhỏ đã chưng cất mắc 74 lỗi so với 67 lỗi của model thầy.

### Có được chưng cất model của nhà cung cấp khác không?

Hãy đọc giấy phép hoặc điều khoản API của model thầy trước khi huấn luyện trên đầu ra của nó. Các điều khoản khác nhau ở điểm này, và một số có hạn chế.

## Xem thêm

-   [Fine-tuning (tinh chỉnh model)](https://broadrouter.com/vi/glossary/fine-tuning/) (thuật ngữ)
-   [LoRA (low-rank adaptation)](https://broadrouter.com/vi/glossary/lora/) (thuật ngữ)
-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [Temperature (nhiệt độ)](https://broadrouter.com/vi/glossary/temperature/) (thuật ngữ)
-   [Model trọng số mở (open-weight model)](https://broadrouter.com/vi/glossary/open-weight-model/) (thuật ngữ)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/) (hướng dẫn)
-   [LLM open-weight hay đóng cho doanh nghiệp: chi phí, kiểm soát, rủi ro](https://broadrouter.com/vi/blog/open-weight-vs-closed-models/) (bài viết)
-   [Model mở tốt nhất cho coding agent: chọn theo tool, context và chi phí](https://broadrouter.com/vi/blog/best-open-model-for-coding-agents/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-distillation&utm_content=page-cta) ·

**Nguồn**

-   [Hinton, Vinyals và Dean (2015), Distilling the Knowledge in a Neural Network](https://arxiv.org/abs/1503.02531)
-   [DeepSeek-AI (2025), bài báo DeepSeek-R1](https://arxiv.org/abs/2501.12948)
-   [Model card DeepSeek-R1 trên Hugging Face (các model chưng cất)](https://huggingface.co/deepseek-ai/DeepSeek-R1)
