知识蒸馏（knowledge distillation）是人工智能领域的一项模型训练技术。该技术透过类似于教师—学生的方式，令规模较小、结构较为简单的人工智能模型从已经经过充足训练的大型、复杂模型身上学习其掌握的知识。该技术可以让小型简单模型快速有效学习到大型复杂模型透过漫长训练才能得到的结果，从而改善模型的效率、减少运算开销，因此亦被称为模型蒸馏（model distillation）。

In machine learning, knowledge distillation or model distillation is the process of transferring knowledge from a large model to a smaller one. While large models (such as very deep neural networks or ensembles of many models) have more knowledge capacity than small models, this capacity might not be fully utilized. It can be just as computationally expensive to evaluate a model even if it utilizes little of its knowledge capacity. Knowledge distillation transfers knowledge from a large model to a smaller one without loss of validity. As smaller models are less expensive to evaluate, they can be deployed on less powerful hardware (such as a mobile device).

Model distillation is not to be confused with model compression, which describes methods to decrease the size of a large model itself, without training a new model. Model compression generally preserves the architecture and the nominal parameter count of the model, while decreasing the bits-per-parameter.

Knowledge distillation has been successfully used in several applications of machine learning such as object detection, acoustic models,  and natural language processing. Recently, it has also been introduced to graph neural networks applicable to non-grid data.

广义的组合数学（英语：Combinatorics）相当于离散数学，狭义的组合数学是组合计数、图论、代数结构、数理逻辑等的总称。但这只是不同学者在叫法上的区别。总之，组合数学是一门研究可数或离散对象的科学。随着计算机科学日益发展，组合数学的重要性也日渐凸显，因为计算机科学的核心内容是使用算法处理离散数据。

狭义的组合数学主要研究满足一定条件的组态（也称组合模型）的存在、计数以及构造等方面的问题。组合数学的主要内容有组合计数、组合设计(Combinatorial design)、组合矩阵(Combinatorial matrix theory)、组合最佳化（最佳组合）等。

Die Kombinatorik ist eine Teildisziplin der Mathematik, die sich mit endlichen oder abzählbar unendlichen diskreten Strukturen beschäftigt und deshalb auch dem Oberbegriff Diskrete Mathematik zugerechnet wird. Beispiele sind Graphen (Graphentheorie), teilgeordnete Mengen wie Verbände, Matroide, kombinatorische Designs, lateinische Quadrate, Parkettierungen, Permutationen von Objekten, Partitionen. Die Abgrenzung zu anderen Teilgebieten der Diskreten Mathematik ist fließend. Eine Definition von George Pólya bezeichnet die Kombinatorik als Untersuchung des Abzählens, der Existenz und Konstruktion von Konfigurationen.^[1]

Je nach den verwendeten Methoden und Gegenständen unterscheidet man auch Teildisziplinen wie algebraische Kombinatorik, analytische Kombinatorik, geometrische und topologische Kombinatorik, probabilistische Kombinatorik, Kombinatorische Spieltheorie, Ramseytheorie. Speziell mit der Optimierung diskreter Strukturen beschäftigt sich die kombinatorische Optimierung.