知识蒸馏

大语言模型微调及其应用的探索 跟踪前沿的技术

知识蒸馏

##

get_data_from_llama.cpp.ipynb 获取小学4~6年级的数学题

distill.ipynb 黑盒蒸馏