Bilgi damıtma, AI ve derin öğrenme alanlarında, büyük ölçekli modelleri gerçek uygulamalara uyarlarken karşılaşılan zorlukları ele alan kritik öneme sahip bir tekniktir. Bu süreç, bir "öğretmen" modelinden bilgi aktarımı yaparak daha küçük ve verimli bir "öğrenci" modeline geçiş yapmayı içerir (Gou ve diğ., 2021). Bu şekilde, küçük modellerin yeteneklerini artırabilir ve büyük modellerin kaynak kısıtlarından kaynaklanan sorunları hafifletebiliriz. Bu çalıştayda, önce bilgi damıtmanın temel kavramlarını ele alacak, ardından uygulamaya geçeceğiz! Spesifik olarak, Cohere'in 104 milyar parametreli Command-R+ modelini  kullanarak sentetik veri oluşturacak ve ardından bu verileri kullanarak açık kaynaklı 7 milyar parametreli bir modelini iyileştireceğiz.