TabiBERT'i Sıfırdan Kurmak: Build, Benchmark ve Yolda Karşılaştığımız Engeller

AI Connect Istanbul olarak sizi yeni etkinliğimize davet ediyoruz! 🎉

AI Connect Istanbul, yapay zeka alanında bilgi paylaşımını artırmak ve teknoloji ekosistemine katkı sağlamak amacıyla Kommunity organizatörlüğünde kurulmuş bir topluluktur.

5 Kasım tarihinde gerçekleşecek bu etkinlikte, deneyimlerimizi paylaşmak için online olarak bir araya geliyoruz.

Münih Teknik Üniversitesi'nde Araştırma Görevlisi olarak görev alan Ebrar Kızıloğlu, "TabiBERT'i Sıfırdan Kurmak: Build, Benchmark ve Yolda Karşılaştığımız Engeller" sunumu ile deneyimlerini paylaşmak üzere bizimle olacak.

Türkçe için en güncel mimari özellikleri barındıran, sıfırdan eğitilmiş bir encoder modeli olan TabiBERT'i geliştirirken hangi zorluklarla karşılaşıldı? Bir trilyon token üzerinde eğitilen, 8.192 tokenlık bağlamı destekleyen ve BERTurk'ü geride bırakan bu modelin başarısının ardında, çalışmanın görünmeyen kısmı yer alıyor.

Bu konuşmada TabiBERT'in nasıl build edildiğini, 27 veri setiyle sekiz görev kategorisini kapsayan TabiBench'e neden ihtiyaç duyduğumuzu ve süreçte karşılaştığımız üç beklenmedik engeli ele alacağız:
• Beklenenin altında kalan eğitim hızı: Güçlü donanıma sahip olmamıza rağmen hızımız, olması gerekenin yalnızca %30'unda kaldı. Sorunun kaynağı ise ilk akla gelen unsur değildi.
• Karşılaştırılamayan veri setleri: Türkçe NLP'de yaygın kullanılan veri setlerindeki bir eksiklik, modeller arasında adil bir kıyaslamayı imkânsız hale getiriyordu.
•Yanıltıcı değerlendirme sonuçları: NER ve POS görevlerinde, daha zayıf bir modelin daha başarılı görünmesine yol açan bir metodolojik tuzakla karşılaştık.

Bu sorunlara nasıl çözüm ürettiğimizi beraber konuşacağız. Kendi dilinde model geliştirmeyi hedefleyen araştırmacı ve mühendisler için uygulamaya dönük çıkarımlar sunmayı amaçlıyoruz.

Eğer siz de yapay zeka teknolojilerini öğrenmek, projeler geliştirmek, fikirlerinizi paylaşmak ve bu alanda güçlü bir topluluğun parçası olmak istiyorsanız bize katılabilirsiniz. Topluluğumuz herkese açık ve ücretsizdir.

Önerilerinizi dinlemek istiyoruz 💙
AI Connect Istanbul’da önümüzdeki etkinlikleri topluluğumuzun ilgi ve beklentilerine göre şekillendirmek istiyoruz. Görmek istediğiniz konuları, dinlemek istediğiniz konuşmacıları ve sizin için uygun etkinlik saatlerini anket üzerinden bizimle paylaşabilirsiniz.

Her seviyeden geliştirici, öğrenci, araştırmacı ve teknoloji meraklısını topluluğumuza bekliyoruz. 
Birlikte öğrenelim, birlikte üretelim ve yapay zekanın geleceğini birlikte şekillendirelim!