Araştırma Google Research · ABD
Google Research, LLM'lerin sürekli öğrenmede bilgi kaybını önlemek için 'uyku' çerçevesi geliştirdi
Özgün başlık The sleep framework: A new way for LLMs to retain knowledge in continual learning
Google Research, büyük dil modellerinin (LLM) dağıtımdan sonra statik kalması ve yeni bilgileri uzun vadeli hatırlayamaması sorununa çözüm olarak 'uyku çerçevesini' (sleep framework) tanıttı. İnsan beyninin uyku sırasında hafızayı konsolide etmesinden ilham alan yöntem, modellerin aktif etkileşim ve çevrimdışı bellek konsolidasyonu arasında periyodik olarak geçiş yapmasını sağlıyor. Bu sayede modeller, 10 milyon token'a kadar uzayan uzun bağlam bilgisini saklayabiliyor, yeni gerçekleri sürekli öğrenebiliyor ve karmaşık gerekçelerde iyileşme gösteriyor. Yaklaşım, sürekli parametre güncellemelerinin neden olduğu 'kastastrik unutma' sorununu ve bağlam penceresi sınırlılığını aşmayı hedefliyor.
