Araştırma Allen Institute for AI (Ai2) · ABD
Ai2, LLM'lerin bilimsel fikir yeniliğini değerlendirme güvenilirliğini test eden 'NoveltyBench' benchmark'ını yayınladı
Özgün başlık Can we trust LLMs to judge whether a research idea is novel?
Allen Institute for AI (Ai2), büyük dil modellerinin (LLM) bilimsel araştırma fikirlerinin yeniliğini (novelty) ne kadar güvenilir yargılayabileceğini inceleyen 'Old Ideas, Novel Problems' çalışmasını ve eşlik eden NoveltyBench benchmark'ını, veri setlerini ve kodları yayınladı. Çalışma, LLM'lerin 'yenilik hakemi' olarak kullanıldığında, mevcut literatüre göre bir fikrin gerçekten yeni olup olmadığını ayırt etme performansını sistematik olarak ölçmeyi amaçlıyor. Ai2, DataVoyager, AutoDiscovery ve Theorizer gibi bilimsel keşfi otomatikleştiren sistemler geliştirdiğini ve bu sistemlerin ürettiği fikirlerin kalitesini kontrol etmek için standart bir değerlendirme yöntemine ihtiyaç duyulduğunu belirtiyor.
