Google, Doğal Dil İşleme alanında, PaLM ve LaMDA gibi ileri teknolojilerin durumunu araştırmacıların dikkate değer bir düzeye yükselten, Düşünce Zinciri İstemi adlı çığır açan bir araştırmayı duyurdu. Düşünce Zinciri Yönlendirmesinin PaLM ve LaMDA’yı bu önemli oranlarda iyileştirebilmesi büyük bir meseledir.
LaMDA ve PaLM
Araştırma, Diyalog Uygulamaları için Dil Modeli (LaMDA) ve Yollar Dil Modeli (PaLM) olmak üzere iki dil modeli kullanarak deneyler yaptı. LaMDA, bir chatbot gibi konuşmaya odaklanan bir modeldir ancak konuşma, diyalog gerektiren diğer birçok uygulama için de kullanılabilir. PaLM, bir dil modelinin sorunların nasıl çözüleceğini öğrenmek için eğitildiği, Google’ın Pathways AI mimarisi olarak adlandırdığı şeyi izleyen bir modeldir. Önceden makine öğrenimi modelleri bir tür sorunu çözmek için eğitiliyordu ve esasen bu tek şeyi gerçekten iyi yapmak için serbest bırakılıyorlardı. Ancak başka bir şey yapmak için Google’ın yeni bir model eğitmesi gerekir. Pathways AI mimarisi, daha önce mutlaka görmemiş olduğu sorunları çözebilecek bir model oluşturmanın bir yoludur. Google PaLM açıklayıcısında alıntılandığı gibi :
“…yalnızca birçok ayrı görevi yerine getiremeyen, aynı zamanda yeni görevleri daha hızlı ve daha etkili bir şekilde öğrenmek için mevcut becerilerinden yararlanan ve bunları birleştiren bir model yetiştirmek istiyoruz.”
Bu ne yapar
Araştırma makalesi, Düşünce Zinciri Akıl Yürütme için üç önemli atılımı listeliyor:
- Dil modellerinin karmaşık çok adımlı sorunları bir dizi adıma ayırmasını sağlar.
- Düşünce sürecinin zinciri, mühendislerin sürece göz atmasına ve işler ters gittiğinde, nerede yanlış gittiğini belirlemelerine ve düzeltmelerine olanak tanır.
- Matematiksel kelime problemlerini çözebilir, sağduyulu akıl yürütmeyi başarabilir ve araştırma makalesine göre (prensipte) bir insanın yapabileceği herhangi bir kelime tabanlı problemi çözebilir.
Çok Adımlı Akıl Yürütme Görevleri
Araştırma, dil modellerinin üzerinde test edildiği çok adımlı bir akıl yürütme görevine bir örnek veriyor:
S: Kafeteryada 23 elma vardı. 20’sini öğle yemeği yapmak için kullandılar ve 6 tane daha aldılarsa, kaç tane elmaları var?
C: Kafeteryada başlangıçta 23 elma vardı. Öğle yemeği yapmak için 20 tane kullandılar. Yani 23 – 20 = 3 oldular. 6 elma daha aldılar, yani 3 + 6 = 9 oldu. Cevap 9.”
PaLM, Pathways AI mimarisinin bir parçası olan son teknoloji bir dil modelidir. O kadar gelişmiştir ki bir şakanın neden komik olduğunu açıklayabilir. Yine de, PaLM ne kadar gelişmiş olursa olsun, araştırmacılar Düşünce Zinciri Yönlendirmesinin bu modelleri önemli ölçüde geliştirdiğini iddia ediyor ve bu yeni araştırmayı dikkate almaya değer kılan da bu. Google bunu şöyle açıklıyor:
“Düşünce zinciri muhakemesi, modellerin karmaşık problemleri ayrı ayrı çözülen ara adımlara ayırmasına izin verir. Dahası, düşünce zincirinin dile dayalı doğası, bir kişinin dil aracılığıyla çözebileceği her göreve uygulanabilir olmasını sağlar.”
Araştırma makalesi daha sonra, modelin ölçeği artırıldığında standart ipucunun gerçekten gelişmediğini not etmeye devam ediyor. Ancak bu yeni yaklaşımla ölçeğin, modelin ne kadar iyi performans gösterdiği üzerinde önemli ve dikkate değer bir olumlu etkisi vardır.
