Açık Kaynak ChatGPT Klonu; açık Kaynak GPT Sohbeti, Databricks kurumsal yazılım şirketi tarafından oluşturulan Dolly Büyük Dil Modeli’nin (DLL) piyasaya sürülmesiyle bir adım daha ileri gitti. Yeni ChatGPT klonunun adı Dolly’dir ve adını klonlanan ilk memeli olan bu adı taşıyan ünlü koyundan alır.
Açık Kaynak Büyük Dil Modelleri
Dolly LLM, büyük şirketler tarafından tekelleştirilip kontrol edilmemesi için teknolojiye daha fazla erişim sağlamayı amaçlayan, büyüyen açık kaynaklı AI hareketinin en son tezahürüdür.
Açık kaynak AI hareketini yönlendiren endişelerden biri, işletmelerin hassas verileri AI teknolojisini kontrol eden üçüncü bir tarafa teslim etme konusunda isteksiz olabilmesidir.
Açık Kaynak ChatGPT Klonu
Dolly, kar amacı gütmeyen EleutherAI araştırma enstitüsü tarafından oluşturulan bir açık kaynak modelinden ve Meta tarafından oluşturulan 65 milyar parametreli açık kaynaklı LLaMA modelinden oluşturulan Stanford Üniversitesi Alpaca modelinden oluşturuldu.
Büyük Dil Modeli Meta AI anlamına gelen LLaMA, halka açık veriler üzerinde eğitilmiş bir dil modelidir. Weights & Biases tarafından yayınlanan bir makaleye göre LLaMA, daha küçük olmasına rağmen en iyi dil modellerinin çoğundan (OpenAI GPT-3, Deep Mind’dan Gopher ve DeepMind’den Chinchilla) daha iyi performans gösterebilir.
Daha İyi Bir Veri Kümesi Oluşturma
Başka bir ilham kaynağı, sınırlı genel verilerden daha iyi, yüksek kaliteli, otomatik oluşturulmuş soru ve yanıt eğitim verileri oluşturmanın bir yolunu özetleyen akademik bir araştırma makalesinden (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions PDF ) geldi. Self-Instruct araştırma raporu şunları açıklıyor:
“…yeni görevler için uzmanlar tarafından yazılmış bir dizi talimat derliyoruz ve insan değerlendirmesi yoluyla GPT3’ü SELF-INSTRUCT ile ayarlamanın mevcut genel talimat veri kümelerini kullanarak büyük bir farkla daha iyi performans gösterdiğini ve InstructGPT’nin arkasında yalnızca %5’lik bir mutlak boşluk bıraktığını gösteriyoruz…
…Metodumuzu normal GPT3’e uygulayarak, SUPERNATURALINSTRUCTIONS’da orijinal modele göre %33’lük mutlak bir gelişme gösteriyoruz, özel kullanıcı verileri ve insan açıklamalarıyla eğitilmiş InstructGPT’nin performansıyla aynı seviyede.”
Self-Instruct araştırma raporu
Dolly’nin önemi, kullanışlı bir büyük dil modelinin daha küçük ama yüksek kaliteli bir veri kümesiyle oluşturulabileceğini göstermesidir. Databricks şunları gözlemliyor:
Dolly, EleutherAI’den mevcut bir açık kaynaklı 6 milyar parametre modelini alarak ve Alpaca’dan gelen verileri kullanarak orijinal modelde bulunmayan beyin fırtınası ve metin oluşturma gibi yetenekleri takip eden talimatları ortaya çıkarmak için çok az değiştirerek çalışıyor.
…Herkesin kullanıma hazır eski bir açık kaynak büyük dil modelini (LLM) alıp, yüksek kaliteli eğitim verileri kullanarak tek bir makinede 30 dakikada eğiterek ona ChatGPT benzeri büyülü bir yetenek kazandırabileceğini gösteriyoruz.
Şaşırtıcı bir şekilde, talimat takibi en son veya en büyük modelleri gerektirmiyor gibi görünüyor: GPT-3 için 175 milyar olan modelimize kıyasla bizim modelimiz yalnızca 6 milyar parametre.”
Databricks
Databricks Açık Kaynak ChatGPT Klonu
Dolly’nin yapay zekayı demokratikleştirdiği söyleniyor. Yakın zamanda Mozilla.ai’nin kurulmasıyla kar amacı gütmeyen Mozilla organizasyonunun katıldığı bir elbise hareketinin bir parçası. Mozilla, Firefox internet tarayıcısının ve diğer açık kaynaklı yazılımların yayıncısıdır.