OpenAI’nin Kasım 2022’de kullanıma sunduğu sohbet botu ChatGPT, yapabildikleriyle tüm dünyada viral olmayı başardı. ChatGPTgünümüzde pek çok taşınabilir uygulamada özellikle müşteri temsilinde bir aktör olarak kullanılmaya başlanmıştır.
ChatGPT’nin her güncellemeyle düzeldiğini varsaysak da, 18 Temmuz’da yayınlanan bir çalışma karışık sonuçlar verdi. Stanford ve California Üniversitelerinden bilim adamları, ChatGPT’nin her yeni dil modeliyle hemfikirdir. daha kötü tepkiler vermeye başladı.açıkladı.
En yeni GPT modellerinde daha yüksek hata oranı:
Araştırma ekibinde yer alan Lingjiao Chen, Matei Zaharia ve James Zou, ChatGPT’yi oluşturan dil modeli olan GPT’nin iki farklı versiyonunu ve iki versiyonunu teste tabi tuttu: GPT-3.5 Mart/Haziran ve GPT-4 Mart/Haziran.
Testte, dil modeline birkaç matematik problemi ve hassas sorular soruldu. Girişle ilgili kod ve sebep yazması istendi. Özellikle versiyonların ortasındaki fark oldukça şaşırtıcıydı.
GPT-4’ün Mart sürümü, kendisine gönderilen bir sayının yayımlanmasıdır. asal sayı olup olmadığı %97.6 doğruluk oranı ile bilmeyi başardı. Bire bir versiyonun Haziran versiyonunda bu oran sadece %2,4ile sonlu.
Asal sayılarda, GPT-3.5’in başarısı GPT-4 Mart’tan bile daha sorunsuzdu. GPT-3.5 Mart sürümü, bire bir dinlenme süresinde asal sayılar daha yüksek doğrulukla O biliyordu. Geliştirdikçe yaşanan benzer düşüşler, kodun yazılmasında da kendini gösterdi.
Hassas sorulara gelince ortaya garip bir tablo çıktı. Mart sürümlerinde bot, kullanıcıya bir soru gönderir. neden cevap veremiyorsun ayrıntılarıyla anlatıyordu. Haziran sürümlerinde yalnızca kullanıcı özür dilerve soruyu cevaplayamayacağını söylüyor.
Araştırma ekibi, ChatGPT’nin yeteneklerindeki düşüşün nedenini de açıkladı. belirleyemedim.
