img
img
Performance of ChatGPT-4 Omni and Gemini 1.5 Pro on Ophthalmology-Related Questions in the Turkish Medical Specialty Exam       
Yazarlar (2)
Mehmet Cem Sabaner
Kastamonu Üniversitesi, Türkiye
Doç. Dr. Zübeyir YOZGAT Doç. Dr. Zübeyir YOZGAT
Kastamonu Üniversitesi, Türkiye
Devamını Göster
Özet
Amaç: Tıpta Uzmanlık Sınavları’nda yer alan oftalmoloji ile ilgili çoktan seçmeli sorulara (ÇSS) yanıt vermede iki yapay zeka (YZ) tabanlı büyük dil modeli (BDM) platformunun yanıt ve yorumlama yeteneklerini değerlendirmek. Gereç ve Yöntem: 2006-2024 yılları arasında yapılan toplam 37 sınavın tüm ÇSS’ları incelendi. Oftalmoloji ile ilgili sorular belirlendi ve bölümlere ayrıldı. İlk olarak, sorular ChatGPT-4o ve Gemini 1.5 Pro YZ tabanlı BDM sohbet robotlarına hem Türkçe hem de İngilizce olarak belirli komutlarla soruldu. İkinci olarak, tüm ÇSS’lar herhangi bir etkileşim gerçekleştirilmeden yeniden soruldu. Son adımda ise yanlış yanıtlar için geri bildirim oluşturuldu ve tüm sorular yeniden soruldu. Bulgular: Her iki YZ tabanlı BDM’de de 7312 ÇSS’dan 220 oftalmoloji ile ilgili soru değerlendirildi. Otuz üç bölümün (32 tam sınav ve 2022-2024 yılları arasındaki sınavların paylaşılan %10’luk kısmı) ortalama 6,47±2,91 (aralık: 2-13) ÇSS sayısı idi. Son adımdan sonra ChatGPT-4o, Gemini 1.5 Pro’ya kıyasla hem Türkçe (%97,3) hem de İngilizce’de (%97,7) daha yüksek doğruluk oranı elde etti (%94,1 ve %93,2) ve bu fark İngilizce’de istatistiksel olarak anlamlı iken (p=0,039) ancak Türkçe’de değildi (p=0,159). Bölümlerin YZ’ler arası karşılaştırmasında veya diller arası karşılaştırmada istatistiksel olarak anlamlı bir fark yoktu. Sonuç: Her iki YZ platformu da oftalmolojiyle ilgili ÇSS’ları ele almada güçlü bir performans göstermiş olsa da, ChatGPT-4o şimdilik bir adım önde. Bu YZ tabanlı BDM’ler, yalnızca ÇSS’ların yanıtlarını doğru bir şekilde seçerek değil, aynı zamanda ayrıntılı açıklamalar sağlayarak oftalmolojik tıp eğitimini geliştirme potansiyeline sahiptir.
Anahtar Kelimeler
Artificial intelligence | ChatGPT-4 Omni | e-learning | Gemini 1.5 Pro | large language model | medical education | ophthalmology
Makale Türü Açık Erişim Özgün Makale
Makale Alt Türü SCOPUS dergilerinde yayınlanan tam makale
Dergi Adı Turkish Journal of Ophthalmology
Dergi ISSN 2149-8709 Scopus Dergi
Dergi Tarandığı Indeksler SCOPUS
Makale Dili İngilizce
Basım Tarihi 08-2025
Cilt No 55
Sayı 4
Sayfalar 177 / 185
Doi Numarası 10.4274/tjo.galenos.2025.27895