Amaç:

Hastalar, tıp öğrencileri ve araştırma görevlileri arasında tıbbi bir konu hakkında bilgiye ulaşmak, sunum hazırlamak, makale yazmak gibi amaçlarla yapay zeka temelli botların kullanımı gittikçe artmaktadır. Bu çalışmada sık kullanılan üç yapay zeka botunun, Gemini advanced 1.5 pro, ChatGPT-3.5 ve ChatGPT-4, nöropatik ağrı (NPA) ile ilgili temel kavramlar ve yaklaşımlara ilişkin verdiği yanıtların doğruluğu, halusinasyon eğilimi, kalitesi ve okunabilirlik indekslerinin incelenmesi amaçlanmıştır.

Yöntem:

NPA ile ilgili on iki soru Türkçe ve İngilizce dillerinde Gemini advanced 1.5 pro, ChatGPT-3.5 ve ChatGPT-4’e sorulmuş ve yanıtlar deneyimli bir Nörolog tarafından güncel kılavuz ve yaklaşımlara uygun olarak yapay zeka botlarına kör olacak şekilde değerlendirilmiştir. 

Sonuç:

Türkçe ve İngilizce dillerindeki yanıtlar ayrı ayrı değerlendirildiğinde her üç yapay zeka botunun doğruluk, kalite, halusinasyon eğilimi ve okunabilirlik indeksleri arasında istatistiksel olarak anlamlı bir farklılık saptanmamış olmakla birlikte İngilizce dilinde ChatGPT-3.5 ve 4’ün doğruluk skorlarının daha yüksek olduğu (p=0,308), Gemini’nin ise Flesh okunabilirlik skorunun daha yüksek olduğu (p=0,273) dikkat çekmiştir. Her üç yapay zeka botunun İngilizce ve Türkçe dillerinde verdiği yanıtlar kıyaslandığında ise istatistiksel anlamlılığa ulaşmamakla birlikte İngilizce dilinde Gemini’nin verdiği yanıtların kalite skorunun (p=0,368) ve ChatGPT-3.5’in verdiği yanıtların doğruluk skorunun (p=0,294) daha yüksek olduğu saptanmıştır.

Yorum:

Her üç yapay zeka botu da NPA ile ilgili sorulara yüksek doğruluk ve kalitede yanıtlar vermiştir. Çalışmada kullanılan soru sayısının az olması nedeniyle istatistiksel anlamlılığa ulaşmasa da ChatGPT’nin verdiği yanıtların doğruluk ve kalite skorlarının daha yüksek ve okunabilirlik indeksinin daha düşük olma eğilimi gösterdiği gözlenmiştir. Gelişen teknolojiyle birlikte, yapay zeka botlarının NPA’da hasta ve öğrenci eğitiminde kullanımının yararlı olabileceği düşünülmüştür.