Is ChatGPT an Accurate and Reliable Source of Information for Patients with Vaccine and Statin Hesitancy?Cundullah TORUN1, Abdurrahman SARMIS2, Aytekin OGUZ11Istanbul Goztepe Prof. Dr. Suleyman Yalcin City Hospital, Clinic of Internal Medicine, Istanbul, Turkey
2Istanbul Goztepe Prof. Dr. Suleyman Yalcin City Hospital, Clinic of Microbiology, Istanbul, Turkey
Objective: Chat Generative Pre-trained Transformer (ChatGPT) is an artificial intelligence (AI) language model that is trained to respond to questions across a wide range of topics. Our aim is to elucidate whether it would be beneficial for patients who are hesitant about vaccines and statins to use ChatGPT.
Methods: This cross-sectional and observational study was conducted from March 2 to March 30, 2023, using OpenAI ChatGPT-3.5. ChatGPT provided responses to 7 questions related to vaccine and statin hesitancy. The same questions were also directed at physicians. Both the answers from ChatGPT and the physicians were assessed for accuracy, clarity, and conciseness by experts in cardiology, internal medicine, and microbiology, who possessed a minimum of 30 years of professional experience. Responses were rated on a scale of 0-4, and the ChatGPT’s average score was compared with that of physicians using the Mann-Whitney U test.
Results: The mean scores of ChatGPT (3.78±0.36) and physicians (3.65±0.57) were similar (Mann-Whitney U test p=0.33). The mean scores of ChatGPT were 3.85±0.34 for vaccination and 3.68±0.35 for statin use. The mean scores of physicians were 3.73±0.51 for vaccination and 3.58±0.61 for statin use. There was no statistically significant difference between the mean scores of ChatGPT and physicians for both vaccine and statin use (p=0.403 for vaccination, p=0.678 for statin). ChatGPT did not consider sources of conspiratorial information on vaccines and statins.
Conclusions: This study suggests that ChatGPT can be a valuable source of information for guiding patients with vaccine and statin hesitancy. Keywords: Primary prevention, artificial intelligence, medication hesitancy
ChatGPT, Aşı ve Statin Tereddütü Olan Hastalar için Doğru ve Güvenilir Bir Bilgi Kaynağı mıdır?Cundullah TORUN1, Abdurrahman SARMIS2, Aytekin OGUZ11Medeniyet Üniversitesi Göztepe Eğitim ve Araştırma Hastanesi İç Hastalıkları Ana Bilim Dalı
2Medeniyet Üniversitesi Göztepe Eğitim ve Araştırma Hastanesi Mikrobiyoloji Ana Bilim Dalı
Amaç: Sohbet Üreten Önceden Eğitilmiş Dönüştürücü (ChatGPT), geniş bir konu yelpazesinde sorulara yanıt vermek için eğitilmiş bir yapay zeka (AI) dil modelidir. Bu çalışmada amacımız, aşı ve statin kullanımı konusunda tereddüt yaşayan hastaların ChatGPT’yi kullanmalarının faydalı olup olmayacağını aydınlatmaktır.
Yöntemler: Bu kesitsel ve gözlemsel çalışma, 2 Mart-30 Mart 2023 tarihlerinde OpenAI ChatGPT-3.5 kullanılarak gerçekleştirildi. ChatGPT, aşı ve statin tereddüdüyle ilgili sorulan 7 soruya yanıt verdi. Aynı sorular doktorlara da yöneltildi. Hem ChatGPT’den gelen cevaplar hem de doktorlardan gelen cevaplar, kardiyoloji, iç hastalıkları ve mikrobiyoloji alanlarında en az 30 yıl profesyonel deneyime sahip uzmanlar tarafından doğruluk, açıklık ve özlülük açısından değerlendirildi. Cevaplar, 0-4 ölçeğinde değerlendirildi ve ortalama puanları hesaplanarak, Chat-GPT’nin ortalama skoru ile doktorların ortalama skoru Mann-Whitney U testi kullanılarak değerlendirildi.
Bulgular: ChatGPT’nin ortalama puanları (3,78±0,36) ve doktorların (3,65±0,57) puanları benzerdi (Mann-Whitney U test p=0,33). ChatGPT’nin ortalama puanları aşı için 3,85±0,34 ve statin kullanımı için 3,68±0,35 idi. Doktorların ortalama puanları ise aşı için 3,73±0,51 ve statin kullanımı için 3,58±0,61 idi. Hem aşı hem de statin kullanımı için ChatGPT ve doktorların ortalama puanları arasında istatistiksel olarak anlamlı bir fark yoktu (aşı için p=0,403, statin kullanımı için p=0,678). ChatGPT, aşılar ve statinlerle ilgili komplo teorilerine dayalı bilgilere yer vermedi.
Sonuçlar: Bu çalışma, ChatGPT’nin aşı ve statin tereddütü yaşayan hastaları yönlendirmek için değerli bir bilgi kaynağı olduğunu göstermektedir. Anahtar Kelimeler: Primer koruma, yapay zeka, tedavi şüpheciliği
Cundullah TORUN, Abdurrahman SARMIS, Aytekin OGUZ. Is ChatGPT an Accurate and Reliable Source of Information for Patients with Vaccine and Statin Hesitancy?. Medeniyet Med J. 2024; 39(1): 1-7
Corresponding Author: Cundullah TORUN, Türkiye |
|