Klinik Araştırmalarda Yapay Zekâ Kullanımına Aracılık Eden SPIRIT-AI Protokolünün Türkçeye Uyarlaması

Year 2021, Volume: 14 Issue: 4, 445 - 455, 31.10.2021

Mustafa Agah Tekindal , Melike Tekindal

Abstract

Yapay zekanın klinik çalışmalarda hızla artan kullanımı, çalışma raporlaması ve metodolojisi konusunda bir zorluk teşkil etmektedir. Bu araştırmanın amacı klinik çalışmalarda yapay zekâ kullanımına aracılık eden SPIRIT-AI (Standard Protocol Items: Recommendations for Interventional Trials-Artificial Intelligence) protokolünün Türkçe uyarlaması yapılarak klinik çalışmaların yapay zekânın belli bir standartta kullanılmasını sağlamaktır. Gereç ve yöntem: Klinik araştırmaların tasarımı (SPIRIT) ve raporlanması (CONSORT) için mevcut kılavuzlar, bu alanda en yüksek kalitede çalışmaların üretilmesini sağlamak amacıyla genişletilmiştir. SPIRIT-AI protokolü dört araştırmacı tarafından Türkçeye çevrilmiş, çeviriler sonrası tek metin üzerinde fikir birliğine varılmıştır. İki uzman tarafından ters çeviri yöntemi ile dil geçerliği yapılmıştır. Sonrasında SPIRIT-AI protokolünün Türkçe versiyonunun uygunluğunu kontrol etmek amacıyla sağlık bilimleri ve tıp bilimleri alanında 22 makale incelenmiştir. İncelenen makalelerde uygulanan SPIRIT-AI protokolünün kullanımını değerlendirmek için uzmanlar arası uyuma bakılmıştır. Protokolde yer alan her bir madde için uzmanlar arasındaki uyum yüzdesi incelenmiş, Bland-Altman yöntemi ve sınıf içi korelasyon katsayısı ile toplam raporlanan kriter sayısı kullanılarak da uyum değerlendirilmiştir. Elde edilen bulgular çerçevesinde değerlendirilen makalelerin raporlama sıklığının benzerlik gösterdiği, değerlendiriciler arası uyumun istatistiksel açıdan anlamlı olduğu gözlemlenmiştir. Araştırma kapsamında ulaşılan sonuçlar, Türkçe’ye uyarlanan SPIRIT-AI protokolünün oldukça anlaşılır olduğunu tespit edilmiştir. Klinik çalışmalarda yapay zekâ kullanımında SPIRIT-AI protokolünün uygulayıcılar ve ilgili paydaşlar tarafından kullanılabileceğini düşündürmektedir.

Keywords

yapay zekâ, klinik araştırma, kontrol listesi, SPIRIT-AI

Artificial Intelligence Mediating SPIRIT-AI to Use in Clinical Research Protocol Adapted to Turkish

Abstract

The purpose of this research is to adapt the criteria in the SPIRIT-AI (Standard Protocol Items: Recommendations for Interventional Trials-Artificial Intelligence) checklist, which was developed for clinical research evaluating artificial intelligence interventions, into Turkish. Materials and methods: SPIRIT-A has been translated into Turkish by two researchers with blinding method, has reached a consensus on a single post text translations. Language validation was carried out by an expert using reverse translation method. Then, 22 articles in the field of health sciences and medical sciences were examined in order to ensure the reproducibility of the Turkish version of the "SPIRIT-AI" protocol and to check its comprehensibility. Results: The inter-rater consistency of the "SPIRIT-AI" checklist was checked for the articles. Percentage of compliance was used for each item included in the protocol, and compliance was evaluated using the Bland-Altman method and the intraclass correlation coefficient and the total number of criteria reported. Within the framework of the findings obtained; evaluating the frequency of the reporting of the articles to be similar, the concordance among evaluators were observed to be statistically significant. Discussion: The results reached within the scope of the research are that the SPIRIT-AI checklist, which has been adapted to Turkish, is quite understandable. It suggests that it can be used by practitioners and relevant stakeholders in clinical trials involving artificial intelligence interventions.

Keywords

artificial intelligence, clinical research, SPIRIT-AI, guidelines

References

• R.Mehran, U. Baber, G. Dangas, “Guidelines for patient-reported outcomes in clinical trial protocols”, Jama, 319(5), 450-451, 2018.
• A.W. Chan, J. M. Tetzlaff, D. G. Altman, A. Laupacis, P. C. Gøtzsche, K. Krleža-Jerić, ... D. Moher, “SPIRIT 2013 statement: defining standard protocol items for clinical trials”, Annals of internal medicine, 158(3), 200-207, n2013
• P. M. Bossuyt, J. B. Reitsma, D. E. Bruns, C. A. Gatsonis, P. P. Glasziou, L. M. Irwig, ... H. C. De Vet, “Towards complete and accurate reporting of studies of diagnostic accuracy: the STARD initiative”, Radiology, 226(1), 24-28, 2003.
• E. Von Elm, D. G. Altman, M. Egger, S. J. Pocock, P. C. Gøtzsche, J. P. Vandenbroucke, “The strengthening the reporting of observational studies in epidemiology (STROBE) statement: Guidelines for reporting observational studies”, Annals of Internal Medicine, 147(8), 573-577, 2007.
• K. F. Schulz, D. G. Altman, D. Moher, “CONSORT 2010 statement: Updated guidelines for reporting parallel group randomised trials”, Trials, 11(1), 1-8, 2010.
• A. W. Chan, A. Hróbjartsson, M. T. Haahr, P. C. Gøtzsche, D. G. Altman, “Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles”, Jama, 291(20), 2457-2465, 2004.
• R. M. D. Smyth, J. J. Kirkham, A. Jacoby, D. G. Altman, C. Gamble, P. R. Williamson, “Frequency and reasons for outcome reporting bias in clinical trials: interviews with trialists”, Bmj, 342, 2011.
• J. Pildal, A. W. Chan, A. Hróbjartsson, E. Forfang, D. G. Altman, P. C. Gøtzsche, “Comparison of descriptions of allocation concealment in trial protocols and the published reports: cohort study”, Bmj, 330(7499), 1049, 2005.
• R. Mhaskar, B. Djulbegovic, A. Magazin, H. P. Soares, A. Kumar, “Published methodological quality of randomized controlled trials does not reflect the actual quality assessed in protocols”, Journal of Clinical Epidemiology, 65(6), 602-609, 2012.
• A. Hróbjartsson, J. Pildal, A. W. Chan, M. T. Haahr, D. G. Altman, P. C. Gøtzsche, “Reporting on blinding in trial protocols and corresponding publications was often inadequate but rarely contradictory”, Journal of Clinical Epidemiology, 62(9), 967-973, 2009.
• O. Scharf, A. D. Colevas, “Adverse event reporting in publications compared with sponsor database for cancer clinical trials”, Journal of Clinical Oncology, 24(24), 3933-3938, 2006.
• A. W. Chan, A. Hróbjartsson, K. J. Jørgensen, P. C. Gøtzsche, D. G. Altman, “Discrepancies in sample size calculations and data analyses reported in randomised trials: comparison of publications with protocols”, Bmj, 337, 2008.
• S. Al-Marzouki, I. Roberts, S. Evans, T. Marshall, “Selective reporting in clinical trials: analysis of trial protocols accepted by The Lancet”, The Lancet, 372(9634), 201, 2008.
• A. V. Hernández, E. W. Steyerberg, G. S. Taylor, A. Marmarou, J. D. F. Habbema, A. I. Maas, “Subgroup analysis and covariate adjustment in randomized clinical trials of traumatic brain injury: a systematic review”, Neurosurgery, 57(6), 1244-1253, 2005.
• P. C. Gøtzsche, A. Hróbjartsson, H. K. Johansen, M. T. Haahr, D. G. Altman, A. W. Chan, “Constraints on publication rights in industry-initiated clinical trials”, Jama, 295(14), 1641-1646, 2006.
• P. C. Gøtzsche, A. Hróbjartsson, H. K. Johansen, M. T. Haahr, D. G. Altman, A. W. Chan, “Ghost authorship in industry-initiated randomised trials”, PLoS Med, 4(1), e19, 2007.
• A. Lundh, L. T. Krogsbøll, P. C. Gøtzsche, “Access to data in industry-sponsored trials”, The Lancet, 378(9808), 1995-1996, 2011.
• K. A. Getz, R. Zuckerman, A. B. Cropp, A. L. Hindle, R. Krauss, Kaitin, “Measuring the incidence, causes, and repercussions of K. I. protocol amendments”. Drug Information Journal: DIJ/Drug Information Association, 45(3), 265-275, 2011.
• S. Hopewell, S. Dutton, L. M. Yu, A. W. Chan, D. G. Altman, “The quality of reports of randomised trials in 2000 and 2006: comparative study of articles indexed in PubMed”, Bmj, 340, 2010.
• J. M. Tetzlaff, D. Moher, A. W. Chan, “Developing a guideline for clinical trial protocol content: Delphi consensus survey”, Trials, 13(1), 1-10, 2012.
• A. W. Chan, J. M. Tetzlaff, P. C. Gøtzsche, D. G. Altman, H. Mann, J. A. Berlin, D. Moher, “SPIRIT 2013 explanation and elaboration: guidance for protocols of clinical trials”, Bmj, 346, 2013.
• D. Moher, K. F. Schulz, I. Simera, D. G. Altman, “Guidance for developers of health research reporting guidelines”, PLoS med, 7(2), e1000217, 2010.
• J. M. Tetzlaff, A. W. Chan, J. Kitchen, M. Sampson, A. C. Tricco, D. Moher, “Guidelines for randomized clinical trial protocol content: a systematic review”, Systematic Reviews, 1(1), 1-11, 2012.
• M. Calvert, D. Kyte, R. Mercieca-Bebber, et al., the SPIRIT-PRO Group. “Guidelines for inclusion of patient-reported outcomes in clinical trial protocols: the SPIRIT-PRO extension”, JAMA, 319, 483-94, 2018.
• L. Dai, C.W. Cheng, R. Tian, L.L. Zhong, Y.P. Li, A.P. Lyu, A.W. Chan, H.C. Shang, Z.X. Bian, “Standard Protocol Items for Clinical Trials with Traditional Chinese Medicine 2018: Recommendations, Explanation and Elaboration (SPIRIT-TCM Extension 2018)”, Chin J Integr Med., 25(1), 71-79, 2019.
• R.L. Kravitz, MSPHN. Duan. “DEcIDE Methods Centre N-of-1 Guidance Panel. Design and implementation of N-of-1 trials: a user’s guide”, Agency for Healthcare Research and Quality, 2014. https://effectivehealthcare.ahrq.gov/products/n-1-trials/research-2014-5/.
• D.G. Julian, “What is right and what is wrong about evidence-based medicine?”, J Cardiovasc Electrophysiol, 14 (Suppl), 2-5, 2003.
• G.H. Guyatt, D. Rennie, M.O. Meade, D.J. Cook, G.H. Guyatt, R. Jaeschke, T. McGinn, “Part 2B1: Therapy and validity: n-of-1 randomized controlled trials”, In: Guyatt GH, Rennie D, Meade MO, Cook DJ, eds. Users’ guides to the medical literature: JAMA Evidence, 275-90. 2002.
• N. J. Schork, “Personalized medicine: time for one-person trials”. Nature, 520, 609-11, 2015.
• S. C. Rivera, X. Liu, A. Chan, A. K. Denniston, M. J. Calvert, “Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI Extension”, BMJ, 370, m3210, 2020.
• M. E. Schmidt, K. Steindorf, “Statistical methods for the validation of questionnaires”, Methods of Information in Medicine, 45(4), 409-413, 2006.
• R. Albayrak, M. A. Tekindal, C. Ateş, P. Selvi, S. Perinçel, K. Ceyhan, et al. “Tanı Doğruluğu Çalışmalarının Kalitelerinin Değerlendirilmesi: STARD Kriterlerinin Türkçe Uyarlaması”, Ankara Üniversitesi Tıp Fakültesi Mecmuası, 65(3), 137–46, 2012.
• T. Balak, F.Günay, Ö.Kaymaz, M.B.Çevrimli, D.Özen, MA. Tekindal, “Veteriner hekimlik alanında gözlemsel araştırmaların rapor edilmesi: STROBE-VET kriterlerinin Türkçe uyarlaması”, Eurasian J Vet Sci, 34(4), 257-264, 2018.
• M. A. Tekindal, C.Ateș, Y.Yavuz, R.Albayrak, P. Selvi, “Tanı Doğruluğu Çalışmalarının Stard Kriterlerine Göre Türk Tıp Dizini Özelinde Değerlendirilmesi”, Ankara Üniversitesi Tıp Fakültesi Mecmuası, 68(2), 49-53, 2015.
• J. Lee, D. Koh, C.N. Ong, “Statistical evaluation of agreement between two methods for measuring a quantitative variable”, Comput. Biol. Med., 19, 61-70, 1989.
• K.O. McGraw, S.P. Wong, “Forming inferences about some intraclass correlation coefficients”, Psychol Methods, 1(1), 30-46, 1996
• C. Ateş, D. Öztuna, Y. Genç, “Sağlık Araştırmalarında sınıf içi korelasyon katsayısının kullanımı”, Türkiye Klinikleri J Biostat, 1, 59-64, 2009.
• G. S. Collins, K. G. Moons, “Reporting of artificial intelligence prediction models”, The Lancet, 393(10181), 1577-1579, 2019.
• V. Sounderajah, H. Ashrafian, R. Aggarwal, J. De Fauw, A. K. Denniston, F. Greaves, ... A. Darzi, “Developing specific reporting guidelines for diagnostic accuracy studies assessing AI interventions: The STARD-AI Steering Group”, Nature medicine, 26(6), 807-808, 2020.
• J. Talmon, E. Ammenwerth, J. Brender, N. De Keizer, P. Nykänen, M. Rigby, “STARE-HI—Statement on reporting of evaluation studies in Health Informatics”, International Journal of Medical İnformatics, 78(1), 1-9, 2009.
• X. Liu, S. C. Rivera, D. Moher, M. J. Calvert, A. K. Denniston, “Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension”, bmj, 370, 2020.
• M. Ayyüce Kızrak, B. Bolat. “Derin öğrenme ile kalabalık analizi üzerine detaylı bir araştırma”, Bilişim teknolojileri dergisi, 11(3), 263-286, 2018.