Abstract
Amaç: Klinik araştırmalarda metot karşılaştırması çalışmalarına
başlamadan önce tüm araştırmacıların problem yaşadığı şey ne
kadar örneklem büyüklüğü ile çalışılmasıdır. Bu çalışmanın amacı,
değerlendiriciler / yöntemler arasındaki uyumun belirlenmesinde
kullanılan uyum istatistikleri için örneklem büyüklüğünün
hesaplanma adımlarını tanımlamak, klinik çalışmalar için
araştırmacılara araştırmaya başlamadan önce gerekli olan
minimum örneklem sayılarına ait pratik tablolar sunmaktır.
Gereçler ve Yöntemler: Bu çalışmada, populasyona ait
bir bilgi olmadığı durumda ve değerlendiriciler arası uyum
bilindiğinde örneklem büyüklüğünün hesaplama adımları
verilmiştir. Cohen Kappa ve Sınıf içi korelasyon katsayısı için
tablolar oluşturulmuştur. Ayrıca Gwet tarafından tüm uyum
istatistikleri için kullanılabilecek ortak bir formülasyondan
yararlanılarak da örneklem büyüklüğü hesaplama adımları verilmiş
ve pratik tablolar sunulmuştur.
Bulgular: Tablolar incelendiğinde, önem seviyesi ve testin
gücü ne olursa olsun iki değerlendirici arasındaki uyumsuzluğun
oranı 0.50’ye kadar artış gösterirken örneklem büyüklüğü de
artmakta, 0.50’den 1’e doğru artış gösterirken simetrik olarak bir
azalış göstermektedir. Bunun yanı sıra, değerlendiriciler arasındaki
uyum değeri arttıkça testin gücü ve önem seviyesi ne olursa olsun
doğru orantılı olarak çalışmaya dahil edilecek olan örneklem sayısı
da azalmaktadır.
Sonuç: Bir araştırma çalışmasının başlangıcında, çalışmanın
tasarımına ve sonuç değişkeninin durumuna uygun olan yeterli
minimum örneklem sayısının doğru olarak belirlenmesi ile,
çalışma sonuçlarının güvenilirliği sağlanmış olmasının yanında,
örneklem israfının da önüne geçilmiş olacaktır.
References
- Kanık EA, Erdoğan S. Değerlendiriciler arası uyumun saptanması. Mersin Univ Tıp Fak Derg 2004; 5: 430-7.
- Özdamar K. . Modern bilimsel araştırma yöntemleri. Eskişehir: Kaan Kitabevi, 2003.
- Süt N. Klinik araştırmalarda örneklem sayısının belirlenmesi ve güç (power) analizi. RAED Dergisi 2011; 3: 29-33.doi: 10.2399/raed.11.005
- Gwet K. Kappa Statistics is not satisfactory for assessing the extent of agreement between raters. Series: Statistical Methods Inter-Rater Reliability Assessment 2002; 1: 1-5.
- Machin D, Tan S B, Champbell MJ, (editors). Sample size tables for clinical studies. Singapore: BMC Books, 2009
- Gwet KL. Computing inter-rater reliability and its variance in the presence of high agreement. Br J Mathem Stat Psychol 2008; 61: 29-48. doi:10.1348/000711006X126600
- Viera AJ. Garrett JM. Understanding interobserver agreement: the kappa statistics. Fam Med 2005; 37: 360-3.
- Kanık EA, Erdoğan S, Orekici Temel G. İki sonuçlu tanı testlerinde iki hekim arasındaki uyum istatistiklerinin prevelanstan etkilenme durumları. İnönü Üniversitesi Tıp Fakültesi Dergisi 2012; 19: 153-8. doi: 10.7247/jiumf.19.3.5
- Fleiss JL, Shrout PE. Intraclass correlation: uses in assessing rater reliability. Psychological Bulletin 1979; 86:420-8.
- Alpar R. Spor, sağlık ve eğitim bilimlerinden uygulamalı istatistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık, 2012.
- Erdoğan S, Kanık EA. Rasgele ve sistematik hataların sınıf içi ve uyum korelasyon katsayıları ve bland ve altman yöntemi üzerine etkileri: bir simülasyon çalışması. VIII. Ulusal Biyoistatistik Kongresi; 20-22 Eylül 2005; Bursa. Bursa: Uludağ Üniversitesi; 2005.
- Bonnett DG. Sample size requirements for estimating intraclasss correlations with desired precision. Stat Med 2002; 21: 1331-5. doi: 10.1002/sim.1108
- Haley DT, Thomas P, Petre M, Roeck AD. Using a new interrater reliability statistics. Technl Rep 2008; 15: 14-23.
- Kanık EA, Orekici Temel G, Erdoğan S, Ersöz Kaya I. Comparison of agreement statistics in case of multipleraters and diagnostic test being categorical: a simulation study. J Turgut Ozal Med Cent 2012;19: 220-7. doi:10.7247/ jtomc.19.4.4
- Gwet KL. Handbook of inter-rater reliability. USA: Advanced Analytics, LLC, 2014.
- Gwet KL. Variance estimation of nominal-scale inter-rater reliability with random selection of raters. Pyschometrica 2008;73:407-30. doi: 10.1007/S11336-007-9054-8
Abstract
Objective: Before beginning method comparison studies in
clinical researches, all the researchers share a common problem.
That is: how to determine the sample size. The aim of this study
is to identify the sample size calculation steps for the consistency
statistics used in the identification of the agreement between
the raters/methods; and to present practical tables belonging to
the minimum sample numbers required, before researchers start
clinical trials.
Materials and Methods: In this study, the steps of sample
size calculation have been given for cases where there is no
information on neither the population nor the consistency among
the raters. Tables have been formed for Cohen Kappa and Intraclass
correlation coefficient. Besides, other steps of sample number
calculation have been given by utilizing a common formulation
used for all consistency statistics by Gwet and practical tables have
been presented.
Results: When the tables are studied, no matter what the
importance level and the test power is, the sample number
increases while inconsistency rate between the two raters increases
up to 0.50; and the sample number shows a symmetrical decrease
while inconsistency rate between the two raters shows an increase
from 0.50 through 1. Moreover, as the consistency value between
the raters rise, no matter what the test power and the importance
level is, the sample size to be included in the study decreases in
direct proportion.
Conclusion: Before beginning a research study, with the exact
determination of the minimum number of samples enough for
the design of the study and the state of the final variable, besides
proving reliability of the results of the study, sampling waste will
also be prevented.
References
- Kanık EA, Erdoğan S. Değerlendiriciler arası uyumun saptanması. Mersin Univ Tıp Fak Derg 2004; 5: 430-7.
- Özdamar K. . Modern bilimsel araştırma yöntemleri. Eskişehir: Kaan Kitabevi, 2003.
- Süt N. Klinik araştırmalarda örneklem sayısının belirlenmesi ve güç (power) analizi. RAED Dergisi 2011; 3: 29-33.doi: 10.2399/raed.11.005
- Gwet K. Kappa Statistics is not satisfactory for assessing the extent of agreement between raters. Series: Statistical Methods Inter-Rater Reliability Assessment 2002; 1: 1-5.
- Machin D, Tan S B, Champbell MJ, (editors). Sample size tables for clinical studies. Singapore: BMC Books, 2009
- Gwet KL. Computing inter-rater reliability and its variance in the presence of high agreement. Br J Mathem Stat Psychol 2008; 61: 29-48. doi:10.1348/000711006X126600
- Viera AJ. Garrett JM. Understanding interobserver agreement: the kappa statistics. Fam Med 2005; 37: 360-3.
- Kanık EA, Erdoğan S, Orekici Temel G. İki sonuçlu tanı testlerinde iki hekim arasındaki uyum istatistiklerinin prevelanstan etkilenme durumları. İnönü Üniversitesi Tıp Fakültesi Dergisi 2012; 19: 153-8. doi: 10.7247/jiumf.19.3.5
- Fleiss JL, Shrout PE. Intraclass correlation: uses in assessing rater reliability. Psychological Bulletin 1979; 86:420-8.
- Alpar R. Spor, sağlık ve eğitim bilimlerinden uygulamalı istatistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık, 2012.
- Erdoğan S, Kanık EA. Rasgele ve sistematik hataların sınıf içi ve uyum korelasyon katsayıları ve bland ve altman yöntemi üzerine etkileri: bir simülasyon çalışması. VIII. Ulusal Biyoistatistik Kongresi; 20-22 Eylül 2005; Bursa. Bursa: Uludağ Üniversitesi; 2005.
- Bonnett DG. Sample size requirements for estimating intraclasss correlations with desired precision. Stat Med 2002; 21: 1331-5. doi: 10.1002/sim.1108
- Haley DT, Thomas P, Petre M, Roeck AD. Using a new interrater reliability statistics. Technl Rep 2008; 15: 14-23.
- Kanık EA, Orekici Temel G, Erdoğan S, Ersöz Kaya I. Comparison of agreement statistics in case of multipleraters and diagnostic test being categorical: a simulation study. J Turgut Ozal Med Cent 2012;19: 220-7. doi:10.7247/ jtomc.19.4.4
- Gwet KL. Handbook of inter-rater reliability. USA: Advanced Analytics, LLC, 2014.
- Gwet KL. Variance estimation of nominal-scale inter-rater reliability with random selection of raters. Pyschometrica 2008;73:407-30. doi: 10.1007/S11336-007-9054-8
Details
| Subjects | Clinical Sciences |
|---|---|
| Journal Section | Articles |
| Authors | |
| Publication Date | May 14, 2017 |
| Published in Issue | Year 2017 Volume: 30 Issue: 2 |