Internal Validity in Experimental Research: Examination of the Psychological Counseling and Guidance Dissertations

Year 2022, Volume: 42 Issue: 3, 2631 - 2661, 30.12.2022

Cafer Kılıç , Zahide Tonga

https://doi.org/10.17152/gefad.950775

Abstract

The purpose of this study is to examine the internal validity of the Psychological Counseling and Guidance doctoral dissertations conducted with experimental design. First, internal validity criteria were established after reviewing the literature. Second, inclusion and exclusion criteria were identified to search the Higher Education Council’s dissertation database. Using the determined inclusion/exclusion criteria, theses based on experimental research from different disciplines were examined according to the results of the search in the database of the National Thesis Center. All of the doctoral dissertations based on experimental design completed between 2010-2020 in the field of Psychological Counseling and Guidance were examined according to the inclusion/exclusion criteria of the research. After scanning by key concepts 54 of 363 doctoral theses in total were found to be suitable for the criteria and were included in the research. 54 theses included in the study were analyzed according to internal validity criteria. According to the results, while subject characteristics, mortality, location, differential selection, instrumentation were controlled by the researchers, maturation, compensatory rivalry by the control group, compensatory equalization of treatments, and resentful demoralization of the control group were not satisfactorily included during the treatment. Other threats to the internal validity testing, history, statistical regression, and experimental treatment diffusion are relatively handled through the treatment process.

Keywords

Psychological counseling and guidance, Experimental design, Internal validity, Document analysis

Deneysel Araştırmalarda İç Geçerlik: Psikolojik Danışma ve Rehberlik Alanındaki Doktora Tezlerinin İncelenmesi

Abstract

Bu çalışmanın amacı Psikolojik Danışma ve Rehberlik alanında deneysel araştırmaya göre yapılmış doktora tezlerinde iç geçerliği incelemektir. İlk olarak literatürdeki iç geçerlikle ilgili ölçütler belirlenmiştir. Sonrasında, Ulusal Tez Merkezi veri tabanında tarama yapmak için dâhil etme/dışlama ölçütleri belirlenmiştir. Belirlenen dâhil etme/dışlama ölçütleri kullanılarak Ulusal Tez Merkezi veri tabanında yapılan tarama sonuçlarına göre farklı disiplinlerden deneysel araştırmaya dayalı tezler incelenmiştir. Psikolojik Danışma ve Rehberlik alanında 2010-2020 yılları arasında tamamlanan ve deneysel desene dayalı doktora tez çalışmalarının tamamı araştırmaya dâhil etme/dışlama ölçütlerine göre incelenmiştir. Anahtar kavramlara göre yapılan taramadan sonra toplamda 363 doktora tezinden 54 tanesi ölçütlere uygun bulunmuş ve araştırmaya dâhil edilmiştir. Araştırmaya dâhil edilen 54 tez iç geçerlik ölçütlerine göre analiz edilmiştir. Analiz sonuçlarına göre katılımcı özellikleri, denek kaybı, deney ortamı, deneklerin seçimi, ölçme yönteminin etkisi gibi ölçütler yaygınlıkla kontrol altına alınmış ancak olgunlaşma, kontrol grubunun rekabet geliştirmesi, müdahalelerin aynı olmasına yönelik beklenti, kontrol grubunun demoralize olması gibi ölçütler dikkate alınmamıştır. Test etkisi, zaman etkisi, istatistiksel regresyon, deneysel uygulama ve deneysel müdahalenin yayılması gibi ölçütler ise tezlerin bir kısmında ele alınmıştır.

Keywords

Psikolojik danışma ve rehberlik, Deneysel desen, İç geçerlik, Doküman analizi

References

• Alper, A., & Gülbahar, Y. (2009). Trends and issues in educational technologies: A review of recent research in TOJET. The Turkish Online Journal of Educational Technology - TOJET, 8(2), 124-135.
• Arık, R. S., & Türkmen, M. (2009). Eğitim bilimleri alanında yayımlanan bilimsel dergilerde yer alan makalelerin incelenmesi. I. Uluslararası Türkiye Eğitim Araştırmaları Kongresi’nde sunulan sözel bildiri, 1-3 Mayıs 2009, Çanakkale.
• Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297-312.
• Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago: Rand McNally.
• Conrad, K. M., & Conrad, K. J. (2005). Compensatory rivalry. In B. Everitt & D. Howell (Eds.), Encyclopedia of Statistics in Behavioral Science (338-339), Hoboken, NJ: Wiley Blackwell.
• Christensen, B. L., Johnson, R. B., & Turner, L. (2020). Research methods, design, and analysis (13th ed.) Publisher: Pearson. Demirtaş Zorbaz, S., Kızıldağ, S., & Voltan Acar, N. (2016). Türkiye'de üniversitelerde lisansüstü düzeyde yapılan grup çalışmalarının incelenmesi. Kastamonu Eğitim Dergisi, 24(4), 1765-1784.
• Denzin, N. K., & Lincoln, Y. S. (1998). Introduction: Entering the Field of Qualitative Research, in N. K. Denzin & Y. S. Lincoln, (eds.) The Landscape of Qualitative Research: Theories and Issues. London: Sage.
• Ekiz, D. (2020). Bilimsel Araştırma Yöntemleri. (6. Baskı). Ankara: Anı Yayıncılık.
• Flannelly, K. J., Flannelly, L. T., & Jankowski, K. R. (2018). Threats to the internal validity of experimental and quasi-experimental research in healthcare. Journal of Health Care Chaplaincy, 24(3), 107-130. DOI: 10.1080/08854726.2017.1421019
• Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to Design and Evaluate Research in Education. (8th ed.). New York: McGraw-Hill.
• Gall, M. D., Borg, W. R., & Gall, J. P. (2003). Educational Research: An Introduction. Longman Publishing.
• Given, L. M. (Ed.). (2008). The Sage Encyclopedia of Qualitative Research Methods. CA: Sage Publications.
• Güven, M., Aslan, B., & Yıldız-Akyol, E. (2017). Türkiye’de Psikolojik danışma ve rehberlik alanında yapılan doktora tezlerinin incelenmesi (2000-2016). Eğitim ve Öğretim Araştırmaları Dergisi, 6(3).
• Güven, M., Kısaç, İ., Ercan, L., & Yalçın, İ. (2009). Türk psikolojik danışma ve rehberlik dergisinde yayınlanan makalelerin çeşitli özellikler açısından incelenmesi. Türk Psikolojik Danışma ve Rehberlik Dergisi, 4(31), 80-87.
• Karadağ, E. (2009). Eğitim bilimleri alanında yapılmış doktora tezlerinin incelenmesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 10(3), 75-87.
• Karasar, N. (2002). Bilimsel Araştırma Yöntemi. (11. Baskı). Ankara: Nobel Yayınları.
• Leary, M. R. (2012). Introduction to Behavioral Research Methods (6th ed.). New Jersey: Pearson.
• McDermott, R. (2011). Internal and external validity. In J. N. Druckman, D. P. Green, J. H. Kuklinski, & A. Lupia (Eds.), The Cambridge handbook of experimental political science (pp. 27–40). New York, NY: Cambridge University Press.
• Miles, M. B., & Huberman, A. M. (1994). Qualitative Data Analysis: An Expanded Sourcebook, Sage.
• Onghena, P. (2005). Resentful demoralization. In B. Everitt & D. Howell (Eds.), Encyclopedia of Statistics in Behavioral Science (1744-1746), Hoboken, NJ: Wiley Blackwell.
• Patton, M. Q. (2002). Qualitative Research and Evaluation Methods, California: SAGE Publications, Inc
• Price, P. C. (2012). Psychology Research Methods: Core Skills and Concepts. New York: Flat World Knowledge Publisher.
• Seçer, İ., Ay, İ., Ozan C., & Yılmaz, B. Y. (2014). Rehberlik ve Psikolojik Danışma alanındaki araştırma eğilimleri: Bir içerik analizi. Turkish Psychological Counseling and Guidance Journal, 5(41), 49-60.
• Shadish, W. R., Cook, T. D., & Campbell D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton-Mi¬fflin Company.
• Shaughnessy, J. J., Zechmeister, E. B., & Zechmeister, J. S. (2012). Research Methods in Psychology (9th ed.). New York: McGraw-Hill.
• Slack, M. K., & Draugalis Jr, J. R. (2001). Establishing the internal and external validity of experimental studies. American Journal of Health-System Pharmacy, 58, 2173-2181.
• Şimşek, H., & Yıldırım, A. (2011). Sosyal Bilimlerde Nitel Araştırma Yöntemleri. Ankara: Seçkin Yayıncılık.
• Taylor, S., & Asmundson, G. J. G. (2008). Internal and external validity in clinical research. In D. McKay (Ed.), Handbook of research methods in abnormal and clinical psychology (pp. 23–34). Los Angeles, CA: Sage.
• Walser, T. M. (2014). Quasi-experiments in schools: The case for historical cohort control groups. Practical Assessment, Research, and Evaluation, 19(6), 1-6.