Investigating Measurement Invariance for Longitudinal Assessments: An Application Using Repeated Data Over Four Weeks

Year 2021, Volume: 41 Issue: 2, 729 - 763, 26.08.2021

Esra Sözer , Büşra Eren , Nilüfer Kahraman

https://doi.org/10.17152/gefad.873885

Cited By: 2

Abstract

In order to adequately assess inter-individual change using two or more subsequently observed scores on a person, it is often assumed that the measurement scales and occasions are psychometrically equivalent (or invariant). This study investigates the usefulness of Latent Growth Curve Modeling in investigating the viability of this assumption when the trait of interest is expected to show at least some degree of variance over time that is construct-related. Application data were collected from 215 students volunteered to respond to a mood scale weekly, over four weeks. Several Latent Growth Curve Models were formulated and tested under a full model distinguishing gamma and beta changes, referring to configural and weak factorial invariance, respectively. The findings were in alignment with the expectations and support that the estimated factorial structure of the Mood Scale remains the same over the weeks (no gamma change), yet, estimated item factor loadings are subject to some change (beta change). Albeit limited, the results of this study nicely illustrate how a Latent Growth Curve Modeling approach can be added to the conventional measurement invariance studies to partition the amount of variance observed over time into 1) construct-relevant and 2) construct-irrelevant components. The approach is recommended for studies investigating longitudinal measurement invariance of scales if and when repeated measurements are taken for the primary purpose of tracking the inter-individual change of subjects, such as growth, and learning.

Keywords

Repeated measurements, Longitudinal, Measurement invariance, Latent Growth Curve Modeling

Boylamsal Uygulamalar için Ölçme Değişmezliği: Dört Tekrarlı Uygulama Verileri Üzerine Bir Çalışma

Abstract

Bu çalışmada, haftalık pozitif duygu durumu değişimlerini izleme amacı ile dört hafta boyunca uygulanan bir ‘Pozitif Duygu Durum Ölçeği’ için haftalar arası boylamsal ölçme değişmezliği incelenmiştir. Dört hafta boyunca her hafta aynı gün ve aynı ölçek ile alınan ölçümlerin haftalar arası aynı yapıyı gösterip göstermediği, boylamsal çalışmalarda gama ve beta değişimleri olarak adlandırılan değişim türleri temel alınarak incelenmiştir. Bu çalışmada gama ve beta değişimleri, ölçme değişmezliği açısından sırasıyla şekilsel, metrik ve ölçek değişmezliği aşamaları çerçevesinde ve boylamsal istatistiksel yöntemler kullanılarak çalışılmıştır. Analizler, uygulamayı tamamlayan 215 gönüllü üniversite öğrencisinden toplanan haftalık pozitif duygu durumu ölçümleri üzerinden gerçekleştirilmiştir. Ölçülen özelliğin doğasından kaynaklanan nedenlerle sadece bireyler-arası değil aynı zamanda, zaman içinde oluşabilecek birey-içi değişimleri de içermesi beklendiğinden değişimin incelenmesinde ‘Örtük Büyüme Modelleri’ kullanılmıştır. Birbiri içine yuvalanmış bir seri model hesaplaması ve model karşılaştırmalarından elde edilen sonuçlar incelendiğinde, ölçeğin faktör yapısının haftalık zaman noktaları arasında değişmediği, beklendiği gibi her bir zaman noktasında özelliği tek bir boyut olarak ölçtüğü; faktör yük değerlerinin de haftalar arası değişim göstermediği ancak kesişim değerlerinin haftalar arası değişim gösterdiği sonucuna ulaşılmıştır. Diğer bir ifadeyle, çalışılan ölçeğin şekilsel değişmezliği sağladığı ve gama değişimi göstermediği, metrik değişmezliği sağlamasına karşın ölçek değişmezliğini sağlayamadığı için beta değişimi gösterdiği belirlenmiştir. Çalışmanın bulguları, kullanılan uygulama örneği ile sınırlı olsa da alan uygulamalarında gittikçe daha çok yer bulmaya başlayan tekrarlı yapılan ölçme uygulamaları ile toplanan verilerin analizlerinde ihtiyaç duyulacak boylamsal ölçme değişmezliği yöntemlerinin kullanılması ve geliştirilmesi ihtiyacına dikkat çekecek niteliktedir.

Keywords

Tekrarlı ölçümler, Boylamsal, Ölçme değişmezliği,, Örtük büyüme modeli

References

• Anderson, J. C., & Gerbing, D. W. (1987). Structural equation modeling in practice: a review and recommended two-step approach. Psychological Bulletin, 103, 411-423.
• Armenakis, A. A., & Zmuid, R. W. (1979). Interpreting the measurement of change in organizational research. Personnel Psychology, 32.
• Aşkar P. & Yurdugül, h. (2009). Örtük büyüme modellerinin eğitim araştırmalarında kullanımı. İlköğretim Online, 8(2), 534-555.
• Black, P., & William, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 1(1).
• Boomsma, A. (1985). Nonconvergence, improper solutions, and starting values in LISREL maximum likelihood estimation. Psychometrika, 50, 229–242.
• Chan, D. (1998). The conceptualization and analysis of change over time: an integrative approach incorporating longitudinal mean and covariance structures analysis (LMACS) and multiple indicator latent growth modeling (MLGM). Organizational Research Methods, 1, 421-483.
• Cheung, G. W., & Rensvold, R. B. (1999). Testing factorial invariance across groups: a reconceptualization and proposed new method. Journal of Management, 25, 1-27.
• Cooke, D. J., Kosson, D. S., & Michie C. (2001a). Psychopathy and ethnicity: Structural, item, and test generalizability of the Psychopathy Checklist-Revised in Caucasian and African American participants. Psychological Assessment, 13, 531–542
• Coertjens, L., Donche, V., De Maeyer, S., Vanthournout, G., & Van Petegem, P. (2012). Longitudinal measurement invariance of Likert-type learning strategy scales: are we using the same ruler at each wave? Journal of Psychoeducational Assessment, 30, 577–587. doi:10.1177/0734282912438844.
• de Beurs, D. P., Fokkema, M., de Groot, M., de Keijser, J., & Kerkhof, J. F. (2015). Longitudinal measurement invariance of the Beck Scale for suicide ideation. Psychiatry Research, 225, 368-373.
• de Jonge, J., van der Linden, S., Schaufeli, W., Peter, R., & Siegrist, J. (2008). Factorial invariance and stability of the effort-reward imbalance scales: a longitudinal analysis of two samples with different time lags. International Journal of Behavioral Medicine, 15, 62-72.
• Eid, M., Holtmann, J., Santagelo, P., & Ebner-Priemer, U. (2017). On the definition of Latent-State- Trait Models with auto-regressive effects. European Journal of Psychological Assessment, 33(4), 285-295.
• Euser, A. M., Zoccali, C., Jager, K. J. & Dekker, F. W. (2009). Cohort studies: prospective versus retrospective. Nephron Clinical Practice, 113, 214-217.
• Ferrer, E., Balluerka, N., & Widaman, K.F. (2008). Factorial invariance and the specification of second order latent growth models. Methodology, 4, 22– 26.
• Ferro, M. A., & Boyle, M. H. (2013). Longitudinal invariance of measurement and structure of global self-concept: a population-based study examining trajectories among adolescents with and without chronic illness. Journal of Pediatric Psychology, 38(4), 425-437.
• Geiser, C., Keller, B. T., Lockhart, G., Eid, M., Cole, D. A., & Koch, T. (2015). Distinguishing state variability from trait change in longitudinal data: the role of measurement (non)invariance in latent state-trait analyses. Behavorial Research, 47, 172-203.
• Golembiewski, R. X, Billingsley, K., & Yeager, S. (1976). Measuring change and persistence in human affairs: Types of change generated by OD designs. Journal of Applied Behavioral Science, 12, 133-157.
• Hoffman, L. (2015). Longitudinal analysis. New York: Routledge Taylor & Francis Group.
• Kahraman, N, Akbaş, D. & Sözer, E. (2019). Bilişsel-olmayan öğrenme durum ve süreçlerini ölçme ve değerlendirmede boylamsal yaklaşımlar: Duygu Cetveli Alan Uygulaması örneği. Bolu Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 19(1), 257-269.
• Kahraman, N. & Brown, C. B. (2015) Using multi-group confirmatory factor analysis to test measurement invariance in raters: a clinical skills examination application. Applied Measurement in Education, 28(4), 350-366. doi: 10.1080/08957347.2015.1062763
• Marsh, H. & Grayson, D. (1994). Longitudinal confirmatory factor analysis: common, time-specific, item-specific, and residual-error components of variance. Structural Equation Modeling, 1, 116-145.
• Meade, A. W., Lautenschlager, G. J., & Hecht, J. E. (2005). Establishing measurement equivalence and invariance in longitudinal data with item response theory. International Journal of Testing, 5(3), 279-300.
• Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525-543.
• Meredith, W., & Tisak, J. (1990). Latent curve analysis. Psychometrika, 55(1), 107-122.
• Milli Eğitim Bakanlığı. (2011). MEB 21. Yüzyıl Öğrenci Profili. Ankara: T.C. Millî Eğitim Bakanliği.
• Millsap, R. E., & Hartog, S. B. (1988). Alpha, beta, and gamma change in evaluation research: a structural equation approach. Journal of Applied Psychology, 73(3), 574-584.
• Muthén, B. O. & Curran, P. J. (1997). General longitudinal modeling of individual differences in experimental designs: a latent variable framework for analysis and power estimation. Psychological Methods, 2(4), 371-402.
• Nett, U. E., Bieg, M., & Keller, M. M. (2017). How much trait variance is captured by measures of academic state emotions? a Latent State-Trait Analysis. European Journal of Psychological Assessment, 33(4), 239-255.
• Savalei, V. & Bentler, P. M. (2005). Structural Equation Modeling. In Grover, R. & Vriens, M., The Handbook of Market Research: Do’s and Dont’s. Sage Publications.
• Schaubroeck, J., & Green, S. G. (1989). Confirmatory factor analytic procedures for assessing change during organizational entry. Journal of Applied Psychology, 74, 892–900.
• Schmitt, N. (1982). The use of analysis of covariance structures to assess beta and gamma change. Multivariate Behavioral Research, 17, 343–358.
• Spurk, D., Abelei, A. E., & Volmer, J. (2011). The Career Satisfaction Scale: longitudinal measurement invariance and latent growth analysis. Journal of Occupational and Organizational Psychology, 84, 315-326.
• Sözer, E. & Kahraman, N. (2019). Boylamsal ölçme modelleri için geçerlilik argümanı: çoklu-özellik çoklu-yöntem ve örtük büyüme modellerinin kullanımı. İlköğretim Online, 18(3). doi:10.17051/ilkonline.2019.612584.
• Vandenberg, R. J., & Self, R. M. (1993). Assessing newcomers’ changing commitments to the organization during the first 6 months of work. Journal of Applied Psychology, 78, 557–568.
• Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3, 4–69.
• Widaman, K. F. & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments; applications in the substance use domain. The Science of Prevention: Methodological Advances from Alcohol and Substance Abuse Research, 281 - 324.
• Widaman, K. F., Ferrer, E., & Conger, R. D. (2010). Factorial invariance within longitudinal structural equation models: Measuring the same construct across time. Child Development Perspectives, 4, 10–18.
• Willett, J.B. & Sayer, A.G. (1994). Using covariance structure analysis to detect correlates and predictors of individual change over time. Psychological Bulletin, 116, 363–381.
• World Economic Forum. (2015). New vision for education; unlocking the potential of technology. Geneva: World Economic Forum.
• Wu, C. H., Chen, L. H., & Tsai, Y. M. (2009). Longitudinal invariance analysis of the satisfaction with life scale. Personality and Individual Differences, 46, 396-401.