Consequences of Ignoring a Level of Nesting on Design and Analysis of Blocked Three-level Regression Discontinuity Designs: Power and Type I Error Rates

Authors : Metin BULUS, Nianbo DONG

Pages : 42-55

Doi:10.17984/adyuebd.1068923

View : 31 | Download : 18

Publication Date : 2022-06-30

Article Type : Research Paper

Abstract :Çok düzeyli regresyon süreksizliği tasarımları, politika ve programların etkililiğini değerlendirme amacıyla eğitim araştırmalarında giderek daha fazla kullanılmaktadır. Üç düzeyli bir veri yapısında (öğrenciler sınıflarda/öğretmenlerde, sınıflar/öğretmenler okullarda kümelenmiştir) bir düzeyin, ister veri analizi sırasında farkında olmadan ister planlama aşamasında kaynak kısıtlamaları nedeniyle göz ardı edilmesi yaygın bir sorundur. Bu çalışma, veri analizi ve planlama sırasında bloke edilmiş üç düzeyli regresyon süreksizlik tasarımlarında (BIRD3; müdahale 1. seviyededir) orta veya üst düzeyin göz ardı edilmesinin sonuçlarını araştırmaktadır. Monte Carlo simülasyon sonuçları, analiz sırasında bir düzeyin göz ardı edilmesinin müdahale etkisi tahminlerinin doğruluğunu etkilemediğini ancak standart hata, güç ve Tip I hata oranlarını etkilediğini göstermiştir. Orta düzeyin göz ardı edilmesi analiz aşamasında önemli bir sorun yaratmamıştır. Güç oranları nispeten daha küçük olsa bile Tip I hata oranları sabit kalmıştır. Buna karşılık, üst düzeyi göz ardı etmek daha büyük güç oranlarının elde edilmesine yardımcı olurken öte yandan Tip I hatada ciddi bir artışa yol açmaktadır. Tasarım aşamasına gelince, orta düzey göz ardı edildiğinde bir BIRD3 tasarımını planlamak için iki düzeyli bloke edilmiş regresyon süreksizlik modelinden (BIRD2) gelen parametreleri kullanmak uygundur. Ancak BIRD3 tasarımında, BIRD2 modelindeki 2. düzeye ait parametreleri 3. düzey parametrelerinin yerine kullanmak gerekir. Üst düzey göz ardı edildiğinde, bir BIRD3 tasarımını planlamak için BIRD2 modelindeki parametreleri kullanmaktan kaçınılması gerekmektedir.
Keywords : bloke edilmiş regresyon süreksizlik tasarımları, bir yuvalama seviyesinin göz ardı edilmesi, güç analizi, çok düzeyli modeller, hiyerarşik lineer modeller