MASTER TEZİM: TESTING SPEAKING IN L2 TURKISH

This study reports the findings of an initial investigation into a speaking test for learners of Turkish as a second language (L2) that is in the development process. The test aims at assessing the speaking proficiency levels of incoming exchange and Erasmus students at Boğaziçi University. For this purpose, six tasks were developed based on the Common European Framework of Reference for Languages (Council of Europe, 2001) level descriptors. These tasks were administered to a 24-person sample of L2 learners of Turkish enrolled in intermediate and advanced level Turkish language classes at Bogazici University. The study focused on the cognitive demands, contextual features, and “scoring validity” (Weir, 2005) of the tasks. The cognitive task demands were analyzed based on Field’s (2011) cognitive processing framework for speaking, which is based on the Levelt (1989) model of speech production. The discussion of contextual task characteristics was built upon the aspects of context validity outlined by Weir (2005). Generalizability theory analyses were conducted to investigate the dependability of the scores and to examine the effect of different numbers of tasks and raters on score dependability. The findings from these qualitative and quantitative analyses provide empirical evidence into the validity and dependability of the test and inform the further refinement of the test tasks.

Özet:
Bu araştırma, bir ikinci dil olarak Türkçe konuşma testinin geçerlilik ve güvenilirliğine yönelik bir çalışmadır. Testin amacı, Boğaziçi Üniversitesi’ne gelen değişim öğrencilerinin konuşma yeterlilik seviyelerini ölçmektir. Bu amaçla, Ortak Avrupa Dil Referans Çerçevesi (CEFR, Council of Europe, 2001) seviye tanımlayıcıları temel alınarak altı farklı konuşma ödevi hazırlandı. Bu ödevler, Boğaziçi Üniversitesi orta ve üst düzey Türkçe sınıflarına kayıtlı 24 öğrenciye uygulandı. Çalışmada hazırlanan ödevlerin bilişsel istemleri, bağlamsal ödev unsurları, ve “puanlama geçerliliği” (Weir, 2005) incelendi. Bilişsel ödev istemleri, Field’ın (2011) konuşma için bilişsel işlemleme çerçevesine dayanarak belirlenmiştir. Bağlamsal ödev unsurları, Weir’in (2005) bağlam geçerliliği boyutları yönünden incelenmiştir. Genellenebilirlik kuramı analizleri kullanılarak, puan güvenilirliği ve farklı sayıda ödev ve puanlayıcı kullanılmasının güvenilirlik katsayısı üzerindeki etkisi hesaplanmıştır. Bu nitel ve nicel analizlerden elde edilen bulgular, hazırlanan ödevlerin geçerlilik ve güvenilirliğine dair gözlemsel kanıtlar sunmanın yanı sıra ödevlerin düzeltilmesi ve iyileştirilmesine yönelik bilgiler vermektedir.