Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi

Abstract

Teknolojik yeniliklerin eğitimde yaygınlaşmasıyla birlikte, uzaktan eğitimin bir parçası olan online değerlendirme sistemleri kağıt-kalem testlerine bir alternatif olarak görülmeye başlanmıştır. Çevrimiçi değerlendirme sistemleri, soruların internet aracılığıyla öğrencilere iletildiği, fare ve klavye kullanılarak cevapların verildiği sistemler olarak tanımlanabilir. Bu çalışma, çevrimiçi değerlendirme ve test konusunda yapılan çalışmaların içerik analizi yöntemiyle değerlendirilmesini amaçlamaktadır. Bu amaç doğrultusunda, Türkiye’de ve yurtdışında 1987-2018 yılları arasında Web of Science, Google Scholar, Ulakbim TR-Dizin, OPAC ve YÖK Tez veri tabanlarında taranan yüksek lisans, doktora ve araştırma çalışmalarını kapsayan toplam 86 yayın ayrıntılı olarak incelenmiştir. Elde edilen verilerin analizinde betimsel istatistik yöntemler arasında yer alan yüzde ve frekans kullanılmıştır. İnceleme ve analizler, “Genel Özellikler”, “Çalışma Alanı” ve “Yöntem” başlıkları altında toplam 9 ölçüte göre yapılmıştır. İçerik analizi sonucunda son yıllarda çevrimiçi değerlendirme sistemleri konusunda yapılan çalışmalarda artış olduğu, bu çalışmaların büyük bir kısmında nicel araştırma deseniyle birlikte analizlerde genellikle yorumlayıcı istatistikler kullanıldığı, bu çalışmaların başlıca ABD, Türkiye ve İngiltere tarafından yapıldığı ve örneklem grubu olarak çoğunlukla lisans öğrencilerinin tercih edildiği tespit edilmiştir. Ayrıca yürütülen çalışmalarda konu alanı olarak çoğunlukla online anketler yoluyla öğretim üyesi ve/veya dersi değerlendirme araştırma konusu olurken, öğrenci performansının online testler yoluyla değerlendirilmesinin yeterli düzeyde araştırılmadığı belirlenmiştir. Bu durumun, öğretim yönetim sistemlerinin örgün eğitim sürecine yeterince dahil edilmemesinin bir sonucu olduğu düşünülmektedir.

Full text

Turkish Studies - Educational Sciences
eISSN: 2667-5609
INTERNATIONAL
BALKAN
UNIVERSITY
www.turkishstudies.net/education
Research Article / Araştırma Makalesi
Sponsored by IBU
Cite as/ Atıf: Arslan, K. & Yetgin, G. (2020). Çevrimiçi değerlendirme sistemlerinin eğitimde kullanımı: bir içerik
analizi, Turkish Studies - Education, 15(2), 651-671. https://dx.doi.org/10.29228/TurkishStudies.39646
Received/Geliş: 07 November/Kasım 2019
Checked by plagiarism software
Accepted/Kabul: 27 April/Nisan 2020
Published/Yayın: 30 April/Nisan 2020
Copyright © INTAC LTD, Turkey
CC BY-NC 4.0
Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi
Use of Online Assessment in Education: A Content Analysis
Kürşat Arslan* - Gamze Yetgin**
Abstract: With the spread of technological innovations in education, it is seen that studies on online
evaluation systems that are a part of distance education have intensified in recent years. Online evaluation
systems can be defined as systems where questions are transmitted to students via the internet and answers
are given using mouse and keyboard. This study aims to evaluate the studies conducted on the online
evaluation system with the content analysis method. In this context, between the years of 1987-2018, OPAC,
Google Schollar ve YOK databases were analyzed in detail, covering a total of 86 publications and research
doctoral studies. Percentage and frequency, which are among the descriptive statistical methods, were used in
the analysis of the obtained data. As a result of the content analysis, it has been found that there has been an
increase in the studies conducted on the online evaluation systems in recent years. In addition, in the majority
of these studies, it is determined that as a main analysis method in quantitative design, generally interpretive
statistics are used. Also another finding indicates that USA, Turkey and UK are the major countries,
dominating in this field.
Structured Abstract: Assessment and evaluation is one of the most important part of the education. With
technological improvements, in the literature, there has been a discussion about the mode of assessment or
evaluation: web-based or paper-based. While there are many studies in the literature on distance education,
online course design, online education program and applications, and development and promotion of online
learning platform, it is seen that the studies about online evaluation are limited and not evaluated with a
holistic approach. The aim of this study was to investigate the current status of the studies on online
evaluations as in the literature and to examine the use of online evaluations in the field of education,
especially in distance education.
* Dr. Öğr. Üyesi, Dokuz Eylül Üniversitesi, Buca Eğitim Fakültesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü
Asst. Prof. Dr. Dokuz Eylul University, Buca Education Faculty, Eğitim Fakültesi, Department of Computer Education
and Instructional Technology
0000-0003-4680-9561
** Yüksek Lisans Öğrencisi, Dokuz Eylül Üniversitesi, Buca Eğitim Fakültesi, Bilgisayar ve Öğretim Teknolojileri
Eğitimi Bölümü
Graduate Student, Dokuz Eylul University, Buca Education Faculty, Eğitim Fakültesi, Department of Computer
Education and Instructional Technology
0000-0001-8765-8478

652 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Today, the increase in the number of students seeking for university degree, lack of adequate personal
needed for cons, increased costs have caused an interest in online evaluation and an increase in the studies on
this issue (Nguyen et al., 2017; Oduntan, Ojuawo, Oduntan, 2015). In addition, some studies have shown that
well-designed homework and tests on the internet make it easier for students to adapt to computer-based tests
and online assessments and have a positive impact on their academic achievement (Rienties and Toetenel,
2016; Koedinger, Booth, and Klahr, 2013).
In the study of Nulty (2008), it was determined that the students' knowledge of the online
environments caused them to feel more comfortable in the online evaluations and produce positive results. In
the study of Nulty (2008), it was determined that if the students know and see the online environments in
their lectures, that caused them to feel more comfortable in the online evaluations and produce positive
results. According to Heilman and Matsuzaki (2009), online evaluations provide shy and silent students an
opportunity to express their knowledge more easily. In this context, it is important to identify the current
situation of online evaluation, which may have a great place in terms of evaluation methods in the near
future, and to determine the direction in which the work is progressing in general.
In this study, the content analysis method, also known as text analysis, was used in this study, where
the current status of online testing and evaluation methods and its use in education were examined. Content
analysis is simply defined as the process of collecting, summarizing, analyzing and reporting written texts
(Cohen, Manion and Morrison, 2007). In this study, content analysis involves bringing together different
studies under various concepts and titles and presenting them to the reader under certain themes. For the
study, a suitable sampling method was used. Within this scope, 78 articles and 8 theses scanned in Web of
Science, Google Scholar, TR Index, OPAC, YÖK Thesis, Ulakbim and Tubitak database between 1987 and
2018, and published as full text in various journals in Turkey and abroad were included in the research for
detailed examination. The keywords “online test”, “online evaluation”, “online evaluation”, “online test”,
“computerized test”, “Computerized evaluation”, “online measurement”, “computer-based evaluation” were
used to reach the articles in the related databases.
In the present study, the data that were subjected to content analysis were analyzed using descriptive
statistical methods. Within the scope of the study, a manual coding system was established by the researchers
for the systematic identification and evaluation of the articles.
When the studies on online evaluation are analyzed by years, it is seen that the studies on online
evaluation increased after 2000s. However, this increase is not valid for each year. On the other hand, the
increase in the number of articles published in 2017-2018 may indicate that this number will increase in the
future. This increase can be explained with technological improvements and increasing of students’
technology self-efficacy day by day (Yılmaz, Sezer and Yurdugül, 2019; Pala and Şahbaz, 2018; Gartner,
2015; Johnson, Adams Becker, Estrada & Freeman, 2014).
When the online evaluation studies are examined according to the countries where they were made, it
was found that there were studies in 17 different countries. Most of the studies were conducted by the USA.
And Turkey was determined to take the second place in the groups with 27 articles.
According to the number of authors, it is found that the studies with 2 or 3 authors are in the majority.
Especially between 2011 and 2016, studies with 2 or 3 authors are continuously increasing. in addition, while
in Turkey many of the studies is single-author studty, in US and UK, the number of studies with one author is
very little. This result is supported by many content analysis studies (Prior and Başar, 2010; Bacanak et al.,
2011; Atabek and Atabek, 2019).
According to the research subject, it was determined that the studies on perception and attitude were
quite high in online evaluations. Findings indicated that majority of the studys in Turkey are about the
tnvestigation of factors such as perception and attitudes in online evaluation. However, the assessment of
teaching in-class and online was mostly studied by American researchers. According to Kalaycı and Debbağ
(2016), in Turkey there are not sufficient studies about online evaluation because the importance of online
evaluation of the course has not been taken seriously enough by many university and institusion.
Finally, when studies were analyzed based on the research method, almost in all of the studies
quantitative method was seen to be selected. Related to this result, number of participant are generally very
high, and data collection techniques are mainly questionnaire, achievement test, and survey. This finding is

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 653
www.turkishstudies.net/education
supported by many content analysis studies (Hsieh et al., 2005; Bozkaya, Aydın and Kumtepe, 2012; Chen et
al., 2017;). Accordingly, in the studies conducted in the field of educational technology, the method is
generally preferred quantitative, whereas the qualitative method is mostly ranked second.
Based on the findings of this content analysis, a few suggestions can be done. One of them is that (1)
in order to get more detailed information, qualitative method with the smaller sample can be used in the
studies conducted on online test and evaluation. In addition, (2) the impact of online assessment
environments on students' needs can be investigated. Considering the studies in Turkey, (3) to increase the
number of multi-authored the article, it can be carried out collaborative projects with researchers from
different fields or industries. (4) In online tests, the impact and potential of different question formats, such as
video, painting, moving picture, on students can be investigated. And finally, in order to learn smaller groups'
perceptions and ideas about online test, it can be helpful to use sample groups from elementary and
secondary school students.
Keywords: Distance Education, Online Education, Online Evaluation, Content Analysis, Education
Öz: Teknolojik yeniliklerin eğitimde yaygınlaşmasıyla birlikte, uzaktan eğitimin bir parçası olan online
değerlendirme sistemleri kağıt-kalem testlerine bir alternatif olarak görülmeye başlanmıştır. Çevrimiçi
değerlendirme sistemleri, soruların internet aracılığıyla öğrencilere iletildiği, fare ve klavye kullanılarak
cevapların verildiği sistemler olarak tanımlanabilir. Bu çalışma, çevrimiçi değerlendirme ve test konusunda
yapılan çalışmaların içerik analizi yöntemiyle değerlendirilmesini amaçlamaktadır. Bu amaç doğrultusunda,
Türkiye’de ve yurtdışında 1987-2018 yılları arasında Web of Science, Google Scholar, Ulakbim TR-Dizin,
OPAC ve YÖK Tez veri tabanlarında taranan yüksek lisans, doktora ve araştırma çalışmalarını kapsayan
toplam 86 yayın ayrıntılı olarak incelenmiştir. Elde edilen verilerin analizinde betimsel istatistik yöntemler
arasında yer alan yüzde ve frekans kullanılmıştır. İnceleme ve analizler, “Genel Özellikler”, “Çalışma Alanı”
ve “Yöntem” başlıkları altında toplam 9 ölçüte göre yapılmıştır. İçerik analizi sonucunda son yıllarda
çevrimiçi değerlendirme sistemleri konusunda yapılan çalışmalarda artış olduğu, bu çalışmaların büyük bir
kısmında nicel araştırma deseniyle birlikte analizlerde genellikle yorumlayıcı istatistikler kullanıldığı, bu
çalışmaların başlıca ABD, Türkiye ve İngiltere tarafından yapıldığı ve örneklem grubu olarak çoğunlukla
lisans öğrencilerinin tercih edildiği tespit edilmiştir. Ayrıca yürütülen çalışmalarda konu alanı olarak
çoğunlukla online anketler yoluyla öğretim üyesi ve/veya dersi değerlendirme araştırma konusu olurken,
öğrenci performansının online testler yoluyla değerlendirilmesinin yeterli düzeyde araştırılmadığı
belirlenmiştir. Bu durumun, öğretim yönetim sistemlerinin örgün eğitim sürecine yeterince dahil
edilmemesinin bir sonucu olduğu düşünülmektedir.
Anahtar Kelimeler: Uzaktan Eğitim, Çevrimiçi Eğitim, Çevrimiçi Değerlendirme, İçerik Analiz, Eğitim
Giriş
Günlük yaşamımızda teknoloji hemen hemen her alanda görülmektedir. Özellikle
günümüzde internet sadece insanların günlük hayatlarında sıklıkla kullandıkları ve sosyal medya
gibi farklı araçlarla yaşamlarının ayrılmaz bir parça olmaktan çıkmış, nesnelerin interneti kavramı
konuşulmaya ve uygulanmaya başlanmıştır. Bu bağlamda, eğitim hayatımız içerisinde ve özelikle
yüksek öğretimde sıklıkla tercih ettiğimiz sınavlarında bilgisayar ortamına taşınmasını ve internetin
(teknolojinin) bize sağladığı imkanların sınavlarda da kullanılmasını gündeme getirmiştir.
Çevrimiçi değerlendirmenin daha iyi anlaşılabilmesi için öncelikle değerlendirme kavramını
incelemek gerekir.
Değerlendirme öğrenme sürecinin merkezinde yer alır. Öğrencilerin eğitim programı
hakkındaki anlayışını şekillendirmek ve başarı düzeylerini belirlemek için kullanılır (Baki ve
Birgin, 2002). MEB (2007)’e göre değerlendirme, geleneksel ve çevrimiçi olmak üzere iki şekilde
ele alınmıştır. Her iki yöntemde de ölçme ve değerlendirme iki şekilde yapılabilmektedir;

654 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Geleneksel ölçme ve değerlendirme yöntemleri, alternatif ölçme ve değerlendirme yöntemleri.
Geleneksel değerlendirme; yazılı, boşluk doldurma, çoktan seçmeli, doğru yanlış, kısa yanıtlı,
eşleştirme ve sözlü sınavları içermektedir. Alternatif değerlendirme ise performans ödevleri, proje,
portfolyo (ürün dosyası), rubrik (puanlama anahtarı), kontrol listeleri, öz değerlendirme, akran
değerlendirme, grup değerlendirme, drama, gösteri, kelime ilişkilendirme ve kavram haritaları gibi
öğrenci merkezli teknikleri içerir. Buna göre, sınav (geleneksel ya da alternatif olabilir) eğer
bilgisayar ortamında sunuluyor ve yapılıyorsa yani bilgisayar, sınavda soruların gösterilmesinde,
kaydedilmesinde, izlenmesinde ve cevapların yüklenmesinde kullanılıyorsa bu sınav “web tabanlı
ya da online sınav” olarak adlandırılmaktadır (Karakaya, 2001). Ancak çevrim içi değerlendirme
konusunu detaylandırmadan önce online test ve değerlendirme yöntemleri ve öğrenme yönetim
sistemlerini de içine alan uzaktan eğitim kavramına değinmek faydalı olacaktır.
Genellikle online eğitim olarak ta bilinen uzaktan eğitim, nüfus artışı sebebi ile artan eğitim
maliyetinin düşürülmesi, değişen ve gelişen dünyaya ayak uydurabilmek ve eğitime katkı sağlamak
amacı ile geliştirilen sistemler bütünüdür (Bülbül, Tuğtekin, İliç, Kuzu ve Odabaş, 2016; Özbay,
2015). Uzaktan Eğitim programları, öğrenciyle eğitsel kaynaklar arasında bağlantı kurarak eğitimi
gerçekleştiren sistemlerdir (Gülnar, 2014). İnternet destekli öğretim, uzaktan eğitimde yaygın
olarak kullanılan bir yöntemdir (Torkul ve arkadaşları, 2005). Işık ve Yağcı (2012)’ya göre bu
yöntem, örgün eğitime alternatif olarak düşünülmüştür. Öğrenci merkezlidir, zaman sınırı yoktur ve
herkes kendi hızında öğrenebilir (Duran, Önal ve Kurtuluş, 2006). Uzaktan eğitim uygulamaları,
öğrencilerin ilgileri, yetenekleri, öğrenim düzeylerine göre çeşitli öğrenme yöntemleri oluşturmak,
eğitim engeli bulunan bireylerin eğitim ihtiyaçlarını karşılamak ve bireysel (kendi öğrenme
hızlarına göre) öğrenmelerini sağlamak amacı ile geliştirilen bir uygulamadır (Çetin, 2010).
Uzaktan eğitim, öğretim sürecine doğrudan ve dolaylı olmak üzere iki şekilde katkı
sağladığı söylenebilir. Buna göre uzaktan eğitim, (1) örgün eğitimdeki zaman ve mekân sınırlılığı,
(2) eğitici sayısının kısıtlı olması, (3) okullarda eğitim görme zorluğu, (4) kaynak sınırlılığı, (5)
herkese ulaşamama gibi sorunlara çözüm üreterek eğitime doğrudan katkı sağlarken. Aynı zamanda
geleneksel eğitime de görüntü, ses, grafik ve çoklu ortamların etkin bir şekilde, tekrar ve tekrar
kullanılmasını sağlayarak da dolaylı şekilde destek vermektedir. Ancak Türkoğlu (2003)’na göre
uzaktan eğitimin bahsedilen katkıları sağlaması, öğrenme ve öğretme süreçlerinin, alt yapının,
finansman ve ilgili kurumların dikkate alınması ve bütün süreçlerin birlikte değerlendirilmesi ile
mümkündür.
Uzaktan eğitimde yürütülen derslerin değerlendirilmesinde kullanılan çevrimiçi
değerlendirme, öğrenmenin çevrimiçi ortamda değerlendirilmesi yöntemidir (Bozkurt ve Tekedere,
2013). Karakaya’ya (2001) göre çevrimiçi sınavlar, bilgisayar, telefon, tablet ya da başka bir cihaz
aracılığıyla herhangi bir iletişim sisteminden, sunucudaki soruların istemciye aktarılması ve
cevaplarında istemciden sunucuya aktarılmasıdır. Teknolojinin gelişmesiyle öğrencinin, öğrenme
yeterliliklerinin internet aracılığıyla ölçülmesi de denilebilmektedir. Çevrimiçi değerlendirmeler,
uzaktan eğitim sistemi üzerinden ulaşılabilen bir soru havuzu ile çoğunlukla geleneksel
değerlendirme yöntemleri kullanılarak anında sınav ve sonrasında öğrenciye detaylı ya da özet
dönüt sağlayarak yapılabilmektedir.
Çevrimiçi değerlendirmelerin çeşitli avantajları ve dezavantajları bulunmaktadır (Tablo 1).
Shuey’e göre çevrimiçi sınavların sınırlılıkları; bilgisayar ve internet erişimi, güvenirlik, sınavda
kopya çekmenin engellenememesi, sınava öğrencinin kendisinin girip girmediğinin kontrolü ve
iletişim sorunu örnek olarak gösterilmektedir (Shuey’den aktaran Yağcı, 2011). Diğer taraftan,
çevrimiçi sınavlarda, aynı soru havuzundan her bir öğrenciye farklı sorular teker teker
yönlendirilerek ve çeşitli soru şekilleri ile kısmi değişiklikler yapılarak, soru alma-verme, kopya
çekme gibi durumlar önlenebilmektedir (Yılmaz, 2016). Ayrıca çevrimiçi değerlendirmeler
kullanışlı ve rahattır, zaman ve mekan açısından kolaylık ve anında geri dönüt imkanı sağlar

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 655
www.turkishstudies.net/education
(Bozkurt ve Tekedere, 2013; Hoşgörür ve Adnan, 2017). Yapılacak iyi bir çevrimiçi değerlendirme
sisteminde çevrimiçi sınavlar yapılabilir ve sonuçların hesaplanması sistem tarafından otomatik
olarak gerçekleştirilebilir (Callı, Torkul, Taşbaşı, 2003). Buda öğretmene değerlendirme süresini
farklı etkinliklerle doldurma imkanı sağlarken öğrenciye de cevaplarını anında kontrol etme ve
hataları hızlıca düzeltme olanağı verir (Hoşgörür ve Adnan, 2017).
Tablo1: Çevrimiçi Değerlendirme Sistemlerinin Fayda ve Sınırlılıkları
Faydalı
Sınırlılıkları
• Hız
• Zaman
• Maliyet
• Grafik ses ve görüntü desteği
• Anında geri dönüt
• Çok sayıda kişiye ulaşım
• Tekrar
• Soru havuzu
• Öğrenci takibi
• Güvenirlik
• Haberleşmede tutarsızlık.
• Bilgisayar ve internet erişim
sorunları
• Online sınavların her bilgi ve
beceriye ölçmede uygun
olmaması
• Kopyanın bütünüyle
engellenememesi
Alanyazında yapılan çalışmalar incelendiğinde, eğitimde online değerlendirmelerin iki
şekilde kullanıldığı belirlenmiştir. Bunlardan birincisi, online testlerin doğrudan bir sınav aracı
olarak dönem sonunda ya da ortasında öğrenci performansını belirlemek için kullanılması
yöntemidir. Bir diğer ise online değerlendirmelerin dönem sonunda çoğunlukla üniversitede olmak
üzere dersi veya dersi veren öğretim üyesini değerlendirme biçimindedir.
Çevrimiçi değerlendirme yönteminin ders değerlendirmede kullanılmasına ilk örnek
Woodward (1998) tarafından yapılan çalışma gösterilebilir. Bu çalışmada ilk kez geleneksel ve
online ders değerlendirme yöntemleri karşılaştırılmış ve elde edilen bulgular, hem değerlendirme
hem cevap oranları açısından bu iki yöntem arasında istatistiksel olarak anlamlı bir farklılık
göstermemiştir. Diğer taraftan son dönemlerde gerçekleştirilen bazı çalışmalarda ise online ders
değerlendirmelerinde geleneksele göre cevap oranlarının daha düşük, cevap yoğunluğunun daha
yüksek olduğu tespit edilmiştir. Örneğin, Guder ve Malliaris (2013), çevrimiçi değerlendirmeler de
düşük cevap oranlarının nedenlerini araştırdığı çalışmasında öğrencilerin fakültede gördükleri
eğitimin (hem lisans hem yüksek lisans) bu cevap oranlarında etkili olduğu sonucuna varmıştır.
Ayrıca Guder ve Malliaris (2010) yaptıkları bir diğer çalışmada, çevrimiçi ve kağıt kalem
değerlendirmelerde eğitmen ve ders notları açısından bir farklılık gözlenmezken, çevrimiçi
değerlendirmelere kağıt kalem değerlendirmelerden daha düşük yanıt verildiği ve açık uçlu
cevaplarda önemli farklılıklar olduğu sonucuna ulaşmışlardır.
Chapman ve Joines (2017), çevrimiçi değerlendirmelere verilen cevap oranının düşük
olması ve nasıl arttırılması ile ilgili yürüttüğü çalışmada yanıt verme oranı yüksek olan
eğitmenlerin uygulamalarını incelemiş ve cevap oranlarını başarılı bir şekilde arttırmak için en
yaygın stratejilerin;
• “Değerlendirmede geribildiriminin önemini ve gelecekteki dersleri geliştirmek için
nasıl kullanılacağını tartışmak”
• “Öğretim elemanı ve öğrenciler arasındaki karşılıklı saygıyı yansıtan bir sınıf
kültürü oluşturmak” olduğu sonucuna ulaşmıştır (s. 57).

656 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Çevrimiçi değerlendirme yönteminin öğrencilerin ders başarısı, tutumları, ve demografik
özellikleri yönünden etkisine bakıldığında ise, Fyfe ve diğerleri (2014) değerlendirme yönteminin
öğrencilerin başarısı üzerine olumlu ya da olumsuz bir etkisi olmadığını bu yüzden bilgisayarlı
veya online değerlendirmenin sağladığı avantajlar bakımından geçerli ve kabul edilebilir bir
yöntem olduğunu belirtmiştir. Diğer yandan, Groen ve Herry (2017) tarafından yürütülen bir
araştırmada, çevrimiçi ve kağıt-kalem değerlendirme karşılaştırılmış ve puanların değerlendirme
yöntemine, cinsiyete, yaşa, lisans düzeylerine ve çalışma yılına göre farklılık gösterdiği ortaya
konulmuştur. Ancak literatürde demografik özellikler bakımından yapılan çalışmalar her zaman
tutarlı olmamıştır. Örneğin, bazı çalışmalarda değerlendirme yöntemlerine göre cinsiyet ve öğrenci
başarısı arasında bir ilişki bulunamamıştır (Clariana and Wallance, 2002; Alexander et al., 2001).
Nulty (2008)’in yaptığı çalışmada öğrencilerin çevrimiçi ortamları biliyor olması, çevrimiçi
değerlendirmelerde kendilerini daha rahat hissetmesine ve olumlu sonuçlar çıkarmasına sebep
olduğu belirtilmiştir. Heilman ve Matsuzaki (2009)’ye göre ise çevrimiçi değerlendirmeler
tereddütlü ve sessiz öğrencilere, bilgilerini daha kolay ifade etme imkanı sağlayabilmektedir. Bu
bağlamda, gelecekte değerlendirme yöntemleri açısından büyük bir yere sahip olabilecek çevrimiçi
değerlendirmenin bugün için mevcut durumunun ortaya konulması ve genel olarak çalışmaların ne
yönde ilerlediğinin belirlenmesi önemlidir. Mevcut araştırma kapsamında çevrimiçi değerlendirme
sistemlerine yönelik yapılan çalışmaların alan yazındaki durumu ve eğitim alanında ne şekilde
kullanıldığının belirlenmesi amaçlanmıştır. Bu çalışma kapsamında aşağıda belirtilen altı araştırma
sorusuna cevap aranmaya çalışılmıştır.
• Çevrimiçi değerlendirmelerin kullanımına yönelik gerçekleştirilen çalışmaların
o (1) Yıllara göre
o (2) Yayınlandığı ülkelere göre
o (3) Yazar sayısına göre
o (4) Araştırma konusuna göre
o (5) Çalışmanın yöntemine göre
o (6) Veri toplama araçları ve örneklemine göre dağılımı nasıldır?
Yöntem
Online test ve değerlendirme yöntemlerinin mevcut durumunun ve eğitimde kullanımının
incelendiği bu çalışma, metin analizi olarak da bilinen içerik analizi yöntemi kullanılarak
gerçekleştirilmiştir. İçerik analizi basitçe yazılı metinlerin toplanması, özetlenmesi, analiz edilmesi
ve raporlanması süreci olarak tanımlanmaktadır (Cohen, Manion ve Morrison, 2007). Bu yöntem
toplumsal davranışı etkilemeden gerçekleştirilebilen (non-obtrusive) bir araştırma yöntemidir
(Berelson, 1952). Bu çalışmada içerik analizi, farklı çalışmaların bir araya getirilerek çeşitli kavram
ve başlıklar altında incelenmesini ve okuyucuya belli temalar altında sunulmasını içermektedir. Bu
kapsamda, 1987-2018 yılları arasında Türkiye de ve yurtdışında çeşitli dergilerde yayınlanmış ve
tam metnine ulaşılmış makalelerin belli özelliklerine göre incelenmesi planlandığından içerik
analizi yöntemi bu çalışma için uygun bulunmuştur.
Veri Kaynakları/Örneklem
Çalışmada amaca uygun örneklem yöntemi kullanılmıştır. Online değerlendirme ya da
online test konusunda yapılan ilk çalışmanın 1987 yılında yapıldığı belirlendiği için, bu çalışmanın
verileri 1987-2018 yılları arasında Web of Science, Google Scholar, TR Dizin, OPAC, YÖK Tez,
Ulakbim ve Tübitak veritabanında taranan ve tam metnine ulaşılabilen makale ve tezlerin
taranmasıyla elde edilmiştir. İlgili veri tabanlarında makalelere ulaşmak için “online test”, “online
evaluation”, “çevrimi değerlendirme”, “çevrimiçi test”, “computerized test”, “computerized

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 657
www.turkishstudies.net/education
evaluation”, “çevrimiçi ölçme”, “computer-based evaluation” anahtar kelimeleri kullanılmıştır. Bu
bağlamda toplam 113 makale ve 21 bildiriye ulaşılmıştır. Ancak bu çalışmalardan bazıları başlıkta
ya da özette belirtilmesine rağmen içerik olarak online değerlendirme ile doğrudan ilişkili
bulunmadığından analiz sürecinden önce çalışmadan çıkarılmıştır. Sonuç olarak alanyazında
önemli kabul edilen dergilerde yayınlanmış ya da taranmış ve doğrudan online değerlendirme ve
test ile ilgili 78 makale ve 8 tez ayrıntılı incelenmek üzere araştırmaya dahil edilmiştir.
Verilerin Analizi
Mevcut araştırmada içerik analizine tabi tutulan veriler betimsel istatistiki yöntemler
kullanılarak çözümlenmiştir. Çalışma kapsamında makalelerin sistematik olarak belirlenmesi ve
değerlendirilmesi için bir kodlama sistemi geliştirilmiştir. Bu sistem araştırmacılar tarafından
manuel olarak yapılmıştır. Bu kodlama siteminde makaleler temel olarak üç bölümde incelenmiştir:
(1) Genel özellikler, (2) Çalışma alanı ve (3) Yöntem. Genel özellikler bölümde, çalışmanın adı,
yazarları, yazar sayısı, yapıldığı yıl, ülke, dergi bilgileri yer alırken çalışma alanı başlığı altında
araştırma konusu ve uygulama alanı belirlenmiştir. Yöntem olarak adlandırılan üçüncü bölümde ise
araştırma yöntemi, veri toplama araçları, örneklem ve son olarak veri analiz yöntemleri
kaydedilmiştir.
Çalışmanın geçerlilik ve güvenirlik boyutunda çalışmanın yazarları tarafından öncelikle
Microsoft Office uygulamalarından Excel programı kullanılarak yukarıda belirlenen alanlar
doğrultusunda bir Excel Form hazırlanmış ve özellikle yöntem bölümü altındaki bütün alanlar için
veri girdi listeleri oluşturulmuştur. Böylece, makaleler incelenirken özelliklerin herhangi bir şekilde
yanlış girilmemesi ve bir standardın oluşturulması sağlanmıştır (Şekil 1). Yöntem bölümünde yer
alan veri girdi listeleri bir örnek olarak Tablo 2’de detaylarıyla sunulmuştur.
Tablo 2: Makale Değerlendirme Excel Formu Girdi Listeleri
Veri toplama Araçları
Gözlem
Görüşme Formu
Başarı Testleri
Tutum/Algı/Kişilik/Yetenek Testler
Anket/Ölçek
Dokümanlar
Alternatif değerlendirme araçları
Araştırma yöntemi
Nicel
Nitel
Karma
Örneklem
İlköğretim
Ortaöğretim
Lise
Lisans
Yükseklisans
Öğretmenler
Yöneticiler
Veliler
Öğretim Elemanları

658 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Şekil 1: Makale Değerlendirme Formu
Bilgisayar ve Öğretim Teknolojileri alanında doktora derecesine sahip iki yazar çalışma
için toplanan makalelerden rasgele yaklaşık 20 makaleyi yukarıda hazırlanan formu kullanarak
değerlendirmişlerdir. Değerlendiricilerin bütün kategoriler altında eşleşen her cevabı için 1
eşleşmeyen cevapları için 0 değeri verilmiştir. Bu değerlendirmeler arasındaki iç tutarlılığı
belirlemek için Cohen’s Kappa statistics kullanılmıştır. Analizler sonucunda, her bir makale için
kodlayıcılar arasında anlaşma puanlarının 0.71 ile 0.93 arasında değiştiği belirlenmiştir. Cohen’s
Kappa değerleri 0.01–0.20 arası “yok”, 0.21–0.40 arası “düşük”, 0.41– 0.60 “orta”, 0.61–0.80 arası
“iyi” ve 0.80 üzeri mükemmel olarak yorumlanmaktadır (Marston, 2010). Buna göre, bu
çalışmadan elde edilen Kappa değerleri yüksek olarak kabul edilebilir.
Sınırlılıklar
• Çalışma Google Scholar, Tübitak Ulakbim, TR Dizin, Opac ve Yök Tez
veritabanları ile sınırlı tutulmuştur.
• Çalışmaya 1987-2019 yılları arasında yalnızca tam metnine ulaşılabilen bütün
araştırmalar dâhil edilmiştir.
Bulgular
Çevrimiçi değerlendirme ve test konusunda alanyazındaki durumunun belirlenmesi ve
eğitim alanında bu çalışmaların ne şekilde oluşturulduğunun ortaya konulması amaçlanan
çalışmada, ilgili veri tabanlarından elde edilen bulgular, araştırma sorularına göre aşağıda sırasıyla
sunulmuştur.
Yıllara Göre Online Değerlendirme Konusunda Yapılan Çalışmalar
Veri analiz sürecinde “genel özellikler” altında yer alan “çalışmanın yapıldığı yıl” verisine
dayanarak yıllara göre çevrimiçi değerlendirmelerin eğitimde kullanımına yönelik yapılan
çalışmalar aşağıdaki tabloda detaylarıyla sunulmuştur (Tablo 1). Tablo 1 incelendiğinde, 2000’li
yıllardan itibaren online değerlendirme konusunda yapılan çalışmalarda görece bir artış olduğu
görülmüştür. Ancak bu artışın her geçen yıl artmadığı, yıllar için de azalan artan şekilde ilerlediği
belirlenmiştir. Ayrıca, en çok makalenin 2002, 2012, 2016 yıllarında ve her bir yıl için toplam 7
adet yayın yapıldığı elde edilen diğer bir bulgudur.

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 659
www.turkishstudies.net/education
Tablo 3: Yıllara Göre Yayınlanan Makale Sayısı (N=86)
Yayın yılı
Sıklık
Yüzde
1987
1990
1996
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
1
1
4
1
1
2
7
2
5
4
6
5
3
3
3
5
7
3
4
4
7
5
3
1,2
1,2
4,7
1,2
1,2
2,3
8,1
2,3
5,8
4,7
7,0
5,8
3,5
3,5
3,5
5,8
8,1
3,5
4,7
4,7
8,1
5,8
3,5
Toplam
86
100,00
Diğer taraftan bu çalışma için ortaya çıkan yıl aralığı uzun olduğundan çalışmaların 5 yıllık
periyotlarla sunulmasının verilerin daha okunabilir olmasına imkan sağlayacağı düşünülmüştür.
Buna göre, aşağıdaki grafik (Şekil 2) incelendiğinde, online değerlendirme konusunda yıllara göre
artış daha net bir şekilde görülmektedir. 2017 ile 2018 yıllarında ise toplam 8 çalışma yapıldığı ve
artma trendine bağlı olarak bu sayının ilerleyen yıllarda artacağı öngörülmektedir. Sonuç olarak
online test veya değerlendirme konusunun eğitim alanında yavaşta olsa artarak devam ettiği
söylenebilir.

660 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Şekil 2: Çalışmalarının Yıllara Göre Dağılımı (5 Yıllık Periyotlarla)
Yapıldığı Ülkelere Göre Çevrimiçi Değerlendirmeler
Makalelerin ülkelere göre dağılımı analiz edildiğinde, 1987 ve 2018 dönemi içerisinde
toplam 17 farklı ülkede online değerlendirme konusunda çalışma yapıldığı, ancak “Diğer” kategori
altında toplanan Almanya, Avusturalya, Fas, İsrail, İtalya, Kanada, Lüksemburg, Nijerya,
Romanya, Sırbistan, ve Yunanistan’ın aralarında bulunduğu ülkelerde sadece bir yayın tespit
edilmiştir. Yapılan çalışmaların büyük bir kısmının (n=34) ABD tarafından yürütüldüğü, diğer
taraftan Türkiye’nin belirlenen dönemde 27 makale ile bu alanda ikinci sırada yer aldığı
görülmüştür.
Şekil 3: Çalışmalarının Ülkelere Göre Dağılımı
Yazar Sayısına Göre Online Değerlendirmeler
Bu araştırma sorusunun oluşturulmasının temel gerekçesi, eğitim teknolojileri alanında
yapılan çalışmaların daha çok farklı teori ve uygulamadan beslenen çok disiplinli bir yapıya
dönüşmesidir. Bu sebeple, farklı alan ve uzmanlık gruplarından araştırmacılar artık daha fazla ortak
araştırmanın içinde yer almaktadırlar. Özellikle online değerlendirme gibi bir konuda, bilgisayar
mühendisleri, eğitim teknologları, ölçme ve değerlendirme alan uzmanları gibi farklı alanlardan
araştırmacıların bir arada çalışma olanağı bulması beklenen bir durumdur.

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 661
www.turkishstudies.net/education
Tablo 4 incelendiğinde, çok ve tek yazarlı makalelerin genel olarak dağılımları
görülmektedir. Buna göre, online değerlendirme veya test konusunda yapılan çalışmaların
çoğunlukla 2 ya da daha fazla yazarlı tercih edildiği görülmektedir. Ancak genel dağılım, yaklaşık
%65’lik bir oranla makalelerin 2 veya 3 yazarlı olarak ortaya çıktığını göstermektedir. Tek yazarlı
makaleler ise, genel toplama %16’lik bir katkı sağlamaktadır.
Tablo 4: Makale Başına Toplam Yazar Sayısı (n=78)
Yazar Sayısı
Sıklık
Yüzde
1*
2
3
4
5
6
16
31
21
5
4
1
20,5
39,7
26,9
6,4
5,1
1,3
Toplam
78
100
* Bu analiz için doktora ya da yüksek lisans tez çalışmaları veri
setinden çıkarılmıştır.
Bu dağılım yıllara göre incelendiğinde ise (Tablo 5) , 2011-2016 yılları arasında tek yazarlı
makale sayısında bir sıçrama olmasına rağmen, 2 yazarlı makale sayısının her yıl düzenli olarak
arttığı söylenebilir. Bir diğer deyişle, eğitim teknolojisi alanında ortak araştırmalar yıllar içerisinde
çoğunlukla 2 veya 3 yazarlı olmak üzere artış göstermektedir.
Tablo 5: Yazar Sayısı ve Yılın Çapraz Tablolandırılması (n=78)
Yıl Aralığı
Yazar Sayısı
Toplam
1
2
3
4
5
6
1987-2000
2001-2005
2006-2010
2011-2016
2017-2018
1
0
4
11
0
1
8
7
10
5
2
8
4
6
1
0
2
0
2
1
0
1
2
0
1
0
0
1
0
0
4
19
18
29
8
Toplam
16
31
21
5
4
1
78
* Bu analiz için doktora ya da yüksek lisans tez çalışmaları veri setinden
çıkarılmıştır.
Yazar sayısına ülkelere göre bakıldığında ise, sonuçlar aşağıdaki gibi oluşmuştur (Şekil 4).
Bu durum Türkiye’deki araştırmacıların çoğunlukla tek (n=10) ve iki yazarlı (n=14) yayın yapmayı
tercih ettiğini ortaya koymuştur. Ancak Türkiye için yıllara göre yazar durumuna bakıldığında
(Şekil 4-1) tek ve iki yazarlı çalışmaların son yıllarda büyük bir ivme kazandığı, üç ve üzeri yazarlı
çalışmaların neredeyse hiç tercih edilmediği belirlenmiştir. Diğer taraftan, ABD ve İngiltere’de
yazar sayısı çoğunlukla üç ve üzeri arasında tercih edildiği (Şekil 4-2) ve Türkiye’deki durumun
aksine tek yazarlı makale sayısının yıllar içerisinde azaldığı söylenebilir.

662 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Şekil 4: Yazar Sayısının Ülkelere Göre Dağılımları
Şekil 4-1: Yazar Sayısının Yıllara Göre
Türkiye’deki Durumu
Şekil 4-2: Yazar Sayısının Yıllara Göre
ABD’deki Durumu
Araştırma Konusuna Göre Online Değerlendirmeler
Online değerlendirme konusunda yapılan çalışmalar araştırma konusuna göre
değerlendirildiğinde aşağıdaki tabloda detayları görüldüğü üzere 8 temel başlık oluşturulmuştur
(Tablo 6). Bu başlıklar arasında en çok çalışma, “algı ve/ya tutum: online değerlendirme” olarak
kodlanan, bütün çalışmaların yaklaşık %30’luk oranını oluşturan, online değerlendirmelerin algı
ve/veya tutum açısından değerlendirilmesi konusundadır. Yapılan çalışmaların yoğunlaştığı ve
yaklaşık %20’lik bir oranla çalışılan bir diğer başlık “öğretimi değerlendirme: online ve sınıf-içi
anket” dir. Dikkat çeken bir diğer durum ise, cinsiyet, okul veya bölüm türü gibi faktörler açısından
online ve sınıfiçi testlerin karşılaştırılması konusunda sadece bir çalışmaya rastlanmıştır. Benzer
durum online değerlendirme konusunda “ölçek geliştirme” başlığı içinde geçerlidir.
0
10
19…
20…
20…
20…
20…
Türkiye
Tek Yazarlı
iki yazarlı
üç ve üzeri
0
10
1…
2…
2…
2…
2…
Amerika Birleşik
Devletleri
Tek Yazarlı
iki yazarlı

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 663
www.turkishstudies.net/education
Tablo 6: Araştırma Konularına göre Sınıflandırılmış Çalışmalar (n=86)
Araştırma Konusu
Sıklık
Yüzde
Algı ve/ya Tutum: Online Değerlendirme
Cinsiyet ve/ya Diğer Faktörler: Online ve Sınıf-İçi Test
Literatür Derleme
Hız ve/ya Başarı: Online ve Sınıf-İçi Test
Online Değerlendirme Sistemi Geliştirme
Öğretimi Değerlendirme: Online ve Sınıf-İçi Anket
Ölçek Geliştirme
Test Modu (Online – Sınıfiçi) ve Etkileri
26
1
10
14
10
17
1
7
30,2
1,2
11,6
16,3
11,6
19,8
1,2
8,1
Toplam
86
100
Araştırma konusu ülkeler bazında (Şekil 5) incelendiğinde ise özellikle Türkiye, Amerika
ve İngiltere’nin ön plana çıktığı görülmüştür. Online değerlendirme de algı veya tutum gibi
faktörlerin araştırılmasında Türkiye’de yapılan çalışmalar (n=12) çoğunlukta iken, sınıf-içi ve
online olarak öğretimin değerlendirilmesi konusu en çok Amerikalı araştırmacılar tarafından
çalışılmıştır (n=12).
Şekil 5: Ülkelere Göre Araştırma Konularının Dağılımı (Grafikte sadece Türkiye, ABD ve
İngiltere’nin gösterilmesinin temel gerekçesi diğer ülkelerin belirlenen kategorilerde sadece 1 veya
2 yayın yapmaları ve grafiğin okunabilirliğin artırılmasıdır)
Araştırma Yöntemine Göre Online Değerlendirmeler
Makaleler nicel, nitel ve karma olmak üzere üç ana araştırma yöntemine göre
gruplandırılmıştır. Tablo 7’de ortaya çıkan bulgular ışığında, makalelerin yaklaşık olarak %63 ‘lük
kısmında araştırma yöntemi olarak nicel (n=52) tercih edilirken, nitel araştırma yöntemi %20 ile
ikinci, karma yöntem ise %9 ile üçüncü sırada yer almıştır. Ayrıca bazı makalelerde yöntem
doğrudan belirtilmezken, bu makalelerin çoğunlukla literatür taraması ya da geliştirilen online
değerlendirme sistemlerinin tanıtılması şeklinde olduğu belirlenmiştir.

664 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Tablo 7: Araştırma Konuları (n=86)
Araştırma Yöntemi
Sıklık
Yüzde
Nicel
Nitel
Karma
Belirtilmemiş*
52
17
8
7
62,8
19,8
9,3
8,1
Toplam
86
100
* inceleme tabanlı ve yeni sistem tanıtım
makalelerini içermektedir
Yapılan çalışmalar yıllara göre incelendiğinde ise (Şekil 6), nicel araştırma yönteminin
bütün yıllık periyotlarda her zaman en çok tercih edilen bir araştırma yöntemi olduğu söylenebilir.
Bunun yanında nitel yöntem her ne kadar ilk yıllara göre bir artış gösterse de, nicel yönteme göre
tercih edilirliği oldukça düşük bulunmuştur.
Şekil 6: Yıllara Göre Araştırma Yöntemleri
Veri Toplama Yöntemine Göre Online Değerlendirmeler
Makalelerde kullanılan veri toplama yöntemleri, aşağıda Tablo 8’de özetlendiği şekilde
toplam 6 madde üzerinde gruplandırılmıştır. Araştırmacıların bazı çalışmalarda veri doğruluğunu
sağlamak için birden fazla veri toplama yöntemi kullandıkları söylenebilir. Anket ve ölçek,
çalışmalarda en fazla kullanılan yöntemdir (n=48), bunun temel gerekçesi nicel yöntem içeren
çalışmaların sayısının fazla olması ile açıklanabilir. Diğer taraftan, konu üzerine yapılan çalışmalar
çoğunlukla sınıf-içi ve online değerlendirme arasındaki farka odaklandığından, anket ve ölçek
(n=48) ve başarı testleri (20) en çok kullanılan veri toplama yöntemleri olmuştur.
Tablo 8: Veri Toplama Yöntemleri (n=99)
Araştırma Yöntemi
Sıklık
Yüzde
Anket / Ölçek
Başarı Testleri
Dökümanlar1
Görüşme2
Gözlem
Tutum/Algı/Kişilik/Yetenek
Testleri
48
20
13
8
2
2
51,6
21,5
14,0
8,6
2,2
2,2
Toplam
93
100

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 665
www.turkishstudies.net/education
1 bu başlık makaleler, yazılı belgeler, ödevler, ses
ya da video dosyalarını içerebilir
2 yüz yüze veya odak grup görüşmesi olabilir
Not: bazı çalışmalar birden fazla veri toplama
yöntemi içermektedir.
Örneklem Sayısına Göre Online Değerlendirmeler
Makalelerde çalışılan örneklemler okunabilirliğin artırılması için gruplandırılarak
kodlamıştır (Tablo 9). Bu alanda araştırma yapan araştırmacıların çoğunlukla çalışmanın geçerlilik
ve güvenirliği için büyük örneklemlerle çalıştığı görülmüştür (201> örneklem; n=29). Ayrıca,
yürütülen çalışmaların bazılarında ders ve öğretim elemanı değerlendirmesi kağıt-kalem ve online
yapılarak kıyaslandığından, bütün bir bölüm veya üniversitede ile çalışılmıştır. Bu durum,
örneklem sayısının büyümesini ve bazı durumlarda evreni temsil etmesini sağlamıştır. Ayrıca bu
durumun oluşmasında uzaktan eğitim sistemi kullanan araştırmacıların örnekleme kolaylıkla
ulaşması da gösterilebilir.
Tablo 9: Örneklem Sayıları (n=64)
Örneklem Aralığı
Sıklık
Yüzde
1-50
51-100
101-150
151-200
>201
10
10
12
3
29
15,6
15,6
18,8
4,7
45,3
Toplam
64
100
Örneklem sayıları ülkelere göre incelendiğinde ise (Şekil 7), ABD’nin çoğunlukla büyük
örneklemlerle çalıştığı görülmektedir, buna karşın Türkiye’de yapılan çalışmalarda araştırmacılar
genellikle küçük gruplarla çalışmayı tercih etmişlerdir.
Şekil 7: Ülkelere Göre Örneklem Sayılarının Dağılımı

666 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Tartışma ve Sonuç
Eğitim teknolojisi, öğrencilerin değişen ihtiyaçları ve teknolojinin sağladığı imkanlar
doğrultusunda değişen ve gelişen yapısı ile eğitim alanında yapılan çalışmalara da bir şekilde yön
verdiği görülmektedir. Bu yönü belirleyen unsurlar; alanda ortaya çıkan teoriler, yaklaşımlar ve
teknolojilerdir. Bu bağlamda literatür incelemesine dayalı çalışmalar, yukarıda bahsedilen
değişikliklerden kaynaklı alanı ne şekilde etkilendiğini ortaya koyabilir. Bu çalışma, 1987’den
günümüze kadar çeşitli dergilerde tam metin olarak yayınlanmış 86 makalede online değerlendirme
konusunun, bu süreçler içerisinde yıllara göre nasıl değiştiğini ve mevcut durumunun ne olduğunu
incelemeyi amaçlamıştır. Çalışmanın yönteminde belirtildiği üzere, bulgular yine üç başlık altında
tartışılacaktır: (1) genel özellikler, (2) Çalışma Alanı ve (3) yöntem.
Çalışmaların Genel Özellikleri
Belirlenen sürede online değerlendirmeler üzerine yayınlanan makale sayısının zaman
içerisinde artan bir ilerleme gösterdiği görülmektedir. Bu durumun oluşmasında özellikle
teknolojik gelişmelerin ve bunun bir sonucu olarak öğrencilerin online öğrenme ve değerlendirme
konusunda hazır bulunuşluk seviyelerinin günden güne yükselmesi gösterilebilir (Yılmaz, Sezer ve
Yurdugül, 2019; Pala ve Şahbaz, 2018; Gartner, 2015; Johnson, Adams Becker, Estrada &
Freeman, 2014). Bunula birlikte kağıt-kalem testleri veya sınıf-içi testlerin, öğrenci sayısındaki
artış ve yeterli personel eksikliğiyle her geçen gün daha maliyetli bir hal alması, bu konunun
çalışılma sıklığının artışının bir diğer gerekçesi olabilir (Nguyen ve Diğ. , 2017; Oduntan, Ojuawo,
Oduntan, 2015). Buna ek olarak, yapılan bazı çalışmalarda, iyi tasarlanmış ödev ve testlerin ister
küçük ister büyük ölçekte olsun, öğrencilerin bilgisayara dayalı testlere ve online
değerlendirmelere daha iyi entegre olmalarına ve onların akademik başarılarına olumlu etki
oluşturduğu belirlenmiştir (Rienties ve Toetenel, 2016; Koedinger, Booth, ve Klahr, 2013). Bu
durumda yine online testlerin ve değerlendirmelerin alanda daha popüler olmasını açıklamaktadır.
Makalelerin 1987-2018 döneminde 17 farklı ülkede yürütüldüğü tespit edilmiştir. Ancak
Amerika Birleşik Devletleri, Türkiye ve İngiltere dışındaki ülkelerde yapılan çalışmalar bu yıllar
içerisinde oldukça sınırlı kalmıştır. Çin, Hindistan ve Malezyada ikişer çalışma yapıldığı
gözlenirken diğer ülkelerde sadece birer çalışma bulunmaktadır. Bu durum araştırma konusunun e-
öğrenme veya uzaktan eğitim ile doğrudan ilişkili olmasından kaynaklandığı düşünülmektedir. Bu
durumun gerekçesi olarak, alanyazına bakıldığında, ABD, Türkiye ve İngiltere’nin uzaktan
eğitimde öncü ülkeler arasında yer alması gösterilebilir.
Yazar sayısı, bu çalışmada makalelerin genel özellikleri arasında değerlendirilen bir diğer
kriterdir. Makalelerin tarandığı yıllar içerisinde çoğunlukla tek veya iki yazarlı oldukları tespit
edilmiş, ancak yıllara göre bakıldığında son dönemlerde özelikle tek yazarlı makale yapma
sayısında bir artış gözlenmiştir. Öyle ki; 2006-2010 döneminde tek yazarlı makale sayısı 4 iken,
2011-2016 döneminde bu rakam 11’e yükselmiştir. Benzer durum iki yazarlı makaleler içinde
geçerlidir. Ülkeler bazında bakıldığında ise, Türkiye’nin yine tek ve iki yazarlı çalışmaları tercih
ettiği görülmüştür. Bu durum için çok farklı gerekçeler sunulabileceği gibi, Türkiye örneği
açısından Yüksek Öğretim kurumunun akademik yükseltme için makale puanlamasını değiştirmesi
ve akademik teşvik kuralları, oluşan bu durumun en önemli nedeni sayılabilir (Resmi Gazete,
2018). Ayrıca, ülkeler bazında en çok tek yazarlı makale sayısının Türkiye’de olması Türk eğitim
sisteminin neden olduğu kültürel bir olgu olarak düşünülebilir ve yapılan birçok içerik analizi
çalışmasında bu sonuç desteklenmektedir (Önce ve Başar, 2010; Bacanak ve Diğ., 2011; Atabek ve
Atabek, 2019).
Çalışmaların Araştırma Konusu
Online değerlendirmeler ve test konusunda 1987-2018 dönemi arası çalışmalar, araştırma
konusu bakımından değerlendirildiğinde, çoğunlukla online değerlendirmede algı ve tutum gibi

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 667
www.turkishstudies.net/education
faktörlerin araştırılmasında ön planda olan ülkenin Türkiye olduğu ortaya çıkmıştır. Diğer taraftan
online ve sınıf içi değerlendirmede hız ve başarı faktörünün kıyaslandığı çalışmaların en fazla ABD
ve İngiltere tarafından yürütüldüğü, ayrıca yine bu ülkelerde, dersi ve öğretmeni değerlendirmede
online ve sınıfiçi farkının olup olmadığı araştırılan çalışmaların en çok çalışılan ikinci araştırma
konusu olduğu görülmüştür. Türkiye’de öğretimi ve öğretim elemanını değerlendirmenin online
veya sınıf-içi olma farkının hiçbir araştırma içinde yer alamamasının gerekçesi yüksek öğretimde
belli üniversitelerin dışında bu konunun hem öğrenciler hem üniversiteler tarafından yeterince
ciddiye alınmaması olabilir (Kalaycı ve Debbağ, 2016).
Yöntem
Belirlenen dönemde yayınlanan makaleler yöntem bakımında incelendiğinde, nicel
araştırma yönteminin baskın bir şekilde kullanıldığı görülmektedir. Bu durumun bir sonucu olarak,
araştırmacıların çoğunlukla araştırılan değişkenler arasındaki neden sonuç ilişkisine odaklandığı,
var olan durumu olduğu gibi aktarma veya arka planda oluşan durumun gerekçelerini detaylı
inceleme gibi yöntemlerini sınırlı kullandığı belirlenmiştir. Diğer taraftan, özellikle son yıllarda
olmak üzere online değerlendirmeler konusunda yapılan çalışmalarda nitel yöntemin tercih edilen
araştırma yöntemleri arasına girdiği de söylenebilir. Nitel çalışmalarda ise, online değerlendirme
yöntemlerinin öğrencilerin derse katılımına, beklentilerine, düşüncelerine ve görüşlerine nasıl etki
ettiği araştırılmıştır. Bu bulgu, yapılan birçok içerik analizi çalışmasıyla desteklenmektedir (Hsieh
et al., 2005; Bozkaya, Aydın ve Kumtepe, 2012; Chen ve Diğ, 2017;), buna göre, eğitim teknolojisi
alanında yapılan çalışmalarda yöntem genel olarak nicel tercih edilirken, nitel yöntem ya listenin
sonunda ya da ikinci sırada yer almaktadır.
Veri toplama tekniklerine bakıldığında, 1987-2018 dönemi için bir önceki paragrafta
belirtildiği üzere yöntem çoğunlukla nicel olduğundan veri toplama teknikleri de buna paralel
olarak sırasıyla anket, ölçek ve başarı testlerinden oluşmaktadır. Yine gözlem ve görüşmelerin
online değerlendirmeler ve testler konusunda sık başvurulan bir veri toplama tekniği olmadığı
belirlenmiştir. Bu durumun temel gerekçesi olarak, bu tip araştırmalarda araştırmacı, elde ettiği
bulguları genellemede ve veri geçerliliğinde kullanmak için örneklem sayılarını mümkün olduğu
kadar büyük tutmaya özen göstermektedir. Ayrıca, bazı çalışmaların doğası gereği, örneğin bütün
bir okulda ve bir bölgede çalışılması zorunluluğu, örneklem sayılarının büyük olmasına ve bu tip
çalışmalarda gözlem ve görüşme gibi nitel veri toplama araçlarının kullanılamamasına neden
olduğu söylenebilir. Benzer şekilde bu alanda yapılan içerik analizi çalışmalarında da benzer
bulgular elde edilmiştir (Bozkaya, Aydın ve Kumtepe, 2012; Chen ve Diğ, 2017).
Sonuç olarak, mevcut araştırma kapsamında online (çevrimiçi) test ve değerlendirmelere
yönelik ilginin ilerleyen yıllarda daha da artacağı söylenebilir. Online eğitim ve değerlendirme
sunduğu potansiyel açısından hem okul, hem öğretmenler hem de öğrenciler için bir çok fayda
sağlayacağı görülmektedir. Buna karşın yapılan araştırmaların çoğunlukla öğretim sürecinin
değerlendirilmesinden çok, öğretim elemanı veya derslerin değerlendirilmesi şeklinde yürütüldüğü
görülmüştür. Bu bağlamda, online değerlendirme konusunun farklı açılardan incelenmesi, bu
teknolojinin ayrıca öğretimsel yönüne de odaklanılması, daha isabetli olabilir.
Öneriler
Bu araştırma sonucunda elde edilen bulgulara dayanarak, yakın gelecekte online
değerlendirmeler ve testler üzerine yapılacak çalışmalarda (1) daha küçük örneklem kullanılarak
öğrencilerden ya da öğretmenlerden sürece ilişkin daha detaylı bilgi elde edilebilecek nitel
çalışmalara alan açılabilir. Buna ek olarak, (2) online değerlendirme ortamlarının öğrencilerin
ihtiyaçları doğrultusunda düzenlenmesinin öğrenciler üzerindeki etkisi araştırılabilir. Türkiye’de

668 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
yapılan çalışmalar dikkate alındığında (3) çok yazarlı makale sayısının artırılması için farklı alan
veya branşlardan araştırmacılarla ortak projeler yürütülebilir. (4) Online testlerde sadece çoktan
seçmeli değil farklı soru biçimlerinin, örneğin video, resim, hareketli resim gibi, öğrenciler
üzerindeki etkisi ve potansiyeli araştırılabilir. Ve son olarak (5) sadece üniversite ve lise
seviyesinin dışında farklı eğitim seviyelerinden örneklemler kullanılarak yapılan çalışmaların
örneklem grubu çeşitlendirilebilir.
Kaynakça
Alexander, M. W., Bartlett, J. E., Truell, A. D., & Ouwenga, K. (2001). Testing in a computer
technology course: An investigation of equivalency in performance between online and
paper and pencil methods. Journal of Career and Technical Education, 18(1), 69-80.
https://doi.org/10.21061/jcte.v18i1.600
Atabek, Ü., & Atabek, G. Ş. (2019). Türkiye’de gazetecilik literatürü: 1992-2018 yılları arasında
yayımlanmış makaleler üzerine bir inceleme. Akdeniz Üniversitesi İletişim Fakültesi
Dergisi, (31), 710-732. https://doi.org/10.31123/akil.534400
Bacanak, A., Değirmenci, S., Karamustafaoğlu, S., & Karamustafaoğlu, O. (2011). E-dergilerde
yayınlanan fen eğitimi makaleleri: Yöntem analizi. Türk Fen Eğitimi Dergisi, 8(1), 119-
132.
Baki, A ve Birgin, O. (2002). Matematik eğitiminde alternatif bir değerlendirme olarak bireysel
gelişim dosyası uygulaması. 5.Ulusal Fen Bilimleri ve Matematik Eğitimi Kongresi.
Ankara: ODTÜ
Berelson, B. (1952). Content analysis in communication research. Free Press.
https://doi.org/10.2307/2088029
Bozkaya, M., Aydin, I. E., & Kumtepe, E. G. (2012). Research trends and ıssues in educational
technology: a content analysis of TOJET (2008-2011). Turkish Online Journal of
Educational Technology-TOJET, 11(2), 264-277.
Bozkurt, A. ve Tekedere, A. (2013). Etkileşimli çevrimiçi kpss deneme sınavı yazılımı. Gazi
Üniversitesi Endüstriyel Sanatlar Eğitim Fakültesi Dergisi, 31, 36-44.
Bülbül, A., H., Tuğtekin, U., İLİC, U., Kuzu, A. ve Odabaşı, H., F. (2016). Çevrimiçi ortamlarda
araştırma toplulukları: öğretim üyeleri için bir yol haritası. Ahi Evran Üniversitesi Kırşehir
Eğitim Fakültesi Dergisi (KEFAD), 17(2), 171-190.
Callı, İ., Torkul O.ve Taşbaşı N. (2003). İnternet destekli öğretimde kullanılmak üzere web erişimli
veri tabanı yönetim sistemiyle ölçme ve değerlendirme sistemi tasarımı. The Turkish
Online Journal Of Educational Technology – Tojet, 2(3), 108-115.
Chapman, D., D. ve Joines, J., A. (2017). Strategies for ıncreasing response rates for online end-of-
course evaluations. International Journal Of Teaching And Learning İn Higher Education,
29(1), 47-60.
Chen, P., Liu, X., Cheng, W., & Huang, R. (2017). A review of using Augmented Reality in
Education from 2011 to 2016. In Innovations in smart learning (pp. 13-18). Springer,
Singapore.Clariana. https://doi.org/10.1007/978-981-10-2419-1_2
Clariana, R., & Wallace, P. (2002). Paper–based versus computer–based assessment: key factors
associated with the test mode effect. British Journal of Educational Technology, 33(5),
593-602. https://doi.org/10.1111/1467-8535.00294

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 669
www.turkishstudies.net/education
Cohen, L., Manion, L. & Morrison, K. (2007). Research Methods in Education.
https://doi.org/10.4324/9781315456539
Çetin, O. (2010). Fen ve teknoloji dersinde “çoklu ortam tasarım modeline göre hazırlanmış web
tabanlı öğretim içeriğinin öğrenci başarı ve tutumlarına etkisi ile içeriğe yönelik öğretmen
ve öğrenci görüşlerinin değerlendirilmesi. Dokuz eylül üniversitesi eğitim bilimleri
enstitüsü ilköğretim anabilim dalı fen bilgisi öğretmenliği programı doktora tezi. D.E.Ü.
Eğitim Bilimleri Enstitüsü. 1-278.
Duran, N., Önal, A. ve Kurtuluş, C. (2006). E-Öğrenme ve Kurumsal Eğitimde Yeni Yaklaşım
Öğrenim Yönetim Sistemleri. 1-5.
Fyfe, G., Fyfe, S., Meyer, J., Ziman, M., Sanders, K., & Hill, J. (2014). Students reflecting on test
performance and feedback: an on-line approach. Assessment & Evaluation in Higher
Education, 39(2), 179-194. https://doi.org/10.1080/02602938.2013.801063
Gartner. (2015). Gartner's 2015 Hype Cycle for emerging technologies identifies the computing
innovations that organizations should monitor.Gartner. https://gtnr.it/2WB0n7F
Groen, J., F. ve Herry, Y. (2017). The online evaluation of courses: impact on participation rates
and evaluation scores. Canadian Journal Of Higher Education Revue Canadienne
D’enseignement Supérieur, 47(2), 106-120.
Guder, F. ve Malliaris, M. (2010). Online and paper course evaluations. American Journal of
Business Education – February 2010, 3(2), 131-138.
https://doi.org/10.19030/ajbe.v3i2.392
Guder, F. ve Malliaris, M. (2013). Online course evaluations response rates. American Journal Of
Business Education – May/June 2013, 6(3), 333-338.
https://doi.org/10.19030/ajbe.v6i3.7813
Gülnar, B. (2014). Bilgisayar ve internet destekli uzaktan eğitim programlarının tasarım, geliştirme
ve değerlendirme aşamaları (SUZEP örneği). Selçuk Üniversitesi Sosyal Bilimler Enstitüsü
Dergisi, 19, 259-271.
Heilman, J. Ve Matsuzaki, T. (2009). Empowering learners and instructors through online class
evaluations. 1-8.
Hoşgörür, T., Adnan, M. (2017). Çevrimiçi öğretime hazırbulunuşluk anketinin türkçeye
uyarlanması. Trakya Eğitim Dergisi, 8 (3), 629-640.
https://doi.org/10.24315/trkefd.316512
Işık, M. Ve Yağcı, M. (2012). E-öğrenme teknikleri ile örgün eğitimin desteklenmesi. E-Journal Of
New World Sciences Academy (NWSA), 7(1), 426-432.
Johnson, L., Adams Becker, S., Estrada, V., & Freeman, A. (2014). NMC Horizon Report: 2014
Higher Education Edition. Austin, TX: The New Media Consortium. 6101 West Courtyard
Drive Building One Suite 100, Austin, TX 78730.
Kalaycı, N., & Debbağ, M. (2016). Yükseköğretim kurumlarında uygulanan öğretim elemanı ve
ders değerlendirme anketlerinin internet tabanlı uygulamalarının değerlendirilmesi. Mersin
Üniversitesi Eğitim Fakültesi Dergisi, 12(3), 985-1007.
https://doi.org/10.17860/mersinefd.282396

670 Kürşat Arslan - Gamze Yetgin
Turkish Studies - Education, 15(2)
Karakaya, Z. (2001). Development and Implementation of On-line Exam for a Programming
Language Course. Master Thesis submitted to The Graduate School of Natural and Applied
Sciences of METU.
Koedinger, K., Booth, J. L., & Klahr, D. (2013). Instructional complexity and the science to
constrain it. Science, 342(6161), 935-937. http://dx.doi.org/10.1126/science.1238056
Milli Eğitim Bakanlığı [MEB]. (2007) Program Geliştirme ve Ölçme Değerlendirme Birimi.
Ankara. http://talimterbiye.mebnet.net/program-gel-birimi/olc-deg-birimi.htm
Nguyen, Q., Rienties, B., Toetenel, L., Ferguson, R., & Whitelock, D. (2017). Examining the
designs of computer-based assessment and its impact on student engagement, satisfaction,
and pass rates. Computers in Human Behavior, 76, 703-714.
https://doi.org/10.1016/j.chb.2017.03.028
Nulty, D., D. (2008). The adequacy of response rates to online and paper surveys: what can be
done?. Assessment & Evaluation in Higher Education, 33(3), 301-314.
https://doi.org/10.1080/02602930701293231
Oduntan, O., Ojuawo, O., & Oduntan, E. (2015). A comparative analysis of student performance in
paper pencil test (PPT) and computer-based test (CBT) examination system. Research
Journal of Educational Studies and Review, 1(1), 24-29.
Önce, S., & Başar, B. (2010). Türkiye’deki akademik araştırma dergilerinde muhasebe alanında
yazılmış makalelerin analizi: 2000-2008. Muhasebe ve Finansman Dergisi, (45), 55-68.
Özbay, Ö. (2015). Dünyada ve Türkiye’de uzaktan eğitimin güncel durumu. Uluslararası Eğitim
Bilimleri Dergisi (INESJOURNAL), 2(5), 376-394.
https://doi.org/10.16991/inesjournal.174
Pala, K. Ve Şahbaz, R., P. (2018). Mesleki turizm eğitiminde öğrencilerin e-öğrenmeye hazır
bulunuşluk düzeylerinin belirlenmesine yönelik bir araştırma. Journal of Tourism and
Gastronomy Studies, 6(2), 493-511.
Pala, K., & ŞAHBAZ, R. P. (2018). Mesleki Turizm Eğitiminde Öğrencilerin E-Öğrenmeye Hazır
Bulunuşluk Düzeylerinin Belirlenmesine Yönelik Bir Araştırma (A Research on
Determining the. Journal of Tourism and Gastronomy Studies, 493, 511.Kesim, E. ve
Altınpulluk H. (2014). Kitlesel açık çevrimiçi derslerin kullanımına ilişkin uzaktan eğitim
uzmanlarının görüşleri. Turkish Online Journal Of Qualitative Inquiry. 62-85.
https://doi.org/10.21325/jotags.2018.225
Resmî Gazete, (2018). Tarih: 26 Mart 2018. Sayı: 6212647.Akademik Teşvik Ödeneği
Yönetmeliği (2015/8305 Karar Sayılı). Retrieved from
http://www.resmigazete.gov.tr/eskiler/2018/06/20180627-6.pdf
Rienties, B., & Toetenel, L. (2016). The impact of learning design on student behaviour,
satisfaction and performance: a cross-institutional comparison across 151 modules.
Computers in Human Behavior, 60, 333-341. https://doi.org/10.1016/j.chb.2016.02.074
Torkul, O., Sezer, C., Över, T. (2005). İnternet destekli öğretim sistemlerinde bilişim
gereksinimlerinin belirlenmesi. The Turkish Online Journal Of Educational Technology.
4(1). 122-129.
Türkoğlu, R. (2003). İnternet tabanlı uzaktan eğitim programı geliştirme süreçleri. The Turkish
Online Journal Of Educational Technology – Tojet, 2(3), 116-125.

Çevrimiçi Değerlendirme Sistemlerinin Eğitimde Kullanımı: Bir İçerik Analizi 671
www.turkishstudies.net/education
Usta, E. ve Mahiroğlu, A. (2008). Harmanlanmış öğrenme ve çevrimiçi öğrenme ortamlarının
akademik başarı ve doyuma etkisi. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi
Dergisi (KEFAD), 9(2), 1-15.
Yağcı, M. (2011). Çevrimiçi sınav ortamlarının öğrencilerin akademik başarılarına etkisi. E-
Journal Of New World Sciences Academy NWSA-Education Sciences, 7(1), 331-339.
Yılmaz, Ö. (2016). Çevrimiçi sınav görüş anketi. E-Kafkas Eğitim Araştırmaları Dergisi, 3(3), 26-
33.
Yılmaz, R., Sezer, B. ve Yurdugül, H. (2019). Üniversite öğrencilerinin e-öğrenmeye hazır
bulunuşluklarının incelenmesi: bartın üniversitesi örneği. Ege Eğitim Dergisi, 20(1), 180-
195. https://doi.org/10.12984/egeefd.424614