Conference PaperPDF Available

Automatised Evaluation of Test Quality in e-Learning (Aвтоматизирано оценяване на качеството на тестa в е-обучението)

Authors:

Abstract and Figures

The paper presents a model for quality evaluation of test items (TI) and tests used in various forms of e-learning in higher education. The model is based on surveys among students and experts concerning the design, development, implementation and evaluation of TI and tests in e-learning. The software module has been developed and experimented in order to processing the surveys. It allows extracting and summarizing of data from other university data sources, not only from the system where the e-learning has been conducted.
No caption available
… 
No caption available
… 
No caption available
… 
Content may be subject to copyright.
Aвтоматизирано оценяване
на качеството на тестa в е-обучението
Силвия Гафтанджиева, Георги Тотков, Росица Донева,
Automatised Evaluation of Test Quality in e-Leaning: The paper presents a model for quality eval-
uation of test items (TI) and tests used in various forms of e-learning in higher education. The model is
based on surveys among students and experts concerning the design, development, implementation and
evaluation of TI and tests in e-learning. The software module has been developed and experimented in order
to processing the surveys. It allows extracting and summarizing of data from other university data sources,
not only from the system where the e-learning has been conducted.
Key words: Test Items Quality, Automatised Quality Evaluation, e-Learning
ВЪВЕДЕНИЕ
Разработката на качествени тестови единици (ТЕ) е сложна задача, предмет на
продължителен и трудоемък итеративен процес [2]. Създаването на първия вариант
на теста включва разработване на ТЕ и тяхното подреждане, подготовка на
инструкция за обучаваните, разработване на методически указания за използване на
теста, разпечатване или публикуване на теста в среда за е-обучение. Следващият
етап включва апробация на първия вариант на теста и отчитане на резултатите.
Етапът на оценяване обикновено е съпроводен с поставяне на оценка
количествена стойност, съответстваща на резултата от неговото решаване, а самото
оценяване може да бъде извършено субективно (от експерти) или обективно (напр.
автоматично). Друг етап включва анализи на резултатите от тестването и на
качествата на теста като цяло (надеждност и валидност).
Основна цел на провежданото изследване е да се предложат, изследват и
апробират средства за автоматизация на труда на преподавателя-тестолог, между
които концептуални, дидактически и компютърни модели, методики и методи за
проектиране, генериране и поддържане и качествено оценяване на ТЕ и тестове.
Формулираната основна цел предполага научни изследвания в две основни
направления:
на базата на сравнително общо концептуално описание на изучавана
предметна област (ИПО), да бъдат предложени методики и методи за проектиране и
генериране на ТЕ и тестове, които са издържани от дидактическа гледна точка и са
приложими в е-обучението;
на базата на общ компютърен модел на оценъчна учебна единица в ИПО,
да бъдат създадени модули за автоматизирано генериране, поддържане и развитие
на ТЕ и тестове с динамична оценка на качеството.
В статията са представени резултати от първия етап на изследването,
свързани с:
проектиране на ТЕ в конкретна ИПО;
предлагане на модел за оценяване на качеството на ТЕ и тестове;
създаване и апробиране на софтуерни средства за автоматизирано
оценяване на качеството на ТЕ и тестове в Moodle.
ПРОЕКТИРАНЕ НА ТЕ В КОНКРЕТНА ПРЕДМЕТНА ОБЛАСТ
При проектиране на обективни и надеждни тестове, включващи ТЕ, съобразени
с когнитивни особености на оценяваните и измерващи резултати от усвояване на
определено учебно съдържание, е препоръчително спазване на редица методически
препоръки, сред които [2]:
предварително да се формулират изискванията към знанията и уменията на
проверяваните обучавани;
334 ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА
ТЕ да са съобразени по съдържание и форма с възрастовите и психо-
физиологичните особености на изпитваните;
ТЕ да осигуряват само един верен отговор (да не касаят проблеми със
спорни или алтернативни решения);
ТЕ да са независими една от друга (успешното решаване на една задача да
не зависи от успешното решаване на друга, включена в теста);
ТЕ да се конструират така, че да не включват и съдържание (контекст) за
тяхното успешно решаване и др.
На базата на проведените анализи са разработени методика за съставяне на
ТЕ, съобразена с предварително зададени педагогически изисквания, ограничения и
цели на обучението и методика за подбор и включване на различни типове ТЕ в
тестовете при зададени педагогически изисквания и ограничения.
Така например, в [1] е предложен когнитивно-дидактически модел за създаване
на ТЕ, базиран на двумерна матрица от тестови шаблони. Първото измерение се
отнася до 6-те равнища на разширената таксономия на Блум [3] (запаметяване,
разбиране, приложение, анализ, оценяване и създаване), а второто представя
семантиката на оценяваното знание (факти, понятия или процедури в изучаваната
предметна област, или метазнания [2]).
МОДЕЛ ЗА ОЦЕНЯВАНЕ НА КАЧЕСТВОТО НА ТЕ И ТЕСТОВЕ
Получаването на обратна връзка за качеството на използваните ТЕ позволява
да се извършват промени в тестовете, с цел подобряване на тяхната надеждност.
Събраната информация от оценяването на качеството на ТЕ и тестовете може да се
използва за идентифициране на техните силни и слаби страни. Важността на този
въпрос се разбира и от големия брой провеждани експерименти на базата на
различни модели за оценка на качеството: атестиране на ТЕ [5]; оценяване на
качество на тестови въпроси за езиково обучение [4]; оценяване на качеството на
електронен курс [9]; самооценяване на качеството на ТЕ [6, 11] и др.
Разработеният в рамките на изследването йерархичен модел за оценяване на
качеството на ТЕ и тестове (вж. фиг. 1.) включва 39 (тридесет и девет) индикатора за
качество, разпределени в 5 (пет) критерия, както следва:
разработване на ТЕ 21 индикатора за качество (от А1 до А21);
проектиране и съставяне на тест – 5 индикатора за качество (от Б1 до Б5);
провеждане на тест – 5 индикатора за качество (от В1 до В5);
оценяване – 4 индикатора за качество (от Г1 до Д5);
дизайн – 5 индикатора за качество (от Д1 до Д5).
На базата на предложения модел са създадени две анкетни карти за оценяване
на качеството на теста, съответно за студенти и експерти в неговата предметна
област и съдържат въпроси с алтернативни отговори измежду 1 – лошо (определено
‘не’), 2 задоволително (по-скоро ‘не’), 3 добро (и ‘да’, и ‘не’); 4 – много добро (по-
скоро ‘да’); 5 – отлично (определено ‘да’). Предполага се оценяване на всеки тест от
поне 3-ма експерти, като всяка попълнена анкета се съпровожда и с конкретни
препоръки и средна оценка.
За оценка на качеството на използваните по време на обучението ТЕ и тестове
се прилагат електронни форми за събиране, провеждане и анализиране на анкетите
със студенти, участващи в различни форми на обучение, както и на експерти в
предметната област.
За провеждане на анкетното проучване в електронна форма е използван
модулът за дейност „Обратна връзка“ на Moodle. Създаденият шаблон на анкетна
карта се включва като учебна дейност към всеки електронен курс с тестове, за да
бъде попълнена от студентите в кая на обучението. След попълване на анкетните
карти данните се съхраняват в базата данни на система Moodle и могат да бъдат
използвани за анализ на резултатите.
ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА 335
Фигура 1. Модел за оценяване на качеството на ТЕ и тестове
На фиг. 2. е представен изглед от съответното анкетно проучване в Moodle,
което се провежда след обучение на студенти от Пловдивския университет „П.
Хилендарски“ -курс „Електронни таблици“).
АВТОМАТИЗИРАНО ОЦЕНЯВАНЕ НА КАЧЕСТВОТО НА ТЕ И ТЕСТОВЕ
Предоставянето на обратна връзка при решаване на ТЕ помага на
преподавателя-тестолог да съобрази равнището на трудност на ТЕ с
постигнатото равнище на знания на студентите. Всички методи за определяне
на съответствието са базирани на решенията на експерти, определящи какво
може да се очаква от студент или група от студенти при решаване на дадена
ТЕ. Решенията на експертите са по-обективни ако се базират на резултати от
анализ на ТЕ, включени в проведените тестове. Анализът на ТЕ може да
Оценяване
на тестови
единици и
тестове
А.
Разработване
на тестови
единици
А1. ТЕ са формулира ясно и точно
А2. ТЕ не допускат двусмислени тълкувания
А3 ТЕ не съдържат формулировки, подпомагащи намиране на правилния отговор.
А4. ТЕ проверяват специфично/конкретно знание, способност или умение.
А5. Съставянето и подборът на ТЕ следва принципът на информативност в целият диапазон
на изменение на изпитваните равнища на когнитивна сложност за изпитвания, а не само на
отделни когнитивни участъци.
А6. Използвана е проста, но граматически правилна утвърдителна форма на ТЕ под формата
на едно изречение от 5-15 думи.
А7. В ТЕ не се използват думи с неопределено съдържание като "понякога", "често",
"винаги", "всички", "никога", "голям" и "неголям", "малък", "много", "по-малко" и т.н.
А8. От отговора на една ТЕ не се получава по никакъв начин отговор на друга.
А9. ТЕ са детерминирани и не изискват допълнително уточняване
А10. ТЕ единици не изискват знания извън учебния материал, програмата или
образователния стандарт.
А11. Тестът и ТЕ имат спецификация в съответната тестова банка.
А12. ТЕ не изискват от изпитваните разгърнат и подробен анализ, изчисления или отговор.
А13. ТЕ са достатъчно съдържателни и изчерпателни, за да се постигнат поставените цели.
А14. Тестовете се съпровождат от специално разработени инструкции за тяхното
предназначение и употреба.
А15. ТЕ са ясно формулирани и съдържат подробни инструкции (ако е необходимо).
А16. Тестовете са проектирани с достатъчна степен на интерактивност като активно
ангажират обучаваните и осигуряват обективно оценяване на знанията и уменията.
А17. Тестовете са разработени с подходяща методика
А18. ТЕ не съдържат противоречиви или неточни указания, въведения или обяснения.
А19. ТЕ не съдържат сложни указания, въведения или обяснения.
А20. ТЕ са разработени в пълно съответствие с изискванията на тестологията.
А21. В текста на ТЕ няма прекомерните многословия и ненужна информация.
Б.
Проектиране
и съставяне
на тест
Б1. ТЕ са подредени във възходящ ред на трудност.
Б2. Сложността на теста не е "повишена" с въвеждане на множество допълнителни фрази в
условието
Б3. Тестът съдържа грамотно написани и интересни въпроси и ситуации ,предизвикващи
желание в изпитвания да отговоря, а не да подбира отговори.
Б4. Включените в теста ТЕ отразяват добре съдържанието и целта на курса.
Б5. Осигурен е достатъчен брой ТЕ, които да определят дали един студент е научил материала,
но не прекалено много, така че тестът да отнема много време.
В.
Провеждане
на тест
В1. Формулирани са ясни критерии за оценяване на теста.
В2. Процесът на компютърно тестване осигурява дружелюбен и интерактивен мултимедиен
интерфейс.
В3. Процесът на компютърно тестване осигурява възможност за повторно връщане към
нерешени задачи.
В4. Средата на тестване осигурява възможност за актуализиране на съдържанието на
тестовите задачи
В5. Изпитваният има информация за предстоящото тестване (структура на теста, време за
решаване и т.н.);
Г. Оценяване
Г1. Крайната оценка е добре обоснована, категорична и безпристрастна.
Г2. Обратната връзка при (само)оценяване е навременна и позволява на обучаваните да
проследяват напредъка си в процеса на обучение.
Г3. Всяко тестване приключва с поставяне на оценки (балообразуване).
Г4. Всяко тестване приключва с анализ на резултатите от теста, определяне на равнището на
обучение и качеството на проведеното тестване.
Д. Дизайн
Д1. Интерфейсът дава възможност студентите да проследяват своя напредък в процеса на
тестване.
Д2. Текстът на ТЕ не е пренесен на нова страница
Д3. Всички части на ТЕ са разположени на една и съща страница.
Д4. Представянето на типовете ТЕ е последователно.
Д5.Избегнато е поставянето на твърде много въпроси на една страница.
336 ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА
Фигура 2. Електронна анкетна карта
се използва за подобряване на качеството на тестовете като идентифицира твърде
трудни или твърде лесни ТЕ, неправдоподобни дистрактори и др.
Вграденият модул „Обратна връзка“ на Moodle е предназначен основно за
провеждане на анализи в рамките на един единствен е-курс и предлага възможности
за генериране на обобщени и статистически отчети за резултатите на анкети само с
обучавани в съответния е-курс.
Отчетът за резултатите от тестове в Moodle [10] представя в таблична форма
информация, вкл. име на ТЕ, брой опити за решаване, индекс на трудност,
стандартно отклонение, възможност за случайно налучкване на отговор, тегло на
ТЕ, индекс на дискриминация, ефективност на дискриминация.
За анализ на резултати от проведени анкетни проучвания в набор от е-курсове,
напр. за специалност, професионално направление или област на висше
образование, е създаден специализиран модул ST_Surveys в Moodle. Модулът
разширява функционалността на представено в [7, 8] софтуерно средство за
автоматизиран анализ на резултати от анкетни проучвания за удовлетвореността на
студенти от провеждани е-курсове.
Mодул ST_Surveys използва данни от различни университетски информационни
източници (не само от Moodle). За създаване на отчети и анализи чрез извличане на
данни от различни университетски информационни източници, тяхното съхраняване
и организиране в съответно хранилище и представяне в желана от потребителя
форма, се използва система UBIS-Jaspersoft (базисен софтуер Jaspersoft BI Suite).
Специализираният модул ST_Surveys разширява функционалността на
Moodle на базата на следните софтуерни решения [7, 8]:
1. Интеграция между UBIS-Jaspersoft и базата данни на Moodle;
2. Разработени шаблони на аналитични отчети в Jasper, които по-късно могат
да се използват за генериране на отчети, съдържащи обобщени резултати от
проведени анкети относно качеството на е-тестове;
3. Компилиране и съхраняване на шаблоните от 2. в специален вътрешен
формат, който може да се интерпретира както в рамките на самата система UBIS-
Jaspersoft, така и от външни приложения за генериране на отчети;
4. Интеграция на средата за е-обучение Moodle (като външно приложение) с
UBIS-Jaspersoft чрез споделени UBIS-Jaspersoft уеб услуги.
ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА 337
ST_Surveys е разработен под формата на модул (Moodle-блок), който
позволява вече от равнището на Moodle, да се генерират отчети по шаблони,
реализирани в 2. Модулът позволява потребители, например с роли „ръководител
на програма“ и оценител на качеството“, да генерират справки за анализ на набор
от е-курсове, напр. за всички е-курсове, изучавани от студентите по специалности,
образователна и квалификационна степен и форми на обучение (фиг. 3.).
Фигура 3. Блок „Оценка на качеството”
ЗАКЛЮЧЕНИЕ
Създаден е модел за оценка на качеството на ТЕ и тестове, ползвани за
осъществяване на различни форми на е-обучение. Оценяването на качеството се
основава на анкетни проучвания сред студенти и експерти, и се отнася до следните
области (фиг. 1.): А. Разработване на ТЕ; Б. Проектиране и съставяне на тест; В.
Провеждане на тест; Г. Оценяване; Д. Дизайн.
За обработка на анкетните проучвания са реализирани софтуерни средства,
които позволяват извличане и обобщаване на данни и от други информационни
източници ‒ не само от конкретната среда, в която е провеждано е-обучението.
Създадените специализирани софтуерни инструменти са експериментирани в
е-курсове, апробирани в Пловдивския университет (среда Moodle).
Резултатите от изследването могат да бъдат мултиплицирани в различни
предметни области и да се ползват от други висши училища ‒ независимо от типа и
вида на съответните университетски информационни системи и разнообразието на
ползваните системи за е-обучение. Поради общността на представения в
изследването подход, за осъществяване на подобна мултипликация е достатъчно
само отделни заявки за отчети в реализирания специализиран софтуерен модул да
се насочат към БД на съответните университетски системи.
Перспективно направление на изследването е свързано със създаването на
автоматизирана система за динамично оценяване на качеството (ДОК) на
процеси и/или техни елементи в е-обучението, провеждано в дадено ВУ, което
предполага:
моделиране на различни методики за ДОК при провеждане на е-обучение;
автоматизирано динамично събиране на данни (от конкретен набор
университетски информационни системи) за различни форми на е-обучение;
управление (вкл. прилагане) на конкретни методики за ДОК на е-
обучението;
ДОК на е-обучението относно конкретна методика и данни в университетски
информационни системи, и др.
338 ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА
БЛАГОДАРНОСТИ
Работата е подкрепена от проект МУ15-ФФИТ-001 „Методика за създаване и
динамично обновяване на тестови единици и тестове с автоматизирано оценяване
на тяхното качество“ към Фонд „Научни изследвания“ на ПУ „Паисий Хилендарски“.
ЛИТЕРАТУРА
[1] Атанасова М., Г. Тотков, Когнитивно-дидактически модел за създаване на
тестови единици във физиката, VIIІ Национална конференция „Образованието и
изследванията в информационното общество 2015, 43-50 стр.
[2] Тотков Г., Райкова М., Костадинова Хр., Тестът в е-обучението, „Ракурси“
ООД, Пловдив, 2014.
[3] Anderson, L& D. Krathwohl, A Taxonomy for Learning, Teaching and Assessing:
A Revision of Bloom’s Taxonomy of Educational Objectives: Complete Edition. New York,
Longman, Theory into Practice, 41, no. 4., 2002, p.213- 218.
[4] Checklist for Evaluating Question Quality, Student Achievement Partners,
http://achievethecore.org/page/47/checklist%E2%80%90for%E2%80%90evaluating%E2%
80%90question%E2%80%90quality.
[5] Checklist to Evaluate the Quality of Questions, http://www.cdc.gov/healthyyouth/
evaluation/ index.htm.
[6] Common Formative Assessment Test Item Quality Checklist,
https://docs.google.com/document/preview?hgd=1&id=1vmkf0UAU21u8bGRRwtFb__4kw
6NThEDM8WD9NyMgSFU&pli=1.
[7] Doneva R., S. Gaftandzhieva, Automated e-learning quality evaluation, e-
Learning’15 Proceedings of the International Conference on e-Learning, 11-12 September
2015, Berlin, Germany, ISSN 2376-6698, 156-162.
[8] Gaftandzhieva S., Automated Evaluation of Students’ Satisfaction, International
Journal of Information Technologies and Security (IJITS), Issue 1 (vol. 8), 2016.
[9] Post-Course Evaluations for е-Learning: 60+Questions to Include,
https://community.articulate.com/articles/post-course-evaluations-for-e-learning-60-
questions-to-include.
[10] Quiz statistics report, https://docs.moodle.org/29/en/Quiz_statistics_report.
[11] University of Illinois Center for Innovation in Teaching and Learning, Improving
Your Test Questions, http://cte.illinois.edu/testing/exam/test_ques3.html.
За контакти:
Силвия Николаева Гафтанджиева, докторант в кат. „Компютърна информатика“,
ПУ „П. Хилендарски“, ул. „Цар Асен“ 24, 4000 Пловдив, е-mail: sissiy88@uni-
plovdiv.bg.
Проф. д.м.н. Георги Атанасов Тотков, кат. „Компютърна информатика“, ПУ „П.
Хилендарски“, ул. „Цар Асен“ 24, Пловдив 4000, е-mail: totkov@uni-plovdiv.bg.
Проф. д-р Росица Желязкова Донева, кат. „Електроника, комуникации и
информационни технологии“, ПУ „П. Хилендарски“, ул. „Цар Асен“ 24, Пловдив 4000,
е-mail: rosi@uni-plovdiv.bg.
Докладът е рецензиран.
ResearchGate has not been able to resolve any citations for this publication.
Full-text available
Conference Paper
The quality assurance and evaluation of e-learning is of high priority for any up-to-date higher educational institution. The paper is devoted on automation of related processes on the basis of a modern approach for integration of heterogeneous software systems. It presents the context, substance and objectives of a study related to the automated data retrieval in e-learning quality evaluation. It describes two specific experiments on such integration for e-learning quality evaluation in terms of students' satisfaction and in terms of compliance with appropriate quality standards. INTRODUCTION Quality(evaluation) being a key instrument of quality assurance and quality enhancement in higher education (HE) is one of the most typical components of the Bologna process. Since e-learning technology is becoming an integral part of contemporary learning activities in all learning modes offered by higher educational institutions, hence the evaluation of e-learning quality is assumed as a top priority. The monitoring, control and evaluation of the e-learning quality are key elements of more and more institutional and national quality systems (i.e. internal and external evaluation) of HE in Europe (e.g. Norway, Sweden, Great Britain, Bulgaria). The majority of the academic community understands the importance of this issue – something demonstrated by the large number of publications on the topic. Various experiments have been conducted to evaluate the quality of e-learning in the terms of its various components (like learning outcomes, learning process, academic staff, learning materials and activities, infrastructure, students satisfactions, etc.), based on different relevant quality models and standards (e.g. Context-Inputs-Process-Product of Stufflebeam, Reaction-Learning-Behaviour-Results of Kirkpatrick, etc.). nteresting examples in this field are the suggested models and approaches for quality evaluation of e-learning: as a whole – in terms of planning, development, process and product [8]; of the e-learning environments from the students' perspective [5], of the electronic educational resources [7], of the learners' satisfaction (including learners with special educational needs) [6] etc. Another extremely discussed aspect of e-learning quality assurance and evaluation is the need of automation of its related processes. The fact that the automated approach is typical for this form of education logically implies the conclusion that it is appropriate to use automated tools in evaluating its quality. This is the only possible manner to use effectively and in full degree all the data that have been collected and stored in electronic format during the organization and conduction of the e-learning. The paper is dedicated namely on this important aspect of the subject. It presents the context, essence and the purposes of a study on a modern approach for integration of heterogeneous software systems and its application for automated data retrieval in e-learning quality evaluation. Two specific experiments are described, carried out during this study, with regard to such integration for e-learning quality evaluation in terms of students' satisfaction and in terms of compliance with appropriate quality standards.
Full-text available
Article
The evaluation of students’ satisfaction is a key indicator of the quality of learning. It allows the collection and analysis of the students' evaluation of the quality of courses and learning process in order to improve the quality. The paper examines the possibility for automated evaluation of student satisfaction in Moodle. The developed module for automated generation of reports summarizing the results of evaluation of student satisfaction is experimented.
Цар Асен" 24, Пловдив 4000, е-mail: totkov@uni-plovdiv.bg. Проф. д-р Росица Желязкова Донева, кат
  • Хилендарски
Хилендарски", ул. "Цар Асен" 24, Пловдив 4000, е-mail: totkov@uni-plovdiv.bg. Проф. д-р Росица Желязкова Донева, кат. "Електроника, комуникации и информационни технологии", ПУ "П. Хилендарски", ул. "Цар Асен" 24, Пловдив 4000, е-mail: rosi@uni-plovdiv.bg.
Когнитивно-дидактически модел за създаване на тестови единици във физиката, VIIІ Национална конференция "Образованието и изследванията в информационното общество
  • М Атанасова
  • Г Тотков
Атанасова М., Г. Тотков, Когнитивно-дидактически модел за създаване на тестови единици във физиката, VIIІ Национална конференция "Образованието и изследванията в информационното общество" 2015, 43-50 стр.
Тестът в е-обучението
  • Г Тотков
  • М Райкова
  • Костадинова Хр
Тотков Г., Райкова М., Костадинова Хр., Тестът в е-обучението, "Ракурси" ООД, Пловдив, 2014.