Content uploaded by Silvia Gaftandzhieva
Author content
All content in this area was uploaded by Silvia Gaftandzhieva on Jun 07, 2016
Content may be subject to copyright.
Aвтоматизирано оценяване
на качеството на тестa в е-обучението
Силвия Гафтанджиева, Георги Тотков, Росица Донева,
Automatised Evaluation of Test Quality in e-Leaning: The paper presents a model for quality eval-
uation of test items (TI) and tests used in various forms of e-learning in higher education. The model is
based on surveys among students and experts concerning the design, development, implementation and
evaluation of TI and tests in e-learning. The software module has been developed and experimented in order
to processing the surveys. It allows extracting and summarizing of data from other university data sources,
not only from the system where the e-learning has been conducted.
Key words: Test Items Quality, Automatised Quality Evaluation, e-Learning
ВЪВЕДЕНИЕ
Разработката на качествени тестови единици (ТЕ) е сложна задача, предмет на
продължителен и трудоемък итеративен процес [2]. Създаването на първия вариант
на теста включва разработване на ТЕ и тяхното подреждане, подготовка на
инструкция за обучаваните, разработване на методически указания за използване на
теста, разпечатване или публикуване на теста в среда за е-обучение. Следващият
етап включва апробация на първия вариант на теста и отчитане на резултатите.
Етапът на оценяване обикновено е съпроводен с поставяне на оценка ‒
количествена стойност, съответстваща на резултата от неговото решаване, а самото
оценяване може да бъде извършено субективно (от експерти) или обективно (напр.
автоматично). Друг етап включва анализи на резултатите от тестването и на
качествата на теста като цяло (надеждност и валидност).
Основна цел на провежданото изследване е да се предложат, изследват и
апробират средства за автоматизация на труда на преподавателя-тестолог, между
които концептуални, дидактически и компютърни модели, методики и методи за
проектиране, генериране и поддържане и качествено оценяване на ТЕ и тестове.
Формулираната основна цел предполага научни изследвания в две основни
направления:
на базата на сравнително общо концептуално описание на изучавана
предметна област (ИПО), да бъдат предложени методики и методи за проектиране и
генериране на ТЕ и тестове, които са издържани от дидактическа гледна точка и са
приложими в е-обучението;
на базата на общ компютърен модел на оценъчна учебна единица в ИПО,
да бъдат създадени модули за автоматизирано генериране, поддържане и развитие
на ТЕ и тестове с динамична оценка на качеството.
В статията са представени резултати от първия етап на изследването,
свързани с:
проектиране на ТЕ в конкретна ИПО;
предлагане на модел за оценяване на качеството на ТЕ и тестове;
създаване и апробиране на софтуерни средства за автоматизирано
оценяване на качеството на ТЕ и тестове в Moodle.
ПРОЕКТИРАНЕ НА ТЕ В КОНКРЕТНА ПРЕДМЕТНА ОБЛАСТ
При проектиране на обективни и надеждни тестове, включващи ТЕ, съобразени
с когнитивни особености на оценяваните и измерващи резултати от усвояване на
определено учебно съдържание, е препоръчително спазване на редица методически
препоръки, сред които [2]:
предварително да се формулират изискванията към знанията и уменията на
проверяваните обучавани;
334 ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА
ТЕ да са съобразени по съдържание и форма с възрастовите и психо-
физиологичните особености на изпитваните;
ТЕ да осигуряват само един верен отговор (да не касаят проблеми със
спорни или алтернативни решения);
ТЕ да са независими една от друга (успешното решаване на една задача да
не зависи от успешното решаване на друга, включена в теста);
ТЕ да се конструират така, че да не включват и съдържание (контекст) за
тяхното успешно решаване и др.
На базата на проведените анализи са разработени методика за съставяне на
ТЕ, съобразена с предварително зададени педагогически изисквания, ограничения и
цели на обучението и методика за подбор и включване на различни типове ТЕ в
тестовете при зададени педагогически изисквания и ограничения.
Така например, в [1] е предложен когнитивно-дидактически модел за създаване
на ТЕ, базиран на двумерна матрица от тестови шаблони. Първото измерение се
отнася до 6-те равнища на разширената таксономия на Блум [3] (запаметяване,
разбиране, приложение, анализ, оценяване и създаване), а второто представя
семантиката на оценяваното знание (факти, понятия или процедури в изучаваната
предметна област, или метазнания [2]).
МОДЕЛ ЗА ОЦЕНЯВАНЕ НА КАЧЕСТВОТО НА ТЕ И ТЕСТОВЕ
Получаването на обратна връзка за качеството на използваните ТЕ позволява
да се извършват промени в тестовете, с цел подобряване на тяхната надеждност.
Събраната информация от оценяването на качеството на ТЕ и тестовете може да се
използва за идентифициране на техните силни и слаби страни. Важността на този
въпрос се разбира и от големия брой провеждани експерименти на базата на
различни модели за оценка на качеството: атестиране на ТЕ [5]; оценяване на
качество на тестови въпроси за езиково обучение [4]; оценяване на качеството на
електронен курс [9]; самооценяване на качеството на ТЕ [6, 11] и др.
Разработеният в рамките на изследването йерархичен модел за оценяване на
качеството на ТЕ и тестове (вж. фиг. 1.) включва 39 (тридесет и девет) индикатора за
качество, разпределени в 5 (пет) критерия, както следва:
разработване на ТЕ – 21 индикатора за качество (от А1 до А21);
проектиране и съставяне на тест – 5 индикатора за качество (от Б1 до Б5);
провеждане на тест – 5 индикатора за качество (от В1 до В5);
оценяване – 4 индикатора за качество (от Г1 до Д5);
дизайн – 5 индикатора за качество (от Д1 до Д5).
На базата на предложения модел са създадени две анкетни карти за оценяване
на качеството на теста, съответно за студенти и експерти в неговата предметна
област и съдържат въпроси с алтернативни отговори измежду 1 – лошо (определено
‘не’), 2 – задоволително (по-скоро ‘не’), 3 – добро (и ‘да’, и ‘не’); 4 – много добро (по-
скоро ‘да’); 5 – отлично (определено ‘да’). Предполага се оценяване на всеки тест от
поне 3-ма експерти, като всяка попълнена анкета се съпровожда и с конкретни
препоръки и средна оценка.
За оценка на качеството на използваните по време на обучението ТЕ и тестове
се прилагат електронни форми за събиране, провеждане и анализиране на анкетите
със студенти, участващи в различни форми на обучение, както и на експерти в
предметната област.
За провеждане на анкетното проучване в електронна форма е използван
модулът за дейност „Обратна връзка“ на Moodle. Създаденият шаблон на анкетна
карта се включва като учебна дейност към всеки електронен курс с тестове, за да
бъде попълнена от студентите в кая на обучението. След попълване на анкетните
карти данните се съхраняват в базата данни на система Moodle и могат да бъдат
използвани за анализ на резултатите.
ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА 335
Фигура 1. Модел за оценяване на качеството на ТЕ и тестове
На фиг. 2. е представен изглед от съответното анкетно проучване в Moodle,
което се провежда след обучение на студенти от Пловдивския университет „П.
Хилендарски“ (е-курс „Електронни таблици“).
АВТОМАТИЗИРАНО ОЦЕНЯВАНЕ НА КАЧЕСТВОТО НА ТЕ И ТЕСТОВЕ
Предоставянето на обратна връзка при решаване на ТЕ помага на
преподавателя-тестолог да съобрази равнището на трудност на ТЕ с
постигнатото равнище на знания на студентите. Всички методи за определяне
на съответствието са базирани на решенията на експерти, определящи какво
може да се очаква от студент или група от студенти при решаване на дадена
ТЕ. Решенията на експертите са по-обективни ако се базират на резултати от
анализ на ТЕ, включени в проведените тестове. Анализът на ТЕ може да
Оценяване
на тестови
единици и
тестове
А.
Разработване
на тестови
единици
А1. ТЕ са формулира ясно и точно
А2. ТЕ не допускат двусмислени тълкувания
А3 ТЕ не съдържат формулировки, подпомагащи намиране на правилния отговор.
А4. ТЕ проверяват специфично/конкретно знание, способност или умение.
А5. Съставянето и подборът на ТЕ следва принципът на информативност в целият диапазон
на изменение на изпитваните равнища на когнитивна сложност за изпитвания, а не само на
отделни когнитивни участъци.
А6. Използвана е проста, но граматически правилна утвърдителна форма на ТЕ под формата
на едно изречение от 5-15 думи.
А7. В ТЕ не се използват думи с неопределено съдържание като "понякога", "често",
"винаги", "всички", "никога", "голям" и "неголям", "малък", "много", "по-малко" и т.н.
А8. От отговора на една ТЕ не се получава по никакъв начин отговор на друга.
А9. ТЕ са детерминирани и не изискват допълнително уточняване
А10. ТЕ единици не изискват знания извън учебния материал, програмата или
образователния стандарт.
А11. Тестът и ТЕ имат спецификация в съответната тестова банка.
А12. ТЕ не изискват от изпитваните разгърнат и подробен анализ, изчисления или отговор.
А13. ТЕ са достатъчно съдържателни и изчерпателни, за да се постигнат поставените цели.
А14. Тестовете се съпровождат от специално разработени инструкции за тяхното
предназначение и употреба.
А15. ТЕ са ясно формулирани и съдържат подробни инструкции (ако е необходимо).
А16. Тестовете са проектирани с достатъчна степен на интерактивност като активно
ангажират обучаваните и осигуряват обективно оценяване на знанията и уменията.
А17. Тестовете са разработени с подходяща методика
А18. ТЕ не съдържат противоречиви или неточни указания, въведения или обяснения.
А19. ТЕ не съдържат сложни указания, въведения или обяснения.
А20. ТЕ са разработени в пълно съответствие с изискванията на тестологията.
А21. В текста на ТЕ няма прекомерните многословия и ненужна информация.
Б.
Проектиране
и съставяне
на тест
Б1. ТЕ са подредени във възходящ ред на трудност.
Б2. Сложността на теста не е "повишена" с въвеждане на множество допълнителни фрази в
условието
Б3. Тестът съдържа грамотно написани и интересни въпроси и ситуации ,предизвикващи
желание в изпитвания да отговоря, а не да подбира отговори.
Б4. Включените в теста ТЕ отразяват добре съдържанието и целта на курса.
Б5. Осигурен е достатъчен брой ТЕ, които да определят дали един студент е научил материала,
но не прекалено много, така че тестът да отнема много време.
В.
Провеждане
на тест
В1. Формулирани са ясни критерии за оценяване на теста.
В2. Процесът на компютърно тестване осигурява дружелюбен и интерактивен мултимедиен
интерфейс.
В3. Процесът на компютърно тестване осигурява възможност за повторно връщане към
нерешени задачи.
В4. Средата на тестване осигурява възможност за актуализиране на съдържанието на
тестовите задачи
В5. Изпитваният има информация за предстоящото тестване (структура на теста, време за
решаване и т.н.);
Г. Оценяване
Г1. Крайната оценка е добре обоснована, категорична и безпристрастна.
Г2. Обратната връзка при (само)оценяване е навременна и позволява на обучаваните да
проследяват напредъка си в процеса на обучение.
Г3. Всяко тестване приключва с поставяне на оценки (балообразуване).
Г4. Всяко тестване приключва с анализ на резултатите от теста, определяне на равнището на
обучение и качеството на проведеното тестване.
Д. Дизайн
Д1. Интерфейсът дава възможност студентите да проследяват своя напредък в процеса на
тестване.
Д2. Текстът на ТЕ не е пренесен на нова страница
Д3. Всички части на ТЕ са разположени на една и съща страница.
Д4. Представянето на типовете ТЕ е последователно.
Д5.Избегнато е поставянето на твърде много въпроси на една страница.
336 ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА
Фигура 2. Електронна анкетна карта
се използва за подобряване на качеството на тестовете като идентифицира твърде
трудни или твърде лесни ТЕ, неправдоподобни дистрактори и др.
Вграденият модул „Обратна връзка“ на Moodle е предназначен основно за
провеждане на анализи в рамките на един единствен е-курс и предлага възможности
за генериране на обобщени и статистически отчети за резултатите на анкети само с
обучавани в съответния е-курс.
Отчетът за резултатите от тестове в Moodle [10] представя в таблична форма
информация, вкл. име на ТЕ, брой опити за решаване, индекс на трудност,
стандартно отклонение, възможност за случайно налучкване на отговор, тегло на
ТЕ, индекс на дискриминация, ефективност на дискриминация.
За анализ на резултати от проведени анкетни проучвания в набор от е-курсове,
напр. за специалност, професионално направление или област на висше
образование, е създаден специализиран модул ST_Surveys в Moodle. Модулът
разширява функционалността на представено в [7, 8] софтуерно средство за
автоматизиран анализ на резултати от анкетни проучвания за удовлетвореността на
студенти от провеждани е-курсове.
Mодул ST_Surveys използва данни от различни университетски информационни
източници (не само от Moodle). За създаване на отчети и анализи чрез извличане на
данни от различни университетски информационни източници, тяхното съхраняване
и организиране в съответно хранилище и представяне в желана от потребителя
форма, се използва система UBIS-Jaspersoft (базисен софтуер Jaspersoft BI Suite).
Специализираният модул ST_Surveys разширява функционалността на
Moodle на базата на следните софтуерни решения [7, 8]:
1. Интеграция между UBIS-Jaspersoft и базата данни на Moodle;
2. Разработени шаблони на аналитични отчети в Jasper, които по-късно могат
да се използват за генериране на отчети, съдържащи обобщени резултати от
проведени анкети относно качеството на е-тестове;
3. Компилиране и съхраняване на шаблоните от 2. в специален вътрешен
формат, който може да се интерпретира както в рамките на самата система UBIS-
Jaspersoft, така и от външни приложения за генериране на отчети;
4. Интеграция на средата за е-обучение Moodle (като външно приложение) с
UBIS-Jaspersoft чрез споделени UBIS-Jaspersoft уеб услуги.
ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА 337
ST_Surveys е разработен под формата на модул (Moodle-блок), който
позволява ‒ вече от равнището на Moodle, да се генерират отчети по шаблони,
реализирани в 2. Модулът позволява ‒ потребители, например с роли „ръководител
на програма“ и „оценител на качеството“, да генерират справки за анализ на набор
от е-курсове, напр. за всички е-курсове, изучавани от студентите по специалности,
образователна и квалификационна степен и форми на обучение (фиг. 3.).
Фигура 3. Блок „Оценка на качеството”
ЗАКЛЮЧЕНИЕ
Създаден е модел за оценка на качеството на ТЕ и тестове, ползвани за
осъществяване на различни форми на е-обучение. Оценяването на качеството се
основава на анкетни проучвания сред студенти и експерти, и се отнася до следните
области (фиг. 1.): А. Разработване на ТЕ; Б. Проектиране и съставяне на тест; В.
Провеждане на тест; Г. Оценяване; Д. Дизайн.
За обработка на анкетните проучвания са реализирани софтуерни средства,
които позволяват извличане и обобщаване на данни и от други информационни
източници ‒ не само от конкретната среда, в която е провеждано е-обучението.
Създадените специализирани софтуерни инструменти са експериментирани в
е-курсове, апробирани в Пловдивския университет (среда Moodle).
Резултатите от изследването могат да бъдат мултиплицирани в различни
предметни области и да се ползват от други висши училища ‒ независимо от типа и
вида на съответните университетски информационни системи и разнообразието на
ползваните системи за е-обучение. Поради общността на представения в
изследването подход, за осъществяване на подобна мултипликация е достатъчно ‒
само отделни заявки за отчети в реализирания специализиран софтуерен модул да
се насочат към БД на съответните университетски системи.
Перспективно направление на изследването е свързано със създаването на
автоматизирана система за динамично оценяване на качеството (ДОК) на
процеси и/или техни елементи в е-обучението, провеждано в дадено ВУ, което
предполага:
моделиране на различни методики за ДОК при провеждане на е-обучение;
автоматизирано динамично събиране на данни (от конкретен набор
университетски информационни системи) за различни форми на е-обучение;
управление (вкл. прилагане) на конкретни методики за ДОК на е-
обучението;
ДОК на е-обучението относно конкретна методика и данни в университетски
информационни системи, и др.
338 ШЕСТА НАЦИОНАЛНА КОНФЕРЕНЦИЯ ПО ЕЛЕКТРОННО ОБУЧЕНИЕ ВЪВ ВИСШИТЕ УЧИЛИЩА
БЛАГОДАРНОСТИ
Работата е подкрепена от проект МУ15-ФФИТ-001 „Методика за създаване и
динамично обновяване на тестови единици и тестове с автоматизирано оценяване
на тяхното качество“ към Фонд „Научни изследвания“ на ПУ „Паисий Хилендарски“.
ЛИТЕРАТУРА
[1] Атанасова М., Г. Тотков, Когнитивно-дидактически модел за създаване на
тестови единици във физиката, VIIІ Национална конференция „Образованието и
изследванията в информационното общество“ 2015, 43-50 стр.
[2] Тотков Г., Райкова М., Костадинова Хр., Тестът в е-обучението, „Ракурси“
ООД, Пловдив, 2014.
[3] Anderson, L& D. Krathwohl, A Taxonomy for Learning, Teaching and Assessing:
A Revision of Bloom’s Taxonomy of Educational Objectives: Complete Edition. New York,
Longman, Theory into Practice, 41, no. 4., 2002, p.213- 218.
[4] Checklist for Evaluating Question Quality, Student Achievement Partners,
http://achievethecore.org/page/47/checklist%E2%80%90for%E2%80%90evaluating%E2%
80%90question%E2%80%90quality.
[5] Checklist to Evaluate the Quality of Questions, http://www.cdc.gov/healthyyouth/
evaluation/ index.htm.
[6] Common Formative Assessment Test Item Quality Checklist,
https://docs.google.com/document/preview?hgd=1&id=1vmkf0UAU21u8bGRRwtFb__4kw
6NThEDM8WD9NyMgSFU&pli=1.
[7] Doneva R., S. Gaftandzhieva, Automated e-learning quality evaluation, e-
Learning’15 Proceedings of the International Conference on e-Learning, 11-12 September
2015, Berlin, Germany, ISSN 2376-6698, 156-162.
[8] Gaftandzhieva S., Automated Evaluation of Students’ Satisfaction, International
Journal of Information Technologies and Security (IJITS), Issue 1 (vol. 8), 2016.
[9] Post-Course Evaluations for е-Learning: 60+Questions to Include,
https://community.articulate.com/articles/post-course-evaluations-for-e-learning-60-
questions-to-include.
[10] Quiz statistics report, https://docs.moodle.org/29/en/Quiz_statistics_report.
[11] University of Illinois Center for Innovation in Teaching and Learning, Improving
Your Test Questions, http://cte.illinois.edu/testing/exam/test_ques3.html.
За контакти:
Силвия Николаева Гафтанджиева, докторант в кат. „Компютърна информатика“,
ПУ „П. Хилендарски“, ул. „Цар Асен“ 24, 4000 Пловдив, е-mail: sissiy88@uni-
plovdiv.bg.
Проф. д.м.н. Георги Атанасов Тотков, кат. „Компютърна информатика“, ПУ „П.
Хилендарски“, ул. „Цар Асен“ 24, Пловдив 4000, е-mail: totkov@uni-plovdiv.bg.
Проф. д-р Росица Желязкова Донева, кат. „Електроника, комуникации и
информационни технологии“, ПУ „П. Хилендарски“, ул. „Цар Асен“ 24, Пловдив 4000,
е-mail: rosi@uni-plovdiv.bg.
Докладът е рецензиран.