Аналіз тестових завдань при використанні системи Moodle
Широке використання електронних систем управління навчанням не в останню чергу обумовлено наявністю в них засобів, що дозволяють зробити більш технологічною найважливішу складову процесу навчання, пов'язану з оцінкою рівня освоєння учнями досліджуваного навчального матеріалу. Мова йде про використання автоматизованих тестових систем в якості засобу вимірювання рівня підготовки учнів.
Для цих цілей в системі Moodle, як і в інших сучасних системах аналогічного призначення, мається підсистема, що дозволяє формувати банки тестових завдань всіх основних форм - В«в закритій форміВ», В«обчислюваніВ», В«короткий відповідьВ», В«ЧисловіВ», В«на відповідністьВ», В«вкладені відповідіВ», і будувати з них тести, призначені для самоконтролю і тренінгу, тематичні тести, тести для поточної та підсумкової оцінок рівня учнів та ін
Для викладача, що використовує такого роду засоби при викладанні своїх навчальних курсів, велика частка його праці полягає у створенні банку тестових завдань, що забезпечує рішення задачі оцінки успішності освоєння учнями представленого ним навчального матеріалу. При цьому неминуче виникає питання про Як розроблених і використовуваних тестових завдань з точки зору їх здатності адекватно вирішувати задачу вимірювання рівня підготовки випробовуваних, правильно диференціювати їх відповідно до дійсним рівнем їх підготовки. Справа в тому, що тестові завдання, задовольняють формальним вимогам, наприклад, правильність форми, логічна точність і несуперечність висловлювань та ін, на практиці можуть не володіти якостями, що дозволяють розглядати їх як повноцінний засіб вимірювання рівня підготовки випробовуваних.
Взагалі кажучи, питання про здатність конкретних контрольно-вимірювальних матеріалів в Насправді служити засобом виміру рівня підготовки учнів має місце при використанні будь-якої системи оцінювання, в тому числі і при використанні традиційних екзаменаційних випробувань в усній або письмовій формі. Але саме при використанні автоматизованих тестови
х систем виникає можливість реального застосування для оцінки якості використовуваних контрольно-вимірювальних матеріалів формалізованих підходів, заснованих на методології теорії педагогічних вимірів. Стають можливими накопичення і статистична обробка результатів випробувань і отримання кількісних характеристик, що дозволяють оцінювати якість тестових контрольно-вимірювальних матеріалів.
Один з відомих підходів для такого аналізу базується на відомій в теорії педагогічних вимірювань однопараметричної моделі Раша. Практичне використання пропонованих цією теорією підходів полегшується тим, що в системі управління навчанням Moodle є розвинені вбудовані засоби для автоматизації обчислення за результатами виконання тестових завдань статистичних показників, що дозволяють здійснювати об'єктивну оцінку якості тестових завдань з точки зору їх здатності служити засобом виміру рівня підготовки випробовуваних.
Для здійснення Moodle такої обробки результатів тестування необхідно на вкладці перегляду результатів тестування (рис. 1) перейти до пункту Аналіз питань.
Обробка результатів випробувань, необхідна для отримання характеристик якості тестових завдань, полягає в наступному.
В Відповідно до педагогічною теорією вимірів отримані випробуваними результати випробувань представляються у вигляді матриці наступного виду (рис. 2).
Рис. 1. Скріншот системи Moodle зі списком випробовуваних, які пройшли тестування, і отриманих ними результатів
Рис. 2. Матриця результатів тестових завдань
У стовпцях цієї матриці знаходяться результати, отримані конкретними випробовуваними за Кожне тестове завдання, а по рядках розміщуються результати кожного випробуваного за відповідним тестового завдання. У нижньому рядку представлені сумарні значення балів, набраних кожним випробуваним за тест у цілому (S i = ОЈx i j ). Ці значення використовуються для формування оцінки рівня підготовки випробовуваних по проверяемому даним тестом навчального матеріалу. У правому стовпчику наведені суми балів, отриманих всіма випробовуваними для кожного тестового завдання (для j-го завдання - P j = ОЈx i j ). За величиною значень P j вже можна судити про ступеня реальної легкості (труднощі) конкретних тестових завдань для випробовуваних в даній групі - чим більше випробовуваних правильно відповіло на конкретне завдання, тим це завдання в середньому легше для виконання. Для практичного використання, однак, в якості міри легкості (труднощі) завдань більш придатні відносні значення такого роду показників. Це індекс легкості завдання (ІЛ) і індекс складності завдання (ІТ):
де x ср - середнє значення балів, набраних всіма випробовуваними за виконання j-го завдання; x макс j - максимально можливе кількість балів за виконання j-го завдання.
Ця характеристики (ІЛ та ІТ) тестових завдань є мірою легкості (труднощі) завдань для конкретної групи випробуваних. Значення цих параметрів залежать від рівня підготовки випробовуваних і не залежать від їх числа. Одне з положень педагогічної теорії вимірювань полягає в тому, що в тесті не повинно бути завдань невідомої труднощі. Важливість отримання кількісних характеристик легкості (труднощі) пропонованих випробуваним завдань полягає в тому, що для того, щоб ці завдання мали здатність диференціювати піддослідних за рівня їх підготовки, тобто служити засобом виміру цього рівня, їх складність повинна відповідати середньому рівню підготовки випробовуваних в групі. Тест в цілому має включати в себе комплекс завдань різної складності - від досить простих до складних, однак очевидно, що занадто прості завдання, на які правильно відповідають всі до одного випробовуваних, і занадто складні завдання, на які не може відповісти ніхто з піддослідних, не мають здатність диференціювати їх за рівнем підготовки і в цьому сенсі вони не є справжніми тестовими завданнями. Такі завдання повинні В«ВідбраковуютьсяВ» і виключатися з тіста.
Розташовуючи впорядковані значення індексу легкості (труднощі) завдань тесту, як це представлено на малюнку 3, можна оцінити ступінь відповідності складових тест завдань середньому рівню підготовки випробовуваної групи.
Рис. 3. Значення індексу легкості завдань для тестованої групи
Представлені дані свідчать про те, що використовувана в прикладі база тестових завдань досить рівномірно представляє питання різного рівня складності, при цьому дуже легких - В«очевидних для всіхВ» і дуже складних - В«ніким не вирішуванихВ» (Тобто нетестовими завдань) практично немає, що говорить про відповідність комплексу завдань цього тесту середньому рівню підготовки випробуваної групи.
Інший характеристикою, яку дозволяють обчислювати вбудовані в систему Moodle засоби аналізу результатів тестових завдань, є дисперсія цих результатів (або їх середньоквадратичне відхилення). Дисперсія результатів виконання тестових завдань обчислюється за формулою:
навчання електронний тестовий завдання
Дисперсія результатів (або середньоквадратичне відхилення) характеризує розкид балів, отриманих всіма N випробовуваними при відповіді на конкретне (j-е) завдання тесту. Якщо всі випробовувані відповідають на завдання однаково, то характеризуємий цим параметром розкид отриманих випробовуваними балів буде дорівнювати нулю. Нульове або низьке значення розкиду одержуваних при виконанні конкретних тестових завдань результатів в групі випробуваних свідчить про низьку дифференцирующей здатності цих завдань, тобто їх слабкої здатності розділяти випробов...
