Програмний комплекс "Інформаційна система перевірки знань в медичній освіті"

Призначення і функції програмного комплексу ІСПЗМО

Одним з інструментів для одержання керуючої педагогічної інформації є результати тестування. У порівнянні із традиційними формами контролю (напр. письмові іспити) тести часто виявляються більш об'єктивним й якісним способом контролю. На сьогодні розроблено велику кількість програмних пакетів для підготовки й проведення тестування. Однак незважаючи на зручність і простоту комп'ютерного тестування, цей метод по фізіологічних причинах непридатний для тестів великого обсягу. Зокрема, медичний ліцензійний іспит "Крок" реалізується у вигляді бланкового тестування з наступною комп'ютерною обробкою результатів.

На підставі рішення МОЗ України №139 від 01.06.2006 в Тернопільському державному медичному університеті ім. І.Я. Горбачевського (ТДМУ) було запроваджено в якості педагогічного експерименту проведення тестування під час семестрових комплексних іспитів та щоденного контролю знань. При впровадженні тестових технологій в ТДМУ опиралися на досвід Віденського медичного університету (Австрія) та університету Південної Кароліни Апстейт (США), де викладачі університету попередньо пройшли стажування.

Для технічного забезпечення підготовки й проведення тестування на кафедрі медичної інформатики розроблено програму "Інформаційна система перевірки знань у медичній освіті (ІСПЗМО)".

Дана програма спрямована на рішення таких задач:

1. Розробка тестових питань.

2. Реалізація бланкової моделі тестування.

3. Обробка та аналіз результатів тестування.

4. Оцінка якості тестових завдань.

Основні функції розробленої програми:

• створення, редагування й зберігання структури навчальних дисциплін;

• створення, редагування й зберігання списку тестових завдань до навчальних дисциплін;

• створення, редагування й зберігання списку студентів навчального закладу;

• формування тестових білетів завдань для проведення тестування;

• одержання й зберігання результатів тестування;

• формування звітності за результатами тестування;

• обмін даними з АСУ "Контингент".

На програму отримано авторське свідоцтво на службовий твір № 32268 від 1.03.2010 р. Розробка та супроводження даного програмного продукту здійснюється Семенцем А.В. з 2008 року по сьогодні.

Порядок проведення тестового іспиту з використанням в ІСПЗМО.

Загальна схема проведення тестового іспиту на рис. 1, де позначено: 1 – підготовка питань викладачам кафедр; 2 – сервер ІСПЗМО, 3 – робоча станція обробки результатів тестування; 4 – робочі станції операторів центру тестування; 5 – міні-друкарня; 6 – буклети варіантів тест-білетів; 7 – розсилання результатів тестування студентам; 8 – сервер АСУ "Контингент"; 9 – передача ключів варіантів тест-білетів для перевірки робіт; 10 – студенти; 11 – закодовані бланки відповідей; 12 – робоча станція сканування, верифікації та перевірки результатів тестового іспиту.

Рисунок 1. Загальна схема проведення тестового іспиту з використанням ІСПЗМО

Вказана схема працює наступним чином. Протягом навчального року викладачі кафедр (1) формують та редагують базу завдань (тестових питань), які виносяться на іспит. База завдань зберігається на спеціальному сервері ІСПЗМО (2). Напередодні дня іспиту працівники центру тестування (4) формують варіанти тест-білетів у вигляді буклетів із завданнями з розрахунку 1 варіант на 15 студентів. Для студентів, які навчаються по кредитно-модульній системі організації навчального процесу (КМСОНП) передбачено використання 24 питань в кожному модулі, по якому здійснюється контроль.

На етапі пробного тестування викладачам кафедр з кожного предмету, включеного в тестовий іспит, пропонується перевірити буклет тест-білету на предмет валідності питань та заповнити еталон відповідей (для можливості виконання ручної перевірки також). Після внесення відповідних коректив, варіанти буклетів (6) тиражуються на міні-друкарні (5) і зберігаються до наступного дня. Також формується електронний файл-ключ (9) з відповідями на варіанти тест-білетів у форматі бази даних Microsoft Access.

У день іспиту у присутності комісії конверти з буклетами відкриваються і відповідальний за екзаменаційну аудиторію отримує певну кількість буклетів із завданнями та листками-бланками відповідей, які роздаються студентам (10).

Після завершення іспиту, бланки із варіантами відповідей (11) кодуються. При цьому використовуються коди, які студенти самостійно вибирають випадковим чином і які відомі лише їм. Коди вписуються в листки – бланки відповідей, після чого здійснюється їх публічне оцінювання.

Бланки відповідей скануються та обробляються безпосередньо в екзаменаційній аудиторії на окремій мобільній робочій станції (12) за допомогою програми Abby FormReader (http://www.abbyy.ua). Даний додаток серед інших має наступні переваги:

• Розпізнає текст, надрукований на машинці або принтері, для 172 мов і написаний друкованими літерами від руки для 90 мов, включаючи українську, а також мітки (пункти) і штрих-коди.

• Автоматично сортує бланки, перевіряє комплектацію багатосторінкових форм.

• Не вимагає втручання оператора на етапах сканування й розпізнавання.

• Пропонує триступінчасту технологію верифікації, що дозволяє підібрати оптимальний варіант перевірки для кожного типу даних.

• Включає велику кількість готових правил контролю розпізнаної інформації.

• Дозволяє зберігати результати розпізнавання у файли форматів TXT, DBF, Microsoft Excel, CSV або бази даних, зберігати зображення у вигляді pdf-файлів.

При побудові правил контролю додаток дозволяє використовувати бази даних різних форматів, файли електронних таблиць, регулярні вирази та функції користувача, написані на мові програмування Visual Basic.

Вказані правила будуються на основі електронного файлу-ключа (9) у форматі бази даних Microsoft Access, який генерується на сервері ІСПЗМО (2) і містить правильні відповіді на питання всіх варіантів тест-білетів. В результаті за допомогою програми Abby FormReader формується електорнна таблиця з кодами студентів та відповідними наборами оцінок, що відповідають оцінкам за модулі. Усі етапи перевірки робіт на даній робочій станції (12) демонструються за допомогою мультимедійного проектору.

Рисунок 2. Діалогові вікна створення правил в програмі FormReader.

Далі інформація передається на робочу станцію обробки результатів тестування (3). На даному етапі, використовуючи інформацію з АСУ "Контингент" (8), встановлювався зв'язок між кодом та прізвищем студента, а, також, формуються екзаменаційні відомості. У відомостях враховується поточна успішність, оцінка за іспит і виводиться оцінка за модуль із співвідношення 60% поточної та 40% екзаменаційної оцінок у відповідності до вимог КМСОНП.

На цій же робочій станції формуються індивідуальні відомості для кожного студента і розсилаються на адресу електронної пошти студентів (7). Отримані результати тестування також зберігаються в базі даних серверу ІСПЗМО (2). В подальшому ця інформація використовується для калібрування бази завдань та проведення статистичного аналізу успішності студентів з навчальних дисциплін.

Опис програмної реалізації системи ІСПЗМО

ПЗ "Редактор тестів 3" призначене для:

• Вводу та редагування тестових питань. Підтримується форматування тексту з використанням шрифтів будь-якого типу та вставка об’єктів з інших Windows-додатків. Кількість відповідей не обмежена. Можливо ранжувати вагу відповідей.

• Створення тестів. Кількість розділів та питань по кожному з них не обмежена.

• Створення тестових білетів (для оффлайнового проведення тестів). Кількість питань в тесті обмежена розмірами бази даних. Готовий білет може бути експортований в різні формати, зокрема в текстовий редактор Microsoft Word.

По програмній архітектурі "Редактор тестів 3" являє собою прикладну програму, що використовує клієнт-серверну СУРБД "Firebird". Структурна схема ПЗ комплексу показана на рисунку (рис. 3):

Рисунок 4. Головне вікно клієнтського Windows-додатку "Редактор тестів-3"

Рисунок 5. Редагування списку тест білетів в програмі "Редактор тестів 3".

Рисунок 6. Редагування структури тест-білету в програмі "Редактор тестів 3".