Оцінювання і шкалювання

Цього року більше півмільйона українців, які виявили бажання вступати до ВНЗ, проходять зовнішнє незалежне оцінювання (далі – ЗНО). Найтяжчі часи минули, адже найбільш масові тестування відбулися, проте напруга залишається – які їх результати? Результати тестування оприлюднюються за кілька тижнів після проведення ЗНО, адже Українському центру оцінювання якості освіти (далі – УЦОЯО) та його регіональним підрозділам потрібен певний час для перевірки й обробки бланків відповідей. Учасники тестування очікують на свої результати і намагаються зрозуміти, якими вони будуть, тому що це залежить від кількості правильних відповідей, зазначених у бланках відповідей (завдання і правильні відповіді розміщено на сайті УЦОЯО).

Свої результати у вигляді тестових балів (суми балів за правильно вказані відповіді на завдання тесту) можна обчислити самостійно, тут усе зрозуміло, проте немає шкали, за якою будуть оцінюватися результати тестування.

УЦОЯО буде використовувати для цього шкалу 100-200 балів, яка починається зі 100, тобто результати учасників будуть належати інтервалу від 100 до 200 балів. Навіщо потрібне це шкалювання? Наскільки це шкалювання є справедливим і прозорим? Як воно відбувається? Ці запитання хвилюють учасників тестування, вчителів і батьків. Спробуємо дати відповіді на ці запитання.

Чому потрібне шкалювання?

Після проходження тестування учасник отримує свої результати у тестових балах. Припустимо, Данило отримав 26 балів. Чи є цей результат високим? Ніхто на це запитання не може дати відповідь, оскільки невідомо, яким був максимально можливий результат за цей тест. А якщо максимальний бал і буде відомий, скажімо, 50, це ще не означатиме, що результат Данила буде низьким, якщо не будуть відомі результати інших учасників тестування. Коли середнє значення результатів дорівнюватиме 16, то результат Данила буде досить високим, а якщо їхнє середнє значення буде дорівнювати 40, то, безумовно, достатньо низьким. Це означає, що одна й та ж кількість балів (у нашому випадку – 26) може трактуватися у різний спосіб, залежно від характеристик тесту й успішності проходження тесту іншими учасниками тестування. Спеціалісти з тестування підкреслюють, що результат тестування в тестових балах є результатом у контексті конкретного тесту: ця оцінка є виправданою, якщо мають справу лише з одним тестом і порівнюють результати учасників тестування тільки з одного тесту. У цьому випадку кожному зрозуміло – учасник, який набрав більшу кількість тестових балів має найкращі знання з предмета.

Проблеми виникають тоді, коли потрібно порівнювати результати учасників із кількох тестів і використовувати для цього додавання тестових балів з різних тестів. Навіть коли, наприклад, не брати до уваги зміст додавання результатів із кількох тестів, а спробувати проаналізувати технічні аспекти додавання тестових балів із різних предметів, проблеми залишаються. Якщо результат кожного тесту буде виражений у своїй власній шкалі, то що означатимуть 26 балів із математики, 56 балів з української мови і 78 балів з історії? Результат із математики є найменшим, проте максимальний бал дорівнює 50 проти максимального балу 120 з історії України… Можливо, тест з української мови був складним, а результат 56 балів був одним із найкращих? Не можна додавати результати, що виражені в різних шкалах без додаткового переведення їх до єдиної спільної шкали (перешкалювання).

Наведемо приклад із реального життя. Порівняння даних за різними шкалами постійно  виконуються банками. Вони ніколи не стануть додавати 100 гривень і 200 рублів, не конвертувавши спочатку ці суми в якусь єдину валюту, яка буде виконувати  функцію спільної шкали. Ця шкала може бути гривневою або рублевою, проте може бути й іншою, «універсальною», приміром, шкалою Євро… Тільки після такого перешкалювання ми можемо порівнювати два внески: 30 гривень і 60 рублів проти 60 гривнень і 30 рублів. Проте обидва ці внески не дорівнюють 90!   

Результати ЗНО будуть використовуватися при вступі до різних університетів, а визначення шансів для вступу будуть ґрунтуватися на комбінації (на певній сумі) результатів тестування з різних предметів. Зважаючи на те, наскільки важливим є визначення результатів ЗНО, Український центр оцінювання якості освіти повинен видавати результати екзаменів за шкалою, яка в подальшому дозволятиме виконувати з цими результатами певні операції, що повинні мати під собою реальний смисл, адже потрібно порівнювати результати різних студентів, причому це порівняння буде справедливим.

Шкалювання результатів оцінювання не є чимось новим для учнів і абітурієнтів. Подібну процедуру виконує кожний учитель одразу ж після виконання учнями контрольної роботи. У класний журнал він виставляє не кількість правильно виконаних вправ, а оцінки:2–3–…–11–12.

Головні принципи шкалювання

По-перше, переведення тестових балів має бути об'єктивним. Тобто учасники, які набрали більше тестових балів повинні отримати не нижчу оцінку, ніж ті, які набрали меншу кількість балів. Математики назвали б таку властивість процедури шкалювання монотонністю. Інакше кажучи, успішність учасника тестування під час вступу до ВНЗ повинна залежати не від того чи іншого методу шкалювання, що застосовує УЦОЯО, а виключно від результату, до якого прагнув учасник тестування – набрати якомога більше балів, правильно виконуючи завдання тесту. Водночас усі учасники тестування, що отримали однакову кількість тестових балів, повинні потрапляти в групу з однаковими балами.

По-друге, процедури шкалювання повинні відповідати завданням ЗНО. У цьому році тести ЗНО мають подвійну мету: сертифікувати освітній рівень, досягнутий випускниками ЗНЗ (результат ЗНО може зараховуватись як оцінка з відповідного предмета, винесеного на державну підсумкову атестацію, а також забезпечити надійною інформацією приймальні комісії ВНЗ для проведення вступної кампанії. Завдання сертифікації навчальних досягнень випускників пов’язане з установленням відповідності критеріям навчальних досягнень, що визначаються державними освітніми стандартами та навчальними програмами. Потрібно також знати, чи відповідають навчальні досягнення випускника критеріям навчальних досягнень 1, 2, 3 або 4 рівня?

Кожен у країні радів би з того, якщо б більшість учасників тестування були здатні показати найкращі результати й отримати найвищі бали (у нашому випадку 12 балів). Але тоді університети мали б проблеми під час проведення відбору абітурієнтів на навчання: вони б не були здатні вибрати групу абітурієнтів із найкращими результатами. Це означає, що університети потребують під час вступної кампанії зовсім іншої інформації: їм необхідно знати, хто з абітурієнтів є кращим. Ці два різні завдання ЗНО безпосередньо пов’язані з двома різними підходами до шкалювання результатів учасників тестування: шкалювання на критеріальній основі або шкалювання на нормативній основі. Перша шкала (критеріальна) успішно застосовується при проведенні випускних іспитів (наприклад, ДПА), друга (нормативна) – під час вступу до ВНЗ.

Як виконати шкалювання?

Тестові бали учасника тестування (тобто сума балів, які він отримав за правильно виконані завдання тесту ЗНО) спочатку повинні бути переведені в 12–бальну шкалу (відшкальовані за 12–бальною шкалою). Для цього спеціалізована предметна комісія визначає, яка мінімальна кількість тестових балів відповідає кожній оцінці від 1 до 12.

12–бальна шкала є простою і зрозумілою, проте вона не є найкращою для проведення відбору абітурієнтів для вступу до ВНЗ, адже ніхто не знає, скільки учасників можуть отримати найвищий бал – 12 балів. Якщо така група абітурієнтів буде надто великою, то ВНЗ матимуть значні труднощі з відбором на навчання кращих абітурієнтів. У такому разі, зіткнувшись із великою кількістю добре підготовлених абітурієнтів з однаковими оцінками за тести, ВНЗ повинні проводити якісь додаткові іспити (тести) для того, щоб визначити найкращих. З іншого боку, учасники ЗНО за тестовими балами вже були відрейтинговані на основі використання 12-бальної шкали з її 12 різними оцінками (кількість яких декілька разів  менша за максимальну кількість  тестових балів ЗНО). Це може призвести до того, що абітурієнти з різними тестовими балами отримають однакові оцінки за 12-бальною шкалою. З цього випливає, що шкала результатів для використання під час вступу до ВНЗ повинна мати більше категорій (позначок).

УЦОЯО вибрав 100-бальну шкалу для відображення результатів тестування учасників ЗНО, проте для уникнення непорозумінь з її інтерпретацією (кількість правильних відповідей, відсоток правильних відповідей тощо), було вирішено збільшити цю шкалу на 100 одиниць, установивши початкову точку цієї шкали на числі 100, щоб можливі бали учасників знаходилися в інтервалі від 100 до 200 балів. Причому результати за будь-яким тестом будуть виражатися за шкалою 100-200 балів незалежно від того, скільки завдань містить тест або яку максимальну кількість балів можна отримати за тест.

Університетам потрібно порівнювати успішність результатів тестування студентів. Метод шкалювання, який застосовує УЦОЯО, базується на тестових балах учасників тестування. За шкалою 100-200 балів найкращі результати будуть завжди дорівнювати 200 балам (навіть у тих випадках, коли тест був надто складним і не було можливості отримати всі бали за тест). Учасник тестування, який знаходиться в середині рейтингової послідовності учасників за тестовими балами, повинен отримати 150 балів, оскільки це число є серединою шкали 100-200 балів. Такий метод шкалювання певною мірою нагадує поданий вище приклад щодо конвертування валюти. УЦОЯО обрав теоретично ідеальний тест із розподілом балів учасників тестування за відомим Гаусовим законом (який повинен відігравати роль шкали Євро для валют), а потім перетворює розподіли результатів учасників тестування у цей ідеальний розподіл.

Метод, що використовується для такого перетворення, відповідає двом головним принципам, що були зазначені вище (учасник з більшою кількістю тестових балів отримає за шкалою 100-200 балів оцінку, яка не є нижчою за оцінку учасника з меншою кількістю тестових балів; усі учасники з однаковою кількістю тестових балів отримують однакові бали за шкалою 100-200 балів), перерахунок здійснюється на основі порівняння двох процентних рангів (спеціалісти називають цей спосіб методом еквіпроцентилів).

Процентний ранг учасника тестування визначається як процент учасників тестування, що мають тестові бали менші за тестовий бал конкретного учасника (процент обчислюється від кількості всіх учасників тестування з даного тесту). Наприклад, якщо результат Данила має процентиль, дорівнює 65%, то це означає, що він випередив 65% учасників даного тесту, а відповідно 35% учасників даного тесту (тобто 100% - 65%) отримали тестові бали такі або вищі за бали Данила.

Отже, процентний ранг учасника тестування виконує функцію «числової мітки» в довжелезній черзі учасників тестування, впорядкованій за їхніми тестовими балами. За допомогою комп'ютера вже розраховано такі числові мітки для ідеального тесту (який, можливо, ніколи не здійсниться на практиці). Ці мітки прив'язано до результатів за шкалою 100-200 балів. Такий зв’язок у вигляді таблиці перерахування процентилів за шкалою 100-200 балів залишається єдиним і незмінним для всіх тестувань.

Лише після того, як буде проведено реальне тестування, комп’ютерна програма УЦОЯО впорядкує учасників тестування за тестовими балами і присвоїть їм числові ранги (процентні ранги). Процентні ранги учасників тестування будуть порівняні з процентними рангами ідеального тесту, і на цій основі учасники тестування отримають свої результати за шкалою 100–200 балів.

Яку інформацію може отримати учасник тестування після шкалювання результатів?

12-бальна шкала

Таблиця перерахування тестових балів учасників тестування за шкалою 1-12 балів розміщується на сайті УЦОЯО, що дає можливість кожному абітурієнту дізнатися про те, яку кількість тестових балів він повинен мати^[1], щоб отримати відповідну оцінку за 12-бальною шкалою (у таблиці подано рядки відповідності, наприклад: 23-28 балів – оцінка 7; 29-35 – оцінка 8 тощо). Як було зазначено вище, таблицю перерахування тестових балів складає авторитетна предметна комісія, яка затверджується директором УЦОЯО.

Шкала 100-200 балів

Таблиця перерахування тестових балів учасника тестування за шкалою 100–200 балів також розміщується на сайті УЦОЯО (ця шкала більша за розміром, оскільки вона має більше 12-ти різних рівнів (категорій)). У першому стовпчику подано тестові бали учасників тестування (від 0 до максимальної можливої кількості балів); у другому – результат за шкалою 100-200 балів. Користуючись цією таблицею, учасник отримає інформацію про те, який його результат за шкалою 100-200 балів, як його результат виглядає на тлі результатів усіх учасників тестування (найкращий – 200, найгірший – 100, середнє значення – 150 тощо).

Алгоритм розрахунку результату тестування за шкалою [100-200] балів

• Обчисліть кількість набраних тестових балів, використовуючи подані на сайті УЦОЯО правильні відповіді на тестові завдання і таблицю 1, що містить інформацію про оцінювання кожного завдання тесту з відповідного предмета.
• Знайдіть свій результат у таблиці переведення тестових балів за шкалою [100-200] балів з відповідного предмета (див. табл. 2, 3, 4).

Таблиця 1

Оцінювання відповідей на тестові завдання (бланки А та Б)

Предмет	Номери завдань	Кількість балів за завдання	Загальна сума балів за бланк А	Загальна сума балів за тест
Українська мова і література	1 – 23	0 – 1	79	103
	24 – 28	0 – 1 – 2 – 3 – 4*
	29 – 64	0 – 1
	Власне висловлення	0–24
Історія України	1 – 50	0 – 1	74	94
	51 – 54	0 – 1 – 2 – 3 – 4*
	55 – 58	0-1-2**
	59–60	0–10
Математика	1 – 25	0 – 1	41	55
	26 – 33	0 або 2
	34–35	0 – 1 – 2 – 3 – 4
	36	0-1-2-3-4-5-6

* − кількість балів, яку можна набрати, розв’язуючи  завдання на встановлення правильної відповідності.

Схема оцінювання:

1 бал за кожну правильно встановлену відповідність (логічну пару);

0 балів, якщо не вказано жодної правильної логічної пари.

** − кількість балів, яку можна набрати, розв’язуючи завдання на встановлення правильної послідовності.

Схема оцінювання:

• 2 бали, якщо правильно визначено порядок усіх подій;
• 1 бал, якщо вказано частково правильний порядок, при якому неправильно визначено порядок лише двох послідовних подій;
• 0 балів, якщо надано інший варіант відповіді.

Таблиця 2

Таблиця переведення тестових балів з української мови і літератури в бали за шкалою 100-200

Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200
0	100.0	26	136.5	52	168.0	78	193.0
1	100.5	27	138.0	53	169.0	79	194.0
2	100.5	28	139.5	54	170.0	80	194.5
3	100.5	29	141.5	55	171.0	81	195.5
4	100.5	30	142.5	56	172.0	82	196.5
5	100.5	31	144.0	57	173.0	83	197.0
6	100.5	32	145.5	58	174.0	84	197.5
7	101.0	33	147.0	59	174.5	85	198.0
8	101.5	34	148.0	60	175.5	86	198.5
9	102.5	35	149.5	61	176.5	87	199.0
10	104.0	36	150.5	62	177.5	88	199.0
11	105.5	37	152.0	63	178.5	89	199.5
12	107.5	38	153.0	64	179.5	90	199.5
13	110.0	39	154.5	65	180.5	91	200.0
14	112.5	40	155.5	66	181.5	92	200.0
15	115.0	41	156.5	67	182.5	93	200.0
16	117.5	42	158.0	68	183.5	94	200.0
17	119.5	43	159.0	69	184.5	95	200.0
18	122.0	44	160.0	70	185.5	96	200.0
19	124.0	45	161.0	71	186.5	97	200.0
20	126.0	46	162.0	72	187.5	98	200.0
21	128.0	47	163.0	73	188.5	99	200.0
22	130.0	48	164.0	74	189.5	100	200.0
23	131.5	49	165.0	75	190.5	101	200.0
24	133.5	50	166.0	76	191.5	102	200.0
25	135.0	51	167.0	77	192.0	103	200.0

Таблиця 3

Таблиця переведення тестових балів з історії України в бали за шкалою 100-200

Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200
0	100	24	150	48	183	72	198
1	101	25	152	49	184	73	198
2	101	26	154	50	185	74	199
3	101	27	156	51	186	75	199
4	101	28	158	52	187	76	199
5	101	29	159	53	187	77	199
6	101	30	161	54	188	78	199
7	101	31	163	55	189	79	200
8	101	32	164	56	190	80	200
9	103	33	166	57	190	81	200
10	105	34	167	58	191	82	200
11	107	35	169	59	192	83	200
12	111	36	170	60	192	84	200
13	114	37	171	61	193	85	200
14	118	38	173	62	193	86	200
15	122	39	174	63	194	87	200
16	126	40	175	64	194	88	200
17	130	41	176	65	195	89	200
18	133	42	177	66	195	90	200
19	136	43	178	67	196	91	200
20	139	44	179	68	196	92	200
21	142	45	180	69	197	93	200
22	145	46	181	70	197	94	200
23	147	47	182	71	198

Таблиця 4

Таблиця переведення тестових балів з математики в бали за шкалою 100-200

Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200	Тестовий бал	Бал 100-200
0	100	19	173	38	192
1	102	20	175	39	193
2	108	21	176	40	194
3	115	22	177	41	194
4	124	23	178	42	195
5	131	24	180	43	196
6	138	25	181	44	196
7	144	26	182	45	197
8	149	27	183	46	197
9	153	28	184	47	198
10	156	29	185	48	198
11	159	30	186	49	199
12	161	31	187	50	199
13	163	32	188	51	200
14	165	33	189	52	200
15	167	34	189	53	200
16	169	35	190	54	200
17	170	36	191	55	200
18	172	37	192

Алгоритм розрахунку результату тестування за шкалою [1-12] балів

1. Обчисліть кількість набраних тестових балів за субтест з відповідного предмета, використовуючи інформацію про ті завдання, що його утворюють, а також подані на сайті УЦОЯО правильні відповіді на тестові завдання та таблицю 1, що містить інформацію про оцінювання кожного завдання тесту з відповідного предмета.
2. Знайдіть свій результат у таблиці переведення тестових балів за субтест з відповідного предмета за шкалою 1-12 балів (див. табл. 2, 3, 4).

Таблиця 1

Оцінювання відповідей на тестові завдання (бланки А та Б)

Предмет	Номери завдань	Кількість балів за завдання	Загальна сума балів за бланк А	Загальна сума балів за тест
Українська мова і література	1 – 23	0 – 1	79	103
	24 – 28	0 – 1 – 2 – 3 – 4*
	29 – 64	0 – 1
	Власне висловлення	0–24
Історія України	1 – 50	0 – 1	74	94
	51 – 54	0 – 1 – 2 – 3 – 4*
	55 – 58	0-1-2**
	59–60	0–10
Математика	1 – 25	0 – 1	41	55
	26 – 33	0 або 2
	34–35	0 – 1 – 2 – 3 – 4
	36	0-1-2-3-4-5-6

* − кількість балів, яку можна набрати, розв’язуючи  завдання на встановлення правильної відповідності.

Схема оцінювання:

• 1 бал за кожну правильно встановлену відповідність (логічну пару);
• 0 балів, якщо не вказано жодної правильної логічної пари.

** − кількість балів, яку можна набрати, розв’язуючи  завдання на  встановлення правильної послідовності.

Схема оцінювання:

• 2 бали, якщо правильно вказано порядок усіх подій;
• 1 бал, якщо вказано частково правильний порядок, при якому неправильно визначено порядок лише двох послідовних подій;
• 0 балів, якщо надано інший варіант відповіді.

Українська мова (субтест)

1. Субтест з української мови для державної підсумкової атестації (далі ДПА) складається з завдань Частини 1 (№ 1-39) та Частини 3 (власне висловлення) тесту з української мови і літератури.
2. Шкалу переведення тестових балів, отриманих за виконання завдань з української мови (субтест для ДПА), у 12-бальну шкалу оцінювання подано в таблиці 2.

 Таблиця 2

Переведення тестових балів з української мови (субтест)

у 12-бальну шкалу оцінювання

Українська мова
Кількість тестових балів	12-бальна шкала оцінювання
0–4	1
5–8	2
9–12	3
13–17	4
18–22	5
23–28	6
29–34	7
35–40	8
41–47	9
48–55	10
56–66	11
67 і вище	12

Математика (субтест)

Зважаючи на співвідношення кількості завдань з алгебри і початків аналізу та геометрії, складність тестових завдань, час, відведений на тестування, експертна комісія прийняла рішення:

1. Субтест із математики для державної підсумкової атестації складається з 30 завдань тесту з математики (усі завдання Частини 1, два завдання з геометрії Частини 2, усі завдання Частини 3).

2. Ухвалити шкалу переведення тестових балів, отриманих за виконання завдань із математики (субтест для ДПА), у 12-бальну шкалу оцінювання

(див. табл. 3)

 Таблиця 3

Переведення тестових балів із математики (субтест) у 12-бальну шкалу оцінювання