Моніторинг якості освіти

ЗАТВЕРДЖЕНО

наказ Державної служби

якості освіти України

від 09.01.2020  № 01-11/1

(в редакції наказу Державної служби якості освіти України)

від _________ №___________

МЕТОДИКА

оцінювання освітніх і управлінських процесів закладу загальної середньої освіти під час інституційного аудиту

Інституційний аудит закладів загальної середньої освіти (далі – ЗЗСО) передбачає оцінювання освітніх і управлінських процесів, тобто встановлення рівня їх якості та ефективності внутрішньої системи забезпечення якості освіти

(далі – оцінювання).

Такими рівнями оцінювання є:

-           перший (високий);

-           другий (достатній);

-           третій(вимагає покращення);

-           четвертий (низький).

ОцінюванняЗЗСОздійснюється за чотирма напрямами:

-  освітнє середовище;

-  система оцінювання здобувачів освіти;

-  педагогічна діяльність педагогічних працівників;

-  управлінські процеси.

У таблиці 1 наведено кількісний розподіл вимог/правил, критеріїв та індикаторів за вищезгаданими напрямами.

Таблиця 1

Кількісний розподіл вимог/правил, критеріїв, індикаторів за напрямами оцінювання освітніх і управлінських процесів ЗЗСО

Напрям оцінювання

Кількість вимог/ правил організації освітніх і управлінських процесів

Кількість критеріїв оцінювання

Кількість індикаторів оцінювання

Освітнє середовище закладу освіти

1

7

16

1

3

13

1

5

13

Всього:

3

15

42

Система оцінювання здобувачів освіти закладу освіти

1

3

4

1

2

3

1

2

3

Всього:

3

7

10

Педагогічна діяльність педагогічних працівників закладу освіти

1

6

6

1

2

3

1

3

4

1

2

2

Всього:

4

13

15

Управлінські процеси закладу освіти

1

4

9

1

2

4

1

3

5

1

6

8

1

2

3

Всього:

5

17

29

Загальна кількість

15

52

96

Під час проведення інституційного аудиту основними методами збору інформації є:

-опитуванняучасників освітнього процесу (анкетування таінтерв’ю);

-спостереження(за освітнім середовищем та проведенням навчальних занять);

- вивчення документації.

Взаємозв’язок напрямів оцінювання, вимог/правил, критеріїв, індикаторів, методів збору інформації та інструментаріюописано в таблиці 2 (додаток 1 до Методики).

Оцінювання здійснюється на рівні вимоги відповідно до критеріїв, наведених у Порядку проведення інституційного аудиту закладів загальної середньої освіти, затвердженого наказом Міністерства освіти і науки України від 09.01.2019 № 17.

Для оцінкинапрямів іпідготовки рекомендаційкерівнику та засновнику ЗЗСОголова експертної групи повинен дотримуватисянаступного алгоритму дій:

                  I.          Збір та узагальнення інформації, отриманої під час спостереження, опитування та вивчення документації.

               II.          Узагальнення головою експертної групиінформації, наданої  експертами.

            III.          Співставленняузагальненої інформаціїз вербальним шаблоном, наведеним у таблиці «Орієнтовні рівні оцінювання закладу загальної середньоїосвіти щодо дотримання вимоги/правила організації освітніх і управлінських процесів закладу освіти та внутрішньої системи забезпеченняякості освіти»(додаток 2 до Методики).

           IV.          Оцінювання вимоги/правила.

              V.          Оцінюваннянапряму.

           VI.          Оформлення Звіту про проведення інституційного аудиту (далі –Звіт).

        VII.          Заповнення Висновку про якість освітньої діяльності закладу освіти, внутрішньої системи забезпечення якості освіти (далі – Висновок).

  VIII.          Надання Рекомендацій щодо вдосконалення діяльності закладу освіти

(далі –Рекомендації).

І. Збір та узагальнення інформації, отриманої під час спостереження, опитування та вивчення документації

Експертипід час вивчення документації та спостереження за проведенням навчального заняття і освітнім середовищем отриману інформацію фіксують у формах:

-  вивчення документації (додаток 9 до наказу);

-  спостереження за проведенням навчального заняття (додаток 10 до наказу);

-   спостереження за освітнім середовищем (додаток 11 до наказу).

Опитування учасників освітнього процесу проводить один або кілька експертів, визначених головою експертної групи.

Інтерв’ю проводяться з директором ЗЗСО, його заступником/заступниками, практичним психологом / практичними психологами, соціальним педагогом/соціальними педагогами та представниками учнівського самоврядування.

У випадку, коли відбувається інституційний аудит малокомплектного ЗЗСО,

в штатному розписі якого відсутні посади заступника директора, практичного психолога, соціального педагога, для інтерв’ю з керівником ЗЗСО пропонуємо використати форму переліку питань для керівника малокомплектного закладу освіти (додаток 2а до наказу).

Перелік питань для інтерв’ю з вищезазначеними учасниками освітнього процесу представлений у додатках2 – 5 до наказу. У згаданих формах фіксуються також відповіді респондентів.

Питання позначені «*» можуть бути необов’язковими лише в тому випадку, коли у ЗЗСО відсутні інклюзивні, спеціальні класи та діти з особливими освітніми потребами, які навчаються за індивідуальною формою навчання (педагогічний патронаж).

Для проведення анкетування експерти використовують анкети для:

-  педагогічних працівників (додаток 6 до наказу);

-  батьків здобувачів освіти (додаток 7 до наказу);

-  учня/учениці (додаток 8 до наказу).

В анкетуванні беруть участь здобувачі освіти віком від 14 років.

Анкетування можливо проводити письмово з використанням друкованих анкет або у формі онлайн опитування, використовуючи засоби інформаційно-телекомунікаційних технологій.У випадку проведення анкетування у формі онлайн комп’ютерна програма автоматично обрахує відповіді респондентів. У разіпроведення письмового опитування експертсамостійно обраховує відповіді.

За результатами анкетування не всі відповіді респондентів можуть бути враховані під час визначення рівня освітніх і управлінських процесів.

Для оцінювання враховуються лише закриті питання, де респондентам пропонують обрати один із запропонованих варіантів відповідей. Відповіді респондентів на відкриті питання і закриті питання,де вони можуть обрати декілька варіантів відповідей, а також відповіді, надані під час інтерв’ю, можуть бути використанні експертною групою у ході проведення інституційного аудиту та для підготовки Висновку і Рекомендацій.

Окрім тогоелектронний варіант узагальнених результатів анкетування у формі діаграм, гістограм, узагальнених таблиць надсилається керівнику ЗЗСО разом із проєктом Висновку. Така інформація стане в нагоді керівництву ЗЗСО для визначення:

- пріоритетних напрямів підвищення рівня організації освітніх і управлінських процесів у закладі освіти (за результатами інституційного аудиту);

- тенденцій розвитку освітніх і управлінських процесів у ЗЗСО та внесення відповідних коректив до Річного плану та/або стратегії розвитку закладу за результатами співставлення результатів анкетування, отриманих у ході проведення комплексного самооцінювання, з результатами, отриманими під час інституційного аудиту;

- кількісного вираження результатів проведеної роботишляхом співставленнярезультатів анкетування учасників освітнього процесу під час інституційного аудиту з результатами опитування, що проводилося після проведеної в ЗЗСО роботи, спрямованої на підвищення якості освітньої діяльності.

Для обрахунку анкет слід використовувати наступний алгоритм:

1.                     Підрахуватизагальну кількість відповідей по кожному із запропонованих у питанні варіантів

Наприклад, у анкетуванні взяли участь 100 респондентів, із них:

-  відповідь «так» обрали 25 осіб;

-  відповідь «переважно так» обрали 40 осіб;

-  відповідь «переважно ні» обрали 15 осіб;

-  відповідь «ні» - 20 осіб.

2.                     Помножити загальну кількість відповідей на бал, що відповідає рівням оцінювання

Кожна із запропонованих варіантів відповідей оцінюється за 4-бальною шкалою. Наприклад, відповіді:

- «так», «цілком задоволений/на», «завжди», «дотримано» тощо оцінюються на 4 бали (високий рівень);

- «здебільшого», «в основному», «переважно так» - 3 бали (достатній рівень);

- «переважно ні», «іноді», - 2 бали (рівень, що вимагає покращення);

- «ні», «не задоволений/на», «не комфортно», «не дотримано»,

«відсутній» - 1 бал (низький рівень).

Відповідно:

4 бали × 25 відповідей респондентів = 100;

3 бали × 40 відповідей респондентів = 120;

2 × 15  =30;

1×20=20.

У анкетах також містяться так звані «перевернуті» питання, наприклад пункт 3 питання 25 анкети для педагогічних працівників, питання 11 анкети для батьків. У таких питаннях відповіді:

- «так», «завжди»,  відповідають низькому рівню і оцінюються на 1 бал;

- «переважно так», «здебільшого», «в основному» - рівню, що вимагає покращення (2 бали);

- «переважно ні», «у поодиноких випадках» - достатньому рівню (3 бали);

- «ні», «ніколи» - високий рівень (4 бали).

Подальші обрахунки таких питань проводиться за описаним вище алгоритмом.

3.                     Визначитирівень освітньої діяльності за питанням анкети

Обраховуємо середньоарифметичне значення питання.Для цього ділимо суму балів на кількість опитаних респондентів.

Наприклад:  100+120+30+20 =2,7

100 (всього опитаних)

4.                     Отримане середньоарифметичне значення зіставити зі шкалою визначення рівня якості освітньої діяльності

Таблиця 2

Шкала визначення рівня якості освітньої діяльності

1,0 - 1,65

1,66 - 2,65

2,66 -3,60

3,61 - 4,0

низький рівень

рівень, що вимагає покращення

достатній рівень

високий рівень

Вищезазначена шкала використовуватиметься також у подальшому під час оформлення Звіту, зокрема–оцінювання напряму.

Узагальнені результати спостереження, опитування, вивчення документації заносяться експертом до форми аналітичної довідки (додаток 13 до наказу), яка подається голові експертної групи.

У подальшому інформація, описана експертом у пункті 2аналітичної довідки «Результати роботи експерта», буде використана головою експертної групи для оцінювання вимоги та заповнення Звіту (додаток 14 до наказу), а в пункті 3 «Пропозиції щодо оцінювання» – для підготовки Висновків (додаток 15 до наказу) та Рекомендацій (додаток 16 до наказу).

ІІ. Узагальнення головою експертної групи інформації,

наданої експертами

З метою систематизації інформації, описаної в аналітичних довідках (пункт 3 форми), голова фіксує результати в Узагальненій таблиці критеріїв, індикаторів та інструментарію для оцінювання освітніх і управлінських процесів закладу загальної середньої освіти та внутрішньої системи забезпечення якості освіти

(додаток 1 до Методики). Зокрема, визначає рівні оцінювання напроти кожної із використаних форм. Такий підхід дозволить голові експертної групи в подальшому аргументовано підготувати Висновок та Рекомендації.

Таблиця3

Узагальнена таблиця

критеріїв, індикаторів та інструментарію для оцінювання

освітніх і управлінських процесів закладу загальної середньої освіти та внутрішньої системи забезпечення якості освіти

(витяг із таблиці)

Критерії

оцінювання

Індикатори оцінювання

Методи збору інформації

Інструментарій, що буде використано для оцінювання

Результати

оцінювання

1

2

3

4

В

Д

ВП

Н

Напрям оцінювання ІІ. Оцінювання здобувачів освіти

Вимога 2.3 Спрямованість системи оцінювання на формування у здобувачів освіти відповідальності за результати свого навчання, здатності до самооцінювання

2.3.2. Заклад освіти забезпечує самооцінювання та взаємооцінювання здобувачів освіти

2.3.2.1. Учителі в системі оцінювання навчальних досягнень використовують прийоми самооцінювання та взаємооцінювання здобувачів освіти

2.3.2.1.

Спостереження (навчальне заняття).

Опитування (інтерв’ю із заступником керівника, анкетування здобувачів освіти, педагогічних працівників)

1. Форма спостереження за навчальним заняттям (питання 7 п. 3).

2. Перелік питань для інтерв’ю із заступником керівника (п. 21).

3. Анкета для учня/учениці (п. 25).

4. Анкета для педагогічних працівників (п. 7)

+

+

+

Інформація за одним індикатором, отримана під час спостереження і опитування, може різнитися між собою. Розглянемотакий випадок на прикладі індикатору 2.3.2.1 «Учителі в системі оцінювання результатів навчання використовують прийоми самооцінювання та взаємооцінювання здобувачів освіти». За результатами анкетування педагогів переважна більшість (91%) вказала, що використовують прийоми самооцінювання та взаємооцінювання здобувачів освіти. Це відповідає високому рівню. Разом з тим, учні відповіли, що педагоги рідко використовують прийоми самооцінювання та взаємооцінювання (рівень, що вимагає покращення). Експерти, які відвідували навчальні заняття, у аналітичних довідках вказали, що лише окремі вчителі використовують прийоми самооцінювання івзаємоцінювання в системі оцінювання результатів навчання. У такому випадку, пріоритетною є інформація, отримана за результатами спостереження за проведенням навчального заняття.

У Висновку голова експертної групи констатує результати анкетувань та спостережень за проведенням навчальних занять, освітнім середовищем, описуючи досягненняіпотреби ЗЗСО вудосконаленні освітньої діяльності та внутрішньої системи забезпечення якості освіти.

У Рекомендаціях можна запропонувати педагогічній раді, шкільним методичним об’єднанням вчителівнаприклад, ознайомити вчителів з особливостями застосування формувального оцінювання учнів, а саме: активній участі учнів у процесі оцінювання.

ІІІ. Зіставлення узагальненої інформації з вербальним шаблоном, наведеним у таблиці «Орієнтовні рівні оцінювання якості освітньої діяльності закладу освіти»

З метою оцінювання вимоги/правилаголова експертної груписпівставляє узагальнену інформацію, описану експертами в пункті 2 аналітичної довідки, з вербальним шаблоном«Орієнтовні рівні оцінювання закладу загальної середньоїосвіти щодо дотримання вимоги/правила організації освітніх і управлінських процесів закладу освіти та внутрішньої системи забезпеченняякості» (додаток2до Методики) та відмічає всі збіги.

Розглянемо на прикладі вимоги 2.1.«Наявність відкритої, прозорої і зрозумілої для здобувачів освіти системи оцінювання їх навчальних досягнень».

Таблиця 4

Орієнтовані рівні оцінювання

закладу загальної середньої освітищодо дотримання

вимоги/правила організації освітніх і управлінських процесів закладу освіти та внутрішньої системи забезпечення якості освіти

(витяг із таблиці)

Рівні оцінювання якості освітньої діяльності ЗЗСО

Перший (високий)

Другий (достатній)

Третій

(вимагає покращення)

Четвертий (низький)

Напрям оцінювання 2. СИСТЕМА ОЦІНЮВАННЯ ЗДОБУВАЧІВ ОСВІТИ

Вимога/правило організації освітніх і управлінських процесів закладу освіти та внутрішньої системи забезпечення якості освіти

2.1. Наявність відкритої, прозорої і зрозумілої для здобувачів освіти системи оцінювання їх результатів навчання

2.1.1.Критерії, правила та процедури оцінювання результатів навчання оприлюднено у різнихформах

2.1.1. Критерії оцінювання результатів навчання оприлюднено в різних формах, а правила і процедури оцінювання висвітлено на сайті закладу освіти та/або в змісті освітньої програми

2.1.1. Критерії, правила та процедури оцінювання результатів навчання оприлюднено лише на сайті закладу освіти (наприклад, у змісті освітньої програми)

2.1.1. Критерії, правила та процедури оцінювання результатів навчання учнів не оприлюднено

Здобувачі освіти отримують інформацію про критерії, правила та процедури оцінювання їхніх результатів навчання із сайту закладу, в усній формі від педагогічних працівників за допомогою інформаційних стендів у навчальних кабінетах та інших приміщеннях закладу

Більшість здобувачів освіти отримують інформацію про критерії, правила та процедури оцінювання їхніх результатів навчання визначеним у закладі способом, у тому числі від педагогічних працівників

Більшість здобувачів освіти не отримують інформацію, у тому числі й від педагогічних працівників, про критерії, правила і процедури оцінювання їхніх результатів навчання

Здобувачі освіти практично не отримують інформацію, у тому числі й від педагогічних працівників, про критерії, правила і процедури оцінювання їхніх результатів навчання

2.1.2. Система оцінювання у закладі освіти ґрунтується на компетентнісному підході. Вчителі застосовують різні прийоми формувального оцінювання результатів навчання учнів

2.1.2. Система оцінювання у закладі освіти ґрунтується на компетентнісному підході.Переважна більшість учителів застосовують різні прийоми формувального оцінювання результатів навчання учнів

2.1.2. Система оцінювання у закладі освіти не враховує всіх вимог компетентнісного підходу. Більшість учителів застосовують елементи формувального оцінювання результатів навчання учнів

2.1.2. Здебільшого вчителі не застосовують систему оцінювання, що ґрунтується на компетентнісному підході, не застосовують формувальне оцінювання

2.1.3.Здобувачі освіти вважають, що оцінювання результатів їхнього навчання у закладі освіти є справедливим і об’єктивним

2.1.3. Переважна більшість здобувачів освіти вважають оцінювання результатів їхнього навчання в закладі освіти справедливим і об’єктивним

2.1.3. Більшість опитаних здобувачів освіти вважають оцінювання їхніх результатів навчання в закладі освіти справедливим і об’єктивним

2.1.3. Менше половини здобувачів освіти вважають оцінювання результатів їхнього навчання в закладі освіти справедливим і об’єктивним

ІV.Оцінювання вимоги/правила

Голова експертної групи визначає рівень якості освітньої діяльності вимоги/правила за більшістю співпадінь інформації, отриманої у ЗЗСО, з вербальним шаблоном, описаним удодатку 2 до Методики, по кожному із критеріїв вимоги.

Наприклад, у таблиці № 3 кількість збігів розподілилася таким чином:

високий рівень − 1 співпадіння;

достатній рівень – 2 співпадіння;

рівень, що вимагає покращення – 1 співпадіння;

низький рівень – жодного співпадіння.

Таким чином, вимогу 2.1. оцінено на достатній рівень.

При цьому, якщо є одне і більше співпадінь з вербальним шаблоном, що відповідає низькому рівню, вимога не може бути оцінена на високий чи достатній рівень.Якщо кількість співпадінь розподілиласяпорівну між високим, достатнім і рівнем, що вимагає покращення, то використовується метод відкидання крайніх правих і лівих результатів вибірки. Тобто відкидається високий рівень та рівень, що вимагає покращення. Отже,вимога оцінюється на достатній рівень.

Критерії 1.1.2., 1.1.3., 1.1.4., 1.1.5., 1.1.6., 1.1.7., 1.3.3., 1.3.4., 1.3.5., 2.2.1., 2.3.1., 3.2.2., 3.3.1., 4.3.1., 4.3.3., 4.5.1. складаються з двох індикаторів. При зіставленні інформації, отриманої в закладі освіти,з вербальним шаблоном, можливі випадки, коли співпадіння в межах критерію, що складається з двох індикаторів, розподілилися між різними рівнями.Тобто, у разі виникнення спірної ситуації, оцінювання здійснюється за нижчим зазначеним рівнем. Наприклад, при оцінюванні вимоги 2.1. співпадіння інформації, отриманої в ЗЗСОз вербальним шаблоном,в межах критерію 2.1.1. розподілилися між достатнім рівнем і рівнем, що вимагає покращення. Відповідно при оцінюванні вимогидо уваги береться рівень, що вимагає покращення.

Водночас, коли співпадіння розподілилися між високим і достатнім рівнями, при оцінюванні вимоги враховуємо співпадіння, що відповідають високому рівню.

V. Оцінювання напряму

Оцінювання напряму здійснюється шляхом знаходження середньоарифметичного значення отриманих оцінок за кожною з вимог/правил, що входять до напряму.

Щоб оцінити напрям за вимогами/правилами потрібно зробити два кроки:

1.                     Вирахувати середньоарифметичне значення вимог/правил освітнього напряму.

2.                     Співвіднести отримане середньоарифметичне значення зі шкалою визначення рівня якості освітньої діяльності.

Наприклад, напрям «Освітнє середовище» складається з трьох вимог/правил.Розподіл балів за вимогами/правилами становить:

-  оцінка вимоги/правила 1.1. «Освітнє середовище забезпечує комфортні та безпечні умови навчання та праці» відповідає рівню, що вимагає покращення

(2 бали);

-  оцінка вимоги/правила 1.2. «Освітнє середовище закладу освіти вільне від будь-яких форм насильства та дискримінації» відповідає достатньому рівню (3 бали);

-  оцінка вимоги/правила 1.3. «Формування інклюзивного, розвивального та мотивуючого до навчання освітнього простору» відповідає низькому рівню

(1 бал).

Знаходимо середньоарифметичнезначення за формулою:

p1 +  p2 + … + pn

    p. = ------------------------------   (формула 1),

  n

де:

p – середньоарифметична оцінка напряму;

pn – бал вимоги/правила;

n - кількість вимог/правил у напрямі.

2+3+1

2 = -------------(формула 1),

3

Співставляємо отримане значення середньоарифметичної оцінки напряму зі шкалою визначення рівня якості освітньої діяльності (таблиця 2).

1,0 - 1,65

1,66 - 2,65

2,66 -3,60

3,61 - 4,0

низький рівень

рівень, що вимагає покращення

достатній

Високий

Отриманий середньоарифметичний бал 2,0 знаходиться у проміжку між 1,66 та 2,65 і відповідає рівню, що «вимагає покращення» якості освітньої діяльності.

VI. Оформлення Звіту

Визначені рівні вимог/правил та напряміву балах (для напрямів це – отримане середньоарифметичне значення) фіксуються головою експертної групи у Звіті, який разом із проєктом Висновку надсилається керівнику ЗЗСО. Звіт може бути оприлюднений на вебсайті засновника та/або вебсайті ЗЗСО. Інформація, відображена в Звіті, може використовуватися керівником ЗЗСО у роботі, спрямованій на:

- підвищення рівня організації освітніх та управлінських процесів;

- визначенні коефіцієнту прогресу припроведенні закладом комплексного самооцінювання.

Коефіцієнт кореляції обраховується по кожному з напрямів як різниця між цифровим значенням отриманими під час інституційного аудиту та комплексного самооцінювання, що передувало інституційному аудиту(формула2).

Формула 2

Кp=Sia ₋ Sk

Kp₋  коефіцієнт кореляції;

Sia₋ середньоарифметичний бал освітнього напряму, отриманий підчас інституційного аудиту;

Sk ₋ середньоарифметичний бал освітнього напряму, отриманий підчас комплексного самооцінювання

Коефіцієнт кореляції (Кp) може мати позитивне, від’ємне та нульове цифрове значення. Цифрові значення зі знаком «+» вказують на позитивні тенденції в освітній діяльності ЗЗСО. Нульові та від’ємні цифрові значення мотивують керівництво ЗЗСО до вжиття належних заходів щодо підвищення рівня організації освітніх та управлінських процесів.

Наприклад, за напрямом «Освітнє середовище» заклад отримав підчас інституційного аудиту середньоарифметичний бал – 2 (достатній рівень). Тоді як при комплексному самооцінюванні середньоарифметичний бал становив – 1,66 (достатній рівень).

Kp = 2 – 1,66 Kp становить 0,34

Хоча і при комплексному самооцінюванні і під час інституційного аудиту освітнє середовище ЗЗСО відповідає достатньому рівню, простежується позитивна динаміка в організації освітніх й управлінських процесів за напрямом «Освітнє середовище».

VII. Заповнення Висновку

Голова експертної групи заповнює форму Висновку, де вказує рівеньосвітньої діяльності кожного із чотирьох напрямів, описує досягненняЗЗСО і потребу у вдосконаленні освітньої діяльностіта внутрішньої системи забезпечення якості освіти.

При написанні Висновку голова експертної групи обов’язково прописує у досягненнях ЗЗСОпозитивну динаміку, що простежується за останні три навчальних роки.

VIII. Надання рекомендацій

За результатами проведеного інституційного аудитуголова експертної групи готує Рекомендації керівнику ЗЗСО та засновнику щодо підвищення ефективності внутрішньої системи забезпечення якості освіти.