Ректор Національної школи суддів Микола Оніщук:

«Тестологічний центр — чи не єдина повноцінна установа, здатна забезпечити систему правосуддя екзаменаційними інструментами»

У структурі Національної школи суддів з’явився новий підрозділ — Тестологічний центр. Він займається питаннями підготовки для Вищої кваліфікаційної комісії суддів матеріалів для проведення відбіркового та кваліфікаційного екзаменів, заходів, пов’язаних зі спеціальною підготовкою претендентів на мантії, оцінювання служителів Феміди. Про історію створення та завдання ТЦ в інтерв’ю «ЗіБ» розповів ректор НШС Микола ОНІЩУК.

«Ідея створення центру була обумовлена як ходом судової реформи, так і кадровим та методологічним зростанням спроможності школи»

— Миколо Васильовичу, чому і як виникла ідея створити Тестологічний центр при НШС?

— Одним із ключових напрямів роботи НШС є науково-методичне забезпечення діяльності ВККС (ст.105 закону «Про судоустрій і статус суддів»). Так, школа ще з моменту створення в 2010 році залучалася до формування матеріалів для тестування кандидатів на посаду судді. Водночас з проведенням у 2016-му реформи судоустрою, запровадженням нових інститутів кваліфікаційного оцінювання і посиленням тестової складової добору кандидатів на посаду судді обсяг необхідних тестових матеріалів, які мають забезпечити проведення тестувань/оцінювань, значно зріс. У свою чергу, це зумовило потребу диверсифікувати та спеціалізувати відповідний напрям роботи НШС.

1 вересня 2016 року за ініціативою школи було створено ТЦ як науково-методичну інституцію з питань проведення іспитів (екзаменувань) для потреб судової системи та здійснення науково-методичного забезпечення проведення ВККС незалежних стандартизованих екзаменувань. Нас у цьому підтримали як ВККС, так і Державна судова адміністрація. Спочатку центр функціонував як підрозділ у складі відповідного відділу, а з 1 червня 2017-го наказом ректора був перетворений у самостійний підрозділ НШС.

Отже, ідея створення центру була обумовлена як ходом судової реформи, втіленням екзаменаційних новацій у сфері суддівської кваліфікації, так і кад-ровим та методологічним зростанням спроможності школи.

— Створивши ТЦ, НШС вирішила відмовитися від послуг сторонніх організацій щодо підготовки запитань у сфері права? Чим це було викликано?

— Школа не користується послугами сторонніх організацій щодо підготовки запитань у сфері права. Для розроблення запитань або завдань з права чи запитань з української мови (у рамках відбіркового іспиту кандидатів на посаду судді) у разі потреби школа додатково залучає вчених-правників, суддів у відставці, науковців-філологів. Діяльність названих розробників матеріалів школа забезпечувала на власній організаційній та методологічній базі. Від практики залучення найкращих спеціалістів у правничій чи іншій сфері ми не плануємо відмовлятися, а використовуватимемо цей ресурс і надалі на додачу до функціональних спроможностей ТЦ.

— Центру вдається готувати якісніший продукт, ніж це робили інші організації?

— Питання про співмірну якість тестового продукту нашого центру та інших організацій, які готують матеріали для правничих тестувань. По-перше, жодну іншу установу у державі, крім НШС, закон не наділив повноваженнями забезпечувати проведення іспитів (екзаменувань) для потреб судової системи. По-друге, щоб оцінити інструменти оцінювання, потрібно здійснити порівняльний психометричний аналіз застосованих інструментів тестування. Як нам відомо, такий аналіз у країні здатні провести далеко не всі з тих, хто бере участь у розробленні правничих тестових матеріалів.

Що стосується якості продукту, який готується школою суддів для проведення тестувань: наші завдання проходять повний цикл розроблення, внутрішнього та зовнішнього рецензування, предметну (фахову) експертизу, апробацію та відповідне змістовне корегування. У цьому відношенні ТЦ — чи не єдина повноцінна установа (а не хед-офіс, як деякі українські бізнес-структури), здатна забезпечити систему правосуддя відповідними екзаменаційними інструментами.

«Достатня кількість оприлюднених основ тестових запитань не призводить до втрати самими завданнями діагностичних якостей»

— Як нам відомо, поки що центр не готує психологічних тестів. Коли він видаватиме на-гора всі тести для кандидатів на посади суддів і служителів Феміди?

— Психологічні тестування у процедурах добору кандидатів на посаду судді та кваліфікаційного оцінювання суддів стали новелою закону «Про судоустрій і статус суддів». Діяльність у цьому напрямі вже розпочалася. Нині ми проводимо роботу зі зміцнення власного потенціалу і сподіваємося, що найближчим часом наші напрацювання матимуть втілення у практичній площині. Зокрема, йдеться про розроб-лення та адаптацію відповідних методик психологічних тестувань.

— Що для НШС дешевше — мати власний ТЦ чи залучати до співпраці сторонні організації?

— Питання про витрати держави на створення тестових матеріалів риторичне. Воно суголосне із таким: що краще — мати власний експертний ресурс чи постійно звертатися до стороннього? Це значною мірою залежить від характеру поставленого завдання. Якщо на порядку денному — створення специфічного тестового інструменту, як, наприклад, тестування кандидатів на посаду судді Вищого суду з питань інтелектуальної власності, то залучення додаткового експертного ресурсу буде доречним. Якщо ж мова йде про усталені тестування, то ми спираємося на власний підготовлений персонал.

— Як ставитеся до того, що ВККС оприлюднює тестові запитання для певного іспиту, адже попередній склад комісії цього не робив (доступною була тільки програма іспиту, в якій конкретні питання не зазначалися)?

— Відкритість основ тестових запитань шляхом їх оприлюднення на сайті ВККС є необхідним кроком для забезпечення прозорості конкурсних процедур. Достатня кількість оприлюднених основ тестових запитань не призводить до втрати самими завданнями діагностичних якостей. Водночас це допомагає уникнути спекуляцій на тему про нерівність вихідних умов підготовки до тестування, стимулює його учасників до самоорганізації та концентрації на фаховій сфері, а не на подоланні перепон з формою сприйняття тестових зав-дань. Досягненню цієї мети покликані сприяти оприлюднені на сайті ВККС зразки тестових запитань/модельних судових справ.

— Якщо претенденти на мантії чи судді знатимуть, які питання їх чекають, невже це допоможе визначити реальний рівень знань?

— Підкреслю, що на сайті ВККС оприлюднюються лише основи тестових запитань, а не запитання повністю. Варіанти відповідей на них (правильна відповідь на запитання та неправильні (відволікаючі) варіанти відповіді) не розміщуються. Якщо учасник тестування не має достатнього рівня знань на момент підготовки до тестування, то оприлюднені основи завдань, які конкретизують програму відповідного тестування, не стануть значним полегшенням. Для прикладу: ви можете проаналізувати результати відбіркового іспиту кандидатів на посаду судді, коли участь у анонімному тестуванні з права та мови взяли 4128 осіб, проте відповідні тестування успішно склали лише 700.

«Кількість тестових матеріалів, що відсіюється після апробації, незначна»

— Хто і як рецензує тести? Чи залучаються до рецензії судді?

— Тестові запитання проходять як внутрішнє рецензування самими розробниками, так і зовнішнє — експертами школи та залученими фахівцями (суддями, науковцями, які пройшли відповідну підготовку з методик експертування запитань). Переважно до експертування залучаються науковці або судді у відставці, які є визнаними фахівцями у правничому середовищі. Діючі судді можуть залучатися до такої роботи в порядку відрядження до НШС або в інших формах участі в експертній роботі. Ми не тільки відбираємо експертів за критеріями професійної кваліфікації, а й перевіряємо їх на предмет відсутності конфлікту інтересів при виконанні завдань з експертування запитань.

Опрацювання тестових матеріалів складається з двох етапів: власне розроблення та двох незалежних рецензувань. Рецензування здійснюється двома різними експертами за таким алгоритмом: перше вивчення — передання зауважень розробнику — робота розробника над зауваженнями — розгляд змінених матеріалів — остаточний висновок.

Рецензентами є науково-викладацький склад НШС (внутрішнє рецензування), а також експерти у відповідній галузі знань, залучені за цивільно-правовими угодами (зовнішнє рецензування). Фінальне рецензування тестових запитань, що надійшли для включення в базу даних, здійснюється працівниками ТЦ, які приймають остаточне рішення про:

• відхилення питання;

• повернення його на доопрацювання;

• включення до бази.

— Як відбувається апробація тестових запитань, практичних зав-дань, модельних судових справ?

— Апробація запитань та практичних завдань організовується в рамках навчальних заходів, які проводяться в школі для діючих суддів різних інстанцій та спеціалізацій. Згідно зі стандартами проведення апробаційних заходів вони повинні тестуватися на аудиторії, яка максимально наближена за різними параметрами (кваліфікацією, мотивацією тощо) до тієї, яка використовуватиметься в подальшому при проведенні іспитів для кандидатів на посаду судді і суддів. Супровід апробаційних заходів здійснює підготовлений персонал ТЦ, який аналізує результати апробації та враховує їх при коригуванні інструментів тестування.

Апробація тестових матеріалів проводиться для контролю коректності змісту тестових матеріалів, контролю наявності розрізнювальної здатності й вимірювальних властивостей тестових матеріалів, «калібрування» тестових матеріалів, тобто класифікації завдань відповідно до їхніх вимірювальних характеристик. Контроль коректності змісту тестових матеріалів можна здійснювати через апробацію на аудиторії, що відрізняється від цільової. Наприклад, апробацію тестових матеріалів для тестування суддів першої інстанції можна проводити, пропонуючи ці завдання суддям апеляційної чи касаційної інстанцій. Водночас розрізнювальну здатність і вимірювальні властивості тестових матеріалів можна оцінити лише в середовищі суддів, на яких розраховане відповідне оцінювання. За результатами апробації проводиться аналіз тестових матеріалів за статистичними критеріями якості. З урахуванням оцінки спеціалістів з психометрії центр приймає рішення про внесення змін до тестових матеріалів або занесення/незанесення його до бази тестових матеріалів.

— Чи багато тестів, практичних завдань та модельних судових справ відсіюється після апробації?

— Кількість тестових матеріалів, що відсіюється після апробації, незначна. Це зумовлено тим, що виявлені помилки підлягають усуненню силами експертів ТЦ, і ці недоліки, як правило, є латентними: їх неможливо виявити в процесі рецензування, адже сприйняття питання рецензентом і аудиторією може відрізнятися. До речі, лише НШС має можливість здійснювати апробацію в цільовій аудиторії суддів під час проведення заходів суддівської освіти. Інші організації чи установи такої можливості не мають, хоч доволі часто позиціонують себе як лідери ринку тестувань.

— Трапляються випадки, коли після затвердження тестової бази, проведення тестування виявляється, що на деякі запитання можна обрати не одну відповідь, а дві?

— Випадки виявлення недоліків тестових запитань на пізніх етапах їх формування трапляються, і це природно. Однак механізми рецензування та апробації тестових матеріалів мінімізують такі ризики, запобігають помилкам, сприяють їх своєчасному виявленню та усуненню. Саме тому НШС дотримується класичних стандартів підготовки тестових матеріалів.

— Який відсоток уже затверджених запитань може виявитися з огріхами (наприклад, зумовлює різне тлумачення, може передбачати кілька відповідей)? Які заходи вживає ТЦ, аби не допускати подібних помилок?

— Визначити експертним шляхом, який відсоток запитань має приховані недоліки, складно, іноді навіть неможливо.

«Замовлення від ВККС щодо розроблення тестів та практичних завдань для другого конкурсу на посади у ВС поки що не надходило»

— Запитання з української мови для кандидатів у судді, які складали відбірковий іспит, довелося готувати вперше, адже раніше такий екзамен не складався. Чи виникали труднощі з підготовкою цих запитань?

— При напрацюванні концепції відбіркового іспиту обговорювалися різні можливі форми перевірки рівня володіння кандидатом на посаду судді державною мовою — від написання твору (есе) до складання тестів. Урешті-решт експертне середовище зупинилося на варіанті тестової форми перевірки, яка була визнана найбільш прийнятною, оскільки унеможливлює суб’єктивну складову в оцінюванні знань кандидатів, створює рівні умови для всіх учасників тестування, забезпечує ґрунтовну перевірку знань, умінь і навичок кандидата. Оскільки знання української мови як екзаменаційна складова запроваджена вперше, вимоги до кандидатів щодо рівня володіння мовою за погодженням із ВККС були доволі поміркованими.

— Як часто ТЦ оновлюватиме бази запитань, практичних завдань?

— Центр за визначенням здійснює моніторинг актуальності тестових матеріалів, відстежуючи зміни у законодавстві та судовій практиці. Останній наочний приклад — це доопрацювання тестів, які були завчасно підготовлені для проведення кваліфікаційного оцінювання суддів. Як відомо, 15 грудня 2017 року набрали чинності зміни до процесуального законодавства, а тести на той час уже були підготовлені. Звідси доволі значний обсяг роботи щодо їх доопрацювання. Це стосується і модельних судових справ.

— Яка кількість запитань з права є в базі центру як для претендентів на мантії, так і для суддів?

— Інформація про загальну кількість запитань у тестових базах (різного ступеня готовності) є закритою.

— Хто і як визначає, яким має бути рівень складності запитань?

— Встановлення стандартів будь-якого тестування є формуванням вичерпного переліку кваліфікаційних вимог і критеріїв, а також інструментів перевірки відповідності вимогам і критеріям. Кваліфікаційні вимоги встановлюються ВККС при направленні технічного завдання з розроблення тестових матеріалів до школи. На підставі кваліфікаційних вимог визначається необхідна складність тестових матеріалів. Фактична складність установлюється експертним шляхом (на етапі розроблення) та за результатами апробації.

— Чи готує ТЦ тестові запитання та модельні справи для кандидатів на посади у Вищому суді з питань інтелектуальної власності? На якому етапі ця підготовка?

— Тестові запитання для кандидатів на посади у ВСІВ готувалися групою розробників з Науково-дослідного інституту інтелектуальної власності Національної академії правових наук у рамках реалізації положень Меморандуму про співпрацю між НШС та НДІ. Нині ТЦ проводить рецензування бази запитань, після чого вона буде передана до ВККС.

— Чи планується розробляти нові питання та модельні справи для конкурсу до Верховного Суду? Адже незабаром має відбутися другий етап конкурсу. А оскільки були прийняті нові редакції процесуальних кодексів, питання, напевно, теж потребують оновлення.

— Звичайно, в планах школи є розроблення відповідних матеріалів. Однак замовлення від ВККС щодо опрацювання тестів та практичних завдань для другого конкурсу до ВС поки що не надходило.

 

ДОВІДКА «ЗіБ»

Матеріали та інструменти, які готує Тестологічний центр (за даними 2017 року)

Проекти програм іспитів для:

• кваліфікаційного оцінювання суддів апеляційних і місцевих судів на відповідність займаним посадам;

• кваліфікаційного оцінювання суддів та кандидатів на посаду судді Вищого суду з питань інтелектуальної власності;

• перевірки рівня володіння державною мовою кандидатами на посаду судді.

Проекти таксономічної характеристики:

• анонімного письмового тестування під час кваліфікаційного оцінювання кандидатів на посаду судді ВСІВ;

• анонімного тестування для перевірки рівня володіння державною мовою кандидатами на посаду судді.

Тестові запитання для:

• проведення іспитів у процедурах кваліфікаційного оцінювання суддів місцевих та апеляційних судів, а саме: адміністративна, цивільна, господарська та кримінальна спеціалізації;

• перевірки рівня загальних теоретичних знань кандидатів на посаду судді у сфері права;

• перевірки рівня володіння державною мовою кандидатом на посаду судді;

• забезпечення проведення іспитів у процедурах кваліфікаційного оцінювання суддів місцевих і апеляційних судів; окремо для кожного рівня та спеціалізації прорецензовано тестові запитання, що були раніше підготовлені та передані Вищій кваліфікаційній комісії суддів (у зв’язку зі зміною процесуальних кодексів та деяких законів).

Практичні завдання (модельні судові справи) для:

• проведення іспиту під час кваліфікаційного оцінювання кандидатів на посаду судді Верховного Суду, а саме — кримінальна спеціалізація, а також формуляри та інструкції оцінювання цих справ;

• проведення іспитів у процедурах кваліфікаційного оцінювання суддів місцевих та апеляційних судів, а саме:  адміністративна, цивільна, господарська та кримінальна спеціалізації. Усього підготовлено: тестів —  майже 6000; модельних судових справ — 50.