Почему нельзя доверять рейтингам университетов

Версия для печати

О том, как не попасть на крючок псевдорейтингов, и что следует учитывать при проведении реального оценивания высших учебных заведений, рассказывает директор аналитического центра CEDOS Егор Стадный.

Как выбрать университет для обучения? Недавно Министерство образования и науки вместе с аналитическим центром CEDOS подготовили советы для поступающих о выборе и специальностях. Среди них: пообщаться со старшекурсниками и спросить, есть ли в университете коррупция при сдаче экзаменов; ознакомиться с содержанием программ; узнать, есть ли возможность для реализации студенческих проектов. А также не верить в то, что платное - обязательно лучше.

Зато, студенты и их родители часто учитывают внешние факторы, такие как бренд университета и его место в общенациональных рейтингах.

В тему: НАНУ: академический бардак

О том, как не попасть на крючок псевдорейтингов, и что следует учитывать при проведении реального оценивания высших учебных заведений, изданию LB.ua рассказывает директор аналитического центра CEDOS Егор Стадный.

Егор Стадный. Фото: thinktwiceua.org

В тему: Наука в «вакууме» украинских университетов

Так что, украинским рейтингам нельзя доверять?

Нет, они не соответствуют стандартам, на которых должны базироваться рейтинги, в первую очередь из-за проблем с достоверностью данных. Надо говорить честно, что украинских рейтингов нет вообще, мы не должны их признавать валидными. Например, рейтинг "Топ-200" не обнародует своей методологии. Если попробуете найти рейтинги за разные прошлые годы, то будут только таблички, кто какое место занял, зато совершенно непонятно, как происходил сбор информации, каким образом она обрабатывалась, какие индикаторы были решающими в итоговом оценивании. То, что этой методологии нет в публичном доступе, дает мне основания утверждать, что подобные рейтинги просто не соответствуют базовым требованиям.

В тему: 1772 студента и работника университетов Украины поедут на стажировку за границу за счет ЕС

А какие это базовые произношения?

В 2006 году на втором созыве международной рейтинговой экспертной группы IREG при поддержке ЮНЕСКО и Института политики в области высшего образования были разработаны Берлинские принципы ранжирования университетов. Они предусматривают, чтобы компании, которые будут разрабатывать рейтинги высших учебных заведений, руководствовались профессионально составленной методологией и отвечали за достоверность данных. К примеру, пункт 3 предусматривает признание разноплановости университетов и принятия во внимание различий задач и целей их деятельности. То есть, надо сопоставлять сравниваемые между собой университеты, а не составлять общенациональные рейтинги всех подряд. Высшие учебные заведения бывают различных типов, при этом не надо злоупотреблять и говорить, что каждый университет неповторимый, - они просто относятся к разным категориям. Разделять нужно не столько по направлениям (аграрный или художественный), а и по целям, которые перед собой ставит заведение; затем, в каждой такой когорте подбирать свойственные университету параметры. Например, может оказаться, что процент занятых выпускников будет больше у тех заведений, которые больше работают на рынок труда, чем у тех, для кого важнее исследовательские результаты.

В тему: У Польщі збільшується кількість студентів з України, лише 9% з них планують повертатися додому

Как тогда проводить рейтингование университетов?

Есть простые правила: организация, проводящая оценку, должна быть прозрачной, то есть любой должен понимать, кто финансирует эту организацию, откуда она берет данные о каждом университете, как их получает, насколько эти данные валидные. Не все данные можно брать в высших заведениях, потому что они будут заинтересованы в том, чтобы создавать себе лучший имидж, соответственно, надо обращаться к третьим источникам.

В исследованиях есть такое явление как воспроизводимость результатов исследования, в рейтингах оно тоже должно быть. Кроме этого, оценка должна измерять характерные для университетов явления. Допустим по аналогии, есть спортивные соревнования по бегу, и тут кто-то приходит с весами для того, чтобы измерять бег спортсменов. Это неправильный инструмент, бег спортсменов измеряется с помощью секундомера. Так же с университетами и рейтингами. Если мы измеряем деятельность университетов, нам надо измерять то, что зависит от них, а также то, что преследуют университеты как свою цель.

Например, очень дискуссионным является вопрос привлечения такого показателя, как средний балл ВНО всех поступающих в университет. Это же вроде бы совсем не результат работы университетов, ведь учатся эти люди в школе, ходят к репетиторам и потом доходят до университетского обучения. А кто-то может сказать - но это деятельность университетов в области привлечения абитуриентов с высокими или низкими баллами ВНО. То есть, мы оцениваем, насколько университеты популярны среди отличников, или тех, кто имеет высокие баллы ВНО.

Во-вторых, должна быть цель рейтинга - для чего мы его составляем? Цель - просто всех проинформировать, предоставить аккредитацию, проинформировать работодателей, родителей и абитуриентов или чтобы стимулировать университеты быть лучше? Все зависит от четко поставленных целей.

В тему: Кризис финансирования научно-технической деятельности в Украине и его масштабы

Какими тогда должны быть индикаторы?

Индикаторов не должно быть много. Мне импонируют параметры, касающиеся внешних оценок, а не то, что дают сами университеты. Если мы берем пять параметров, то пусть только один будет предоставляться непосредственно самими вузами, а четыре других чтобы шли из независимых источников. Например, я считаю, что валидные, то есть правдивые опросы студентов об их уровне удовлетворенности обучением в университете, - должны быть в рейтингах. Их можно проводить онлайн, на отдельной платформе с электронными кабинетами, логином и паролем каждого участника.

Я бы здесь привел британский национальный опрос студентов, во время которого студенты отмечают, насколько они довольны или нет различными аспектами обучения в университете. И опять же, этих вопросов не должно быть много, потому что чем их больше, тем меньше студентов захочет на них отвечать. На первом этапе я бы вообще свел опросы до трех-четырех вопросов относительно простых для интерпретации, потому что вопрос интерпретации ответов тоже очень важен.

В тему: Украина без науки

На что еще действительно стоит ориентироваться при выборе и анализе университета?

На уровень занятости среди выпускников. Это также то, что не зависит от университетов напрямую. Компания может получить данные с помощью соединения нескольких электронных баз и посмотреть, насколько успешно или нет трудоустраиваются выпускники. Следует принимать наиболее простой параметр - доля занятых выпускников конкретного года. Это все должно приводиться к определенному размеру университета - потому что понятно, что в определенных показателях могут быть какие-то преимущества чисто за счет размера университета.

В тему: В диссертации жены Кириленко помимо плагиата нашли лженаучный бред

А как насчет международных рейтингов, в которые попадают украинские университеты?

Наиболее на слуху международные рейтинги The Times Higher Education (THE), QS, ARWU и U-Multirank. Эти международные рейтинги для абсолютного большинства украинских университетов пока не показательны, причина этого очень проста - они не дотягивают до этой лиги. Это все равно, чтобы мы пригласили Украину в "Формулу-1", но дали бы старую машину, слабую команду и она бы занимала всегда последние места. Из-за того, что у нас проходит "Формула-1», может, и был бы какой-то доход, но от того, что мы всегда проигрываем, - никакой пользы. Ближайшие годы наши позиции в этих рейтингах не изменятся, потому что там данные берутся с опозданием, - годичной, а то и двухгодичной давности.

—

Наталья Шимкив, опубликовано в издании LB.ua

Перевод: Аргумент

В тему:

• Остановить «утечку мозгов». Реформа науки в Украине возможна?
• Профаны во власти убивают украинскую науку
• Через 10-15 лет украинская наука умрет естественным путем - Максим Стриха
• Какое будущее может ожидать украинскую науку
• Украинская наука: из славного прошлого — навстречу неизвестному