Не так давно на очном тренинге в одном из банков из аудитории поступил такой вопрос:
При всем несовершенстве и даже рисках (например, опасность списывания) подобный прием может дать неплохие результаты.
Вообразим, что риск списывания исключен (например, предварительное и итоговое тестирование проходят под контролем и в назначенное время).
О чем может свидетельствовать сравнение результатов?
1. Если итоги контрольного тестирования незначительно выше предварительных (на 5-25%%), то
либо аудитория и без курса была хорошо подготовлена, либо курс "непрактичен".
2. Если результаты претеста равны, несколько или существенно выше контрольного, то
содержание курса и/ или теста (реже) нуждаются в пересмотре.
3. Если показатели итогового теста примерно на 26-49%% и более выше претестирования и при этом средний балл от 66% до 75-80%, качество курса можно считать удовлетворительным.
4. Если показатели итогового тестирования на 50 и более %% выше входного, а средний балл 75% и выше, то
Разумеется, объективность и надежность подобной проверки зависит еще от ряда факторов (прежде всего, качества контента, его объема, простоты/сложности материала, опыта работы учащихся и др.).
Надежность такого приема существенно возрастет, если к нему прибегнуть на этапе опытной эксплуатации курса:
Как просто, быстро и дешево проверить качество электронного курса.
Ответ был примерно таков: дайте контрольный итоговый тест в качестве претеста, а потом сравните результаты с выходным контролем.Вообразим, что риск списывания исключен (например, предварительное и итоговое тестирование проходят под контролем и в назначенное время).
О чем может свидетельствовать сравнение результатов?
1. Если итоги контрольного тестирования незначительно выше предварительных (на 5-25%%), то
либо аудитория и без курса была хорошо подготовлена, либо курс "непрактичен".
2. Если результаты претеста равны, несколько или существенно выше контрольного, то
содержание курса и/ или теста (реже) нуждаются в пересмотре.
3. Если показатели итогового теста примерно на 26-49%% и более выше претестирования и при этом средний балл от 66% до 75-80%, качество курса можно считать удовлетворительным.
4. Если показатели итогового тестирования на 50 и более %% выше входного, а средний балл 75% и выше, то
- либо курс очень качественен,
- либо тест весьма примитивен.
Разумеется, объективность и надежность подобной проверки зависит еще от ряда факторов (прежде всего, качества контента, его объема, простоты/сложности материала, опыта работы учащихся и др.).
Надежность такого приема существенно возрастет, если к нему прибегнуть на этапе опытной эксплуатации курса:
- дать контрольной группе (в ней достаточно иметь 25-30 человек, но лучше 50 и более) выполнить тест (очно или электронно под контролем),
- затем предоставить аудитории возможность в благоприятных условиях изучить курс,
- наконец, провести итоговую контрольную проверку.
Действительно два теста (вначале/в конце) простой способ (проще только один тест – в конце). Но у него есть два существенных «недостатка».
ОтветитьУдалитьВо-первых, составление «правильного» теста - задача не менее сложная, чем разработка курса. И ставить в зависимость качество курса от теста имхо, не очень-то хорошо.
Во-вторых, повторное выполнение теста учит! Существует эффект «натаскивания», который часто используется и в школах и ВУЗах, как наиболее быстрый и простой способ подготовки к тестированию. Приведенные цифры соотношений приведены с учетом этого факта?
С уважением, Колков Сергей
Приветствую, Сергей.
ОтветитьУдалитьВ посте (надеюсь, это заметно) я осторожничал.
1. Разделять качество курса и качество теста, мягко говоря, странно. Курс хороший, а тест плохой? Или наоборот? Несколько нелепо.
На практике я
- видел десятки (sic!) корпоративных курсов, где тест(ы) про Фому, а содержание контента - про Ерему. В ряде случаев это было связано с тем, курсы составлял учебный центр, а тесты по его тематике составляло другое подразделение или т.н. методологи. В другом ряде случаев все упиралось в компетенции разработчиков.
- участвовал в создании десятков ведомственных курсов с аналогичной картиной: контент и тесты, предъявленные заказчиками негармонировали на 30-80%. Отредактировал контент, переписал тесты. В итоге к модернизированному контенту были вновь прикручены совершенно кривые прежние ведомственные сертификацонные тесты (!). Аудитория же таких курсов (суммарно) сотни тысяч (точнее, чуть больше миллиона)людей в год.
ИМХО, такая практика - это нехорошо.
2. Сергей, давай различать. Тест учит косвенно. Его прямое назначение - диагностика и оценка усвоенного. Учат, тренируют, отрабатывают упражнения и задания. Иногда и корректируют ошибки с помощью обратной связи.
По форме тренировочно-закрепительные задания могут абсолютно совпадать с тестовыми вопросами (заданиями)(в КурсЛабе, например, это отчасти так). А вот их функции, назначение, смысл может быть разным.
ИМХО, корректное составление тестов задача потруднее (для меня, к примеру), нежели составление/написание контента.
Проблема же проверки качества содержания курса с помощью контрольного теста состоит в профессионализме их разработчиков. И то и другое должно быть сделано грамотно. Дело не в курсе и не в тестах, а в степени освоения матчасти по их созданию.