Лекция 8. Средства конструирования компьютерных методик, опросников
Преимущество предложения
Используя сервис ОН-ЛАЙН ТЕСТИРОВАНИЕ, Вы не тратите своих усилий на приобретение, внедрение и поддержание сложной и дорогостоящей системы, а также получаете возможность проводить сеансы тестирования в любой точке доступа к Интернету.
Конструирование компьютерных методик, опросников может осуществляться либо встроенными средствами открытых систем компьютерной психодиагностики либо специализированными программами - конструкторам тестов. С помощью конструктора тестов психолог может набирать и преобразовывать любые профессиональные текстовые методики в компьютерный вариант и перестанет тонуть в ворохе бумаг.
Кроме этого, с помощью конструктора тестов психолог может создавать свои собственные методики, анкеты, опросники, необходимые для конкретной ситуации. У него появляется возможность проводить тестирование, анкетирование, опрос не только учащихся, но и учителей и даже родителей. В процессе такой работы постепенно накапливается своя электронная библиотека, свой банк компьютерных тестов, которые пригодятся в работе со всеми участниками образовательного процесса.
В Интернете также есть неплохие находки, которые помогут создать компьютерный вариант теста:
http://www.uchportal.ru/load/3-1-0-910
http://www.uchportal.ru/load/3-1-0-1
http://soft.softodrom.ru/ap/Konstruktor-testov-p4024
http://freesoft.ru/?id=7999
Возможности программы TESTER [9]
Инструментальная профессиональная система компьютеризированного тестирования TESTER разработана коллективом под руководством Голенкова Викт. В. (г. Минск) и предназначена для психологов, педагогов, а также других потребителей информации о психических свойствах и знаниях людей. Данная система является достаточно универсальным профессиональным инструментальным средством компьютеризированного психологического тестирования и контроля знаний.
В данном случае под профессиональными инструментальными средствами компьютеризированного тестирования будем понимать программную систему, являющуюся оболочкой, которую путем настройки и наполнения ее информационных баз можно превратить в профессиональное автоматизированное рабочее место специалиста, работающего с тестами для психологического тестирования и/или контроля знаний (например, психолога, кадрового работника, педагога). Такое автоматизированное рабочее место является профессиональным при соблюдении следующих самых общих условий: в нем возможно использование профессиональных тестов, в нем учтены психологические требования к интерфейсу с испытуемым и к организации процесса тестирования, а также требования профессионалов к набору необходимых средств (возможностей). Таким образом, в профессиональных инструментальных средствах компьютеризированного тестирования должен быть реализован достаточно полный набор функций для настройки системы, а также для получения, хранения, поиска, обработки необходимой информации, в том числе функции создания и редактирования необходимого набора компьютерных вариантов тестов без использования программистов и функции проведения тестирования различных видов.
Необходимость предоставления пользователям не только готовых тестов, баз вопросов, но и инструментальных средств определяется тем, что существующие широко распространенные средства компьютерного тестирования часто обладают какими-то из следующих недостатков:
1. Не автоматизированы многие необходимые в практической работе задачи.
2. В компьютерных тестах имеются различные ошибки, как в вопросах, так и в обработке результатов. Эти ошибки часто с трудом обнаруживаются пользователем и ему их невозможно исправить.
3. Интерфейс с испытуемыми часто реализован с отходом от стандартов тестов, с использованием психологически неверной цветовой гаммы, что пользователю также невозможно исправить.
4. В достаточной степени не реализованы требования конкретного использования тестовой системы на каждом конкретном рабочем месте:
• не реализован требующийся на данном рабочем месте набор необходимых тестов,
• не реализован требующийся на данном рабочем месте необходимый вид и содержание интерпретации результатов тестирования,
• не реализованы конкретные требования к организации работы с тестовой системой для автоматизации решаемых на данном рабочем месте задач, то есть требования к общему алгоритму работы системы.
В подавляющем большинстве случаев в готовой тестовой системе не существует полного набора необходимых тестов, а рассчитывать на удовлетворение конкретных требований к интерпретации результатов тестирования просто не реально.
В настоящее время уже не вызывает сомнений полезность применения в различных организациях компьютерных средств психологического тестирования и контроля профессиональных знаний, проведения аттестаций. С точек зрения экономии материальных средств и удобства использования целесообразно объединить функции контроля знаний и психологического тестирования в рамках одной системы.
Необходимость наличия в инструментальной системе компьютеризированного тестирования развитых средств интерпретации получаемых результатов особенно очевидна для психологических тестов. В интерпретации должна быть обеспечена возможность наличия: числовых значений результатов; диаграмм; словесного объяснения. Интерпретация должна при необходимости зависеть от: полученных приведенных числовых значений; пола испытуемых; возраста испытуемых; категории испытуемых. Категория испытуемых - это уровень подготовленности к восприятию различной профессиональной информации, уровень конфиденциальности. Например, интерпретация результатов должна зависеть от того, выдается она испытуемому, психологу или педагогу.
На практике психологам приходится сталкиваться с необходимостью сопоставлять результаты, полученные с использованием различных тестов. Например, эта задача возникает иногда при профотборе.
У психологов также иногда возникает необходимость автоматически подобрать тесты, необходимые для определения степени выраженности определенных психических свойств.
Для решения этих задач в системе TESTER реализованы средства тестирования по набору психических свойств, включающие в себя: а) средства автоматического формирования последовательностей ("батарей") тестов и б) специальные средства профотбора, позволяющие, в частности, сопоставлять результаты, полученные с помощью различных тестов.
Для обеспечения возможности удаленного тестирования, включающего в себя управление процессом удаленного тестирования и автоматический сбор результатов с использованием сети (как локальной, так и сети INTERNET) системы автоматизированного тестирования должны включать в себя специальные средства. Необходимо отметить, что на практике требуется обеспечить выполнение всех функций тестирования, хранения и сбора информации даже в случае отказа сети и/или некоторых компьютеров, в том числе и сервера.
Система TESTER является профессиональной, поэтому при ее создании реализовывались следующие принципы и следующие средства:
1. Множественность средств предъявления заданий (тексты, графические материалы, объекты мультимедиа, динамические объекты и т.д.).
2. Развитые средства задания ограничений по времени для разных этапов тестирования, а также средства измерения времени различных действий (например, нахождения ответа), в частности, выбора или ввода ответа.
3. Возможность, если этого требует тест, обратной связи с испытуемым в процессе тестирования.
4. Множественность способов ответов на вопросы (выбор вариантов, ввод с клавиатуры и т.д.).
5. Многомерность (многофакторность) психологических измерений и измерений для контроля знаний, что необходимо для профессиональной работы.
6. Многокомпонентность возможных ответов, то есть множественность подответов (предлагаемых вариантов ответа, полей ввода и т.д.).
7. Многовариантность одного подответа, то есть, например, в одном и том же поле ввода для одного подответа может быть несколько ключевых строк.
8. Множественность процедур обработки каждого подответа (ключевых строк под одним номером подответа), эти процедуры задаются для групп подответов;
9. Множественность вариантов процедур обработки каждого варианта подответов (ключевых строк под одним номером подответа):
– совпадение (с возможностью отрицания, то есть инверсии),
– включение (с возможностью отрицания, то есть инверсии).
10. Многоуровневость обработки ответов:
· – ключи:
· Ø ключевая строка,
· Ø подответ,
· Ø группа подответов,
· Ø вопрос,
· – расчет на "сырых" значениях,
· – приведение значений,
· – расчет на "приведенных" значениях.
11. Множественность способов приведения значений к различным шкалам.
12. Множественность шкал, к которым могут приводиться значения.
13. Возможность автоматизированного расчета статистических норм.
14. Средства интерпретации результатов в различных формах и с учетом категории пользователей.
15. Средства автоматического построения тестов-билетов по задаваемым правилам.
16. Средства тестирования по набору психических свойств с обеспечением возможности сопоставлять результаты, полученные с помощью различных тестов.
17. Различные режимы проведения тестирования и сбора информации с использованием локальной сети и сети INTERNET.
Система TESTER может использоваться как автоматизированное рабочее место для проведения психологических обследований, в ней также реализованы специальные средства, позволяющие удобно и эффективно ее использовать для контроля знаний. Это, прежде всего, мощные средства формирования индивидуальных наборов вопросов требуемого состава и сложности для различных форм контроля знаний, различных категорий испытуемых с учетом множества различных факторов, средства анализа результатов, а также специальные средства работы с протоколами тестирования в случае возникновения претензий у испытуемых, то есть для работы с апелляциями.
С помощью системы TESTER психологи, кадровые работники, педагоги и те, кому необходимы соответствующие компьютерные средства, не являясь специалистами в области компьютерной техники, могут за короткое время создать и использовать в практической работе удовлетворяющий их требованиям необходимый набор тестов, экзаменаторов и т.п., не прибегая к услугам программистов. Готовые тесты могут без труда быть проверены и при необходимости исправлены. С системой поставляется и большой набор готовых тестов.
В системе TESTER реализован универсальный принцип построения индивидуальных заданий ("билетов", наборов вопросов) для каждого испытуемого.
Таким образом, компьютерная система TESTER создана для автоматизации широкого круга работ проведения психологических, психофизиологических и педагогических обследований, аттестаций и автоматизирует, в основном, процессы создания тестов; сбора данных; получения числовых оценок психических свойств, знаний, умений и навыков; интерпретации полученных оценок; хранения и поиска информации; обработки результатов; получения различных справок. Реализованы некоторые функции статистической обработки.
Набор профессиональных средств, реализованных в системе, является достаточно полным и позволяет автоматизировать широкий круг работ психологов. Система полезна для психологов, имеющих различную квалификацию. С одной стороны, в системе присутствуют средства, автоматически выполняющие какие-то работы, предлагающие какие-то решения, что повышает качество работы недостаточно квалифицированного психолога, а, с другой стороны, квалифицированный психолог имеет возможность влиять на результаты работы системы, использую свои знания и опыт.
Основными достоинствами использования системы TESTER являются:
1. Невысокая стоимость по сравнению с системами такого же класса.
2. Реализованный в системе инструментарий позволяет не только проводить компьютеризированное тестирование, но и решать различного рода задачи по получению, хранению и обработке информации, в том числе проводить исследования по подбору, апробации и валидизации методик.
3. Большой набор разнообразных методик, реализованный в системе, позволяет подобрать наиболее подходящие методики для различных применений.
4. Возможность оперативного создания и/или коррекции необходимых в данный момент компьютерных психологических тестов, анкет, экзаменаторов без использования программистов. То есть система предоставляет психологам и преподавателям простую возможность вносить изменения в компьютеризированные тесты и сразу же пользоваться ими, не прибегая к помощи программистов, что позволяет вывести процесс тестирования на новый качественный уровень, так как любой тест может быть очень быстро адаптирован к конкретным условиям.
5. Возможность использования в тестах большого набора различных способов ответов на вопросы, использования в тестах графики, анимации и мультимедиа-объектов позволяет реализовывать очень широкий набор тестов. Возможность простого использования в тестах графики позволяет создавать компьютерные тесты, в том числе и для детей, даже еще не умеющих читать.
6. Существенное уменьшение времени на проведение тестирования, анкетирования, аттестации, опроса (в том числе и по различным учебным предметам), а также на обработку и оформление результатов.
7. Возможность автоматического получения заданий («билетов») для различных категорий испытуемых, причем индивидуально для каждого испытуемого, позволяет повысить достоверность результатов, т.к. затруднена передача от одного испытуемого к другому информации о правильных ответах, а также уменьшается трудоемкость предварительной подготовки билетов.
8. Наличие средств, обеспечивающих возможность тестирования по набору психических свойств, включающих в себя: а) средства автоматического формирования последовательностей ("батарей") тестов и б) специальные средства профотбора, позволяющие, в частности, сопоставлять результаты, полученные с помощью различных тестов.
9. Возможность совместного использования и совместной обработки в одном обследовании несколько тестов (в том числе и различного типа) вместе, позволяет автоматизировать проведение комплексного обследования испытуемого, осуществлять комплексную интерпретацию результатов по нескольким тестам, в частности, сочетать оценки пригодности того или иного испытуемого к данному виду деятельности и его уровня подготовленности.
10. Возможность сохранения протокола хода опроса, тестирования (в том числе и времени ответа на каждый вопрос) позволяет проанализировать возникающие у испытуемых затруднения, устранить спорные моменты при возникновении претензий у испытуемых.
11. Наличие единой базы данных позволяет осуществлять поиск испытуемых по различным критериям, автоматизировать процесс выдачи справок, сводных ведомостей, получение полной (по всем тестам) интерпретации, которая может быть оформлена в виде документа, например, характеристики.
12. Возможность хранения накапливаемых данных и получения в любой момент их интерпретации по различным аспектам существенно облегчает написание характеристик, отчетов и т.п., так как сводится чаще всего к незначительной корректировке автоматически получаемых текстов.
13. Возможность хранения всех результатов проведения тестов и экзаменов, то есть по нескольким датам и даже по всем запускам тестов, позволяет проводить сравнение результатов, оценивать прогресс или регресс испытуемого по данному параметру. Таким образом, можно делать выводы, в том числе и об эффективности работы той или иной системы образования, подготовки кадров.
14. Возможность одновременного хранения анкетных данных, успеваемости, психологической информации в системе TESTER позволяет избежать затрат времени на ввод одних и тех же данных (например, фамилии, имени и отчества учащихся и учителей) в разные компьютерные системы, а также позволяет комплексно и полно использовать имеющиеся в системе данные.
15. Оперативное получение результатов тестирования позволяет повысить заинтересованность испытуемых, а, следовательно, и улучшить достоверность получаемых данных. Особенно это важно при работе с трудновоспитуемыми учащимися. При предлагаемом подходе их заинтересованность повышается и возможностью поработать наедине с компьютером.
16. Возможность удобного группирования испытуемых и дальнейшей разносторонней работы с образованными группами позволяет, например, оформлять результаты тестирования в виде различных сводных таблиц, получать статистические и другие показатели. Предусмотрена возможность получения и использования различных норм оценок для конкретных профессиональных областей и оперативного уточнения этих норм.
17. Статистическая обработка (расчет) позволяет осуществлять анализ полученных результатов по группам испытуемых.
18. Возможность перенесения данных с одного компьютера на другой позволяет организовать тестирование или экзаменование на нескольких компьютерах с последующим удобным переносом информации в центральную базу данных для дальнейшего ее хранения, анализа, использования психологом или педагогом, даже в случае отсутствия локальной сети.
19. Наличие необходимого уровня защиты от несанкционированного доступа. В частности, система предоставляет необходимый уровень защиты от возможности разглашения или изменения результатов тестирования, что позволяет использовать ее не только как инструмент для оценки способностей тестируемого, но и как надежное хранилище информации. Это позволяет эффективно использовать систему даже в учебных компьютерных классах.
20. Разнообразные средства настройки позволяют получить вариант системы, максимально удовлетворяющий имеющимся конкретным условиям использования.
Для понимания необходимости описываемых средств системы TESTER отметим следующие факторы:
1. Набор необходимых анкетных данных и различных анализируемых показателей различен в разных организациях, соответственно различаются и наборы необходимых психологических тестов, анкет и тестов контроля знаний. Универсального набора показателей, тестов, анкет не может существовать, то есть нужны удобные средства настройки, в том числе и средства создания компьютерных вариантов тестов, анкет без использования программистов.
2. Серьезные организации никогда не разглашают используемый ими набор психологических тестов, анкет и тестов контроля знаний, а тем более - предпочтительные ответы на вопросы. Тесты контроля знаний и анкеты обычно разрабатываются или самими организациями, которым они необходимы, или по их заказу с обязательным соблюдением режима секретности, что еще более увеличивает необходимость наличия средств создания компьютерных вариантов тестов, анкет без использования программистов.
Основными достоинствами системы TESTER для решения задач работы с персоналом являются:
1. Наличие в системе TESTER инструментальных средств для создания компьютерных вариантов тестов позволяет любой организации реализовать для оценки персонала свой (корпоративный) набор психологических тестов, тестов контроля знаний, анкет, причем без использования программистов.
2. Возможность автоматизировать процесс принятия решений на основе одновременного анализа совокупности результатов, полученных с помощью различных тестов.
3. Наличие средств автоматического построения последовательностей тестов на основе заданного набора психических свойств с учетом возраста, пола и других данных конкретных испытуемых позволяет получить необходимую оптимальную последовательность тестов, подобрать необходимые тесты без подробного знания их особенностей.
4. Наличие средств профотбора позволяет осуществлять качественный и обоснованный подбор персонала по различным специальностям, для конкретных видов работ.
5. Большой набор средств для различного рода обработки результатов тестирования, для представления результатов в различных формах позволяет существенно оптимизировать время работы психолога, улучшить наглядность результатов, решать задачи, которые практически невозможно решать вручную.
6. Наличие различных уровней доступа пользователей к средствам системы, что подразумевает предоставление различного набора возможностей системы и различного вида и содержания интерпретации в зависимости от типа пользователя.
7. Сохранение протокола хода опроса, тестирования дает возможность проанализировать возникающие у испытуемых затруднения, устранить спорные моменты, возникновение претензий у испытуемых. Протокол тестирования содержит: заголовок теста; Ф.И.О. тестируемого; дату; последовательность вопросов и ответов; время (в секундах), затраченное испытуемым при ответе на каждый вопрос.
8. Наличие единой базы данных позволяет осуществлять поиск испытуемых по различным критериям, автоматизировать процесс выдачи справок, сводных ведомостей, получение полной (по всем тестам) интерпретации, которая может быть оформлена в виде документа, например, характеристики.
9. Статистическая обработка (расчет) позволяет осуществлять анализ полученных результатов по группам испытуемых.
10. Разнообразные средства настройки позволяют получить вариант системы, максимально удовлетворяющий имеющимся конкретным условиям использования.
Полезность реализации в единой системе своего контрольного набора тестов для оценки персонала, учитывающего направление деятельности, специфику управленческих отношений, особенности организационной культуры, приоритетное направление развития и др. конкретной организации уже осознана во многих организациях. Методы оценки персонала, используемые в системе, - анкетирование, тестирование, экспертные оценки, ранжирование, программированный контроль, экзамен - позволяют проводить как психодиагностическое исследование, так и профессиональное тестирование по специальностям.
Для создания компьютерных вариантов тестов не надо быть программистом. Технология создания тестов в системе предполагает общее знание компьютера на уровне пользователя. Для разработки компьютерного варианта теста при наличии файла, содержащего его полное описание, необходимо 10-60 минут в зависимости от его сложности и объема.
Алгоритм создания компьютерных вариантов тестов прост. Вначале создается исходный файл, который должен содержать понятные даже неспециалисту фрагменты теста: название, аннотацию, описание, вопросы, ключи и интерпретацию. Дальнейшая работа заключается в манипулировании операциями копирования и переноса информации в систему. В системе имеется большой набор готовых компьютерных вариантов психологических тестов (120 тестов включено в основной набор), анкет и специализированных средств (10), тестов контроля знаний (86).
Возможность одновременного использования совокупности результатов, полученных с помощью различных тестов, в том числе и возможность использования результатов, полученных с помощью одного теста в качестве исходных данных для другого, фильтрация и ранжирование информации дает возможность автоматизировать процесс принятия решений, выявить людей соответствующих заданным требованиям.
Для автоматического построения последовательностей тестов задается набор необходимых психических свойств и для каждого свойства указывается достоверность, с которой необходимо определить данное свойство. При построении последовательностей тестов минимизируется необходимое время тестирования при обеспечении достоверностей не ниже заданных.
Профотбор реализуется путем включения в автоматически формируемую последовательность тестов специальных средств, обеспечивающих для каждого испытуемого получение числовых значений показателя годности (чем он выше, тем больше испытуемый удовлетворяет указанным требованиям) и показателя негодности (чем он выше, тем меньше испытуемый удовлетворяет указанным требованиям). Если показатель негодности больше нуля, то испытуемый считается негодным. В процессе интерпретации результатов профотбора выводятся значения показателей годности и негодности, вывод относительно годности испытуемого и причины, по которым он не годен (в случае негодности). Для работы средств профотбора — при задании исходных данных для автоматического построения последовательностей тестов каждому указанному психическому свойству ставится в соответствие его необходимая выраженность.