Современный подход к оценке креативности с использованием компьютерных программных средств

Современный подход к оценке креативности с использованием компьютерных программных средств

Современный подход к оценке креативности с использованием компьютерных программных средств

А. Н. Бобров, А. В. Сухойваненков

Рассмотрены основные шаги построения алгоритма программы, способной производить оценку креативности идеи, описаны ее функциональные возможности. Данное исследование интегрирует знания разных научных сфер: психологии и информационных технологий. Освещены критерии оценки креативности и проблемные точки, возникающие при построении компьютерной программы, представлен ряд решений возникающих задач.

Тема, поднимаемая в данной статье, еще недостаточно разработана и осмыслена исследователями. Находясь в большей мере на психометрических позициях, мы утверждаем, что большинство качеств и способностей человека можно измерить, оценивая успешность прохождения определенных тестовых заданий относительно других людей, поставленных в равные условия эксперимента. Психологические методы во все большей степени начинают опираться на компьютерные способы оценки и обработки. Уже достаточно зарекомендовали себя компьютерные комплексы тестирования личностных особенностей, интеллектуальные тесты и тренажеры, тесты способностей. Они обеспечивают стандартизированное предъявление стимула, точность обработки полученных сырых баллов, широкие возможности по графическому и текстовому отображению результатов, возможность ведения статистики и др.

Между тем, есть качества личности и способности, процесс оценки которых трудно формализуем и в достаточной мере субъективен. К разряду таких качеств относится креативная способность. Идея, описываемая ниже, отражает возможности применения компьютерных технологий в сфере исследования креативности.

Потребность в изучении данной тематики вызвана рядом противоречий, сложившихся в настоящий момент:

• между потребностью практики в экспресс-методах оценки креативности и достаточно трудоемкими и длительными методами обработки, применяемыми в настоящее время;

• между потребностью в стандартизации проведения эксперимента и слабой защищенностью в этом плане ручных методов обработки;

• между накопленными в области информационных технологий знаниями о самообучающихся программах, системах накопления знаний и слабым использованием данных наработок в области психологических исследований.

Область применения описываемого алгоритма достаточно широка и включает в себя кадровые агентства, образовательные учреждения, конкурсные отборочные проекты. Для многих профессий сферы дизайна, журналистики, рекламы, педагогики, конструкторских, инженерных и изобретательских областей необходима способность нестандартно мыслить, открывать новые, невидимые прежде грани, сочетания ранее не взаимодействующих предметов. Для профессий описываемого круга такая способность может выступать как ключевая, определяющая их профессиональную готовность и реализованность.

С другой стороны, программа может служить не только в целях диагностики уровня сформированности креативности, но выступать в роли тренажера для ее развития.

Программа может также использоваться в процессе массовых исследований, в то время, как используемые ранее ручные методы обработки способны охватить лишь достаточно ограниченный круг испытуемых в виду своей трудоемкости и длительности подготовки и проведения.

Основу для психометрического подхода в изучении креативности заложили исследования Е.

Торренса, Ф. Вильямса, Е. Туник, И. С. Авериной, Е. И. Щеблановой. Перечисленные ученые в своих исследованиях обосновывали компоненты, составляющие креативность, описывали и стандартизировали процедуры, оценки выраженности указанных компонент, проводили межкультурную адаптацию методик. Итогом проделанной ими работы стало появление авторских методик изучения креативности

Креативность в наиболее общем виде описывается как способность человека выходить за рамки стимульной ситуации, предлагать ответы, отличающиеся высокой оригинальностью и нестандартностью мышления. Креативное решение, как правило, базируется на рассмотрении скрытых свойств предмета, оригинального его применения, сочетании «несочетаемых» свойств, перенесении имеющихся правил поведения в новые условия на новые объекты и др.

Итак, одним из ключевых качеств, заложенных в большинстве тестовых методик на определение креативности, выступает оригинальность ответа. Оно описывает статистическую редкость ответа относительно изучаемой выборки. Оригинальным считается ответ, встречающийся не чаще чем один раз на 30 - 50 испытуемых. Шкала оригинальности закладывается на этапе создания методики, в ходе апробации ее составляется список наиболее типичных вариантов. Ответ, не входящий в данный список, считается оригинальным. При обработке большого объема протоколов (свыше 300) кроме наиболее стандартных ответов начинает выстраиваться континуум и выделяются ответы, отличающиеся оригинальностью и описывающие большинство проявлений изучаемого признака или предмета.

Таким образом, в оценке креативности решения той или иной задачи необходим творческий подход. Именно это и создаёт основное препятствие в компьютерной оценке результатов теста.

Другой параметр, оцениваемый в большинстве методик, - соответствие ответа даваемого испытуемым исходному заданию. В тестовых методиках он не выделяется как отдельная шкала, но часто выступает как отсевающий фактор. Например, при подсчете числа ответов испытуемого учитываются только те, которые соответствуют стимулу.

В ходе оценки результатов, если ответ испытуемого проходит по критерию соответствия исходному стимулу, начинается оценка по оригинальности. Специалист, работающий с тестом, просматривает имеющиеся категории наиболее типичных ответов и строит заключение об оригинальности ответа. При тестировании большого числа испытуемых вырабатывается навык, и обращения к списку становятся более редкими. В случае, если попадаются спорные ответы, собирается группа экспертов, дающих заключение об оригинальности того или иного ответа. Примерно так выглядит процесс ручной обработки теста на креативность.

Рассмотрим возможные пути его автоматизации. Необходимо ограничить сферу применения описываемого ниже алгоритма тем, что он работает с вводимыми испытуемыми с клавиатуры текстовыми строками. Ответы, даваемые тестируемым, должны быть на русском языке и содержать достаточно подробный ответ на стимульную ситуацию (более 75 символов).

Если описывать в общих чертах, то наш алгоритм работы заданий на креативность построен на принципе самообучения и накопления базы ответов. В некоторых заданиях есть возможность поиска соответствия по ключевому слову. Однако в большинстве случаев вопрос поставлен так, что ключевое слово может и не присутствовать. После ввода ответа программа особым образом обрабатывает данные, приводя каждое из введенных слов к основной форме слова. Сходный алгоритм используется в поисковых системах сети Интернет для того, чтобы ответы, данные во множественном числе или в единственном (поехал, поехали), или в разных родах (пришел, пришла) и др., воспринимались как равноположенные. Затем введенный ответ сравнивается с имеющимся в базе ответов, при высоком совпадении (различия не более 2-3 слов на 2 - 3 предложения) делается вывод об оригинальности ответа. Параметр оригинальности определяется экспертами как на этапе апробации программы, так и в ходе ее дальнейшей работы.

В программу вмонтирован ряд фильтров для того, чтобы отсеять ответы, даваемые немотивированными тестируемыми - ответы из сплошных пробелов или из набора в произвольном порядке набранных букв латинского или русского языка. Также ведется корректировка ввода, например, программа одинаково воспринимает слова, введенные с использованием буквы ё, и с заменой ее на е.

Для спорных случаев используется коррекция правописания двойных букв в слове, регистра ввода, повторений слов «очень-очень», «сильно, сильно», использование в ряде случаев синонимического словаря, исключение вводных предложений, не влияющих на смысловое ядро идеи: «я считаю», «по моему мнению» и др.

Если искомого ответа нет в базе, то по умолчанию ему присуждается средний балл, и по завершению тестирования экспертную группу просят оценить оригинальность ответа. После оценки экспертом ответ поступает в базу знаний, и в дальнейшем при обращении к этому ответу испытуемому начисляется то количество баллов, которое было определено экспертной группой.

Экспертная группа может включать в себя до 12 специалистов, которые дают заключение по 5 балльной шкале. Средние значения соответствуют трем баллам, оригинальные в зависимости от уровня делят между собой баллы 4 и 5. Неоригинальные ответы - 2 и 1. Также выделяется особая категория ответов, выводимых в отдельную базу, считающихся не соответствующими исходному стимулу.

С наращиванием базы число обращений к экспертам снижается, и программа становится способной делать заключения на основе имеющихся «знаний». Обработка результатов ввода становится практически мгновенной, что особенно важно при проведении массовых психодиагностических исследований или в ходе отборочного тестирования с целью приема на работу.

Разрабатывается алгоритм, задача которого - просматривать базу ответов и в спорных случаях выводить ответ на повторную экспертизу. Как один из вариантов такой переоценки - ситуация, если ответ оценен группой экспертов как оригинальный, а статистика тестирования показывает высокую частоту встречаемости данного варианта в изучаемой выборке.

Прорабатывается возможность обмена базами знаний между автономными программами. Такое пополнение базы способствует повышению надежности работы программы, поскольку учитывает ответы большего числа испытуемых, возможно разной профессиональной и личностной направленности, эрудированности и др.

Сфера применения данного алгоритма достаточно обширна. Он может использоваться для заданий на сочетание предметов, написание картинки либо ситуации взаимодействия, для описания смысла «новых» слов и др.

Все же необходимо отметить, что программе для того, чтобы она смогла проявить себя как система, реализующая принципы искусственного интеллекта, необходимо сравнительно больше времени и числа проведенных тестирований, чем человеку-психологу в сходной ситуации. На стороне человека выступают накопленный жизненный и профессиональный опыт, способность к абстрактному мышлению, построению аналогий. На стороне компьютерной системы способны выступить более обширные объемы «памяти», быстрота работы и стандартизация предъявления стимулов и оценки результатов, отсутствие утомляемости, опора на объективное мнение экспертной группы.

Хотелось бы определить ряд задач, вытекающих из приведенного материала, каждая из которых дискуссионна и требует отдельного изучения в ходе пилотажных исследований:

1. Какой объем испытаний необходим для начала эффективной работы алгоритма с использованием собственных накопленных знаний? Каковы возможности сети Интернет для апробации алгоритма и наращивания базы знаний?

2. Каковы возможные формы построения работы с экспертами?

3. Каким образом организовать базу знаний, чтобы близкие по значению ответы сохранялись как дополняющие друг друга?

4. Какие фильтры необходимо ввести для повышения надежности обработки?

5. Как можно учесть опыт редакторской работы при коррекции ошибок ввода со стороны испытуемого?

Список литературы

Для подготовки данной работы были использованы материалы с сайта http://science.ncstu.ru