Доклад на 18-й Методической конференции по созданию новых интеллектуальных и творческих продуктов (21-23 июня 2012, г. Москва)

Автор: Костин Александр Валерьевич, Азгальдов Гарри Гайкович,

Москва

Сайт: http://www.labrate.ru

Аннотация:

Как количественно оценить качество (или уровень новизны)

различных интеллектуальных продуктов?

Как количественно измерить1 качество «контента» в сети интернет

при поисковом запросе?

На конкретном примере по оцениванию качества Доклада

авторы знакомят читателей с научной дисциплиной «квалиметрия»

и сферами возможного применения квалиметрического анализа

(и как средства уточнения используемой информации,

и как средства выбора лучшего варианта многокритериальных решений).

Костин Александр Валерьевич

Москва

к. э. н., руководитель департамента оценки

АКГ Фемида-Аудит/DFK-International,

ведущий научный сотрудник Центрального

экономико-математического института РАН (ЦЭМИ РАН)

http://www.labrate.ru/kostin

e-mail - kostin@labrate.ru

Азгальдов Гарри Гайкович

Москва

д. э. н., профессор, главный научный сотрудник

Центрального экономико-математического института

Российской Академии наук (ЦЭМИ РАН)

http://www.labrate.ru/azgaldov

e-mail - gazgaldov@mail.ru

В 20 веке перед экспертами различных стран стояла острейшая проблема нахождения надежной методологии оценивания качества (результатов деятельности творческих коллективов и их работников, продукции, услуг и т.п.). В результате в 1968 году в мире появилась новая научная дисциплина квалиметрия, спрос на использование которой существенно вырос в последнее время в связи с бурным развитием интернета и в связи с расширением областей человеческой деятельности, для которых характерна квантификация методов, средств и способов исследований [1].

Как известно, всё, что производит человек (а также с чем он сталкивается в повседневной жизни) выражается совокупностью из четырёх элементов: продукция, услуги, информация и энергия. Каждый из этих элементов наиболее полно характеризуют три фундаментальные величины:

- количество (в принятых единицах измерения);

- затраты на производство, распределение и потребление (использование, эксплуатацию, применение) единицы этого количества;

- качество единицы количества.

Первая из этих величин - количество – уже много столетий является основой расчетов в комплексе технологических дисциплин. Вторую - затраты – тоже очень давно изучают и учитывают в комплексе экономических дисциплин. Что же касается третьей характеристики - качества - то, до недавнего времени, ее практически не учитывали ни в технологических, ни в экономических, ни в управленческих дисциплинах.

Но её численный учёт сегодня очень важен. Во-первых, потому что любому руководителю (исследователю) в процессе его работы приходится сталкиваться с проблемой количественного оценивания качества – например, результатов труда (продукции и услуг); проектирования; производственного или социального процесса; деятельности коллектива (персонала).

Во-вторых, качество нужно уметь количественно оценивать в тех, весьма часто встречающихся в деятельности руководителя ситуациях, в которых ему приходится выбирать лучшее по качеству решение из двух или большего числа вариантов. Например, нужно выбрать лучший по качеству: образец продукции; тип организационной структуры; кандидата на вакансию; проектное решение; комплект оборудования и т.д. Понятно, что для решения задач такого класса обязательно необходимо умение количественно оценивать качество.

И, наконец, в-третьих, количественное оценивание качества необходимо при решении таких социально-экономических задач, в которых, для повышения точности расчетов, нужно учитывать не только количественные, но и качественные факторы: социальные, экологические, эргономические, эстетические и др.

Указанные выше обстоятельства и предопределили возникновение в 20 веке квалиметрии - научной дисциплины, изучающей методологию и проблематику комплексного количественного оценивания качества различных объектов и отдельных их качественных характеристик (в настоящее время не выражаемых в обычных экономических единицах измерения [2]).

Если немного перефразировать Уинстона Черчиля, то квалиметрия - это наилучший способ давать неточные оценки качества в условиях, когда любые другие способы дают еще менее точные оценки.

Учитывая ограниченный объем публикации познакомимся только с краткими сведениями о квалиметрии. В качестве иллюстрации рассмотрим упрощенную модель качества такого объекта, как «доклад на конференции», и проведем количественную оценку качества докладов участников конференции на основе собранных данных (Табл. 1). Пусть эта модель состоит из 7 измеримых показателей, представленных в виде дерева свойств (Рис.1).

Предположим, что нам была поставлена задача количественно оценить качество докладов участников конференции (по шести согласованным критериям) и затем, трем авторам лучших (по качеству) докладов вручить премии: за первое место – 100 000 рублей, за второе – 50 000 рублей и за третье – 25 000 рублей.

Эту задачу можно решить разными способами, но поскольку цена ошибки велика и может обернуться для организатора подобной премии потерей репутации и привести к реальным убыткам, решено было привлечь квалиметрологов:

(1) для разработки методики оценивания качества доклада;

(2) для проведения расчетов (на основе разработанной методики);

(3) для выбора трех лучших по качеству докладов.

На примере мини-кейса по оцениванию качества доклада познакомим уважаемых участников конференции с научной дисциплиной «квалиметрия», которая уже более 40 лет используется в разных странах: к настоящему моменту изданы и ежегодно издаются десятки монографий по квалиметрии, проводятся семинары и конференции; национальные и международные премии по качеству во многих странах мира проводятся с использованием квалиметрических методик, хотя порой и организаторы не знают название дисциплины, которая является теоретической основой методологии проводимых конкурсов, рейтингов и премий.

Начнем с ключевых терминов, которые используются в квалиметрии:

Объект - любой предмет или процесс; применительно к тематике данной конференции:

- одушевленный или неодушевленный;

- продукт труда или продукт природы;

- материальный или идеальный;

- естественный или искусственный;

- продукция или услуга;

- предметы или процессы.

Комментарий к термину «Объект»

В нашем случае объектом исследования и оценивания является результат творческой деятельности участников конференции (в виде подготовленного доклада в электронной или печатной форме) и процесс его доведения до аудитории (презентация доклада). Пусть для простоты на конференции было всего 5 (пять) докладчиков.

В данной задаче свойства уже определены при ее постановке (но, вообще говоря, определение свойств для оценивания качества объекта – это отдельная и не всегда простая задача [2, с.82]). Представим свойства объекта (доклада) в иерархическом виде (в виде дерева свойств).