Поскольку ROI часто используется и применяется неверно, важно понять, что ROI – это вовсе не результат. Это просто показатель, который отражает финансовое отношение между расходами на создание и поставку решения – курса, проекта, плана изменений – и итоговой выгодностью этих затрат для бизнеса. Это просто ответ на вопрос – окупились ли расходы? Если должным образом проанализировать и представить этот показатель, он очень полезен, но сам по себе он никогда не должен выступать единственным индикатором успеха.

Точно так же, как нельзя определить качество шоколада, только лишь внимательно рассмотрев коробку, нельзя и оценивать качество производительности по значению ROI. Качество ROI определяется с помощью качественного анализа – ROI quality analysis. Истинные результаты выражаются улучшением в измерениях одного или нескольких ключевых показателей бизнес-результатов. Эффективные решения должны делать сотрудников готовыми к работе, чтобы они могли выполнять ее и достигать необходимых результатов:

• Готовность к производительности (Обучение и иные решения) –
• Выполнение работы (Применение решения) –
• Бизнес-результаты (Улучшения определенных показателей).

Для подсчета ROI необходимо выявить денежную ценность и улучшения бизнес-результатов. Чтобы определить их, лучше всего обратиться к деловым книгам организации, так как в них обычно обозначен статус тех или иных измерений и приведены известные данные об их денежной ценности. Если же доступа к этому источнику нет, можно использовать оценочный и иные методы, при условии проведения соответствующего анализа и верного представления данных.

Ниже приводится формула расчета ROI и описывается типичный сценарий оценки, чтобы проиллюстрировать, как протекает этот процесс. Сценарий оценки здесь называется «Ложный ROI», так как он включает некоторые спорные оценочные решения – как очевидные, так и неочевидные. В этом сценарии упомянутые решения применятся для качественного анализа ROI.

«Ложный ROI»

В колл-центре Mountain Media Cable & Communications Co. сотрудники техподдержки испытывали сложности, помогая клиентам устранять неполадки с высокоскоростным Интернет-соединением. Отдел обучения в сотрудничестве с менеджером колл-центра провел оценку потребностей в обучении. Был выявлен недостаток умений, который служил главной причиной значительного роста жалоб от потребителей, поступавших в три колл-центра. Чтобы улучшить умения сотрудников технической поддержки и уменьшить число жалоб, для 180 работников колл-центров был проведен шестичасовой тренинг, предоставлено решение для увеличения производительности, а затем последовал месяц персонального коучинга под наблюдением супервизоров.

Учебный персонал провел оценку решения, чтобы выявить ROI и бизнес-результаты. Полная сумма расходов на обучение составила 110 тысяч долларов. Чтобы выявить улучшения в работе техподдержки, использовалась запись абонентских звонков и наблюдение супервизоров. Через 2 месяца после внедрения решения в двух колл-центрах в их деловых книгах был отражен факт, что число жалоб, поступающих от клиентов, уменьшилось на 30 в месяц. Чтобы подсчитать ROI, необходимо знать, во что эти жалобы обходились в денежной ценности.

Эти данные учебный персонал взял из недавнего правительственного исследования, в котором сказано, что обработка и разрешение типичной клиентской жалобы обходится в 595 долларов. Итак, в ходе анализа было подсчитано, что выгода от проведенных усовершенствований составила 17850 долларов ежемесячно (595 долларов Х на 30 жалоб, которых удалось избежать). Если предположить, что улучшения будут продолжаться еще по меньшей мере год, то за год ежемесячная сумма, полученная от улучшений, составит 214200 долларов (17850 долларов Х 12 месяцев). Итак, ROI подсчитан и составляет 95%

Поскольку точка самоокупаемости для ROI  - ноль, превышение суммы стоимости на 95% кажется очень впечатляющим. Но давайте заглянем под шоколадную глазурь этой конфетки, чтобы установить качество ROI, рассмотрев стратегию оценки и проведенный анализ подробнее. Что должно интересовать пытливый ум – это не число, которым выражается ROI, а то, как оно было получено.

Качественный анализ ROI – что же он отражает на самом деле?

При анализе результатов и подсчете ROI, каким бы строгим стандартам это ни подчинялось, возможны ошибки и неточности. Но раз на основании этих результатов – которые могут быть неверно истолкованы и даже сфальсифицированы – принимаются важнейшие решения, качественная значимость показателя ROI всегда должна ставиться под вопрос.

Поскольку объем работ не позволяет учесть все типы ложных интерпретаций и все ключевые переменные, мы возьмем четыре фактора: причинно-следственные влияния, устойчивость результата, денежная ценность и стоимость решения. Каждому из факторов дано краткое определение и объяснение, как связанные с ним ложные интерпретации делают результат оценки ROI в Mountain Media сильно преувеличенным.

Причинно-следственное влияние. Рассмотрим факторы, которые позволяют нам получить удовольствие от подаренного шоколада. Удовлетворение вызывает все переживание целиком – одной только красивой коробки или вкуса шоколада недостаточно. Чтобы получить удовольствие, важны еще и испытываемые чувства, обстановка и особые обстоятельства.

Что касается учебных решений, здесь по внимание следует принять два важнейших вопроса:

1.    Разработка решения. Если продолжить развивать нашу шоколадную аналогию, то все четыре фактора – вкус, чувства, обстоятельства и окружение – должны быть включены в разработку. Определяя эффективность конечного решения, необходимо рассматривать его комплексно – а не только лишь единственный учебный компонент, как это сделали в Mountain Media. Если рассматривать обучение, коучинг и подкрепления как единое решение – это практический подход, который отражает то, что было сделано, чтобы повлиять на производительность.

2.    Иные факторы. Когда улучшаются результаты измерений, возможно, что причиной тому – внешние, неучтенные факторы. Но оценка, проведенная в Mountain Media, полностью проигнорировала такую вероятность. Чтобы выявить причинно-следственное влияние примененного решения в сравнении с иными факторами влияния, можно применить какой-либо из трех практических методов:
•    Применение контрольной группы.
•    Анализ обусловленных тенденций.
•    Оценки, полученные из надежных источников.

Решение Mountain Media в течение 2 месяцев поставлялось в два из трех колл-центров, а на третий месяц – в оставшийся. Так что разумным представляется рассмотреть третий колл-центр, который обладает теми же характеристиками, что и первые два, как контрольную группу, чтобы определить причинно-следственную связь улучшений с внедрением решения. По прошествии двух месяцев, в организации обнаружили ежемесячное уменьшение количества жалоб на 30 в двух «экспериментальных» колл-центрах.

За тот же период времени в «контрольном» центре было отмечено месячное уменьшение числа жалоб на 10, что означает – есть и факторы, не имеющие отношения к примененному решению, но приведшие к снижению жалоб. Поскольку такая контрольная группа вполне надежна, можно заключить, что эти факторы имели место и в экспериментальных группах. Так что качественный анализ ROI показывает – число жалоб снизилось на 20, а не на 30.

Устойчивость результата. Приятный вкус шоколада ощущается недолго, но вот удовлетворение от самого подарка может сохраняться и месяцы спустя. Продолжительность того времени, когда результаты сохраняются, оказывает на величину ROI огромное влияние. А в оценке Mountain Media результат улучшений за месяц автоматически экстраполировали на год вперед. Полагать, что результаты, полученные от внедрения решения, сохранятся и после периода сбора данных – это недобросовестный анализ. Экстраполировать полученные результаты на год можно только тогда, когда на основании надежных источников проведен анализ ситуации и сделан вывод, что результаты сохранятся еще, по меньшей мере, год. Но даже в этом случае в бизнес-среде существует множество не поддающихся контролю переменных, так что результаты внедрения краткосрочных решений нельзя экстраполировать больше, чем на один год. Предварительные выводы следует делать на всех стадиях процесса оценки.

Ставя правильные вопросы, качественный анализ ROI показывает: снижение числа жалоб в результате внедрения решения это эффект, который, по всей вероятности, продлится 9 месяцев, а не 12, как предполагалось сначала. Ключевым фактором анализа стало недавно принятое операционистами решение обеспечить потребителей новой технологией в последнем квартале года. Это оборудование включает опцию встроенной автоматической техподдержки, что, по заключениям внутренних экспертов, минимизирует число звонков.

Денежная ценность. Не все шоколадки стоят одинаково. Некоторые обходятся дороже из-за бренда, а другие продаются дешевле. Точно так же варьируется и денежная ценность бизнес-показателей – в разных организациях даже один и тот же показатель может иметь разную ценность.

Маржа прибыли и различные качественные показатели – это известные величины, которые можно получить из внутренних источников организации. Известные показатели ценности рассматриваются как надежные, так как обычно выводятся внутри организации и в контексте уникальной ситуации. Если же ценность не известна, узнать ее можно с помощью следующих средств:

1.    Привязав показатель к другому показателю, ценность которого известна.
2.    Основываясь на соответствующих надежных исследованиях.
3.    Воспользовавшись оценкой от достойных доверия источников.

В Mountain Media пошли по второму пути, взяв значение в 596 долларов из правительственного исследования. Но расспросив заслуживающие доверия источники, в ходе качественного анализа ROI удалось выяснить, что  руководители обслуживания клиентов прекрасно знали, во что обходится каждая жалоба – 400 долларов на каждую. Данные, взятые из правительственного исследования, не имели специфичного характера, они обобщали ситуацию по всем типам индустрий. Такая переоценка серьезно исказила показатель ROI.

Цена решения. Цена шоколадки и ценность, которую она собой представляет, это гораздо больше, чем цена, за которую ее можно купить. Например, это еще и время, потраченное на ее выбор, и создание подходящей обстановки для вручения подарка – у этого тоже есть своя цена. Точно так же и учебное решение требует дополнительных расходов.

В Mountain Media в оценку включили полную стоимость обучения, но проигнорировали стоимость времени супервизоров, которое они потратили на коучинг. Хотя коучинг и входит в их обычные обязанности, все же дополнительное время, отводимое на него, должно быть включено в расчет стоимости. Активный коучинг на протяжении 30 дней увеличил общую стоимость обучения со 110000 долларов до 125 тысяч.

Так как же всё на самом деле?

В таблице приведено резюме «Ложного расчета ROI» в сравнении со скорректированными результатами качественного анализа ROI.

Итак, качественный анализ ROI, затронув лишь 4 фактора, влияющих на выводы, которые определяют величину ROI, проведен – а выводы вы можете сделать сами. Нужно знать, откуда берутся результаты. Недопустимо принимать деловое или личное решение, основываясь только лишь на показателе ROI. Но очень многие менеджеры и консультанты часто поступают именно так. Они даже сравнивают показатели окупаемости разных программ, как будто в этом есть какой-то смысл. Не дайте себя запутать цифрами – лучше выясните о показателях ROI всю правду.