Этапы верификации прогнозов
В сравнительно простых случаях роль процедуры верификации фактически играют экспертные опросы. В более сложных случаях требуется специальная процедура по одному из восьми видов верификации, многократно описанных в литературе.
Еще раз подчеркнем, что различают априорную, апостериорную и верификацию соответствия прогноза. Первая и вторая проводятся соответственно до и после достижения горизонта прогнозирования и позволяют оценить, оправдался или не оправдался прогноз. Третья оценка проводится для установления адекватности прогностической модели и корректности методов ее построения.
Можно выделить восемь основных методов верификации прогноза:
1. Прямой метод - строится альтернативная модель, а потом анализируется, насколько ее результаты отличаются от первоначальной;
2. Косвенный метод - производится сравнение с прогнозами, полученными на основе альтернативных источников информации;
3. Инверсный метод- проверка адекватности прогнозной модели на основе ретроспекции;
4. Консеквентный метод - аналитический или логический вывод прогноза из ранее полученных прогнозов;
5. Метод повторного опроса - повторная экспертиза с учетом дополнительной информации;
6. Метод оппонирования - опровержение критических замечаний экспертов, оппонирующих прогнозу;
7. Метод учета ошибок - выявление и учет источников ошибок прогнозирования;
8. Метод альтернативной экспертизы - сравнение с мнением наиболее компетентных экспертов.
Наиболее экономичный и вместе с тем максимально эффективный при минимальных затратах и минимальном риске субъективных оценок способ — коллективный опрос экспертов (желательно, заочный). Достоверность прогнозных сценарных моделей развития семей различного типа наук, как правило, можно оценить методом экспертных оценок. Удельный вес методов экспертного оценивания при разработке прогнозов и оценке их качества в настоящее время достаточно велик, поэтому в настоящий момент его называют одним из наиболее современных методов верификации прогнозов. Итак, экспертное оценивание используется:
- при анализе информации об объекте прогнозирования и факторов, влияющих на его развитие (экологического, экономического, образовательного и др.);
- при определении прогнозируемых значений параметров, характеризующих объект;
- при создании моделей и сценариев развития (например, молодой семьи);
- при сравнительной оценке наиболее вероятного и наиболее предпочтительного альтернативного варианта перспективного развития объекта и в других случаях.
От степени корректности, эффективности, профессионализма при использовании экспертной информации во многом зависит качество прогноза. Здесь могут возникнуть проблемы отбора специалистов-экспертов (критерии отбора); адекватности преобразования экспертной информации; корректности используемых методов организации и проведения экспертизы; объективизации экспертной информации при экспертном прогнозировании.
В прогнозировании развития семей различного типа экспертиза используется на стадии верификации прогноза. Проверка прогноза на точность, достоверность проходит по следующим этапам:
1. Методическое обеспечение экспертного прогнозирования (разработка анкеты-опросника; формирование банка данных о перспективах развития объекта; банка данных об экспертах);
2. Анализ влияния факторов (условий), определяющих развитие объекта прогнозирования, формирование экспертных комиссий;
3. Определение наиболее вероятных вариантов развития внешних условий;
4. Разработка альтернативных вариантов развития внешних условий;
5. Разработка альтернативных вариантов прогнозируемых ключевых событий (социальных последствий);
6. Сравнительная оценка альтернативных вариантов прогноза;
7. Определение наиболее предпочтительного альтернативного варианта прогноза;
8. Расчет необходимого ресурсного обеспечения;
9. Создание системы уточнения прогнозной информации;
10. Корректировка первоначального прогноза.
В целом, верифицированный прогноз может дать высокую степень оправдываемости и может послужить надежной ориентирующей информацией для принятия управленческого решения.
Доработанный, уточненный, углубленный и расширенный вариант методики может быть достигнут только на заключительной стадии ис-следования, когда собрана полная информация, проведен тщательный анализ и апробированы частные методики (социологического опроса респондентов, экспертов, моделирования и др.). На стадии предпрогнозной ориентации более подробную методику представить невозможно.
Исследование завершается выработкой рекомендаций для принятия управленческих решений. Поскольку это концептуальная, логическая схема исследования, то она нуждается в апробации для конкретного объекта прогноза, уточнениях частных методик и методов. Представляется, что общетиповая методика вполне может быть использована в социальном прогнозировании как на микро-, так и на макроуровне.
Социальный прогноз является информацией для принимающих целевые, плановые, программные, проектные, организационно – управленческие решения. Поэтому работа над прогнозом не может считаться завершенной без выработки рекомендаций на основе сопоставления данных и нормативов. Методологически недопустимо передоверять последнюю процедуру самому заказчику прогноза, т.к. возникает соблазн подогнать прогнозные данные под ведомственные интересы заказчика, а тем самым обесценивается вся проделанная ранее работа. Рекомендации должны иметь возможно более объективное содержание, независимо от интересов заказчика (только в этом их значение и смысл). Поэтому их разработка – обязанность независимых от заказчика прогнозистов.
Последовательность операций разработок рекомендаций:
1. Составление предварительных рекомендаций силами исследовательской группы.
2. Обсуждение составленных рекомендаций очным (или в сложных случаях заочным) опросом экспертов.
3. Составление так называемого поствероятностного сценария состояния объекта исследования в случае реализации предложенных рекомендаций с обязательным указанием не только позитивных, но и возможных негативных последствий такой реализации. В сложных случаях проводится дополнительный опрос экспертов по содержанию представленного сценария, в более простых он совмещается с обсуждением.
4. Написание предварительного отчета об исследовании в целом (некоторые разделы могут быть подготовлены по ходу предыдущих процедур) желательно в трех вариантах:
– краткий (3—5 с.);
– развернутый (20—25 с.);
– полный (10—15 п.л.).
При этом обязательна развернутая интерпретация обеих прогнозных моделей и приложение документов по всем предыдущим процедурам.
5. Обсуждение представленного отчета очным (или в сложных случаях заочным) опросом экспертов.
6. Доработка отчета на основе обсуждения и сдача отчета заказчику.
Примечание: круг экспертов по ходу всех обсуждений должен быть по возможности стабильным, т.к. от обсуждения к обсуждению проходит «самообучение» экспертов, что повышает качество экспертизы. Опыт показывает, что без этого при прогнозировании даже самые компетентные и конструктивно мыслящие эксперты не в состоянии сразу давать прогнозные оценки должной степени адекватности.