Кластерный анализ в задаче многомерной оценки деятельности сельскохозяйственных организаций

2.   Роль информационных технологий в анализе хозяйственной деятельности

Аналитическая обработка экономической информации очень трудоемка сама по себе и требует большого объема разнообразных вычислений. С переходом к рыночным отношениям потребность в аналитической информации значительно увеличивается. Это связано прежде всего с потребностью разработки и обоснования перспективных планов предприятий, комплексной оценки эффективности краткосрочных и долгосрочных управленческих решений. В связи с этим автоматизация аналитических расчетов стала объективной необходимостью.

Современные информационные технологии позволяют целиком автоматизировать обработку всех экономических данных, в том числе и по анализу хозяйственной деятельности. Роль автоматизации аналитических расчетов заключается в следующем.

Во-первых, повышается продуктивность работы экономистов-аналитиков. Они освобождаются от технической работы и больше занимаются творческой деятельностью, что позволяет делать более глубокие исследования, вести постановку более сложных экономических задач.

Во-вторых, более глубоко и всесторонне исследуются экономические явления и процессы, более полно изучаются факторы и выявляются резервы повышения эффективности производства.

В-третьих, повышаются оперативность и качество анализа, его общий уровень и действенность.

Автоматизация аналитических расчетов и сам АХД поднялись на более высокий уровень с применением ПЭВМ, для которых характерны высокая производительность, надежность и простота эксплуатации, наличие развитого программного обеспечения, диалогового режима работы, низкая стоимость и другие. На их базе создаются автоматизированные рабочие места (АРМ) бухгалтера, экономиста, финансиста, аналитика и так далее. ПЭВМ, соединенные в единую вычислительную сеть, позволяют перейти к комплексной автоматизации АХД.

Автоматизированное рабочее место экономиста-аналитика — это совокупность информационно-программно-технических ресурсов, обеспечивающих автоматизацию аналитических расчетов.

Необходимым условием создания АРМ аналитика является наличие технической базы (персональных ЭВМ), базы данных о хозяйственной деятельности предприятия, базы знаний (методов и методик анализа) и программных средств, позволяющих автоматизировать решение аналитических задач.

Создание АРМ аналитика требует решения многих организационных вопросов, связанных с методическим, техническим, программным и информационным обеспечением.

Методическое обеспечение представляет собой систему общих и частных методик проведения анализа.

Техническое обеспечение включает комплекс технических средств, предназначенных для работы информационной системы: компьютеры любых моделей, устройства сбора, накопления, обработки, передачи и вывода информации, устройства передачи данных и линий связи и другие.

В состав программного обеспечения входят общесистемные и специальные программные продукты. К общесистемному программному обеспечению относятся универсальные программы, предназначенные для обработки любой информации, например пакеты для статистической обработки данных, для решения оптимизационных задач. Специальное программное обеспечение включает совокупность программ, разработанных для конкретной предметной области (в данном случае для решения конкретных аналитических задач). Это могут быть программы локальные и комплексные.

Локальные программы предназначены для многократного решения однотипных задач.

Программа комплексного анализа, охватывающая все стороны деятельности предприятия, включает целую систему взаимосвязанных задач. Для ее разработки требуются:

• постановка и описание задач комплексного экономического анализа;
• разработка алгоритмов и моделей решения задач, т.е. математическое описание задач для ПЭВМ;
• разработка новой информационной системы, создание банка данных для АРМ аналитика;
• разработка машинных программ решения задач АХД на алгоритмических языках ПЭВМ;
• внедрение АРМ аналитика в практику управления производством.

Эффективность АРМ аналитика во многом зависит от совершенства методик анализа, от того, в какой степени они соответствуют современным запросам управления, а также от технических возможностей ПЭВМ. Достижения в отрасли интегральной электроники, расширение ресурсной возможности и функционального совершенства ПЭВМ создают реальные условия для углубления экономических исследований, позволяют шире использовать оптимизационные методы решения аналитических задач с целью выработки оптимальных управленческих решений, направленных на повышение эффективности бизнеса и конкурентных преимуществ предприятия.[8]

2.  
   СУЩНОСТЬ КЛАСТЕРНОГО АНАЛИЗА

1.   Понятие, цели и задачи кластерного анализа

Кластерный анализ (англ. cluster analysis) — многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы. Задача кластеризации относится к статистической обработке, а также к широкому классу задач обучения без учителя.

Большинство исследователей склоняются к тому, что впервые термин «кластерный анализ» (англ. cluster — гроздь, сгусток, пучок) был предложен математиком Р. Трионом. Впоследствии возник ряд терминов, которые в настоящее время принято считать синонимами термина «кластерный анализ»: автоматическая классификация, ботриология.

Спектр применений кластерного анализа очень широк: его используют в археологии, медицине, психологии, химии, биологии, государственном управлении, филологии, антропологии, маркетинге, социологии и других дисциплинах. Однако универсальность применения привела к появлению большого количества несовместимых терминов, методов и подходов, затрудняющих однозначное использование и непротиворечивую интерпретацию кластерного анализа.

Кластерный анализ выполняет следующие основные задачи:

• разработка типологии или классификации;
• исследование полезных концептуальных схем группирования объектов;
• порождение гипотез на основе исследования данных;
• проверка гипотез или исследования для определения, действительно ли типы (группы), выделенные тем или иным способом, присутствуют в имеющихся данных.

Независимо от предмета изучения применение кластерного анализа предполагает следующие этапы:

• отбор выборки для кластеризации. Подразумевается, что имеет смысл кластеризовать только количественные данные;
• определение множества переменных, по которым будут оцениваться объекты в выборке, то есть признакового пространства;
• вычисление значений той или иной меры сходства (или различия) между объектами;
• применение метода кластерного анализа для создания групп сходных объектов;
• проверка достоверности результатов кластерного решения.

Можно встретить описание двух фундаментальных требований предъявляемых к данным — однородность и полнота. Однородность требует, чтобы все кластеризуемые сущности были одной природы, описываться сходным набором характеристик. Если кластерному анализу предшествует факторный анализ, то выборка не нуждается в «ремонте» — изложенные требования выполняются автоматически самой процедурой факторного моделирования (есть ещё одно достоинство — z-стандартизация без негативных последствий для выборки; если её проводить непосредственно для кластерного анализа, она может повлечь за собой уменьшение чёткости разделения групп). В противном случае выборку нужно корректировать.

Типы входных данных:

• признаковое описание объектов. Каждый объект описывается набором своих характеристик, называемых признаками. Признаки могут быть числовыми или нечисловыми;
• матрица расстояний между объектами. Каждый объект описывается расстояниями до всех остальных объектов метрического пространства;
• матрица сходства между объектами. Учитывается степень сходства объекта с другими объектами выборки в метрическом пространстве. Сходство здесь дополняет расстояние (различие) между объектами до 1.

В современной науке применяется несколько алгоритмов обработки входных данных. Анализ путём сравнения объектов, исходя из признаков, (наиболее распространённый в биологических науках) называется Q-типом анализа, а в случае сравнения признаков, на основе объектов — R-типом анализа. Существуют попытки использования гибридных типов анализа (например, RQ-анализ), но данная методология ещё должным образом не разработана.

Цели кластеризации:

• понимание данных путём выявления кластерной структуры. Разбиение выборки на группы схожих объектов позволяет упростить дальнейшую обработку данных и принятия решений, применяя к каждому кластеру свой метод анализа (стратегия «разделяй и властвуй»);
• сжатие данных. Если исходная выборка избыточно большая, то можно сократить её, оставив по одному наиболее типичному представителю от каждого кластера;
• обнаружение новизны (англ. novelty detection). Выделяются нетипичные объекты, которые не удаётся присоединить ни к одному из кластеров.

В первом случае число кластеров стараются сделать поменьше. Во втором случае важнее обеспечить высокую степень сходства объектов внутри каждого кластера, а кластеров может быть сколько угодно. В третьем случае наибольший интерес представляют отдельные объекты, не вписывающиеся ни в один из кластеров.

Во всех этих случаях может применяться иерархическая кластеризация, когда крупные кластеры дробятся на более мелкие, те в свою очередь дробятся ещё мельче, и т. д. Такие задачи называются задачами таксономии. Результатом таксономии является древообразная иерархическая структура. При этом каждый объект характеризуется перечислением всех кластеров, которым он принадлежит, обычно от крупного к мелкому.[4]

При анализе и прогнозировании социально-экономических явлений исследователь довольно часто сталкивается с многомерностью их описания. Это происходит при решении задачи сегментирования рынка, построении типологии стран по достаточно большому числу показателей, прогнозирования конъюнктуры рынка отдельных товаров, изучении и прогнозировании экономической депрессии и многих других проблем.

 Методы многомерного  анализа - наиболее действенный количественный  инструмент исследования социально-экономических  процессов, описываемых большим  числом характеристик. К ним относятся  кластерный анализ, таксономия, распознавание  образов, факторный анализ.

 Кластерный анализ  наиболее ярко отражает черты  многомерного анализа в классификации, факторный анализ – в исследовании  связи.

 Иногда подход кластерного  анализа называют в литературе  численной таксономией, численной  классификацией, распознаванием с  самообучением и т.д.

 Первое применение  кластерный анализ нашел в  социологии. Название кластерный  анализ происходит от английского  слова cluster – гроздь, скопление. Впервые в 1939 был определен предмет кластерного анализа и сделано его описание исследователем Трионом. Главное назначение кластерного анализа – разбиение множества исследуемых объектов и признаков на однородные в соответствующем понимании группы или кластеры. Это означает, что решается задача классификации данных и выявления соответствующей структуры в ней. Методы кластерного анализа можно применять в самых различных случаях, даже в тех случаях, когда речь идет о простой группировке, в которой все сводится к образованию групп по количественному сходству.

 Большое достоинство  кластерного анализа в том, что  он позволяет производить разбиение  объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ  в отличие от большинства математико-статистических  методов не накладывает никаких  ограничений на вид рассматриваемых  объектов, и позволяет рассматривать  множество исходных данных практически  произвольной природы. Это имеет  большое значение, например, для  прогнозирования конъюнктуры, когда  показатели имеют разнообразный  вид, затрудняющий применение традиционных  эконометрических подходов.

 Кластерный анализ  позволяет рассматривать достаточно  большой объем информации и  резко сокращать, сжимать большие  массивы социально-экономической  информации, делать их компактными  и наглядными.

 Важное значение кластерный анализ имеет применительно к совокупностям временных рядов, характеризующих экономическое развитие (например, общехозяйственной и товарной конъюнктуры). Здесь можно выделять периоды, когда значения соответствующих показателей были достаточно близкими, а также определять группы временных рядов, динамика которых наиболее схожа.

 Кластерный анализ  можно использовать циклически. В этом случае исследование  производится до тех пор, пока  не будут достигнуты необходимые  результаты. При этом каждый цикл  здесь может давать информацию, которая способна сильно изменить  направленность и подходы дальнейшего  применения кластерного анализа. Этот процесс можно представить  системой с обратной связью.

 В задачах социально-экономического  прогнозирования весьма перспективно  сочетание кластерного анализа  с другими количественными методами (например, с регрессионным анализом).

 Как и любой другой  метод, кластерный анализ имеет  определенные недостатки и ограничения: В частности, состав и количество  кластеров зависит от выбираемых  критериев разбиения. При сведении  исходного массива данных к  более компактному виду могут  возникать определенные искажения, а также могут теряться индивидуальные  черты отдельных объектов за  счет замены их характеристиками  обобщенных значений параметров  кластера. При проведении классификации  объектов игнорируется очень  часто возможность отсутствия  в рассматриваемой совокупности  каких-либо значений кластеров.