Автоматизированные системы обработки данных системы поддержки принятия решений

     Основными понятиями многомерной модели данных являются: гиперкуб данных (Data Hypercube), измерение (Dimension), метки (Memders), ячейка (Cell) и мера (Measure).

     Гиперкуб  данных содержит одно или более измерений  и представляет собой упорядоченный  набор ячеек. Каждая ячейка определяется одним и только одним набором  значений измерений - меток. Ячейка может  содержать данные - меру или быть пустой.

     Измерением  называется множество меток, образующих одну из граней гиперкуба. Примером временного измерения является список дней, месяцев, кварталов. Примером географического  измерения может быть перечень территориальных  объектов: населенных пунктов, районов, регионов, стран и т.д.

     Для получения доступа к данным пользователю необходимо указать одну или несколько  ячеек путем выбора значений измерений, которым соответствуют необходимые  ячейки. Процесс выбора значений измерений называется фиксацией меток, а множества выбранных значений измерений - множеством фиксированных меток.

     Преимущества  применения серверных OLAP-средств по сравнению с клиентскими OLAP-средствами: в случае применения серверных средств  вычисление и хранение агрегатных данных происходят на сервере, а клиентское приложение получает лишь результаты запросов к ним, что позволяет в общем случае снизить сетевой трафик, время выполнения запросов и требования к ресурсам, потребляемым клиентским приложением.

     1. Многомерное представление данных - средства конечного пользователя, обеспечивающие многомерную визуализацию и манипулирование данными; слой многомерного представления абстрагирован от физической структуры данных и воспринимает данные как многомерные.

     2. Многомерная обработка - средство (язык) формулирования многомерных запросов (традиционный реляционный язык SQL здесь оказывается непригодным) и процессор, умеющий обработать и выполнить такой запрос.

     3. Многомерное хранение - средства  физической организации данных, обеспечивающие эффективное выполнение многомерных запросов.

     Первые  два уровня в обязательном порядке  присутствуют во всех OLAP-средствах. Третий уровень, хотя и является широко распространенным, не обязателен, так как данные для  многомерного представления могут извлекаться и из обычных реляционных структур.

     В любом хранилище данных - и в  обычном, и в многомерном - наряду с детальными данными, извлекаемыми из оперативных систем, хранятся и  агрегированные показатели (суммарные  показатели), такие, как суммы объемов продаж по месяцам, по категориям товаров и т.д.

     Основными недостатками являются увеличение объема хранимой информации (при добавлении новых измерений объем данных, составляющих куб, растет экспоненциально) и времени на их загрузку.

     Степень увеличения объема данных при вычислении агрегатов зависит от количества измерений куба и структуры этих измерений, т.е. соотношения количества "родителей" и "потомков" на разных уровнях измерения. Для решения проблемы хранения агрегатов применяются сложные схемы, позволяющие при вычислении далеко не всех возможных агрегатов достигать значительного повышения производительности выполнения запросов.

     Как исходные, так и агрегатные данные могут храниться либо в реляционных, либо в многомерных структурах. В  связи с этим в настоящее время применяются три способа хранения многомерных данных:

     MOLAP (Multidimensional OLAP) - исходные и агрегатные  данные хранятся в многомерной  базе данных. Хранение данных  в многомерных структурах позволяет  манипулировать данными как многомерным массивом, благодаря чему скорость вычисления агрегатных значений одинакова для любого из измерений. Однако в этом случае многомерная база данных оказывается избыточной, так как многомерные данные полностью содержат исходные реляционные данные.

     Эти системы обеспечивают полный цикл OLAP-обработки. Они либо включают в себя, помимо серверного компонента, собственный интегрированный клиентский интерфейс, либо используют для связи с пользователем внешние программы работы с электронными таблицами.

     ROLAP (Relational OLAP) - исходные данные остаются в той же реляционной базе данных, где они изначально и находились. Агрегатные же данные помещают в специально созданные для их хранения служебные таблицы в той же базе данных.

     HOLAP (Hybrid OLAP) - исходные данные остаются в той же реляционной базе данных, где они изначально находились, а агрегатные данные хранятся в многомерной базе данных.

     Некоторые OLAP-средства поддерживают хранение данных только в реляционных структурах, некоторые - только в многомерных. Однако большинство современных серверных OLAP-средств поддерживают все три способа хранения данных. Выбор способа хранения зависит от объема и структуры исходных данных, требований к скорости выполнения запросов и частоты обновления OLAP-кубов. 

     8 .Интеллектуальный анализ данных (Data Mining)

     Термин Data Mining обозначает процесс поиска корреляций, тенденций и взаимосвязей посредством  различных математических и статистических алгоритмов: кластеризации, регрессионного и корреляционного анализа и  т.д. для систем поддержки принятия решений.

     При этом накопленные сведения автоматически  обобщаются до информации, которая  может быть охарактеризована как  знания.

     В основу современной технологии Data Mining положена концепция шаблонов, отражающих закономерности, свойственные подвыборкам данных и

     Поиск шаблонов производится методами, не использующими  никаких априорных предположений  об этих подвыборках. Важной особенностью Data Mining является нестандартность и  неочевидность разыскиваемых шаблонов. Иными словами, средства Data Mining отличаются от инструментов статистической обработки данных и средств OLAP тем, что вместо проверки заранее предполагаемых пользователями взаимосвязей между данными, они на основании имеющихся данных способны самостоятельно находить такие взаимосвязи, а также строить гипотезы об их характере.

     В общем случае процесс интеллектуального  анализа данных (Data Mining) состоит из трёх стадий:

     1. Выявление закономерностей (свободный  поиск);

     2. Использование выявленных закономерностей  для предсказания неизвестных  значений (прогностическое моделирование);

     3. Анализ исключений, предназначенный  для выявления и толкования  аномалий в найденных закономерностях.

     Иногда  в явном виде выделяют промежуточную  стадию проверки достоверности найденных  закономерностей между их нахождением и использованием (стадия валидации).

     Выделяют  пять стандартных типов закономерностей, выявляемых методами Data Mining:

     1. Ассоциация позволяет выделить  устойчивые группы объектов, между  которыми существуют неявно заданные  связи. Частота появления отдельного предмета или группы предметов, выраженная в процентах, называется распространенностью. Низкий уровень распространенности (менее одной тысячной процента) говорит о том, что такая ассоциация не существенна.

     2. Последовательность - это метод выявления ассоциаций во времени. В данном случае определяются правила, которые описывают последовательное появление определенных групп событий. Такие правила необходимы для построения сценариев. Кроме того, их можно использовать, например, для формирования типичного набора предшествующих продаж, которые могут повлечь за собой последующие продажи конкретного товара.

     3. Классификация - инструмент обобщения.  Она позволяет перейти от рассмотрения  единичных объектов к обобщенным  понятиям, которые характеризуют  некоторые совокупности объектов и являются достаточными для распознавания объектов, принадлежащих этим совокупностям (классам). Суть процесса формирования понятий заключается в нахождении закономерностей, свойственных классам. Для описания объектов используются множества различных признаков (атрибутов). Проблема формирования понятий по признаковым описаниям была сформулирована М.М. Бонгартом. Ее решение базируется на применении двух основных процедур: обучения и проверки. В процедурах обучения строится классифицирующее правило на основе обработки обучающего множества объектов. Процедура проверки (экзамена) состоит в использовании полученного классифицирующего правила для распознавания объектов из новой (экзаменационной) выборки. Если результаты проверки признаны удовлетворительными, то процесс обучения заканчивается, в противном случае классифицирующее правило уточняется в процессе повторного обучения.

     4. Кластеризация - это распределение  информации (записей) из БД по  группам (кластерам) или сегментам  с одновременным определением этих групп. В отличие от классификации здесь для проведения анализа не требуется предварительного задания классов.

     5. Прогнозирование временных рядов  является инструментом для определения  тенденций изменения атрибутов  рассматриваемых объектов с течением времени. Анализ поведения временных рядов позволяет прогнозировать значения исследуемых характеристик.

     Для решения таких задач используются различные методы и алгоритмы Data Mining. Ввиду того, что Data Mining развивалась  и развивается на стыке таких дисциплин, как статистика, теория информации, машинное обучение, теория баз данных, вполне закономерно, что большинство алгоритмов и методов Data Mining были разработаны на основе различных методов из этих дисциплин.

     Из  многообразия существующих методов исследования данных можно выделить следующие:

     1 Регрессионный, дисперсионный и  корреляционный анализ (реализован  в большинстве современных статистических  пакетов, в частности, в продуктах  компаний SAS Institute, StatSoft и др.);

     2. Методы анализа в конкретной предметной области, базирующиеся на эмпирических моделях (часто применяются, например, в недорогих средствах финансового анализа);

     3. Нейросетевые алгоритмы - метод  имитации процессов и явлений,  позволяющий воспроизводить сложные  зависимости. Метод основан на использовании упрощенной модели биологического мозга и заключается в том, что исходные параметры рассматриваются как сигналы, преобразующиеся в соответствии с имеющимися связями между "нейронами", а в качестве ответа, являющегося результатом анализа, рассматривается отклик всей сети на исходные данные. Связи в этом случае создаются с помощью так называемого обучения сети посредством выборки большого объема, содержащей как исходные данные, так и правильные ответы. Нейронные сети широко применяются для решения задач классификации;

     4. Нечеткая логика применяется  для обработки данных с размытыми  значениями истинности, которые  могут быть представлены разнообразными  лингвистическими переменными. Нечеткое  представление знаний широко  применяется для решения задач классификации и прогнозирования, например, в системе XpertRule Miner (Attar Software Ltd., Великобритания), а также в AIS, NeuFuz и др;

     5. Индуктивные выводы позволяют  получить обобщения фактов, хранящихся  в БД. В процессе индуктивного  обучения может участвовать специалист, поставляющий гипотезы. Такой способ называют обучением с учителем. Поиск правил обобщения может осуществляться без учителя путем автоматической генерации гипотез. В современных программных средствах, как правило, сочетаются оба способа, а для проверки гипотез используются статистические методы. Примером системы с применением индуктивных выводов является XpertRule Miner, разработанная фирмой Attar Software Ltd. (Великобритания);

     6. Рассуждения на основе аналогичных  случаев (метод "ближайшего соседа") (Case-based reasoning - CBR) основаны на поиске в БД ситуаций, описания которых сходны по ряду признаков с заданной ситуацией.

     7. Принцип аналогии позволяет предполагать, что результаты похожих ситуаций  также будут близки между собой.  Недостаток этого подхода заключается в том, что здесь не создается каких-либо моделей или правил, обобщающих предыдущий опыт. Кроме того, надежность выводимых результатов зависит от полноты описания ситуаций, как и в процессах индуктивного вывода. Примерами систем, использующих CBR, являются: KATE Tools (Acknosoft, Франция), Pattern Recognition Workbench (Unica, США);

     8. Деревья решений - метод структурирования  задачи в виде древовидного  графа, вершины которого соответствуют  продукционным правилам, позволяющим классифицировать данные или осуществлять анализ последствий решений. Этот метод дает наглядное представление о системе классифицирующих правил, если их не очень много. Простые задачи решаются с помощью этого метода гораздо быстрее, чем с использованием нейронных сетей. Для сложных проблем и для некоторых типов данных деревья решений могут оказаться неприемлемыми. Кроме того, для этого метода характерна проблема значимости. Одним из последствий иерархической кластеризации данных является отсутствие большого числа обучающих примеров для многих частных случаев, в связи с чем классификацию нельзя считать надежной. Методы деревьев решений реализованы во многих программных средствах, а именно: С5.0 (RuleQuest, Австралия), Clementine (Integral Solutions, Великобритания), SIPINA (University of Lyon, Франция), IDIS (Information Discovery, США);

     9. Эволюционное программирование - поиск  и генерация алгоритма, выражающего  взаимозависимость данных, на основании  изначально заданного алгоритма,  модифицируемого в процессе поиска; иногда поиск взаимозависимостей осуществляется среди каких-либо определенных видов функций (например, полиномов);