Проектирование автоматизированной информационной системы для анализа финансового состояния предприятий Железнодорожного района г. Воро

3. Обзор WAIS

Сегодня в стандарте Z39.50 определен только один тип запроса - RPN-запрос. Форма Бэкуса-Наура для этого типа запроса имеет следующий вид: RPN-guery ::= argument | argument + argument + operator  
argument ::= operand | RPN-query  
operand ::= attribute-set + term |  
Result-set-id  
operator ::= AND | OR | AND-НОТ

В этой записи интересно отметить ее постфиксный характер и отсутствие одноместных операций. Для того, чтобы лучше представлять принцип  построения запроса и его интерпретации, рассмотрим несколько примеров. Простой  запрос состоит из одного термина: "териинал"

Такой запрос позволяет найти все  документы, которые имеют в своем  поисковом образе слово "терминал".

Запрос из двух терминов и оператора "AND" позволяет сузить границы  поиска до множества документов, содержащих оба термина одновременно: "терминал графический AND"

Как видно и этого примера  логический оператор указан после слов-операндов. Еще более наглядно постфиксный  характер записи проявляется в следующем  примере: "Х-термиал терминал графический AND AND-NOT"

Здесь требуется найти все документы, содержащие слово "Х-терминал", но не содержащие комбинацию слов "терминал" и "графический". Таким образом, для операции "AND-NOT" операндами являются слово "Х-терминал" и результат операции, определенной над словами "терминал" и "графический".

Получение найденной информации осуществляется при помощи указания идентификатора документа в виде: text-address@domain.host.zone

Где "text-address" - местоположение документа  на сервере, "domain.host.zone" - адрес  машины. В реальных системах документ имеет идентификатор, который и указывают при запросе результатов поиска. Из других режимов работы реально используется только режим завершения. Режимы удаления, контроля доступа и наличия доступа к ресурсу либо совмещены с режимом инициирования, либо просто не реализованы. Следует заметить, что точного выполнения стандарта не наблюдается ни в одной из поисковых программ, реально используемых в сети Internet. Система WAIS не является исключением. Архитектура и реализация WAIS

Существуют различные программные продукты, реализующие взаимодействие в рамках WAIS. Однако, лучше всего рассмотреть архитектуру системы и ее особенности на примере программной реализации, выполненной компанией WAIS Inc., которая была основана одним из основателей системы, Брюстером Кахлем (Brewster Kahle). Сегодня это программное обеспечение является базовым для такого крупного сетевого продавца IP-услуг, как America On-Line.

Разработчики системы подчеркивают, что такая архитектура обеспечивает масштабируемость системы, эффективность доступа к распределенным ресурсам и возможность простой адаптации в условиях глобальных коммуникаций. Функционально программное обеспечение WAIS можно разбить на программы клиента и сервера.

Обзор WAIS

Во время работы все клиенты  ведут учет обращений к WAIS-серверам и времени отклика от них. При этом реальную настройку клиента пользователь осуществляет вручную. Это важно в том случае, когда запрос отправляется на выполнение одновременно нескольким серверам. Выдачу результата в этом случае будет тормозить самый медленный сервер.

Сервер WAIS установлен на сети и отвечает на запросы WAIS-клиентов. Реально существует три программы, которые совместно  образуют WAIS-сервер программа построения индексов, поисковая программа и  программа отправки документов.

Программа построения индексов создает инвертированные списки слов, которые используются системой для быстрого выполнения запроса. Фактически они позволяют реализовать индексно-последовательный поиск. Программа поиска осуществляет поиск документов, удовлетворяющих запросу. При этом она использует индексы для сокращения времени поиска. Реально поиск по полному списку ("лобовой просмотр" документов) в WAIS не применяется, а используются только индексы. В качестве результата поиска клиенту возвращается динамический список. Программа отправки документов передает найденные документы пользователю для просмотра. Дополнительной услугой является возможность конфигурирования сервера как Proxy-сервера (от англ. proxy - уполномоченный, посредник). Собственно, любой WAIS-сервер - это посредник, который способен переадресовывать запрос на другие сервера, однако часто эта возможность не используется.[7] Сервер WAIS

К серверной части WAIS относят саму базу данных WAIS и программы для  ее ведения, поисковую машину WAIS, которая обеспечивает поиск документов в базе данных WAIS и систему генерации отчетов WAIS, обеспечивающую по требованию пользователя как получение списков найденных на запрос документов, так и самих документов. Рассмотрим каждую из этих подсистем более подробно.

База данных WAIS. Все данные, с которыми работает сервер WAIS можно разделить на две большие части: собственно данные, которые являются предметом поиска и вспомогательные массивы, генерируемые системой для обеспечения быстрого доступа. В качестве данных могут рассматриваться текстовые, графические, звуковые файлы, а также видеоизображения и т.п.. Все они хранятся в виде обычных файлов в файловой системе компьютера. Для организации быстрого поиска на запросы WAIS создает индекс, состоящий из списка доступа, словаря, инвертированного файла, таблицы документов, таблицы заголовков и таблицы имен файлов. За создание индекса отвечают два компонента программного обеспечения сервера: программа разбора входного потока данных и программа-индексатор. Программа анализа входного потока (WAIS Parser) читает свой файл конфигурации и в соответствии с описанием файлов данных производит разбор и подготовку выходной информации для программы-индексатора. Программа анализа входного потока позволяет в качестве своего входа использовать текстовые файлы, файлы форматов GIF, DVI, HTML, PICT, TIFF, почтовые ящики RFC-822, архивы новостей и ряд других. Кроме этого можно заиндексировать и сессии режима on-line, например работу по telnet.

Текстовый файл можно разбить на несколько документов, каждый из которых будет иметь в индексе WAIS свой собственный вход. Такие документы являются самостоятельными единицами хранения и могут быть получены по специальному запросу. Точно таким же образом индексируются и почтовые сообщения и архивы новостей. Кроме типа файла программе анализа входного потока необходимо передать информацию о поисковом образе документа (ПОД), представляющем собой небольшой текст, описывающий основную мысль документа. В качестве поискового образа можно выбрать заголовок документа, список ключевых слов, первую строку и т.п.. В отличие от традиционных ИПС, кроме возможности поиска по поисковому образу, сам ПОД используется и для идентификации документа в списке найденных по запросу. Поисковый образ используется также для построения словаря и инвертированного списка. Кроме типа и поискового образа для каждого документа требуется указать форму его представления на экране.

Индекс используется другим компонентом  серверной части WAIS - поисковой машиной. . В начале сервер обращается к файлу контроля доступа и проверяет права пользователя на работу с данными. После проверки сервер обращается к словарю, в котором находит слова, указанные в запросе, и для каждого из них выбирает список документов из инвертированного списка. Списки документов пересекаются или объединяются в соответствии с логикой запроса. Используя полученный после преобразований список документов, сервер обращается к таблице документов, где находятся адреса заголовков, которые возвращаются пользователю в качестве результата выполнения запроса. Если после этого пользователь затребует документ, то используя таблицу документов и таблицу файлов, сервер находит нужные данные и пересылает текст документа.

Вся описанная схема совпадает  с используемой при работе обычных локальных информационно поисковых систем. Важным моментом в них при индексировании документов и обеспечении качественного поиска является процедура нормализации словаря. Такой же механизм существует и на сервере WAIS. Смысл этого механизма заключен в отсеивании из словаря общих слов типа "этот", "тот", "на", "в", "p" и т.п., и в нормализации формы самих слов, например, слова "степь", "степной", "степная", "степное" могут быть преобразованы в слово "степь" и в словарь попадет только оно, однако в списке инвертированного словаря на слово "степь" будут указаны и документы, в которых есть слова "степной", "степная", "степное". При анализе запроса слова также приводятся к общей форме. Такой процесс называется нормализацией лексики. Надо отметить, что здесь разработчики WAIS остановились и не пошли дальше по пути развития лексического аппарата системы в сторону построения более сложных механизмов управления лексикой запросов и поисковых образов документов. Например, в WAIS нет средств поддержки тезаурусов или классификаторов. Информационно-поисковый язык

Разработчики системы WAIS выделяют три основные особенности информационно  поискового языка: поиск по запросам на естественном языке, литеральный  поиск и уточнение запросов по результатам проведенных ранее поисков (Relevance Feedback - положительная обратная связь по релевантности). Поиск по запросам на естественном языке в данном контексте подразумевает способность системы распознавать во фразах естественного языка слова из словаря системы и, объединяя их логической связкой AND, строить на их основе запросы. Литеральный поиск - это возможность учета порядка слов в документе при поиске. Литерал представляет из себя последовательность слов, заключенную в кавычки, например, "программное обеспечение". При поиске машина будет отбирать только те, где слово "программное" стоит перед словом "обеспечение". Уточнение запроса по результатам поиска заключается в том, что после выполнения запроса пользователю дается возможность добавить в него слова документов, которые наилучшим образом удовлетворяют его информационным потребностям. Считается, что такая процедура позволяет пользователю быстро сфокусировать внимание на той части базы данных, которая прежде всего отвечает его интересам. Учитывая тот факт, что многие документы являются гипертекстовыми и хранятся в формате HTML, дальнейший просмотр найденных документов может осуществляться по последовательности гипертекстовых ссылок.

Важным компонентом поискового механизма являются логические операторы, используемые пользователем при составления запроса: AND, OR, NOT, AD . Для иллюстрации их действия приведем небольшую диаграмму.

Как видно из этой схемы, операция NOT не является прямым булевым аналогом, а так же, как и AND и OR, оперирует  с двумя операндами. С точки  зрения теории, такой подход к информационно-поисковому языку лишает его функциональной полноты. Система не может реализовать запрос, результатом которого было бы все множество документов, однако большинство современных информационно-поисковых языков устроено таким же образом. Операция ADJ не может быть показана на представленной выше схеме, так как она реализует поиск, при котором важен порядок слов в документе, а не просто их частотность в тексте. В запросе "персональный ADJ компьютер" пользователь запрашивает документы, в которых слово "персональный" стоит перед словом "компьютер". [3]

Кроме того, что WAIS реализует возможность  коррекции запроса по результатам  поиска, система еще производит упорядочивание списка найденных документов в соответствии с некоторыми весами, которые приписываются документам при поиске. Учитывая размеры Internet и число баз данных, установленных на сети, в результате поиска может быть найдено чрезвычайно большое количество документов. Система предусматривает ограничение на число выдаваемых пользователю документов, следовательно должны быть средства просеивания документов. Данная процедура основана на аппарате весов, присваиваемых каждому слову в момент построения индекса. Различают вес слова и вес термина. Вес слова присваивается каждому слову на основе частоты его употребления внутри документа. Больший вес имеют слова, которые чаще встречаются или которые встречаются, например в заголовке. Общие слова из этого множества исключены - их вообще нет в словаре. Вес термина вычисляется на основе частоты употребления слова во всем массиве документов. При выполнении запроса также назначаются веса, например, если слова запроса в документе стоят рядом, то им назначается больший вес. Кроме того, во внимание принимается "плотность" слова - отношение веса слова к весу термина, что характеризует слова с точки зрения их отражения информационной потребности пользователя. Следует отметить, что алгоритмы взвешивания могут быть добавлены или удалены администратором системы.

При поиске в базах данных WAIS можно использовать поля документов, например в запросе, обращенном к почтовому архиву, можно указать поля заголовка почтового сообщения: WAIS software AND from "WIAS Inc"

При работе с полями возможно использование  операторов ">", "<", "=", причем для дат можно указывать интервалы.

Последним функциональным компонентом  системы является генератор отчетов. Эта программа реализует концепцию  динамического списка, используемого  клиентом для доступа к файлам данных. Кроме списка документов генератор отчетов сообщает общее число найденных документов, запрос, по которому проводился поиск, частоту употребления каждого слова запроса и время выполнения.

Сервер WAIS предоставляет и ряд  дополнительных услуг. Во-первых, это  возможность работы через "посредника", необходимость в котором появляется при защите локальной сети от несанкционированного доступа из-вне. В этом случае на машине-бастионе может быть установлен сервер, который будет перенаправлять запросы клиентов во внешний мир и обслуживать запросы из внешнего мира. Кроме подобного прямого использования, этот механизм позволяет организовать распределенные базы данных, построенные по принципу взаимодействия различных WAIS-серверов, и, таким образом, дать возможность пользователю одного из них сканировать все множество серверов. Во-вторых, система поддерживает свою собственную базу данных идентификации пользователей для контроля их прав доступа к документам базы данных. В-третьих, существует шлюз связи между системой WAIS и WWW, что позволяет обмениваться данными серверам обоих систем, удовлетворяя информационные запросы своих пользователей.

Самым известным применением системы WAIS является реализация с ее помощью  проекта "Британика-online". Этот проект связан с организацией в Internet одной из самых старых энциклопедий мира - энциклопедии "Британика". Электронная версия "Британики" представляет из себя довольно сложный конгломерат информационных технологий. Главным в этой информационной базе данных является представление статей энциклопедии в виде гипертекстовых страниц в формате языка гипертекстовой разметки документов HTML, который применяется для опубликования материалов в World Wide Web. Каждая статья имеет связи со следующей и предшествующей статьями в текстовом варианте энциклопедии. Кроме этого, имеется база данных персоналий, стран и графических иллюстраций. Для навигации по энциклопедии существуют оглавление, индекс и механизм поиска статей по ключевым словам. Оглавление и индекс являются списками гипертекстовых ссылок. Если в оглавлении ссылки указывают на статьи энциклопедии, то в индексе ссылки указывают на списки статей, которые, в свою очередь, также являются списками гипертекстовых ссылок. [5]