Поиск информации в интернете

Поиск информации в интернет 

 

Общие сведения.

В настоящее время Интернет объединяет сотни миллионов серверов, на которых размещены миллиарды  различных сайтов и отдельных  файлов, содержащих различного рода информацию. Это гигантское хранилище информации. Существуют различные приемы поиска информации в Интернет.

Поиск по известному адресу. Необходимые адреса берутся из справочников. Зная адрес, достаточно ввести его в  адресную строку Браузера.

Пример 1.

www.gov.ru - сервер органов государственной власти России.

Конструирование адреса пользователем. Зная систему формирования адреса в  Интернет, можно при поискеWeb-сайтов конструировать адреса.

К ключевому слову (названию фирмы, предприятия, организации или  простому английскому существительному) необходимо добавить домен тематический или географический, при этом необходимо подключать интуицию.

Пример 2.

Адреса коммерческих Web-страниц:

www.cnn.com (всемирные новости  CNN),

www.sony.com (фирма SONY),

www.mtv.com (музыкальные новости  MTV).

Пример 3.

Адреса учебных заведений:

www.ntu.edu (Национальный университет  США).

Пример 4.

Адреса региональных серверов:

www.poland.net (Польша),

www.israil.net (Израиль).

 

Поисковые системы  Интернет

 

Для поиска информации в  Интернет разработаны специальные  информационно-поисковые системы. Поисковые  системы имеют обычный адрес  и отображаются в виде Web-страницы, содержащей специальные средства для  организации поиска (строку для поиска, тематический каталог, ссылки). Для  вызова поисковой системы достаточно ввести ее адрес в адресную строку Браузера.

По способу организации  информации информационно-поисковые  системы делятся на два вида: классификационные (рубрикаторы) и словарные.

Рубрикаторы (классификаторы) - поисковые системы, в которых  используется иерархическая (древовидная) организация информации. При поиске информации пользователь просматривает  тематические рубрики, постепенно сужая  поле поиска (например, если необходимо найти значение какого-то слова, то сначала в классификаторе нужно  найти словарь, а затем уже  в нем найти нужное слово).

Словарные поисковые системы - это мощные автоматические программно-аппаратные комплексы. С их помощью просматривается (сканируется) информация в Интернет. В специальные справочники-индексы  заносятся данные о местонахождении  той или иной информации. В ответ  на запрос осуществляется поиск в  соответствии со строкой запроса. В  результате пользователю предлагаются те адреса (URL), на которых в момент сканирования найдены искомые слово  или группа слов. Выбрав любой из предложенных адресов-ссылок, можно  перейти к найденному документу. Большинство современных поисковых  систем являются смешанными.

Наиболее известные и  популярные системы поиска:

www.aport.ru www.yahoo.com www.rambler.ru www.yandex.ru www.altavista.com www.google.com

Существуют системы, специализирующиеся на поиске информационных ресурсов по различным направлениям.

Поиск людей в Интернет:

www.whowhere.ru ww. bigfoot.com

Поиск по телеконференциям (Usenet):

www.dejanews.com

Предметные поисковые  системы:

www.webring.org

Поиск программного обеспечения:

www.files.com

www.files.ru

Поиск по файловым архивам:

Представьте себя на месте  пользователя, впервые посетившего  такую известную глобальную поисковую  систему, как Lycos, с целью найти в Сети сведения о некоем книжном издании. Введя соответствующие ключевые слова и выбрав фильтр Books, он получает отклик, который, при отсутствии дополнительной информации, нельзя расценить иначе, как получение данных о книгах, собранных по всему Интернету. Если говорить только о пространстве WWW, то в большинстве случаев программы-пауки, сканирующие Сеть, используют для распознавания типа данных специальные элементы языка HTML, с помощью которых в Web-страницу внедряются определенные информационные блоки. Название элемента может нести смысловую нагрузку и отождествляться с типом информации. Так, если бы гипотетически существовал элемент HTML book, заключающий в себе сведения о книге и ее авторе, он мог бы размещаться на странице и в простейшем случае иметь следующий вид:

<book>Название книги и автор</book>

(сами элементы <book> в окне браузера не должны отображаться) При этом вся информация о книгах, публикуемая в WWW подобным образом, могла бы благополучно и без участия человека накапливаться в базе данных ИПС. Но элемента book в стандарте HTML пока не существует. Следовательно, приходится прибегать либо к "ручному" отбору, либо к автоматическому просмотру некоторых, заданных наперед каталогов отдельных узлов, возможно, имеющих отношение к продаже книжной продукции или к библиотекам.

В случае Lycos все гораздо проще. Поиск происходит всего-навсего по одному-единственному узлу компании, многие пользователи системы продолжают эксплуатировать прозрачный по своей природе оператор image, позволяющий находить в индексе графические файлы. На этот счет справка AltaVista исчерпывается тем, что рекомендует ввести в шаблон запрос, в котором вслед за указанным оператором должно следовать имя или часть имени искомого файла. Таким образом, для поиска файла с изображением акрополя следует задать запрос в виде image: acropolis.

Если посмотреть на откликнувшиеся документы, а затем на их HTML-источник, то легко убедиться, что в каждом из них в месте вставки графического образа присутствует элемент <IMG>. Внутри него в качестве обязательного атрибута стоит URL, с которого, собственно, и  извлекается сам файл:

<IMG SRC="#"#">) - русский  (Russian) или любой (any language), а также какая русская кодировка установлена в меню браузера. Анализ списка отклика показывает, что, во-первых, при вводе запроса только в одной кодировке неминуемо теряются данные. Во-вторых, становится ясно, как система идентифицирует тот или иной язык документа. Оказывается, если некоторая начальная часть документа написана на языке, отличном от русского, то этот документ уже не описывается ИПС как русскоязычный. Результат этой недокументированной особенности - максимальный отклик индекса при поиске по русскоязычному термину достигается при установке пункта меню "any language", а не "Russian".

В шаблоне расширенного поиска популярной бизнес-ориентированной системы Open Text Livelink Pinstripe (OTLP) также скрыты некоторые проблемы, никак не освещенные в справочном материале ИПС.

Как видно из рисунка, шаблон позволяет задать свое поле поиска для каждого термина, а затем  связать термины с помощью  логических операторов. Однако как  только терминов становится больше двух - возникает вопрос: в какой последовательности будут отрабатывать операторы и, соответственно, что будет представлять собой результат. Даже для такого простого запроса, как term1 AND term2 OR term3, разумно предположить двоякую интерпретацию, которую можно проиллюстрировать с помощью выделения в скобки логических единиц (в самом шаблоне скобки не применяются). И вариант (term1 AND term2) OR term3, и вариант term1 AND (term2 OR term3) кажутся приемлемыми, давая при этом совершенно разный отклик. Тестовый запрос и последующий анализ откликнувшихся документов показывают справедливость первого варианта, то есть то, что операторы выполняются по мере их появления в шаблоне и в документе будут присутствовать либо term1 и term2 одновременно, либо только term3. Как в таком шаблоне вводить запросы с участием фраз (а это возможно) - автор предлагает выяснить читателям самостоятельно. В данном случае приходится констатировать очевидную небрежность разработчика по отношению к пользователям системы.

Подавляющее большинство  ИПС Интернета сегодня активно  работает с так называемыми стоп-словами (stop-words). К последним относят служебные части речи, которые не несут смысловую нагрузку, а также некоторые наиболее общеупотребительные в Сети слова, такие как information, Internet, Web, business, и другие. Известно, что AltaVista, Excite, HotBot и Lycos применяют в работе технику стоп-слов, а Infoseek и NorthernLight ее не практикуют.

При появлении стоп-слов в поисковом запросе, не содержащем специальных ухищрений, ИПС может  не учитывать их при поиске и ранжировании результатов, при этом иногда информируя об этом пользователя, а иногда - нет. В целом неучет стоп-слов при обработке запроса сокращает время поиска и повышает релевантность отклика. Однако стоит вам попробовать отыскать что-нибудь вроде классической фразы Шекспира "to be or not to be", состоящей только из стоп-слов, - и вы уже не владеете ситуацией.

Хотя стоп-слова и могут игнорироваться в простых запросах, в индексе полнотекстовой ИПС они присутствуют наряду с остальными. Такой системой является, например, AltaVista (индексируются все слова документа). HotBot, напротив - индексирует все, кроме стоп-слов.

Тем не менее и HotBot выполняет полнотекстовое индексирование отдельных значимых полей документа, так что запросы со стоп-словами, оформленные в виде фразы, дают и на этой ИПС результативный отклик.

Перечень стоп-слов не стандартизован, так что он может быть оригинальным для каждого сервиса. Разработчики редко приводят сведения об этом аспекте  работы ИПС, однако при необходимости  поиск по ключевым словам stop, words плюс название интересующей вас поисковой машины позволяет обнаружить в Сети версии соответствующих перечней.

Наиболее общие принципы выхода из проблемной ситуации следующие: по возможности избегать употребления стоп-слов в запросах, исключить применение логических операторов типа and, or, not и других в тех шаблонах, в которых они не поддерживаются и будут восприняты как стоп-слова.

Если же без стоп-слов в запросе обойтись нельзя, то следует  включить их во фразу, что во многих системах означает заключение в кавычки. В отдельных случаях полезно  протестировать работу шаблонов простого и расширенного поиска ИПС, в которых  техника поддержки стоп-слов может  быть различной

Самая захватывающая интрига  Сети, которую порождают ИПС, связана  с особенностями работы алгоритма, ранжирующего результаты в списке отклика. Эти сведения обычно не предаются  широкой огласке, но они крайне необходимы Web-мастерам, продвигающим в суровой  конкурентной борьбе свои узлы через  поисковые системы Интернета. Попасть  в первые несколько десятков записей  из списка отклика на ИПС по часто  повторяющимся в Сети запросам - значит обеспечить свою доступность  для потенциальных клиентов (см. КомпьютерПресс №5’99, с.114).

Тем не менее, и при решении  поисковых задач во время работы со списком отклика из-за недостатка информации также могут возникать  некоторые проблемы.

В предыдущем выпуске мы говорили о том, что простые тестовые запросы позволяют с самого начала работы с ИПС понять, насколько  широко в индексе представлена искомая  информация. Однако не всякая ИПС дает полное число документов, содержащихся в отклике на запрос (например, Lycos, не дает). В какой-то мере это позволяет системе сохранить свое лицо, избежав сравнения с гигантами - Northern Light, AltaVista или HotBot. При решении профессиональных поисковых задач к таким сервисам следует обращаться в последнюю очередь.

Обычно в списке отклика  появляется информация, которая включает в себя заголовок страницы, адрес  и аннотацию. Аннотация берется  либо из специального META-элемента, задаваемого  автором документа, либо в этом качестве выступают несколько первых нередактируемых строк текста, взятых со страницы. В некоторых случаях указывается язык документа. Выше мы уже обращали внимание на проколы алгоритма AltaVista, связанные с идентификацией языка, и подобные случаи - не редкость и на других ИПС.

Другая обескураживающая неприятность - это возможное отсутствие в найденных документах тех самых  ключевых слов, по которым проводился поиск. Причиной подобного явления, если не считать незарегистрированного  обновления страницы без изменения  адреса, становится тот факт, что  ключевые слова были заданы автором  в специальном поле - элементе META. Оно доступно для сканирования роботом  ИПС, но не отображается на странице. В  этом случае путем просмотра метаэлементов HTML-источника у вас есть возможность убедиться в недобросовестности автора: несоответствие ключевых слов содержанию документа - это прямая дезинформация.

Еще одна проблема вообще не очевидна для единичного пользователя. Речь идет о том, как поисковый  сервер обрабатывает запросы в случае, когда их поступает слишком много, то есть в режиме переполнения. Так, автору статьи не раз приходилось  сталкиваться с тем, что, например, на AltaVista при одинаковом и практически одновременном тестовом запросе с 10-15 компьютеров количество результатов, появляющихся в отклике для каждого пользователя системы, иногда может различаться на десятки тысяч. В действительности, попадая в режим перегрузки, поисковый сервер не имеет большого выбора, а именно: он либо отклоняет запрос, либо обслуживает его по "сокращенному" варианту. Последний вполне может предполагать предоставление лишь части удовлетворяющих запросу данных. Выход очевиден: проверять достоверность отклика ИПС многократно и в разное время суток.

Нам хотелось бы остановиться на некоторых более чем реальных опасностях, которые подстерегают пользователя, доверившегося малоизвестному поисковому серверу. Написать об этом автора заставил такой случай. Человеку была срочно необходима информация о наличии  прямых электропоездов между двумя  городами СНГ. Воспользовавшись каталогом  Rambler, он быстро сумел локализовать сервер, предлагающий необходимые сведения.

#"#">рис.4, строка внизу). Такой категоричный ответ сервера  заставил человека прекратить  дальнейшие поиски и принять  решение, о котором ему скоро  пришлось пожалеть. Предъявить претензии  к разработчику системы также  оказалось невозможным. Дело в  том, что чуть ниже под результатом  поиска пользователем не была  замечена одна важная деталь, а именно надпись "Расписание  рекламное, возможны изменения,  за которые не несут ответственности  ни распространитель, ни МПС". При этом если бы фраза об  отказе была сформулирована чуть  мягче, пользователь, вероятно, смог  бы продолжить поиск в Сети  и достичь положительного результата.

В некоторых случаях маркетинговая  агрессивность разработчика начинает носить вызывающий характер. Вот уже  не один месяц на серверах HotBot и AltaVista находится рекламное объявление крупнейшей книготорговой компании Amazon (#"#">рис.5).