Информационно-поисковые и информационно-справочные системы в обучении информатике

Размещено на http://www.allbest.ru/

Министерство образования и науки Республики Казахстан

Костанайский социально-технический университет имени академика Зулкарнай Алдамжар

Технический факультет

Кафедра физики, информатики и электроэнергетики

Дипломная работа

Информационно-поисковые и информационно-справочные системы в обучении информатике

Выймова Галина Николаевна

Специальность 050111- Информатика

Аннотация

В данной дипломной мы рассмотрели механизм работы поисковых систем, дали их классификацию, установили критерии релевантности найденных страниц. Создали методическое пособие для преподавателей информатики и учащихся.

Цель данной дипломной работы: повышение эффективности (снижение времени, повышение релевантности документов) поиска информации в больших массивах неструктурированной текстовой информации с помощью поисково-информационных и поисково-справочных машин при обучении информатике.

В первой главе введены определения основных понятий поисковых и информационных систем. Проведен обзор и анализ известных поисковых систем по авторитетности.

Во второй главе проведён анализ и классификация поисковых систем по релевантности найденных страниц и проведена классификация сайтов по учебным материалам. Предложено методическое пособие для учителей и учеников по обучению информатике.

Завершается работа заключением, в котором даны рекомендации по эффективному использованию Интернет - ресурсов, указана перспектива дальнейших исследований, а также приведен список использованной литературы и Интернет - источников.

Содержание

Введение

1. Информационные системы

1.1 Понятие информационных систем

1.2 Структура информационных систем

1.3 Классификация информационных систем

2. Информационно-поисковые системы

2.1 Исторические предпосылки развития поисковых систем

2.2 Понятие поисковых систем

2.3 Особенности поисковых систем

2.3.1 Первый закон Зипфа

2.3.2 Второй закон Зипфа "количество-частота"

2.4 Механизм работы поисковых систем

2.5 Основные параметры поисковых систем

2.6 Классификация поисковых систем по авторитетности

2.7 Проблемы и возможности поисковых систем

3. Стратегия поиска

3.1 Последовательность действий

3.2 Проверка метода на практике

3.3 Преимущество поискового алгоритма Google

3.4 Критерии релевантности найденных страниц

3.5 Язык запроса поисковых машин

4. Классификация сайтов

4.1 Учебные материалы по информатике

4.2 Тесты по информатике

4.3 Олимпиады по информатике

4.4 Информатика и программирование - учебные материалы

4.5 Библиотеки, книги

5. Экспериментальное подтверждение

6. Ранжирование

Заключение

Список использованных источников

Приложение

Введение

В настоящее время жизнь летит с такой скоростью, что успеть за ней практически невозможно. Мир развивается и соответственно ему стремительно развивается средства массовой информации. Поток информации обрушивается лавиной, способной «задавить» любого взрослого человека, а ребенка тем более.

Еще десять лет назад в нашей стране мало кто знал такое явление, как Интернет и уж тем более никто не мог представить, зачем он нужен рядовому человеку. Но времена изменились - пришла эпоха Интернета. Всемирная сеть занимает всё более крепкие позиции в современном мире.

В связи этим тема «Информационно-поисковые и информационно-справочные системы в обучении информатике» мне кажется насущной и довольно острой.

В данной дипломной работе рассматриваются теоретические основы информационного поиска, классификация и разновидности информационно поисковых систем. Представлен материал по наиболее эффективному использованию поисковых машин, дан анализ сайтов используемых для обучения информатики в школе.

При появлении сети Интернет проблема поиска становилась более актуальной. Интернет - всемирная компьютерная сеть, представляющая собой единую информационную среду и позволяющая получить информацию в любое время. Но с другой стороны в Интернете храниться очень много полезной информации, но для поиска её требуется затрачивать много времени. Важность и актуальность проблемы определили цель и тему исследования.

Цель исследования:

Определить наиболее лояльную поисковую систему в Интернете и эффективнее её использовать.

Проблема:

Наличием большого количества поисковых систем в Интернете и определением наиболее их значимых, удобных, скоростных. Умение найти нужную информацию за короткое время. Достижение наибольшего эффекта при использовании той или иной поисковой системы.

Объект исследования:

Процесс поиска информации в сети Интернет преподавателями и учащимися для обучения информатике.

Предмет исследования:

Поисковые системы:

Яндекс

Rambler

Googlе

Yahoo

Alta Vista

Апорт

Гипотеза:

Чем эффективнее работа поисковой системы, тем быстрее совершается поиск нужной информации в Интернете.

Этапы:

Обзор поставленной задачи;

Поиск и апробация поисковых систем в сети Интернет;

Составление рекомендаций для преподавателей и учащихся.

Методы исследования:

Поисковые, исследовательские, практические.

1. Информационные системы

1.1 Понятие информационных систем

Под информационной системой понимается, организованная совокупность программно - технических и других вспомогательных средств, технологических процессов и функционально - определенных групп работников, обеспечивающих сбор, представление и накопление информационных ресурсов в определённой предметной области, поиск и выдачу сведений необходимых для удовлетворения информационных потребностей пользователей. Информационные системы являются основным средством, инструментарием решения задач информационного обеспечения различных видов деятельности и наиболее бурно развивающейся отраслью индустрии информационных технологий.[1,с19]

1.2 Структура информационной системы

В составе информационной системы можно выделить три подсистемы:

1. Организационно - технологическая подсистема сбора информации обеспечивает информационную систему и включает совокупность источников информации, организационно - технологической цепочки отбора информации для накопления в системе. Без правильно организованной подсистемы сбора информации невозможна эффективная организация функционирования всей информационной системы в целом.

2. Подсистема предоставления и обработки информации составляет ядро информационной системы и является отражением представления разработчиками и абонентами системы структуры и картины предметной области, сведения о которой должна отражать информационная система. Подсистема представления и обработки информации является одним из наиболее сложных компонентов при разработке информационной системы.

3. Нормативно - функциональная подсистема выдачи информации определяет пользователей, или иначе абонентов системы, реализует целевой аспект назначения и выполнения задач информационной системы.

Основу всех поисковых систем составляют базы данных - совокупность данных, организованных по определенным правилам, предусматривающим общие принципы описания, хранения и манипулирования данными, независимо от прикладных программ.

Можно выделить следующие элементы функционирования информационных систем:

- сбор информации - организованный в специальном порядке процесс сбора и отображения информации;

- получение информации;

- оценка относимости информации;

- порядок отбора и фиксации информации;

- комплектование - процесс сложения информации из множества частей в единое целое и доведения её до пользователя.

Поиск и выдача информации - установление специального технологического порядка удовлетворения информационных потребностей абонентов информационной системы в управленческой деятельности и технологических процессах.

Поддержание целостности и сохранения информации - пересмотр, ревизия и отсеивание утратившей актуальность информации являются неотъемлемой функцией информационных подразделений. Сохранность информации осуществляется с помощью нормативно-инструктивных документов. [12, 68]

1.3 Классификация информационных систем

По характеру предоставления логической организации хранимой информации информационные системы разделяются на фактографические, документальные и геоинформационные.

Фактографические накапливают и хранят данные в виде множества экземпляров одного или нескольких типов структурных элементов. Каждый из таких экземпляров структурных элементов или некоторая их совокупность отражают сведения, по какому - либо факту, событию. Структура каждого типа информационного объекта состоит из конечного набора реквизитов, отражающих основные аспекты и характеристики сведений для объектов данной предметной области.

В документальных, единичным элементом информации является нерасчлененный на более мелкие элементы документ и информация при вводе, как правило, не структурируются, или структурируются в ограниченном виде. Для вводимого документа могут устанавливаться некоторые формализованные позиции - дата изготовления, исполнитель, тематика. Некоторые виды документальных информационных систем обеспечивают установление логической взаимосвязи вводимых документов - соподчиненность по смысловому содержанию.

В геоинформационных данные организованы в виде отдельных информационных объектов привязанных к общей электронной топографической основе. Геоинформационные системы применяются для информационного обеспечения в тех предметных областях, структура информационных объектов и процессов в которых имеется географический компонент.

Другим критерием классификации поисковых систем являются функции или решаемые задачи.

Справочные являются наиболее распространенным типом информационных систем, и заключается в предоставлении абонентам системы возможностей получения установочных данных на определённые классы объектов.

Поисковые системы являются наиболее распространённым классом информационных систем. В общем, виде можно рассматривать как некое информационное пространство, задаваемое в терминах информационно - логического описания предметной области.

Расчетные, заключаются в обработке информации, находящейся в системе, по определённым расчётным алгоритмам для различных целей.

Технологические функции информационных систем заключаются в автоматизации всего технологического цикла или отдельных его компонентов, производственной или организационной структуры.[13, с 120]

неструктурированный информация сайт запрос

2. Информационно поисковые системы

2.1 Исторические предпосылки развития поисковых систем

Обратимся к истории возникновения сети Internet, которая была создана в связи с возникшей необходимостью совместного использования информационных ресурсов, распределенных между различными компьютерными системами. Большинство первых приложений, включая FTP и электронную почту, были разработаны исключительно для обмена данными между хост-компьютерами Internet.

Другие приложения, такие как Telnet, создавались для того, чтобы пользователь получил возможность доступа не только к информации, но и к рабочим ресурсам удаленной системы. По мере развития Internet (увеличения пользователей и хост-компьютеров) прежние методы обмена данными перестали отвечать возросшим потребностям пользователей. Возникла необходимость разработки новых способов поиска сетевых ресурсов и доступа к ним, которые позволяли бы использовать информацию независимо от ее формата и расположения.

Для удовлетворения таких потребностей сначала были созданы поисковая система Archie, решающая задачу локализации ресурсов на FTP-сервере, и система Gopher, упрощающая доступ к различным сетевым ресурсам. Затем были разработаны сетевые информационные системы WWW и WAIS, предлагающие абсолютно новые методы получения информации. Принципы работы этих систем позволяют легко ориентироваться в огромном количестве информационных ресурсов без необходимости предоставления механизмов работы самой сети Internet. Такой подход позволяет говорить уже не просто о ресурсах взаимосвязанных компьютерных систем, а об особых информационных пространствах сети.

Система Archie представляет собой комплекс программных средств, работающих со специальными базами данных. В этих базах данных содержится постоянно пополняющаяся информация о файлах, к которым можно получить доступ через сервис FTP. Пользуясь услугами системы Archie, можно осуществить поиск файла по шаблону его имени. При этом пользователь получит список файлов с точным указанием места их хранения в сети, а также с информацией о типе, времени создания и размере файлов. Доступ к информационно-поисковой системе Archie может осуществляться различными путями, начиная от запросов по электронной почте и с помощью сервиса Telnet и заканчивая использованием графических Archie-клиентов.

Система Gopher была разработана для упрощения процесса локализации FTP-ресурсов Internet и для более удобного представления сведений о содержании хранящихся на FTP-серверах файлов. Система Gopher дает возможность в удобной форме (в виде меню) предоставлять пользователям сведения об имеющихся файлах и их содержании. Меню Gopher-серверов могут содержать ссылки на другие Gopher- и FTP-серверы. Таким образом, пользователь получает возможность “путешествовать” по Internet, не обращая внимания на местонахождение интересующих его ресурсов, и получать доступ к этим ресурсам.

Система Veronica используется для поиска информации в Gopher-пространстве по заголовкам пунктов меню. После ввода ключевого слова, система Veronica выясняет, встречается ли оно в меню на каком-либо Gopher-сервере, и в качестве результатов поиска выдает список заголовков пунктов меню, содержащих ключевое слово. Поскольку система Veronica не является автономной поисковой программой, а тесно связана с системой Gopher, она обладает тем же, что и система Gopher, недостатком: далеко не всегда по заголовку можно сказать, что собой представляет тот или иной информационный ресурс. Достоинства системы заключается в том, что нет необходимости узнавать, где расположена найденная информация, достаточно выбрать требуемую запись из списка.[15,с 26]

2.2 Понятие информационных поисковых систем

Автоматизированная поисковая система - система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая информационную технологию выполнения установленных функций.

Опыт и практика создания систем в различных сферах деятельности позволяет дать более широкое и универсальное определение, которое полнее отражает все аспекты их сущности.

Под информационной системой в дальнейшем понимается организованная совокупность программно - технических и других вспомогательных средств, технологических процессов и функционально - определённых групп работников, обеспечивающих сбор, представление и накопление информационных ресурсов в определённой предметной области, поиск и выдачу сведений, необходимых для удовлетворения информационных потребностей установленного контингента пользователей - абонентов системы. [14, с 18]

2.3 Особенности поисковых систем

2.3.1 Первый закон Зипфа

Все созданные человеком тексты построены по единым правилам. Тексты описывается законами Зипфа (G.K. Zipf). Зипф предположил, что слова с большим количеством букв встречаются в тексте реже коротких слов. Основываясь на этом постулате, Зипф вывел два универсальных закона: Первый закон Зипфа «ранг -частота».

Выберем любое слово и посчитаем, сколько раз оно встречается в тексте. Эта величина называется частота вхождения слова. Измерим частоту каждого слова текста. Некоторые слова будут иметь одинаковую частоту, то есть входить в текст равное количество раз. Сгруппируем их, взяв только одно значение из каждой группы. Расположим частоты по мере их убывания и пронумеруем. Порядковый номер частоты называется ранг частоты. Так, наиболее часто встречающиеся слова будут иметь ранг 1, следующие за ними - 2 и т.д. Выберем любую страницу и определим вероятность встретить слово, на которое пал выбор. Вероятность будет равна отношению частоты вхождения этого слова к общему числу слов в тексте.

Вероятность = Частота вхождения слова / Число слов

Зипф установил закономерность: если умножить вероятность обнаружения слова в тексте на ранг частоты, то получившаяся величина (С) приблизительно постоянна. [рис 1]

С = (Частота вхождения слова х Ранг частоты) / Число слов

Если мы незначительно преобразуем формулу, а на следующем этапе, используем данные математического справочника, станет очевидным, что это функция типа y=k/x и ее график -равносторонняя гипербола.

Рис 1. Первый закон Зипфа.

Следовательно, по первому закону Зипфа, если самое распространенное слово встречается в тексте, например, 100 раз, то следующее по частоте слово вряд ли встретится 99 раз. Частота вхождения второго по популярности слова, с высокой долей вероятности, окажется на уровне 50. Значение константы в разных языках различно, но внутри одной языковой группы остается неизменно, какой бы текст мы ни взяли. Так, например, для английских текстов константа Зипфа равна приблизительно 0,1. Для русского языка коэффициент Зипфа получился равным 0,06-0,07. Хотя эти исследования не претендуют на полноту, универсальность законов Зипфа позволяет предположить, что полученные данные вполне достоверны.

2.3.2 Второй закон Зипфа "количество - частота"

Рассматривая первый закон, Зипф установил, что разные слова входят в текст с одинаковой частотой и что частота и количество слов, входящих в текст с этой частотой, тоже связаны между собой. Если построить график, отложив по одной оси (оси Х) частоту вхождения слова, а по другой (оси Y) -количество слов в данной частоте, то получившаяся кривая будет сохранять свои параметры для всех без исключения созданных человеком текстов. Как и в предыдущем случае, это утверждение верно в пределах одного языка.

Рис. 2 Второй закон Зипфа

Однако и межъязыковые различия невелики. На каком бы языке текст ни был написан, форма кривой Зипфа останется неизменной и коэффициенты, отвечающие за наклон кривой отличаются незначительно [рис. 2]. Законы Зипфа универсальны, они применимы не только к текстам, аналогичный эффект наблюдается при рассмотрении зависимости количества городов от числа проживающих в них жителей. Характеристики популярности узлов в сети Интернет - тоже отвечают законам Зипфа. Исследования показывают, что наиболее значимые слова лежат в средней части диаграммы. Слова, которые попадаются слишком часто, в основном оказываются предлогами, местоимениями, в английском - артиклями и т.п. Редко встречающиеся слова тоже, в большинстве случаев, не имеют решающего смыслового значения.

От того, как будет выставлен диапазон значимых слов, зависит многое. Каждая поисковая система решает проблему по-своему, руководствуясь общим объемом текста, специальными словарями и т.п. Проведем эксперимент. Подвергнем абзац текста математическому анализу и попытаемся определить список значимых слов.

В качестве примера возьмем один из предыдущих абзацев (абзац, начинающийся словами "Законы Зипфа универсальны"). Посмотрим, какие слова попали в область значимых слов, а какие нет. В таблице 1 приведены все слова абзаца и указана частота их вхождения. Как видите, слова с частотой 2 и 3 наиболее точно отражают смысл абзаца. Слово с наибольшей частотой вхождения оказалось предлогом, а слова с меньшей - общими словами.

Выделим зону значимых слов. Пусть это будут слова с рангом 2, 3 и частотой 3, 2 соответственно. (Обратите внимание, как смещение или расширение зоны значимых слов влияет на их состав.)

Давайте теперь проанализируем выделенную нами область значимых слов. Не все слова, которые попали в нее, отражают смысл текста. Смысл абзаца очень точно выражают слова: «зипфа», «манускриптов», «войнича», «законам». Запрос типа: + "закон* зипфа" + "манускрипт* войнича" непременно найдет нам этот документ. Однако в область попали и слова: «на», «не», «для», «например», «это». Эти слова являются "шумом", помехой, которая затрудняет правильный выбор. "Шум" можно уменьшить путем предварительного исключения из исследуемого текста некоторых слов. Для этого создается словарь ненужных стоп-слов (словарь называется стоп-лист). Например, для английского текста стоп-словами станут термины: «the», «a», «an», «in», «to», «of», «and», «that»... и так далее. Для русского текста в стоп-лист могли бы быть включены все предлоги, частицы, личные местоимения и т. п. Наверняка попали бы и слова из нашего "шума": «на», «не», «для», «это». Есть и другие способы повысить точность оценки значимости терминов.

До сих пор мы рассматривали отдельно взятый документ, не принимая во внимание, что он входит в базу данных наряду с множеством других документов. Если представить всю базу данных как единый документ, к ней можно будет применить те же законы, что и к единичному документу. Посмотрите на список терминов в нашем примере. В одной группе находятся слова-термины «зипфа» и «не» - они входят в документ равное количество раз. Исследовав остальные документы базы данных на предмет вхождения в них этих терминов, мы, обнаружим, что «не» встречается очень часто, в то время как «зипфа» довольно редко. Вышеизложенное позволяет сделать вывод: слово «зипфа» должно стать термином, в то время как «не» следует отбросить, как ненужное слово. Чтобы избавиться от лишних слов и в тоже время поднять рейтинг значимых слов, вводят инверсную частоту термина. Значение этого параметра тем меньше, чем чаще слово встречается в документах базы данных. Вычисляют его по формуле:

Инверсная частота термина i = log (количество документов в базе данных / количество документов с термином i).

Теперь каждому термину можно присвоить весовой коэффициент, отражающий его значимость:

Вес термина i в документе j = частота термина i в документе j х инверсная частота термина i.

Естественно в нашем примере термин «не» получит нулевой или близкий к нулю вес, поскольку практически во всех текстах попадается это слово. Термин же «зипфа» напротив, приобретет высокий вес.

Современные способы индексирования не ограничиваются анализом перечисленных параметров текста. Поисковая машина может строить весовые коэффициенты с учетом местоположения термина внутри документа, взаимного расположения терминов, частей речи, морфологических особенностей и т.п.

В качестве терминов могут выступать не только отдельные слова, но и словосочетания. Джорж Зипф (George K. Zipf) опубликовал свои законы в 1949 году. Пять лет спустя знаменитый математик Беноит Мандлеброт (Benoit Mandlebrot) внес небольшие изменения в формулы Зипфа, добившись более точного соответствия теории практике. Без этих законов сегодня не обходится ни одна система автоматического поиска информации. Как следует из законов, математический анализ позволяет машине с хорошей точностью, без участия человека распознать суть текста. [16, с 30]

2.4 Механизм работы поисковых систем

Каждая поисковая система - это комплекс программ.

В основу работы поисковых средств в чистом виде (поисковых машин) заложены следующие технологические принципы: задача поисковых машин - вести поиск по ключевым словам из полных текстов web-документов, то есть проводить максимальное детальное разыскание информации в электронной вселенной. В отличие от справочников, все они функционируют полностью в автоматизированном режиме, имеют одинаковый принцип деятельности и состоят из двух основных блоков.

Основные части программного комплекса:

1. Робот spider (паук). Автономно работающая программа, которая перебирает страницы сайтов, стоящих в очереди на индексацию. Она записывает на диск поискового сервера содержимое исследуемых страниц.

2. Робот crawler (“путешествующий” паук). Его задача - собирать все ссылки на исследуемой странице, находить среди них новые, неизвестные поисковой системе, и добавлять их в список ожидающих индексации.

3. Индексатор. Обрабатывает страницы из очереди на индексацию. Для этого он оставляет “словарь” странички, запоминает “частоту” использования слов. Особо отмечает ключевые слова, используемые в заголовках, выделенные в тексте жирным шрифтом. Помещает отобранные слова в особый файл - “индекс”.

4. База данных. Хранит ссылки на страницы, словарь встречаемых на странице слов и много другой информации, которая необходима для формирования результатов поиска.

5. Система обработки запросов и выдачи результатов.

Принимает запрос пользователя, формирует запрос к базе данных, получает из хранилища результат и передает его пользователю.

Каждый результат поиска содержит:

1. Заголовок найденной страницы.

2. Отрывок из текста страницы, по которому видно, в каком окружении (контексте) используются нужные нам слова. Искомые слова в нем, как правило, выделены жирным шрифтом или отличаются по цвету от основного текста.

3. Полный URL (УРЛ) (“Universal Resource Locator” - адрес в сети Интернет) страницы.

4. Размер страницы, дата последнего изменения (если поисковая машина в состоянии ее определить).

5. Ссылка на копию страницы в базе поисковой машины. Если документ был изменен или сайт временно не работает, то сохраненная в базе поисковой машины копия вам все равно дает возможность ознакомиться с найденным документом.

6. “Похожие документы”. Некоторые поисковики анализируют содержание найденных по запросу страниц и группируют их по своим, внутренним критериям. Например - по близости словарей страниц, по одинаковым заголовкам, по совпадениям фраз, по количеству синонимов. Данные алгоритмы далеки от совершенства и в “похожих страницах” не очень часто можно найти нужную информацию, что затруднит работу в нашем поиске.

7. Рубрику каталога или рейтинга поисковой машины (если сайт участвует в каталоге или рейтинге).

Чем же различаются поисковые машины, если у них одинаковая форма запроса и примерно одинаковый формат выдачи результатов?

- Релевантностью результатов;

- величиной и частотой обновления баз данных;

- скоростью выдачи результатов;

- удобством работы.

На сегодняшний день поисковые системы - самые популярные страницы сети на которых пользователи проводят много времени. Поэтому, все большее значение при выборе поисковой системы приобретают сопутствующие сервисы (почта, новостные ленты, торговые площадки и т.п.)[7, с 36].

2.5 Основные параметры поисковых систем

Работа поискового указателя происходит в три этапа, из которых два первых являются подготовительными и незаметны для пользователя. Сначала поисковый указатель собирает информацию из World Wide Web. Для этого используют специальные программы, аналогичные браузерам. Они способны скопировать заданную Web-страницу на сервер поискового указателя, просмотреть ее, найти все гиперссылки, имеющиеся на странице, снова разыскать находящиеся в них гиперссылки и т. д. Подобные программы называют червяками, пауками, гусеницами, краулерами, спайдерами и другими подобными именами. Каждый поисковый указатель эксплуатирует для этой цели свою уникальную программу, которую нередко сам и разрабатывает. Многие современные поисковые системы родились из экспериментальных проектов, связанных с разработкой и внедрением автоматических программ, занимающихся мониторингом Сети. Теоретически, при удачном входе спайдер способен «просмотреть» все Web-пространство за одно погружение, но на это надо много времени, а ему еще необходимо периодически возвращаться к ранее посещенным ресурсам, чтобы контролировать происходящие там изменения и выявлять «мертвые» ссылки, т. е. потерявшие актуальность.

После копирования разысканных Web-ресурсов на сервер поисковой системы начинается второй этап работы -индексация. В ходе индексации создаются специальные базы данных, с помощью которых можно установить, где и когда в Интернете встречалось, то или иное слово. Считайте, что индексированная база данных -это своего рода словарь. Она необходима для того, чтобы поисковая система могла очень быстро отвечать на запросы пользователей. Современные системы способны выдавать ответы за доли секунды, но если не подготовить индексы заранее, то обработка одного запроса будет продолжаться часами.

На третьем этапе происходит обработка запроса клиента и выдача ему результатов поиска в виде списка гиперссылок. Допустим, клиент хочет узнать, где в Интернете имеются Web-страницы, на которых упоминается известный голландский механик, оптик и математик Христиан Гюйгенс. Он вводит слово Гюйгенс в поле набора ключевых слов и нажимает кнопку. Найти (Search). По своим базам указателей поисковая система в доли секунды разыскивает подходящие Web-ресурсы и формирует страницу результатов поиска, на которой рекомендации представлены в виде гиперссылок. Далее клиент может пользоваться этими ссылками для перехода к интересующим его ресурсам. [8, с380]

Возможности поискового механизма выражать запрос максимально точно в значительной степени предопределяют долю релевантных документов в перечне полученных результатов. Каждая машина имеет свою собственную лексику, которая по-разному позволяет детализировать поисковое предписание. Все современные поисковые машины обладают возможностью ранжировать результаты поиска в зависимости от местоположения и частоты повторения искомых понятий в документе. Например, документы, в которых искомый термин встречается в названии или заголовке страницы или же повторяется несколько раз в тексте, выдается в начале списка результатов. Не последнюю роль играет простота интерфейса, наличие дополнительных сервисных функций, как например, возможность перевода текста документа на иностранный язык, способность выделять все документы с определенного сайта, сужение критериев в ходе поиска, нахождение документов "по образцу" и т.д. По этим параметрам среди внушительного числа поисковых систем выделяются несколько наиболее признанных, позволяющих выявлять информацию с высокой степенью полноты и надежности.

2.6 Классификация поисковых систем по авторитетности

Классификация поисковых систем по авторитетности:

- Alta Vista (http://www.altavista.com);

- HotBot (http://www.hotbot.com),

- Northern Light (http://www.northernlight.com),

- Excite (http://www.excite.com),

- InfoSeek (http://www.infoseek.com),

- Lycos (http://www.lycos.сom).

Российские системы этого класса представляют:

- Rambler (http://www.rambler.ru),

- Апорт (http://www.aport.ru),

- Яndex (http://www.yandex.ru).

Абсолютно все всемирно известные справочники и поисковые системы в настоящее время превратились во внушительные корпорации с ежегодными многомиллионными доходами. Заработав авторитет наиболее посещаемых мест в Сети, они предоставляют свои страницы для размещения рекламной информации, доходы от которой и составляют основу их бюджета. Постепенно поисковые серверы превращаются в образования, именуемые "портал", где поисковый сервис является главной приманкой для пользователей, но далеко не единственной из предоставляемых услуг. Помимо разыскания информации, такие серверы обычно предоставляют пользователям бесплатную электронную почту, возможность размещать свои страницы, а также сведения о погоде, текущих новостях, биржевые котировки, карты местности (США и Канада) и т.д.[9, с 80]

На сегодняшний день поисковые системы - самые популярные страницы сети, на которых пользователи проводят очень много времени. Поэтому, все большее значение при выборе поисковой системы приобретают сопутствующие сервисы (почта, новостные ленты, торговые площадки и т.п.). Все это выглядит достаточно просто, но на самом деле здесь есть проблемы. Основная проблема современного Интернета связана с изобилием Web-страниц. Достаточно ввести в поле поиска такое простое слово, как, например, футбол, и российская поисковая система выдаст несколько тысяч ссылок, сгруппировав их по 10-20 штук на отображаемой странице.

По данным статистики, клиенты просматривают не более 50 ссылок, стоящих первыми, при этом, не обращая внимание на остальные. Однако клиентов беспокоит качество самых первых ссылок. Клиенты не любят, когда в первом десятке встречаются ссылки, утратившие актуальность, когда подряд идут ссылки на соседние файлы одного и того же сервера. Самый плохой вариант - когда подряд идут несколько ссылок, ведущих к одному и тому же ресурсу, но находящемуся на разных серверах.

Для решения данной проблемы, широко применяются технологии искусственного интеллекта, результатом работы которых является список найденных ссылок, отсортированных по качественности их ресурсов.

Строго говоря, все поисковые системы извлекают исходную информацию из одного и того же Web-пространства, поэтому исходные базы данных у них могут быть относительно похожи. И лишь на третьем этапе, при выдаче результатов поиска, каждая поисковая система начинает проявлять свои лучшие (или худшие) индивидуальные черты. Операция сортировки полученных результатов называется ранжированием. Каждой найденной Web-странице система присваивает некоторый рейтинг, который должен отражать качество материала. Но качество - понятие субъективное, а программе нужны объективные критерии, которые можно выразить числами, пригодными для сравнения.

Высокие рейтинги получают Web-страницы, у которых ключевое слово, использованное в, запросе, входит в заголовок. Уровень рейтинга повышается, если это слово встречается на Web-странице несколько раз, но не слишком часто. Благоприятно влияет на рейтинг вхождение нужного слова в первые 5-6 абзацев текста - они считаются самыми важными при индексации. По этой причине опытные Web-мастера не дают в начале своих страниц таблицы. Для поисковой системы каждая ячейка таблицы выглядит, как абзац, и потому содержательный основной текст как бы далеко отодвигается назад (хотя на экране это и не заметно) и перестает играть решающую роль для поисковой системы.

Очень хорошо, если ключевые слова, использованные в запросе, входят в альтернативный текст, сопровождающий иллюстрации. Для поисковой системы это верный признак того, что данная страница точно соответствует запросу. Еще одним признаком качества Web-страницы является тот факт, что на нее есть ссылки с каких-то других Web-страниц. Чем их больше, тем лучше. Значит, эта Web-страница популярна и обладает высоким показателем цитирования. Самые совершенные поисковые системы следят за уровнем цитирования зарегистрированных ими Web-страниц и учитывают его при ранжировании.

Создатели Web-страниц всегда заинтересованы в том, чтобы их просматривало больше людей, поэтому они специально готовят страницы так, чтобы поисковые системы давали им высокий рейтинг. Хорошая, грамотная работа Web-мастера способна значительно поднять посещаемость Web-страницы, однако есть и такие «мастера», которые пытаются обмануть поисковые системы и придать своим Web-страницам значимость, которой в них на самом деле нет. Они многократно повторяют на Web-странице какие-то слова или группы слов, а для того чтобы те не попадались на глаза читателю, либо делают их исключительно мелким шрифтом, либо применяют цвет текста, совпадающий с цветом фона. За такие «хитрости» поисковая система может и наказать Web-страницу, присвоив ей штрафной отрицательный рейтинг.

В последние годы сложилась практика коммерческого рейтингования. Технически поисковые системы оснащены самыми современными средствами, соответствующими уровню 2008 года, а общий размер Российского сектора Интернета сегодня примерно таков, каким был западный сектор в 1994-1995 гг. Поэтому сегодня в России особых проблем с поиском информации нет и в ближайшее время они не предвидятся. А в западном секторе проблемы с поиском очень большие, и разные поисковые системы пытаются по-разному их преодолеть. [10,с 124]

Пути решения вышеобозначенных проблем рассмотрим далее.

Из поисковых указателей в России сегодня действуют три «кита» (есть и более мелкие системы, но мы останавливаться на них не будем). Это «Рамблер» (www.rambler. ru), «Яндекс» (www.yandex. ru) и «Апорт2000» (www.aport. ru).

Исторически наиболее популярной поисковой системой является «Рамблер». Она начала работать раньше других и долгое время лидировала по размеру поискового указателя и качеству услуг поиска. Но, сегодня, эти достижения в прошлом. Несмотря на то, что размер поискового указателя «Рамблер» примерно равен 12 миллионам Web-страниц, он давно не обновляется и выдает устаревшие результаты. Сегодня «Рамблер» -это популярный портал, лучшая в России классификационно-рейтинговая система и рекламная площадка. Традиционно эта система держит первое место в России по посещаемости и имеет хорошие доходы от рекламы. Но в развитие средств поиска средства не вкладываются. [9, с 96]

Самый большой указатель лежит в основе системы «Яндекс» - примерно 27 миллионов Web-страниц, но дело не только в размере. Это не просто указатель на ресурсы, а указатель на самые актуальные ресурсы. По уровню актуальности «Яндекс» сегодня - безусловный лидер. [6, с 142]

Система «Апорт» выигрывает на третьем этапе: в момент представления информации клиенту. Она не стремится к созданию самого большого указателя автоматическими средствами, а вместо этого широко использует информацию из каталога @Rus, проходящую ручную обработку. Поэтому система выдает не так много результатов, как ее ближайшие конкуренты, но зато эти результаты, как правило, точны и наглядно представлены

Начиная поиск чего-либо в Internet и имея минимум информации, а так же пытаясь ограничить потери времени, для получения наиболее общей информации возможно обращение к следующей базе данных.

Основные особенности поисковой системы Апорт:

1. База данных: предмет ведет к Межсетевым ресурсам, построенным библиотекарями.

2. Содержание: Свыше 2,500 связей с Internet ресурсами, кратко аннотируемыми, с указанными предметными заголовками.

3. Поиск: Поиски могут быть ограничены названием ресурса, описанием его, или с указанными предметными заголовками.

4. Результаты: Результаты показаны в алфавитном порядке названиями ресурса.

5. Адрес: http://sunsite.berkeley.edu/InternetInd ex.

6. Частота Модернизации: ежедневно. [2, с 280]

Yahoo! - самая известная поисковая машина, была основана в 1994, и на сегодняшний день это самый старый и наиболее полный каталог Интернет-ресурсов. Популярная система, обслуживающая миллионы запросов ежедневно, зародилась как простая коллекция закладок, которую пополняли всего 2 человека - Дэвид Фило и Джерри Янг.

Yahoo! является наиболее популярным поисковым средством. Поисковая система содержит в штате 150 редакторов, для того, чтобы составлять и редактировать содержимое своих каталогов. Поисковая система имеет базу данных в более чем 1 млн. проиндексированных сайтов. Также, если недостаточно своей собственной базы данных, она использует базу данных Google (до июля 2000 года Yahoo! пользовался базой данных Inktomi).

Сайты поисковой системы разделены по категориям и ключевым словам. Они содержат полезную информацию на своей домашней странице. Могут подключаться к другим поисковым машинам.

Основные особенности поисковой системы Yahoo!:

1. Базы данных: в ведении находится служба поиска Internet-ресурсов, новостей, карт, рекламных информаций, спортивная информация, бизнес, номера телефонов, персональные WWW-страницы, и email-адреса (отдельная база данных).

2. Содержание: Основная директория содержит: адреса (URLs) для Internet-ресурсов и краткое описание для этих связей.

3. Поиск: Все Yahoo! страницы предлагают не только простое поисковое окно, но и опции для этого поиска, а так же поиск Usenet или Email-адреса. Поиск может ограничиваться указанием определённого промежутка времени. Boolean операторы (и, или) и последовательный поиск также поддержаны. Отметим: если поиск в Yahoo! не привёл к положительному результату, то процесс поиска автоматически переходит на Alta Vista, поисковая система продолжает поиск, и в случае положительных результатов автоматически возвращает найденную информацию в Yahoo!.

Если Yahoo! не может установить связь достаточно быстро с Alta Vista, то в этом случае Yahoo! будет обеспечивать страницу связи с набором инструментов поиска. После того как одна из этих связей выбирается, ключевые слова передаются к поисковой машине на ваше усмотрение.

Средством, облегчающим поиск, является наличие “tip search”(TS) - поиск с помощью “намека”: Yahoo! Является подчиненным справочником, это означает, что система не имеет так много страниц, как поисковые машины, однако задание наиболее общих ключевых слов позволит найти необходимую тему на странице высокого уровня (первая страница, которая возникает перед пользователем при посещении сайта) для организации или компании.

4. Результаты: Связи отображаются в соответствии с очерёдностью задаваемых слов последовательностью поиска наряду с их описательным текстом и подчиненной иерархией.

5. Адрес: http://www.yahoo.com.

6. Частота Модернизации: ежедневно. [7, с 214]

AltaVista начала предоставлять свои услуги в декабре 1995 года и на сегодняшний день является одной из наиболее крупных поисковых систем (по количеству проиндексированных страниц). Особенность этой поисковой системы заключается в возможность вести поиск по усложненным критериям отбора . Alta Vista также предлагает дополнительные услуги в виде поиска по каталогам (взятыми из Open Directory and LookSmart), а также службу под названием "Ask AltaVista" ("спроси AltaVista"), результаты которой берутся из Ask Jeeves. В настоящее время AltaVista владеет поисковой системой Raging Search.

Alta Vista поддерживает поиск по ключевому набору слов и для определения языка конкретной страницы использует методы искусственного интеллекта. Пользователи могут настроить опции поиска и выбирать тип поиска - сложный или упрощенный, а также воспользоваться различными способами предоставления информации. В отличие от машин, которые индексируют только ключевые слова, она индексирует весь текст, что позволяет осуществлять полный поиск.

Основные особенности поисковой системы Alta Vista:

1. Базы данных: Расположенные по всему миру WWW-страницы и Usenet News (новости).

2. Содержание: 31 миллион WWW-страниц (на май 2008 г.) и полный текст более чем 14,000 newsgroups обновленный в реальном масштабе времени.

3. Поиск: Предлагает простой (simple (S)) поиск или (much more advanced (MMS)),т.е. более передовой, способ. S - поиск стоит в основном использовать для общих вопросов, MMS - поиск использует специфический поисковый синтаксис. Для облегчения выполнения процедуры имеется подсказка (Simple Search Help). MMS - поиск, используя булинь(boolean), т.е. с помощью ключевых союзов, используя (and, or, not - (и, или, не)) и простую смежность (near - (около)) позволяет употреблять несколько слов, чередование слов, словосочетание в качестве ключевых для проведения поиска.

4. TS - поиск: Введением ключа типа: " Ваша Фраза " как первое направление поиска, который будет ограничивать число найденных WWW - документов с заголовками типа " Ваша Фраза ".

5. Результаты: Предлагает три выбора результатов (но два дают тот же самый результат):

1) "Стандартные"("Standard") - результаты, полученные машиной в виде списка параграфов, резюмируемые ей, с наличием URL - адреса, размером файла и последней датой модернизации. Результаты возвращаются как десять пунктов на экране.

2) "Компактный"("Compact") помещают каждый пункт в одной строке с последней датой модернизации картотеки.

3) "Детальный"("Detailed"), который является таким же самым, как и "Стандартный".

6. Адрес: http://altavista.digital.com.

7. Частота модернизации: Постоянно WWW-роботом.

Для анализа информации Excite использует поисковую технологию Intelligent Concept Extraction, что позволяет делать запросы по образцу. Это самая популярная поисковая система в Америке. Для каждой найденной страницы она оценивает степень соответствия запросу. [8, с 100]

Основные особенности поисковой системы Excite:

1. Базы данных: WWW-страницы по всему миру, новости, карты, "yellow pages" ("желтые страницы"), свободно распространяемое программное обеспечение, основные цитаты, программы телевидения, погоду,

е - mail адреса, рейсы авиалиний.

2. Содержание: 50 миллионов WWW-страниц и больше чем двухнедельный запас Usenet новостей.

3. Поиск: Предлагает только S - поиск, который поддерживает некоторые опции MMS - поиска.

TS - поиск: используйте плюс (+) чтобы определить, что все документы имеют данное слово, или используют минус (-) что бы уточнить, что ни один из документов не имеет данного слова. Возможно так же поддержка вoolean-операторами.

Вы можете использовать "AND", "OR" and "AND NOT"(И, ИЛИ и. И НЕ) операторы и круглые скобки для группировки. Например: (digital or virtual or electronic) AND library.

(цифровой или виртуальный или электронный) И библиотека.

4. Результаты: Результаты показаны с названием документа, разряд уместности в процентах, URL - адрес, резюме программного обеспечением документа, и опция, чтобы восстановить "More Like This"

("Скорее Этот "), которая позволяет использовать документ как ваш вопрос.

5. Адрес: http://www.excite.com/.

6. Частота Модернизации: Постоянно - WWW-роботом. [11, с 68]

Hot Bot для поиска в Интернете использует многопроцессорную параллельную обработку 10. млн. страниц ежедневно. Полезная сторона Hot Bot - ограничение на тип страниц по средствам выбора кнопок.

Основные особенности поисковой системы Hot Bot:

1. База данных: Расположенные по всему миру WWW-страницы.

2. Содержание: 54 миллиона WWW-страниц (на сентябрь 1996 г.).

3. Поиск: Предлагает S - поиск и Эксперт(Expert (Е))- поиск, поддерживает boolean-операторы (И и ИЛИ), поиск фразы, и выбор " человек "или" URL ". Е-поиск также поддерживает задание даты, местоположение (страна и т.д.)

TS - поиск: использует заключение фразы в двойные кавычки (например, " слова фразы ").

4. Результаты: Результаты показаны с названием документа, разряд уместности в проценте, URL, размер документа.

5. Адрес: http://www.hotbot.com.

6. Частота модернизации: Постоянно WWW-роботом ("Slurp"). [17, с 53]

Infoseek самая популярная поисковая машина в компьютерной индустрии. В мае 2006 она была признана самой достоверно предоставляющей информацию машиной. Привлекательность машины в том, что после отсеивания информации можно проверить найденную информацию ещё раз.

Основные особенности поисковой системы Infoseek:

1. Базы данных: расположенные по всему миру WWW-страницы, новости, запасает цитаты, карты, желтые страницы("yellow pages"),

e - mail адреса, и т.д.

2. Содержание: Главный база данных: 50 миллионов URL-адресов. (на сентябрь 2008 г)

3. Поиск: предлагает только простой S - поиск, но ключевые слова поиска могут быть ограничены специфическими полями (типа в пределах заголовков документа), поиск с использованием возможностей либо с исключением определённого слова (данному слову предшествует минус"-") или с включением требуемого слова (данному слову предшествует " + "). Для дополнительной информации относительно выбора поиска, используется. Infoseek-Помощь(Infoseek Help).

4. Результаты: Включает название документа, размер картотеки, URL, краткое резюме, извлеченное из документа, и разряд уместности в процентах.

5. Адрес: http://www.infoseek.com.

6. Частота Модернизации: Постоянно WWW-роботом.

7. Дополнительная информация: в случае большого количества информации см. http://info.infoseek.com/. [18, с 60]

Lycos - одна из первых поисковых машин. Машина удобна для работы с поиском и для одновременного просмотра сайтов. При выводе информации показывает краткий обзор, и найденные адреса.

Основные особенности поисковой системы Lycos:

1. Базы данных: расположенные по всему миру WWW-страницы, звуки, картины, "top 5% sites".

2. Содержание: 70 миллионов URL-адресов (на март 2008 г.).

3. Поиск: предлагает S - поиск и клиентурный(Custom (С)) поиск. С-поиск поддерживает boolean-операторы AND и OR (И и ИЛИ), также как некоторые другие назначения.

4. Результаты: результаты внесены в упорядоченный список; информация включает адрес документа (URL), название, размер файла, и выдержки из файла.

5. Адрес: http://www.lycos.com.

6. Частота модернизации: постоянно WWW-роботом. [19, с 200]

2.7. Проблемы и возможности поисковых систем

Работа многих поисковых машин считается вполне успешной. Однако все современные поисковые системы имеют некоторые серьёзные недостатки:

1. поиск по ключевым словам даёт слишком много ссылок и многие из них бесполезны;

2. огромное количество поисковых машин с разными пользовательскими интерфейсами порождает проблему когнитивной перегрузки;

3. методы индексирования баз данных, как правило, не связаны с информационным содержанием;

4. часто выдаются ссылки на информацию, которой в Интернете давно нет;

5. машины ещё не столь совершены, чтобы понимать естественный язык.

В последнее время потребности в интеллектуальной помощи быстро растут. Это привело к появлению интеллектуальных агентов.

Обычно интеллектуальные агенты являются основной частью поисковой машины, где для поиска используется искусственный интеллект. Пользователь учит агента, а затем он выходит в Интернет для поиска.

Интеллектуальные агенты выполняют инструкции от имени пользователя, имеют некоторую самостоятельность. После поиска они оповещают пользователя о результатах. Агенты учатся в результате своей деятельности.

Перечислим характерные черты программ данного класса:

1. интеллектуальность - обучение на основе обратной связи по примерам ошибкам и по средствам взаимодействия с другими агентами;

2. простота использования - можно тренировать агента, используя естественный язык;

3. индивидуальный подход - адаптация к предпочтениям пользователей;

4. интегрированность - непрерывное обучение и применение уже имеющих знаний к новым ситуациям;

5. автономность - ощущение окружающей среды, и анализ выводов. [20, с 7]

3. Стратегия поиска

Сформулируем основные этапы стратегии поиска:

1. Необходимо иметь текст-источник, в роли такого источника может выступать журнальная статья, книга, веб-страница и т.п.

2. Для последующего анализа целесообразно информацию, имеющуюся в источнике, формализовать в соответствии с требованиями проводимого анализа.

3. На основе полученных в ходе предыдущих этапов сведений чётко формулируем задачу поиска.

4. Проведём анализ текста-источника.

Определив основные стратегические этапы, перейдём к их детализации.[21]

3.1 Последовательность действий

1. Подбираем текст-источник. Чем четче описание проблемы в тексте-источнике, тем качественнее и точнее окажется результат. Размытый и путаный текст-источник найдёт в поисковой системе столь же ненужные документы.

2. Удаляем из текста стоп - слова (их можно просто вычеркивать).

3. Вычисляем частоту вхождения каждого термина. Причем делаем это без учета морфологии слов. Так, слова «ship» и «ships» будут разными терминами. Не нужно учитывать и регистр, все буквы считаем строчными.

4. Выписываем на отдельный лист термины в порядке убывания их частоты вхождения (первыми должны идти те, которые встречаются чаще).

5. Выбираем диапазон частот. Он должен лежать где-нибудь посередине. Не нужно брать слишком часто или, наоборот, слишком редко встречающиеся термины. Выбор диапазона субъективен. Вам следует ориентироваться на конкретный смысл текста. Необходимость выбирать диапазон вручную не должна смущать, ведь теперь вы выбираете термины не из текста, а из построенного по определенному закону упорядоченного списка.