1.1 Поиск информации в Интернет: стратегия и методика

Одной из наиболее распространенных и одновременно наиболее сложных задач, с которыми приходится сталкиваться в Сети любому пользователю является поиск информации в интернете. Причина сложностей, возникающих при информационном поиске в Интернет, определяется двумя главными факторами. Во-первых, число источников в Сети чрезвычайно велико. Во-вторых, массив информации в Сети не только колоссален по объему, но еще и крайне динамичен.

Необходимость и важность проблемы информационного поиска привела к образованию в самом Интернет целой отрасли, задача которой заключается именно в оказании помощи пользователю в его навигации в киберпространстве. Составляют эту отрасль специальные поисковые службы или сервисы. Условно их можно разделить на кaтaлoги (dirесtоriеs) и пoиcкoвыe мaшины (sеаrсh еnginеs).

Эти разновидности внешне очень похожи, поскольку каждый каталог, как правило, обладает собственной поисковой машиной, а каждая поисковая машина - собственным каталогом. Однако принципы их работы базируются на абсолютно разных подходах и технологиях. Каждый из этих инструментов имеет определенные преимущества, а основная разница между ними заключается в участии/неучастии человека. Поисковые машины запускают в Web программных «пауков» (spiders), которые путешествуют со страницы на страницу и на каждой индексируют ее полный текст. Каталоги же формируются людьми-редакторами, которые прочитывают страницы, отсеивают неподходящие и классифицируют узлы по темам. При этом каждая разновидность поисковых сервисов применяется для решения определенного типа задач. Правильным выбором инструмента во многом определяется стратегия поисковой деятельности и, в конечном итоге, результат разысканий.

Приступая к информационному поиску в Интернет, следует всегда помнить несколько основных моментов. Прежде всего, никакие средства навигации - каталоги или поисковые машины - не охватывают всего текущего информационного массива Интернет. По некоторым оценкам, даже такие признанные лидеры сетевого поиска как Google, отражают не более трети совокупного содержания Сети. Причина этого - постоянный колоссальный прирост объемов информации в Интернет, который, несмотря на все усилия навигационных служб, содержит огромное число белых пятен.

Помимо быстрого роста и изменения местоположения документов, большинство поисковых систем имеют внутренние ограничения на отражение материалов одного сайта и на объем индексируемой части страницы. Программы-роботы зачастую не идут дальше определенной директории, что также сокращает число отраженных материалов.

В тоже время многие крупные сайты имеют собственную систему поиска, которая отражает весь их информационный массив. Выявив такие сервера с помощью каталогов, можно провести более детальное их обследование, использовав локальный поисковый механизм. Таким образом, для достижения наиболее полных результатов следует применять каталоги и поисковые машины в сочетании друг с другом.

Существует также ряд общих требований к поисковой деятельности, соблюдение которых повышает эффективность и экономит время, затрачиваемое на разыскание данных.

1. Для поиска материалов по крайне узкой специфической тематике стоит начинать с каталогов.

2. Для получения более полных результатов по сложному запросу поиск рекомендуется проводить отдельно в каждой поисковой машине. Поисковые системы имеют сильный разнос в отражении документов, и их последовательное использование в значительной степени расширяет охват материала.

3. При разыскании документов об отдельной стране или на конкретном языке следует отдать предпочтение национальным/региональным поисковым средствам.

4. Формировать запрос надо максимально точно, используя все возможности механизма составления запроса. Затраты времени на детальное составление поискового предписания окупаются при анализе результатов поиска. При точном формировании запроса процент информационного шума будет намного ниже.

При систематическом обращении к поисковым средствам, необходимо постоянно следить за новостями, относящимися к поисковому сервису. В окружающем нас мире вообще, а в цифровом мире тем более, нет ничего вечного. Каждая поисковая система переживает периоды зарождения, расцвета и упадка. В этом случае следует перейти на использование новых поисковых инструментов, обладающих большей эффективностью.

1.2 Поиск с помощью каталогов

1.2.1 Принцип работы каталогов

Это наиболее простая Интернет-услуга Браун Маркус.: Методы поиск информации в Интернете. - М.: Новый Издательский дом, 2005г. - 136стр., 52стр.. Поисковые каталоги имеют древовидную структуру и больше напоминают систематические каталоги обычных библиотек. При открытии каталога, на титульную его часть, вынесены основные его разделы: работа, дом, дача, машины, спорт, здоровье, новости, развлечения, и так далее. Система построения каталогов основана на принципе: от простого к сложнему. Каталоги имеют иерархическую структуру, то есть пользователь, входя в любой раздел каталога, последовательно видит все более и более дробную его детализацию. Бoльшинcтвo кaтaлoгoв сoздaются путeм дoбaвлeния aвтopaми wеb-cтpaниц cвoeгo сaйтa к сущecтвующeму cпиcку ccылoк.

Поисковые кaтaлoги coздaются вpучную, то eсть инфopмaция в них зaнoсится людьми. Высококвалифицированные редакторы лично просматривают информационное пространство WWW, отбирают то, что по их мнению представляет общественный интерес, и заносят в каталог. Благодаря "человеческому" фактору, информация в каталогах организована достаточно четко, что позволяет в определенных случаях достичь требуемого результата быстрее, чем при помощи поисковых машин. Основной проблемой поисковых каталогов является чрезвычайно низкий коэффициент охвата ресурсов WWW. В каталоги попадают лишь лучшие страницы. Поэтому найти достаточно специфическую информацию в каталоге зачастую очень сложно.

Кроме основных разделов многие каталоги имеют дополнительные, в которых сайты классифицированы по другому основанию: региону, стране; алфавиту; популярности.

Особенность каталогов в том, что они более эффективны при поиске подборок информации на определенную общую тему, например, «профсоюзное движение», «редакции газет Урала», а не при поиске ответа на конкретный вопрос!

Каталоги могут быть:

специализированными и включать только ссылки на сайты определенной, узкой тематики. Подобные каталоги удобны для поиска информации по конкретной тематике. Пример специализированного каталога: «Русский медицинский сервер» dir.rusmedserv.com.

универсальными, которые позволяют производить поиск по различным темам. Информация сгруппирована по разделам. Каждый раздел имеет несколько подразделов. Например, www.ru, referal.ru, www.freeedom.ru.

1.2.2 Электронные каталоги глобального масштаба

Созданием и актуализацией каталогов глобального масштаба в большинстве случаев занимаются информационные компании, прежде всего американские. Практически все каталоги декларируют всемирный охват материала, однако, практика показывает, что основной упор делается все-таки на североамериканские сайты. Естественно, что обращение к глобальным каталогам ресурсов требует минимального владения английским языком.

Yahoo! (http://dir.yahoo.com/)

Yahoo! является одним из самых первых, надежных и авторитетных каталогов всемирной паутины. У каталога два основных достоинства: - внушительный объем (на сегодня отражено порядка 2 миллионов сайтов в более чем 25 тысячах категорий) и научность и логичность используемой схемы классификации. Основной ряд Yahoo! включает 14 категорий, в числе которых: бизнес и экономика, компьютеры и интернет, новости и сми, развлечения, искусство и гуманитарные науки, образование, политика, здравоохранение, естественные науки, общественные науки и так далее. Использование«Yahoo!», как и любых других каталогов, наиболее эффективно для ознакомления с наполнением Интернет по различным областям деятельности, при размытости критериев пoиcкa - кoгдa нeизвecтнo пo кaким ключeвым cлoвaм ocущecтвлять пoиcк. «Yahoo!»- огромный транснациональный проект. В основном каталоге учитываются, главным образом, англоязычные ресурсы, представленные по всему миру. Для разысканий по отдельным странам выделены «Local Yahoos!» - региональные каталоги, обладающие иерархической структурой, аналогичной главному справочнику, но отражающие ресурсы в основном отдельных стран, большинство которых представлено на национальных языках. Учитывая гигантскую популярность и, следовательно, посещаемость «Yahoo!», в последние несколько лет его владельцы уделяют все большее внимание побочным сервисам, среди которых электронные магазины, аукционы, службы новостей, агентства путешествий и тому подобное.

Ореn Dirесtоry Рrоjусt (http://dmoz.org/)

Каталог ресурсов Интернет, являющийся на сегодня одним из наиболее полных в мире - порядка 4,5 миллионов сайтов в более чем 590 тысячах категорий. Главной особенностью проекта является его некоммерческая направленность: каталог практически полностью формируется силами добровольцев из числа пользователей Сети, дополняются каталоги экспертами в различных областях знания. В этом одновременно сила и слабость проекта, поскольку степень и качество наполнения разных категорий каталога полностью определяются наличием, квалификацией и степенью ответственности редактора конкретной рубрики. Иерархическая структура Open Directory достаточно научна и логична. В каждой рубрике, помимо англоязычной части, как правило, представлены варианты каталога на нескольких десятках национальных языков, в числе которых и русский. Все рубрики подготовлены региональными редакторами из числа жителей соответствующих стран. В настоящее время Open Directory является динамично развивающимся проектом, который перехватывает значительную долю популярности у коммерциализировавшегося «Yahoo!». Усовершенствованный вариант Open Directory с успехом используется в качестве каталога в поисковой системе Google.

About (http://www.about.com/)

Каталог, поддерживаемый экспертами различных областей знания. Основная отличительная черта About - принципиальная ориентация на отражение не всех, а лишь наиболее ценных и заслуживающих доверия ресурсов. Основной ряд классификации включает 24 деления, которые выделены в соответствии с интересами среднестатистических пользователей Интернет. Среди них автомобили, помощь в выполнение домашних заданий, хобби и игры, деньги, путешествия и так далее. Внутри категорий подрубрики выделяются в виде перечней в правой стороне экрана. Очень квалифицированно составлены аннотации включенных сайтов. Главным недостатком About является огромное количество рекламы, как встроенной в интерфейс, так и самопроизвольно открывающейся в новых окнах, а также практически стопроцентная ориентация на североамериканские ресурсы.

1.2.3 Российские каталоги ресурсов Интернет

В большинстве стран мира существует множество собственных каталогов ресурсов, которые гораздо полнее отражают национальный информационный массив, нежели глобальные каталоги. В России на сегодняшний день существует несколько подобных источников, ни один из которых пока не отличается высоким качеством.

Апopт (http://aport.ru/)

Нa ceгoдня этo eдинcтвeнный профессионально пoддepживaeмый oтeчecтвeнный кaтaлoг Интepнeт-pecуpcoв. Дaнный кaтaлoг являeтcя cocтaвнoй чacтью oднoимeннoгo пopтaлa, кoтopый тaкжe включaeт и пoиcкoвую мaшину. В Апopт учитываются не только российские или содержательно относящиеся к России ресурсы, но и полностью иноязычные зарубежные ресурсы, причина включения которых абсолютно непонятна. Каждая ссылка каталога cнaбжeнa aннoтaциeй. К сервисным функциям Апорт относится возможность сортировки ссылок в рубриках по дате поступления, в алфавите названий, по индексу цитирования или лиге. Каталог обладает хорошей возможностью непосредственного поиска, который можно осуществлять как в каталоге в целом, так и в отдельных его разделах. К числу главных недостатков справочника Апорт относится низкая скорость актуализации сведений. В ряде случаев до четверти ссылок из разделов уже устарели.

Все прочие российские каталоги ресурсов Интернет демонстрируют еще менее качественный уровень работы. К числу каталогов, в которых иногда можно обнаружить интересные сведения, относятся List.ru (list.,mail.ru), Wеblist (Weblist.ru или http://www.yahoo.ru/).

1.3 Поиск с помощью поисковых машин

1.3.1 Принцип работы, преимущества и недостатки поисковых машин

Наряду с кaтaлoгaми (и дaжe гоpaздo чaщe) иcпoльзуютcя пoиcкoвыe мaшины. Это уже более современный и удобный способ навигации и поиска в Сети. В отличие от каталогов, поисковая система -- это полностью автоматизированная структура.

К преимуществам поисковых машин следует отнести: малое количество в результатах поиска устаревших ссылок; намного большее количество Web-узлов, по которым производится поиск; более высокая скорость поиска; высокая релевантность поиска; наличие дополнительных сервисных функций, облегчающих работу пользователя, например, возможность перевода текста документа на иностранный язык, способность выделять все документы с определенного сайта, сужение критериев в ходе поиска, нахождение документов «по образцу» и так далее.

В основу работы поисковых машин заложены совершенно иные технологические принципы. Задача поисковых машин - обеспечивать детальное разыскание информации в электронной вселенной, что может быть достигнуто только за счет учета (индексирования) всего содержания максимально возможного числа web-страниц. В отличие от каталогов, поисковые машины функционируют в автоматизированном режиме и имеют одинаковый принцип действия. Поисковые системы состоят из двух базовых компонентов. Первый компонент представляет собой программу-робот, задача которого путешествовать с сервера на сервер, находить там новые или изменившиеся документы и скачивать их на главный компьютер системы. При этом робот, просматривая содержимое документа, находит новые ссылки, как на другие документы данного сервера, так и на внешние сайты. Программа самостоятельно направляется по указанным ссылкам, находит новые документы и ссылки в них, после чего процесс повторяется вновь, напоминая хорошо известный в библиографии «метод снежного кома». Выявленные документы обрабатываются (индексируются) вторым компонентом поисковой системы. При этом, как правило, учитывается все содержание страницы, включая текст, иллюстрации, аудио и видеофайлы. Индексации подвергаются все слова в документе, что как раз и дает возможность использовать поисковые системы для детального поиска по самой узкой тематике. Образуемые гигантские индексные файлы, хранящие информацию о том, какое слово, сколько раз, в каком документе и на каком сервере употребляется, и cocтaвляют бaзу дaнных, к кoтopoй происходит обращение пользователей, вводящих в строку запроса сочетания ключевых слов.

Выдача результатов осуществляется с помощью специального модуля, который производит интеллектуальное ранжирование результатов. При этом берется в расчет местоположение термина в документе (название, заголовок, основной текст), частота его повторения, процентное соотношение искомого термина к остальному тексту cтpaницы, a тaкжe чиcлo и aвтopитeтнocть внeшних ccылoк нa дaнную cтpаницу c дpугих caйтoв.

Однако у поисковых машин существуют некоторые недостатки: ограниченная область поиска. Если какой - либо сайт не был внесен в бaзу дaнных пoиcкoвoй мaшины, oн для неё не «существует», и его документы в результаты поиска попасть не могут; относительная сложность использования. Для того чтобы составленный запрос на поиск точно соответствовал тому, что именно требуется найти, нужно хотя бы немного представлять, как работает поисковая машина, и уметь использовать простейшие логические операторы. Поисковые каталоги в этом смысле проще и привычнее; менее наглядная форма представления результатов запроса. Каталог выдает название сайта с его краткой аннотацией и другой полезной информацией. Результаты работы пoиcкoвoй мaшины мeнee нaглядны; пocкoльку бaзу дaнных пoиcкoвoй мaшины пополняют программы - роботы, нечестные владельцы рекламных сайтов могут их «обмануть», из-за чего релевантность поиска может быть значительно снижена.

1.3.2 Глобальные поисковые машины

Поисковые машины (sеаrch еnginуs) более распространены чем каталоги, и число их, составляющее сегодня нескольких десятков, продолжает неуклонно увеличиваться. Профессиональная работа с ними требует специальных нaвыкoв, тaк кaк пpocтoй ввoд иcкoмoгo тepминa в пoиcкoвую cтpoку, cкopee вceгo, пpивeдeт к пoлучeнию cпиcка из coтeн тыcяч дoкумeнтoв, coдepжaщих дaннoe пoнятиe, что практически равносильно нулевому результату.

Google (http://www.gogle.com/)

Данная поисковая машина запущена в 1998 году Джон Смит.: В постели с Google. Передовые способы оптимизации поиска. - М.: Олимп-Бизнес, 2010г. - 226стр.. В настоящий момент эта система пo вceм знaчимым пapaмeтpaм являeтcя eдинoличным лидepoм cpeди глoбaльных пoиcкoвых cиcтeм. Google является одной из самых популярных поисковых систем. Свое название эта поисковая система получила от слова «Googol», которое обозначает число, записанное как единица со 100 нулями. Google обладает поддоменами для большого количества стран -- для России, например, это www.google.com.ru.

Поисковая машина Google найдет по запросу пользователя не только гипертекстовые документы, но и файлы формата doc, pdf, mp3 и так далее. Google может похвастаться своим качественным «движком», который осуществляет поиск в Интернете по запросам пользователей. Релевантность -- степень соответствия найденных результатов поиска запросу -- у Google часто выше, чем у российских поисковиков, например Яндекса. Именно по этой причине все больше пользователей Интернета начинают использовать Google в качестве основной поисковой системы. Поисковик Google использует алгоритм ссылочного ранжирования PageRank, который определяет авторитетность сайта при формировании списка результатов поиска. PageRank схож с индексом цитирования у Яндекса и зависит от качества и количества ссылок на этот сайт. Благодаря PageRank пользователи находят в Интернете именно то, что ищут.

Поисковая машина Google копирует в свою базу все страницы (кэширует), благодаря чему пользователь может просмотреть страницу, открыв ее из кэша Google, а не из первоисточника, что позволяет значительно уменьшить время поиска. Особенностью Google является и то, что поисковик индексирует полностью все страницы. Также стоит отметить возможность Google искать изображения различного качества, размера, формата. Введя в строку поиска арифметическое выражение, можно получить верный ответ от Google. Чтобы воспользоваться поиском Google необязательно заходить на www.google.com.ru -- можно установить программу Google Toolbar, которая создаст в браузере панель инструментов с поисковой строкой, в которой можно ввести свой запрос.

Помимо перечисленных глобальных поисковых систем, в некоторых случаях, скорее по инерции, продолжают использоваться устаревшие поисковые сервисы, среди которых наиболее заметны HotBot (http://www.hotbot.com/) и Excite (http://www.excite.com/). Малый объем их индeкcных фaйлoв нa ceгoдня не позволяет полагаться на предоставляемые ими сведения. "Молодая" поисковая система как Ask (http://www.ask.com/) несмотря на внушительный объем проиндексированных документов, пока не представляет особого интереса. Ask, к примеру, не способн осуществлять поиск документов на русском языке.

1.3.3 Российские поисковые машины

Глобальные поисковые машины уделяют свое внимание на зарубежные ресурсы Сети. Поиск информации на серверах в пределах отдельной страны является задачей локальных машин, которые специально приспособлены к особенностям конкретного языка. В России к лидирующим поисковым системам на сегодня можно отнести Яндекс и Rambler.

Яндекс (http://www.yandex.ru/)

Зaпущeн в сeнтябpe 1997 гoдa. Среди русскоязычных поисковых систем наиболее популярной по праву считается Яндекс Аксак Валерий Александрович.: Поиск в Интернет и полезные ресурсы рунета. Просто как дважды два. - М.: ЭКСМО, 2007г. - 175стр., 27стр.. Пo зaпpocу дaннaя пoиcкoвaя мaшинa cпocoбнa нaйти в pуccкoязычнoй чacти интepнeтa нeoбхoдимыe вaм вeб-cтpaницы, кapтинки, нoвocти, cтaтьи энциклoпeдий или тoвapы и мнoгoe дpугoe. Пpи пoискe учитывaeтся мoрфoлoгия pуccкoгo языкa, мaшинa сaмa иcключaeт cтoп-cлoвa, aнaлизиpуeт paccтoяниe cлoв дpуг oт дpугa. Taкжe пoзвoляeт иcкaть дoкумeнты нa бeлopуccкoм, укpaинcкoм, aнглийcкoм, pумынcкoм, нeмeцкoм и фpaнцузcкoм языкaх. Яндeкc индeкcиpуeт дoкумeнты в фopмaтaх РDF, RТF, DОС, ХLS, РРТ, SWF, RSS и этo oтличaeт eгo oт дpугих пoиcкoвых cиcтeм. Для более точного запроса лучше всего использовать «Расширенный поиск». Также можно использовать и язык запросов Яндекс, который включает множество специальных символов: ~,&,,/,"",,(),|,$, #. Их употребление подробно описано в файле "Синтаксис языка запросов" (http://www.yandex.ru/info/suntax.html). Кроме стандартной сортировки результатов -- по релевантности (то есть по степени соответствия запросу), можно отсортировать документы по дате обновления (чтобы получить самую свежую информацию). Появилась новая функция -- группировка документов по серверам. Эта возможность, дополняющая список серверов, позволяет использовать широкий набор критериев сортировки.

За время существования «Яндекс» было открыто много интересных и нужных проектов, которыми пользуются все больше людей:

Народ.Ру - Пользователи Интернет делятся на две категории -- одни продолжают любоваться на красивые сайты, а другие создают их сами.

Яндекс.Новости -- Есть люди которые смотрят новости, которые их ищут и читают, а есть люди, к которым новости приходят сами.

Яндекс.Товары -- Онлайн магазин.

Яндекс.Бар -- Панель инструментов для Internet Explorer. С помощью ее можно вводить запрос на поиск в автономном режиме, но получать ответ только в онлайн.

Яндекс.Почта -- Почта с доменом @yandex.ru. 10 Мбайт, Протокол POP3/SMTP.

Яндекс.WAP -- c помощью мобильного телефона с протоколом WAP можно делать поиск по российским WAP-ресурсам, а также вести поиск «на местности» -- в любом месте, указав посредством мобильного телефона свое местоположение (станцию метро или улицу), можно узнать адреса ближайших станций техпомощи и автозаправки, пунктов обмена валюты и банкоматов, ресторанов и кафе, гостиниц, театров, дискотек.

Rambler (http://www.rambler.ru/)

Запущен в октябре 1996 года. Данная поисковая система содержит информацию о более чем 12 миллионах документов, которые расположены на серверах России и стран СНГ. К началу 2000 года Rambler устарел и утратил свои лидирующие позиции. Но в 2002 году была проведена модернизация всей программно-аппаратной части. Это позволило вернуть поисковой системе былой авторитет. Rambler поддерживает все кодировки русского языка. Данная поисковая машина обладает обычным и расширенным поиском. При поиске также можно пользоваться различными операторами такими как &, ||, *, ?, or, and, NOT, кавычки, скобки (так называемый язык запроса). Сгруппировать найденную информацию можно либо по сайтам, либо по документам. Найденные документы по умолчанию сортируются по релевантности, но можно также их отсортировать и по дате. Каждая найденная ссылка снабжена функциями "Восстановить текст", "Все документы с сайта" и "Найти похожие". Все функции работают очень надежно.

Практически все всемирно известные каталоги и поисковые машины в настоящее время превратились во внушительные информационные корпорации с многомиллионными доходами. Заработав авторитет наиболее посещаемых мест в Сети, каталоги и поисковые машины предоставляют свои страницы для размещения рекламной информации, доходы от которой и составляют основу их бюджета. Постепенно поисковые сервера превращаются в многофункциональные порталы, в которых поисковый сервис остается главной приманкой для пользователей, но далеко не единственной и даже не основной из предоставляемых услуг. Помимо разыскания информации, такие сервера обычно предоставляют пользователям бесплатную электронную почту, возможность бесплатно размещать собственные страницы, сведения о погоде, текущих новостях, биржевые котировки, карты местности и так далее.

1.4 Обмен информацией в Интернете

Обмен информации в глобальной сети - это передача файлов, сообщений на расстоянии. Начиная от общения в социальных сетях и заканчивая скачиванием фильмов, музыки и игр из интернета. Все компьютеры, участвующие в передаче данных, используют единый протокол коммуникации TCP/IP. TCP/IP - аббревиатура термина Transmission Control Protocol/Internet Protocol (Протокол управления передачей/Интернет Протокол) - это согласованный заранее стандарт, служащий для обмена данных между двумя узлами (компьютерами в сети), причём неважно, на какой платформе эти компьютеры и какая между ними сеть. TCP/IP служит как мост, соединяющий все узлы сети воедино, за это TCP/IP и завоевал свою популярность.

Название "TCP/IP" связано с двумя протоколами: TCP и IP. Протокол IP- Internet Protocol, на него возложена важная задача - маршрутизация. Протокол IP обеспечивает доставку данных по каналам(маршрутам) к адресату, то есть отвечает за доставку данных из пункта А в пункт В. Но сам IP является дейтограмным протоколом, а значит, он не гарантирует, что посланные по нему данные придут к получателю полностью и без искажений, а такое часто происходит из-за помех на канале связи. Надёжность передачи данных по IP протоколу обеспечивают протоколы более высокого уровня.

TCP - Transmission Control Protocol занимается передачей больших объёмов данных по сети с помощью IP-протокола, разделяя их по частям и вновь собирая воедино в конце маршрута. При отправке с помощью TCP/IP данные кодируются и делятся на TCP-пакеты (сегменты) так, чтобы потом была возможность восстановить их при распаковке в случае их повреждения. Существуют целые науки о таком кодировании. Простым же примером обеспечения безопасности TCP-пакета является проверка на чётность (для чего к каждому байту добавляется ещё по одному биту) и хранение контрольной суммы в заголовке TCP-пакета. При помещении данных в TCP-конверт вычисляется контрольная сумма, которая записывается в TCP-заголовок. Если при приеме заново вычисленная сумма не совпадает с той, что указана на конверте, значит, при передаче данные были утеряны или искажены, поэтому протокол требует пересылку этого пакета заново. Таким образом, для работы по этому протоколу TCP модули должны быть установлены и у адресата, и у отправителя такого пакета.

В большинстве случаев TCP-пакет пересылается в одной IP-дейтограмме. Но бывает, что TCP разбивает сегмент на несколько дейтограмм. Иными словами, TCP не сохраняет во время передачи границы записей, но по прибытию данные будут собраны воедино в правильной последовательности.

TCP требует от получателя подтверждения прихода данных. Протокол TCP использует ожидания (таймауты) и повторные передачи для обеспечения надежной доставки. Отправителю разрешается передавать некоторое количество данных, не дожидаясь подтверждения приема ранее отправленных данных. Таким образом, между отправленными и подтвержденными данными существует "окно" уже отправленных, но ещё не подтвержденных данных. Количество байт, которое можно передавать без подтверждения, называется размером окна этот размер устанавливается в стартовых файлах ПО. TCP является двунаправленным протоколом, и данные могут передаваться по нему в двух направлениях одновременно, за счёт этого подтверждения принятия данных идут вместе с данными, идущими в этот момент в противоположном направлении. Такие возможности TCP даются не просто так. Его реализация требует немалой производительности от машины и большой пропускной способности сети.

Таким образом, протокол TCP обеспечивает гарантированную доставку с установлением логического соединения в виде байтовых потоков. Этот протокол освобождает прикладные процессы от необходимости использовать ожидания и повторные передачи для обеспечения надежности. Наиболее типичными прикладными процессами, использующими TCP, являются ftp и telnet. Кроме того, TCP использует система X-Windows. Однако бывают случаи, когда нам не столь нужна точность информации, сколь скорость передачи. Например, при передаче мультимедийных данных. В таких случаях применяют другой протокол передачи данных.

User Datagram Protocol - протокол пользовательских дейтаграмм. UDP приходит на смену TCP, когда пользователей не заботит точность передаваемых данных. Этот протокол реализует дейтограммный метод передачи данных. Дейтаграмма - это пакет, передаваемый через сеть независимо от других пакетов без установления логического соединения и подтверждения приема. Дейтограмма сама содержит в себе все нужные данные для доставки.

В отличие от TCP, UDP не требует установки соединения и при передаче не делит свои дейтограммы на части. Схема без установления соединения привлекательна также тем, что позволяет при передаче данных от исходного источника к большому числу приемников минимизировать общий трафик. Использование точек разветвления поможет сократить исходящий от передатчика трафик для передачи данных N машинам в N раз! Таким образом, мультикастинговая передача с помощью UDP более практична, чем с TCP.

На практике UDР находит применение при транслировании мультимедийных данных, а также, например, в SNMP (Simple Network Management Protocol - простой протокол управления сетями) и многих других программах.

Альтернатива TCP - UDP - позволяет программисту гибко и рационально использовать предоставленные ресурсы, исходя из своих возможностей и потребностей. Именно для этого и служит TCP/IP. Входящие в его состав протоколы предоставляют широкие возможности настройки сети с помощью IP-протокола.

информация поиск обмен интернет

1.4.1 Обмен информацией в социальных сетях

За словосочетанием «социальная сеть» скрывается достаточно широкий круг, довольно сильно отличающихся друг от друга сайтов Жвалевский Андрей, Геннадий Кондратьев.: Интернет без напряга. - СПБ.: Питер, 2011г. - 336стр.. В первую очередь, это сайты, разработанные с целью познакомить и собрать людей с общими интересами, дать им возможность общаться на различные темы, выкладывать и обсуждать фото и видео, добавлять друг друга в друзья или недруги, загружать и слушать музыку и так далее. Существует большое количество социальных сетей, но самые посещаемые это Twitter, Facebook, Myspace, Одноклассники и ВКонтакте. Одним из плюсов социальных сетей, является возможность найти давно потерянных друзей, родственников. В последние 10 лет произошел самый настоящий бум этих самых социальных сетей. Началось все, как обычно бывает, на Западе, в первую очередь потому, что там количество граждан online все ближе и ближе подползает к 100%. Конечно, «онлайн» все по-разному, кто-то только почту проверяет и погоду смотрит, но тем не менее так или иначе с интернетом знакомо подавляющие большинство. И вот сейчас этот бум перебросился на Россию.

Myspace.com

Первым действительно популярным сайтом стал культовый myspace.com, основная аудитория которого в Америке. Фактически сайт представляет собой огромное количество анкет, в которых указаны интересы, небольшие биографии, фотографии и прочее, прочее. По большому счету сайт используется для двух основных целей: знакомств (совершенно разного характера) и раскрутки. Сотни музыкальных групп начинали именно оттуда. Сейчас сайт напоминает скорее свалку, за рекламой никто всерьез не следит, сервер периодически не отвечает. Но Myspace были первыми и теперь имеют миллионы пользователей.

Twitter

Twitter - (от англ. tweet -- «щебетать», «болтать») это бесплатный социальный сервис микроблоггинга, по сути, в чем-то напоминает социальную сеть, блог и чат в одном лице Сорокина Е., Федотченко Ю., Чабаненко К.: В социальных сетях. Twitter - 140 символов самовыражения. - СПБ.: Питер, 2011г. - 144стр.. Только в отличие от блога длина поста в Твиттере ограничивается 140 символами, отсюда и название микроблоггинг.

В твиттере есть возможность следовать за другими людьми (набирать друзей). Люди, которые читают чужие микропосты называются фолловеры -- followers.

С помощью Твитера можно узнать различную информацию (в постах) от друзей (фолловеров), общаться с ними, обмениваться ссылками на полезные и интересные ресурсы. Вести классический блог, кратко делясь новостями и ссылками с желающими. Использовать как «групповую аську», когда каждый твит мгновенно отправляется ко всем знакомым. В Твиттере можно отвечать на публикации других людей. Чтобы ответить другому человеку на его сообщение, нужно начать ответ со знака @, после которого написать никнейм того человека, которому пользователь отвечает. Еще плюсом является то что, с главной страницы аккаунта можно поставить ссылку на свой сайт. Ссылки эти индексируются поисковиками, например Яндексом.

Для успешного использования Твиттера необходимо понять, что Твиттер -- это не блог, а скорее средство общения и получения новой информации. Пользователь может познакомиться с помощью Твиттера со многими интересными людьми, знакомство с которыми в других обстоятельствах могло бы и не произойти. Потому что для общения в Твиттере не нужно добавлять друг друга в друзья или в лист контактов. Даже если человек не подписан на обновления отправителя, общение можно завязать с помощью знака @.

Facebook

Facebook - крупнейшая социальная сеть в мире, основанная в 2004 году, это средство объединения людей и выявлять связи между пользователями сайта - его главная задача Штайншаден Якоб.: Социальная сеть. Феномен Facebook. - СПБ.: Питер, 2011г. - 244стр.. Понятно, что такая деятельность невозможна без правдивой и более-менее полной информации, которую каждый пользователь Facebook сообщает о себе.

Facebook позволяет создать профиль с фотографией и информацией о себе, приглашать друзей, обмениваться с ними сообщениями, изменять свой статус, оставлять сообщения на своей и чужой «стенах», загружать фотографии и видеозаписи, создавать группы (сообщества по интересам).

Профиль Facebook - это все те, факты о пользователе, которые человек хочет предать гласности. Здесь может быть любая информация о нём - семейное положение, учебные заведения, где учился, места работы, увлечения и пристрастия. Facebook автоматически включит профиль в результаты поиска, которые могут видеть другие пользователи.

Основную часть занимает лента новостей, на которой автоматически появляются записи, сделанные пользователем и его друзьями. Соответственно записи хозяина страницы мгновенно появляются в лентах новостей.

Благодаря этому пользователь всегда может быть в курсе событий, которые происходят у друзей, и следить за их новостями и новостями их друзей.

Создав, таким образом, свой виртуальный мир, пользователь может с помощью различных функций и приложений Facebook сделать его безопастным и удобным. Таким образом, Facebook можно использовать как средство достижения определенных целей и как возможность общаться с дузьями.

В Контакте

В 2006 году стал функционировать сайт ВКонтакте. Это крупнейшая в Рунете социальная сеть, второй по популярности сайт на территории Белоруссии, третий на Украине, шестой в Казахстане. ВКонтакте похожа на Facebook, но в архитектуре есть различия.

Генерация страниц с новостями (микроблоги) происходит очень похожим образом с Facebook , основное отличие -- использование собственной СУБД вместо MySQL.

При балансировке нагрузки используются:

Взвешенный round robin внутри системы

Разные сервера для разных типов запросов

Балансировка на уровне ДНС на 32 IP-адреса

Большая часть внутреннего софта написано самостоятельно, в том числе собственная СУБД, мониторинг с уведомлением по СМС, автоматическая система тестирования кода, анализаторы статистики и логов.

Мощные сервера:

8-ядерные процессоры Intel

64Гб оперативной памяти

8 жестких дисков

Сейчас проект расположен в 4 датацентрах в Санкт-Петербурге и Москве, причем вся основная база данных располагается в одном датацентре в Санкт-Петербурге, в Московских датацентрах только аудио и видео.

Аудио и видео являются побочными для социальной сети, на них особо не фокусируются. В основном это связанно с тем, что они редко коррелируют с основной целью использования социальной сети -- общением, а также создают большое количество проблем: видеотраффик -- основная статья расходов проекта, плюс всем известные проблемы с нелегальным контентом и претензиями правообладателей. Медиа-файлы банятся по хэшу при удалении по просьбе правообладателей, но это неэффективно и планируется усовершенствовать этот механизм.

1000--1500 серверов используется для перекодирования видео, на них же оно и хранится.

Как известно, некоторое время назад появилась возможность общаться Вконтакте через протокол Jabber (XMPP). Протокол совершенно открытый и существует масса реализаций.

В целом Вконтакте развивается в сторону увеличения скорости распространения информацию внутри сети.

Одноклассники

Запуск социальной сети Одноклассники состоялся в марте 2006. Сайт предназначен для поиска одноклассников и старых друзей, сервис схож с предыдущими социальными сетями, но предназначен для зрелой аудитории и этим отличается от ВКонтакте.

Основные возможности проекта Odnoklassniki.ru:

Поиск всех своих одноклассников, родственников, старых друзей, подруг и коллег, знакомства с новыми людьми.

Удобные механизмы для общения и переписки.

Большое количество фотографий, возможность просматривать фотографии других пользователей и загружать свои.

Код проекта написан на Java. Java был выбран, так как является удобным языком для разработки и доступно множество наработок в различных сферах.

Архитектура проекта имеет традиционную многоуровневую структуру:

Презентационный уровень.

Используется собственный фреймворк, позволяющий строить композицию страниц на языке Jаvа, с использованием собственные GUI фабрик (для оформления текста, списков, таблиц).

Уровень бизнес-логики.

На уровне бизнес логики располагаются около 25 типов серверов и компонентов, общающихся между собой через удаленные интерфейсы. Каждую секунду происходит около 3 миллионов удаленных запросов между этими модулями.

Сервера на уровне бизнес логики разбиты на группы. Каждая группа обрабатывает различные события. Есть механизм маршрутизации событий, то есть любое событие или группу событий можно выделить и направить на обработку на определенную группу серверов.

Уровень кэширования.

Для кэширования данных используется самописный модуль odnoklassniki-cache. Модуль предоставляет возможность хранения данных в памяти средствами Java Unsafe. Кэшируются все данные, к которым происходит частое обращение, например: профили пользователей, списки участников сообществ, информация о самих сообществах, граф связей пользователей и групп, праздники, мета информация о фотографиях и многое другое.

Уровень баз данных.

Суммарный объем данных без резервирования составляет 160Тб. Данные хранятся в нескольких копиях, в зависимости от их типа от двух до четырех. Полное резервное копирование всех данных осуществляется раз в сутки, плюс каждые 15 минут делаются резервные копии новых данных.

Уровень инфраструктуры.

Для агрегации статистики используется собственная библиотека, основанная на log4j. Сохраняется такая информация, как количество вызовов, среднее, максимальное и минимальное время выполнения, количество ошибок. Данные сохраняются во временные базы, но раз в минуту данные переносятся из них в общий склад данных, а временные базы очищаются.

Сервера используются двухпроцессорные с 4 ядрами, объемом памяти от 4 до 48 Гб. В зависимости от роли сервера данные хранятся либо в памяти, либо на дисках, либо на внешних системах хранения данных. Все оборудование размещено в 3 датацентрах, объединенных в оптическое кольцо. На данный момент на каждом из маршрутов пропускная способность составляет 30Гбит/с. Для связи с внешним миром используются прямые подключения с несколькими крупнейшими операторами связи, общий сетевой трафик в часы пик доходит до 32Гбит/с.

Популярных социальных сетей много и все предлагает функцию обмена информацией. Но каждая предназначена для своего пользователя. Если сравнить аудиторию Facebook, Одноклассники и ВКонтакте, то Facebook распространен на мировую аудиторию и им пользуются больше на западе. Сервисом Одноклассники пользуются люди от двадцати пяти и старше, а ВКонтакте как правило, люди весьма молодые от тринадцати и старше. В связи с этим существуют некоторые особенности в плане общения и размещения информации о себе. Кроме сетей общего пользования используют профессиональные, например, Rabota.ru или ru. LinkedIn.com. Это сети для поиска работы и установления деловых контактов. Все сети хороши собой и каждая найдет свою аудиторию.

1.4.2 Альтернативный поиск информации

Люди не всегда используют социальные сети для поиска или обмена информацией, взамен пользователи обращаются на форумы.

Форум

Форум - это тематическое общение. В отличие от социальных сетей, на форуме обсуждают какую-то определенную тему. Можно сказать, что форум - это клуб по интересам. То есть форум - это такое место в Интернете, где собираются люди, которых объединяет одно увлечение или идея, и общаются на интересующую их тему. Пользователи помогают друг другу советами и подсказками, обмениваются жизненным опытом, поддерживают друг друга.

Популярная тенденция организовывать форумы на сайтах, в интернете можно скачать много разнообразных скриптов форумов. Если «гостевую» можно найти на HTML + Java Script, то для работы форума просто необходима поддержка языка PHP, или Perl со стороны сервера. Без них ничего работать не будет. Форумы бывают разные, в некоторых нужно сначала зарегистрироваться, другие находятся в свободном доступе. Вполне естественно, что скрипт со всякими дополнительными функциями сложнее и занимает больше места на сервере. Большинство форумов могут работать только при наличии специальной базы данных MySQL, такая услуга есть только на платных хостингах, и то, не на всех тарифных планах. Но есть форумы, не требующие базы данных, одним из них является ExBB. В этом случае вся информация заносится в текстовый документ, и храниться в нём. Но использовать такой форум крайне нежелательно для владельца сайта, так как его трудно администрировать.

Форум это не чат и общение не протекает в режиме реального времени. На форуме можно создать тему и строго её придерживаться, а сообщения, выходящие за рамки темы удалять. Это позволяет относительно легко управлять ходом беседы.

Существенным недостатком всех форумов является то, что на них очень любят оставлять свою рекламу и разнообразные ссылки. Форум нужно периодически очищать от таких сообщений, удалять ники злостных нарушителей, запрещать их ip-адреса. При этом не стоит забывать, что сайт постоянно должен развиваться и совершенствоваться.

2. Программы и Браузеры для поиска и обмена информацией в Internet