Анализ методов продвижения и мониторинга посещаемости и улучшение защищенности Интернет-сайта

В зависимости от используемой методики, тематики сайта и частоты его обновления, подходы к выделению групп пользователей, возвращающихся на сайт с определённой частотой, могут различаться.

Особенно значим показатель постоянной аудитории для контент-проектов или сервисов, которые не имеют таких чётких индикаторов, как объём продаж или число регистраций. Соотнесение роста постоянной аудитории со стоимостью рекламной кампании даёт возможность оценить стоимость привлечения одного пользователя в ряды постоянной аудитории. Это, в свою очередь, позволяет рассчитать рентабельность рекламных мероприятий.

Показатели посещаемости интересны не только для анализа всего периода рекламной кампании, но также и в течение любого временного отрезка (показатель численности недельной аудитории наиболее удобен для оперативного анализа) до и в процессе рекламной кампании. Эти цифры используются, прежде всего, для планирования (очевидно, что при разработке медиаплана рекламной компании нужно знать регулярные показатели) и управления рекламными компаниями, но также могут использоваться и для представительских (презентационных) целей.

2.Концепция мониторинга и оценки защищенности web-сайтов в сети интернет и ее сегментов

2.1 Проблемы безопасности в сети Интернет

Важнейшей проблемой, определяющей темпы и будущее развитие Интернета, является информационная безопасность. Архитектурные недостатки сетевых протоколов и многочисленные уязвимости в программном обеспечении сетевых платформ обуславливают невысокую в целом защищенность сети Интернет. Особенно остро проблемы информационной безопасности проявились в последние годы. Участившиеся эпидемии сетевых червей охватывают с каждым годом большие количество компьютеров во всем мире и наносят значительный урон. А сетевые атаки хакеров на корневые DNS-сервера сети Интернет продемонстрировали реальную возможность внесения сбоев в инфраструктуру Интернета.

Некоммерческие организации, консалтинговые агентства, исследовательские лаборатории и отдельные специалисты периодически проводят исследования, связанные с разными аспектами информационной безопасности в Интернете. В последние годы, интерес к этой теме стали проявлять государственные структуры, поскольку, как уже было отмечено, Интернет становится критической информационной технологией, влияющей на национальную безопасность отдельных стран. В частности, в феврале 2003 года конгресс США принял «Национальную стратегию обеспечения безопасности киберпространства». В данной стратегии констатируется факт серьезности угрозы террористических атак посредством Интернета для национальной безопасности США и ставится ряд задач по защите информационного пространства: «предотвратить кибернетические нападения на критическую инфраструктуру, снизить уязвимость нации к таким нападениям и минимизировать ущерб и время восстановления».

С учетом изложенных проблем, в данной главе рассмотрены проведенные исследования и методики, связанные с оценкой защищенности, контролем безопасности интернет-сайтов.

В концепции мониторинга и оценки защищенности web-сайтов сети Интернет декларируются научно-технические принципы построения моделей и методов мониторинга и оценки защищенности web-сайтов сети Интернет, а также ее отдельных сегментов с учетом современных тенденций развития сетевых телекоммуникационных технологий и средств защиты информации,

Актуальность концепции обусловлена важностью вопросов безопасности глобальных телекоммуникационных технологий. В Доктрине Информационной Безопасности РФ от 9 сентября 2000 года, отражающей совокупность официальных взглядов на цели, задачи, принципы и основные направления обеспечения информационной безопасности Российской Федерации, отмечено, что одним из основных методов обеспечения информационной безопасности в РФ является «формирование системы мониторинга показателей и характеристик информационной безопасности Российской Федерации в наиболее важных сферах жизни и деятельности общества и государства». Также в документе «Приоритетные проблемы научных исследований в области информационной безопасности Российской Федерации», одобренного секцией по информационной безопасности научного совета при Совете Безопасности Российской Федерации (протокол от 28 марта 2001 г. N 1), одной из приоритетных задач названа «Разработка и научное обоснование системы мониторинга состояния информационной безопасности Российской Федерации».

Оценка уровня защищенности web-сайтов сети Интернет является важным показателем стабильности и безопасности его функционирования. Действительно, если бы все хосты в Интернете не имели средств защиты, это быстро привело бы к его организационному и функциональному разрушению. Напротив, абсолютной или близкой к абсолютной защищенности добиться также невозможно, поскольку:

Интернет - открытая среда, практически не ограничивающая подключение любых желающих. В отличие от частных, корпоративных сетей, в сети Интернет, силу ее международного масштаба, не существует единого контролирующего, центра. Вместо этого есть ряд общественных организаций, на которые возложены отдельные функции по контролю и наблюдению за сетью Интернет;

на данный момент невозможно добиться ликвидации всех уязвимостей в программном обеспечении сетевых платформ.

Следовательно, в контексте оценки безопасности в Интернете можно говорить только о достижении некоторого приемлемого уровня безопасности - приемлемого для пользователей, приемлемого для компаний, ведущих бизнес через Интернет, приемлемого для государственных организаций, использующих глобальные сети для более оперативного взаимодействия с гражданами.

Использование мониторинговой системы позволяет проследить динамику изменения уровня защищенности web-сайтов Интернета, выявить тенденции таких изменений, сделать прогнозы, возможно, выявить новик факторы развития. Такое мониторинговое исследование является «градусником защищенности» всего Интернета. Динамичность изучаемого объекта, возможности возникновения опасностей в процессе его функционирования и размеры опасностей определяют необходимость и целесообразность и использования мониторинга для исследования.

Теоретическая значимость предлагаемой концепции заключается в возможности оценки степени распространения безопасных (защищенных) информационных технологий для защиты web-сайтов в сети Интернет, а также в любом ее сегменте. В частности, в работе рассмотрено исследование российского и внегосударственного сегментов сети Интернет. Такая оценка характеризует «защищенность» web-сайтов сегментов сети Интернет, а использование мониторинговой системы позволяет проследить динамику изменения уровня защищенности во времени.

Состояние информационной безопасности в Интернете является одним из важных факторов, определяющих развитие электронной коммерции. В то же время, электронная коммерция является базовой составляющей информационного общества, переход к которому наблюдается в настоящее время в развитых странах. Следовательно, оцениваемые уровень защищенности web-сайтов, характеризующий степень распространения безопасных информационных технологий на сайтах в Интернете, связан с показателями, характеризующими продвижение стран мира к информационному обществу. Практическая ценность мониторингового метода заключается в возможности количественного анализа прогресса в обеспечении информационной безопасности в Интернете и в его отдельных сегментах. Главными отличительными характеристиками концепции являются объективность, достоверность, точность результатов и легальность используемых методов. Объективность исследования достигается использованием автоматизированных методов проведения исследования. Для этого исследование поддерживается инструментально. Точность и достоверность полученных результатов оценивается применением аппарата математической статистики. Легальность исследования обеспечивается путем разработки метода определения защищенности исследуемых web-сайтов на основе открыто предоставляемой информации. Информация о средствах защиты web-сайтов, задействованных исследовании, является конфиденциальной. Это общепринятая практика в исследованиях такого рода, начало которой положено организацией CERT/CC (Computer Emergency Response Team / Coordination Center, Координационный центр - команда по быстрому реагированию на компьютерные инциденты), крупнейшей международной организацией ведущей статистику компьютерных уязвимостей и разрабатывающей рекомендации по их устранению. Требование анонимности необходимо, чтобы данные о средствах защиты определенных web-сайтов не попали в руки злоумышленников.

2.2 Домены. Виды, назначение доменов

Домен верхнего (первого) уровня (англ. top-level domain - TLD) - в иерархии системы доменных имён (DNS) самый высокий уровень после корневого домена (англ. root domain). Является начальной точкой отсчёта, с которой начинается доменное имя в Интернете.

Поскольку каждое имя интернет-домена состоит из нескольких частей, разделённых точками и записанными в обратном порядке, то доменом верхнего уровня является завершающая из частей имени домена.

Регистрацией доменов второго уровня в доменах gTLD занимаются организации аккредитованные ICANN-организацией, созданной мировым сообществом распределения адресного пространства сети Интернет (Рисунок 2.2.1).

Национальные домены (country code TLDs, сокращенно ccTLDs) - двухбуквенные домены верхнею уровня по кодам стран в соответствии со стандартом ISO 3166-1, которые обозначают страну или географический регион, например, .US (США), .DE (Германия), .UK (Великобритания). Обязанности по администрированию и техническому сопровождению национального домена RU переданы Российскому НИИ Развитии Общественных Сетей (РосНИИРОС) (http://www.ripn.net). Основная деятельность Российской НИИ Развития Общественных Сетей направлена на создание и внедрение современных телекоммуникационных технологий Интернета. Также существует неформальное объединение - Координационная Группа (КГ) домена RU (http://ww.cgroup.ru), в состав которой входят представители 28 организаций. Основной задачей КГ стало определение политики регистрации доменных имен в зоне RU. Впоследствии Координационная Группа трансформировалась в Координационный центр национального домена сети Интернет (http://www.cctld.ru).

Национальные домены определяют web-сайты своих государств, что позволяет использовать их для исследований ситуации в соответствующих странах. Предложено исследовать на основе web-сайты из национального домена России .RU.

Очевидно, что для данного исследования внегосударственпый сегмент Интернета может быть представлен рассмотрением web-сайтов из всех существующих доменов, либо международных доменов общего пользования. Первый подход ведет к большим временным и машинным затратам, так как общее число web-сайтов по состоянию на период исследования 2009-2012 годы составляло десятки миллионов. Рассмотрим возможность использования в данном исследовании общих международных доменов.

Общие домены верхнего уровня созданы для всего интернет-сообщества. Первоначально было создано семь gTLD (.COM, .NET, .ORD, .INT, .EDU, .GOV, .MIL). Тогда, в 1984 году, в документах, принимаемых при утверждении этих доменов, было записано, что такого их количества «будет достаточно, и появление новых доменов маловероятно». Однако рост сети Интернет превзошел ожидания, и у мирового интернет-сообщества увеличилась потребность в числе доменов. В 2001 году было принято решение о введении еще семи новых gTLD. В Настоящее время уже начали функционировать новые общие домены .INFO. BIZ, .NAME, .MUSEUM, .AERO и .COOP. Однако на начало 2004 года количество хостов в новых доменах по данным не превышало нескольких сотен, поэтому эти домены не рассматриваются в дальнейшем исследовании.

Домены .INT, .EDU, .GOV, .MIL

Домены .INT, .EDU, .GOV, .MIL также появились в 1984 г. и сразу «специальными» или, как их называют специалисты, «ограниченного использования». Домен .INT создан исключительно для регистрации доменных имен международными организациями. Решение о регистрации доменов в этой зоне принимается международной организацией IANA при условии соблюдения регистрантом ряда требований.

Домен .EDU содержит около 10000 доменных имен 2-го уровня, и также как домены .GOV и .MIL находится под контролем американского правительства. Прежде право зарегистрировать имя в домене .EDU имели только университеты и колледжи с четырехгодичным курсом обучения, но теперь к ним присоединится и более мелкие образовательные учреждения США. Регистрация проводится на бесплатной основе.

Домен .GOV создан исключительно для федеральных государственных учреждений США, и регистрацией доменных имен в этом домене занимается Правительственный сетевой информационный центр Government-Wide Registration Service.

Домен .MIL находится под контролем американского правительства, в частности Департамента Госбезопасности США. Специалисты именно этого Департамента ведут базу доменных имен домена .MIL, предназначенного только для военных организаций и учреждений, отвечающих за безопасность страны.

Таким образом, для представления внегосударственного сегмента сети Интернет, более всего подходят web-сайты в доменах .NET, .СОМ и .ORG, как наиболее популярных, распространенных и отвечающих требованию независимости от какого-либо государства. Сегмент сети Интернет, образованный web-сайтами доменов .COM, .NET, .ORG, и далее будет «внегосударственным».

2.3 Метод оценки защищенности web-сайта

Web-сайты играют значительную роль в современном Интернете. Их основная функция информативная - представлять интересы личности, компании, организации, государства в Глобальной Сети. На web-сайте размещается информация:

для публичного, всеобщего доступа. Например, чаще всего требуется предоставить информацию внешним потребителям - сведения о фирме, каталоги продуктов и услуг, техническую или научную информацию;

ограниченного доступа. Конфиденциальная информация, доступная ограниченному кругу лиц - например, предоставление, сотрудникам организации удобного доступа к внутренним корпоративным информационным ресурсам. Это могут быть последние распоряжения руководства, внутренний телефонный справочник, ответы на часто задаваемые вопросы для пользователей прикладных систем, техническая документация, а также информация о банковском счете клиента, личные сведения.

Поскольку web-сайт доступен из любой точки земного шара, где есть выход в Интернет, то появляется множество угроз нарушения конфиденциальной информации на сайте. Угрозы нарушения конфиденциальности возможны в двух случаях:

угрозы несанкционированного доступа к информации, хранимой на web-сайте локально;

угрозы несанкционированного доступа к информации в процессе ее передачи по каналам связи.

Рассмотрим имеющиеся механизмы защиты web-сайта, препятствующие данным видам угроз (рис. 2.3.1). Представленная классификация разработана на основе ГОСТ Р ИСО/МЭК 15408-2 «Критерии оценки безопасности информационных технологий. Часть 2. Функциональные требования безопасности». Данный ГОСТ содержит 66 семейств и 135 компонент функциональных требований безопасности.

Рис.

Задачу оценки у конкретного web-сайта количества механизмов локальной защиты и, особенно, корректность их настройки легальным путем решить очень сложно. В этом случае пришлось бы применять индивидуальный подход в каждом конкретном случае для определенной операционной системы, вида и версии программного обеспечения МЭ, СОА и т.д. Кроме того, собственно механизмы защиты web-сервера препятствуют получению какой-либо дополнительной информации, способствующей злоумышленнику в преодолении этой системы защиты.

Единственная относительно точная возможность оценки надежности защиты заключается в проверке системы на наличие уязвимостей и устойчивость к сетевым атакам. Однако, такие действия без разрешения владельцев web-сайта незаконны, что исследование в масштабах всего Интернета становится проблематичным.

Тем не менее, определить легальным путем содержится ли на сайте информация с ограниченным доступом и защищается ли она можно. Доступ к такой информации на сайте ограничен средствами разграничения доступа с использованием механизмов идентификации и аутентификации пользователя. Рассмотрим метод легальной проверки наличия таких механизмов. Условно, содержание web-сайта можно представить в виде графа, вершинами которого будут web-страницы, а ребрами - гиперссылки. Конечно, в таком графе не учитываются гиперссылки на другие сайты. Мы рассматриваем только локальную структуру web-сайта (рис. 2.3.2).

Рис.

Как видно из рисунка 2.3.2, с начальной web-страницы по гиперссылкам можно перейти на другие страницы данного сайта. Однако если доступ к некоторой информации на сайте ограничен только для авторизованных пользователей (на рисунке область с такими web-страницами обозначена пунктирной линией), то при переходе в эту область сервер запросит имя пользователя и пароль.

Таким образом, если на web-сайте существует web-страница (точка входа в закрытую область), требующая для доступа к содержимому прохождения процедур идентификации и аутентификации (функциональные требования безопасности FIA_UID (Идентификация пользователя) и FIA_UAU (Аутентификация пользователя) согласно ГОСТ ИСО/МЭК 15408-2), то это свидетельствует о наличии информации ограниченного доступа на данном сайте. Для поиска страницы с требованием авторизации, необходимо организовать обход web-сайта с начальной страницы по всем вложенным.

Рассмотрим подход к оценке защищенности web-сайта, основанный на проверке использования механизмов зашиты информационного обмена. В процессе передачи конфиденциальной информации по каналам передачи данных общего пользований, возникают следующие угрозы:

угроза несанкционированного чтения и копирования информации (нарушение конфиденциальности);

угроза уничтожения информации;

угроза модификации информации (нарушение целостности).

Противостоять угрозам нарушения конфиденциальности и целостности предназначены защищенные протоколы передачи данных. Данные протоколы позволяют организовать защищенный виртуальный туннель между субъектами взаимодействия. Виртуальный означает что, туннель создается только на время взаимодействия. Защищенный значит, что данные, передаваемые внутри туннеля, защищены криптографическими средствами.

Протоколы защищенных виртуальных туннелей существуют на четырех уровнях эталонной модели взаимодействия открытых систем (ЭМВОС,OSI): канальном, сетевом, сеансовом и прикладном. Поскольку Интернет построен на основе стека протоколов ТСР/IР, функционирующего на 3-м и 4-м уровнях ЭМВОС, то канальный уровень в защите web-сайтов не участвует. На сетевом уровне защищенные каналы строятся на протоколе IPSec, на сеансовом - на протоколах SSL/TLS, на прикладном - Secure MIME, Secure HTTP. Протокол IPSec (IP Security), входящий в новую версию протокола IPv6, пока не получил распространения в сети Интернет в силу ряда причин. Это перспективный и защищенный протокол будущего.

Протоколы защиты прикладного уровня привязаны к конкретным приложениям, таким как электронная почта, и полностью зависят от используемых сервисов и приложений. В настоящее время наибольшее распространение получили протоколы защиты, функционирующие на сеансовом уровне ЭМВОС. При построении защищенных виртуальных каналов на данном уровне достигаются наилучшие показатели по функциональной полноте защиты информационного обмена, надежности контроля доступа, а также простоте конфигурирования системы безопасности. Это протоколы SSL/TLS (уровень защиты сокетов/защита транспортного уровня).

Протокол SSL стал стандартом de-facto в электронной коммерции. По результатам исследований его используют от 93% до 99% компаний в области электронной коммерции.

Протокол SSL и протокол TLS, утвержденный Инженерной группой Интернета IETF на базе протокола SSL версии 3.0 -защищенные протоколы, обеспечивающий аутентификацию и защиту от «прослушивания» и искажения данных.

Для аутентификации служат сертификаты Х.509. Шифрование данных обеспечивает их конфиденциальность, а хэш-функции - целостность. SSL/TLS противостоят следующим угрозам:

подмена идентификатора клиента пли сервера (с помощью надежной аутентификации, функциональные требования безопасности FIA_UID (Идентификация пользователя) и FIA_UAU (Аутентификация пользователя) согласно ГОСТ ИСО/МЭК 15408-2);

раскрытие информации (с помощью шифрования канала связи, функциональное требование безопасности FDP_UCT (Защита конфиденциальности данных пользователя при передаче между функциями безопасности объекта оценки (ФБО));

модификации данных (с помощью кодов целостности сообщении, функциональное требование безопасности FDP_UIT (Защита целостности данных пользователя при передаче между ФБО)).

SSL/TLS защищают только трафик определенных протоколов - например, HTTP или FTP. Более того, применяя SSL_TLS, можно защитить только некоторые части приложения - например, страницы регистрации или информацию о кредитных карточках.

Существуют реализации данного протокола для защиты наиболее распространенных протоколов прикладного уровня HTTP, FTP, NNTP и т.д. Выявить поддержку протоколов TLS/SSL можно, используя проверку доступности соединения с использованием данного протокола. В нашем исследовании было предложено исследовать протокол HTTPS (HTTP-over-SSL, HTTP поверх SSL или HTTP-over-TLS, HTTP поверх TLS), защищающий протокол прикладной уровня HTTP, основной протокол доступа к информации на web-сайтах.

Таким образом, метод оценки, защищенности отдельного сайта включает анализ:

наличия на web-сайте механизмов идентификации и аутентификации пользователей для доступа к определенным web-страницам данного сайга (FIA_UID и FIA_UAU);

использования протоколов SSL или TLS для защиты протокола HTTP, реализующего функциональные требования безопасности FIA_QID, FIA_UAU, FDP_UCT и FDP_UIT. Если любой из контролируемых параметров присутствует, web-сайт признается защищенным. Блок-схема метода представлена на рисунке 2.3.3.

Отметим, что обе данные проверки не выходят за рамки допустимых действий легальных пользователей, что позволяет говорить о легальности используемых в исследовании методов.

Применение метода, основанного на выявлении технических характеристик объекта, позволяет говорить об объективности результатов оценки.

Рис.



Схема 1

3.Продвижение сайта. Коррекция сайта для продвижения в поисковых системах. Методы, технологии продвижения

3.1 Трафик, виды и источники трафика

Для исследования и выполнения практической части данной выпускной квалификационной работы (продвижение, мониторинг посещаемости и защищенности) в Интернете был размещен web-сайт на бесплатном хостинге, находящийся по адресу www.dominus.a5.ru, с помощью данного сайта, была получена возможность исследовать все технологии продвижения в Интернете.

Сайт выполняет свои задачи только в том случае, если у него есть посетители - люди, которые заходят, просматривают страницы, отвечают, заказывают, покупают и обсуждают, т.е. делают то, что ожидает от них владелец сайта. Рассмотрим основные способы, с помощью которых посетители попадают на сайт.

Но вначале необходимо разъяснить популярный сетевой термин - трафик. Если люди заходят на сайт постоянно, то речь идет о потоке посетителей, или трафике. Web-мастер должен внимательно изучать трафик, чтобы понять, кто, откуда и зачем приходит на его сайт.

Изучение источников трафика, или трафикогенераторов - один из ключевых вопросов интернет-статистик. Способов, с помощью которых пользователи могут прийти к вам на сайт, всего два:

ввести URL страницы вашего сайта в адресную строку браузера;

перейти по ссылке.

В зависимости от способа источники трафика делятся на три основные группы:

type-in;

навигационные сервисы - поисковые системы и каталоги;

ссылающиеся ресурсы.

Каждый визит посетителя на сайт отражается в логах сервера, т.е. в специальном журнале, который доступен владельцу сайта. Для многих посетителей можно определить, по ссылке с какого сайта он пришел. Это как раз посетители из поисковых систем и каталогов или иных ссылающихся сайтов. Но часть посетителей посещает сайт так, что в логах нет информации об источнике. Такой трафик называется type-in.

Рассмотрим подробно каждый из типов трафика:

Трафик Type-in. "Type in" - в переводе с английского означает впечатывать, вписывать. Определение недвусмысленно указывает источник такого трафика: люди вводят URL-адрес сайта в адресную строку браузера. Делать это они могут лишь в том случае, если знают этот сайт или внесли ссылку на него в меню Избранное браузера.

Большая доля трафика type-in на сайте - это следствие его известности. Такой трафик свидетельствует о том, что проект популярен, что одни и те же люди регулярно заходят на сайт, пользуются предложенными сервисами.

Type-in-трафик характерен для сервисных проектов - почты, чата, поиска и других полезных для пользователей инструментов. Либо для хороших, обновляемых информационных сайтов, посвященным различным тематикам - форумам, обзорам, новостям, СМИ.

Поисковый трафик - основа существования большинства сайтов коммерческих компаний, предлагающих товары и услуги. Люди не покупают всевозможные товары ежедневно, поэтому подобные сайты «ищут», когда возникает необходимость, и чаще всего о них забывают, когда нужный товар уже приобретен.

Люди ищут информацию в поисковых системах и каталогах. Переходы из поисковых систем прекрасно видны при анализе статистики посещаемости сайта. Большая доля поискового трафика свидетельствует о хорошем продвижении сайта в поисковых системах.

Чем лучше видны в результатах поиска ссылки на сайт - тем больше посетителей, покупателей, продаж. Специалисты по поисковой оптимизации (поисковому продвижению) занимаются именно тем, что делают сайты видимыми в поисковых системах.

Ссылки являются одним из первых источников посетителей. Когда поисковые системы еще не имели большой базы данных сайтов, web-мастера рекомендовали интересные сайты, делая на них ссылки на своих страницах. Пользователи заходили на сайт, видели рекомендации и переходили по ним в поисках интересной информации.

В настоящее время роль ссылок как источника трафика менее значительна. Однако, ссылки-рекомендации, размещенные на хорошо посещаемых страницах, до сих пор приводят на сайт новых посетителей.

Каждый сайт обладает собственным набором источников посетителей. Но главное, какой из типов трафика является первичным, наиболее важным для успеха проекта. Ответ на этот вопрос очевиден. Поисковый трафик приводит на сайт посетителей, которые раньше не знали об этом сайте. Он первичен. Именно с получения поискового трафика начинает работать большинство сетевых проектов. Прежде всего, необходимо, чтобы сайт можно был легко доступен в поисковых системах. Это обеспечит постоянный приток новых посетителей, которые могут стать постоянными читателями сайта и/или покупателями предлагаемых на сайте товаров и услуг.

3.2 Цели и технологии продвижения сайтов в поисковых системах

Тексты запросов взяты из статистики поисковых запросов Яндекс по адресу http://wordstat.yandex.ru. Таком виде они поступили в поисковую систему в апреле 2012 года.

Рассмотрим виды запросов:

для пользователя важно, чтобы услуги осуществлялись на дому. Он вводит поисковый запрос: «компьютерная помощь + на дому» (3665 запросов с месяц);

для данного пользователя важна скорость оказания услуг. Этому соответствует запрос: «компьютерная помощь срочно» (1124 запрос в месяц);

для пользователей, которые ввели следующие запросы, скорее всего, очень важна цена: «форум компьютерной помощи» (879 запросов) и «компьютерная помощь бесплатно» (437 запросов в месяц);

также часто вводятся точные запросы по данной тематике, к примеру: абонентское обслуживание компьютеров (2020 запросов), установка Windows (14867 запросов), восстановление данных (70104 запросов).

Люди, задавшие эти вопросы поисковой системе, вероятнее всего в ближайшее время собираются воспользоваться услугами данной области. Все они ищут товар при помощи Интернета и ввели запросы в поисковую систему.

Статистика переходов из результатов поиска поисковых систем хорошо изучена. Из ста человек, просматривающих первую страницу с результатами поиска, на вторую переходят чуть меньше половины. Дальше третьей зайдут всего лишь пятеро.

Таким образом, с вероятностью 95% люди, интересовавшиеся компьютерной помощью, нашли адрес среди первых тридцати ссылок, показанных поисковой системой, либо среди рекламных предложений, находящихся на первой-третьей страницах с результатами поиска. Это называется - зона видимости сайта в поисковых системах.

Таким образом, можно сделать следующие выводы:

чтобы быть успешным, сайт должен выполнять свои задачи, т.е. продавать, привлекать покупателей, партнеров и т.п.;

чтобы успешно продавать, необходимо, чтобы сайт можно было легко найти в поисковых системах;

чтобы сайт легко находился, он должен оказаться в зоне видимости в ответе на нужные поисковые запросы.

Достижение необходимой видимости сайта по целевым запросам - это и есть главная задача продвижения сайта в поисковых системах. Это гарантирует, что на сайт будут заходить заинтересованные посетители. Существуют два способа того, чтобы web-сайт находился в зоне видимости: поисковая реклама и оптимизация сайта для поисковых машин.

Поисковая реклама. Самый быстрый способ - купить размещение на страницах с результатами поиска.

Технология показа рекламных объявлений на страницах с результатами поиска в ответ на выбранные рекламодателем запросы называется поисковой рекламой. Такая реклама имеется во всех поисковых системах и является главным источником дохода поисковиков. Места размещения рекламных материалов, форматы, способы оплаты, варианты заказа и другие опции у разных поисковых систем отличаются друг от друга. Заказать поисковую рекламу - самый быстрый способ обеспечить продажи при помощи Интернета. Но вместе с тем это также и самый дорогой способ.

Главное место на страницах результатов поиска занимают поисковые ссылки. Иногда их называют еще "естественными" или "органическими" результатами поиска (organic listing). Некоторые аналитики считают, что пользователи больше переходят именно по естественным результатам поиска, чем рекламным ссылкам. Поэтому web-мастера очень заинтересованы в том, чтобы ссылки на их сайт оказались в зоне видимости именно среди поисковых ссылок.

Еще одним аргументом в пользу поисковых ссылок является то, что они бесплатны. Поисковые системы не продают позиции в результатах поиска, невозможно купить первую, вторую, третью и любую другую позицию в поисковой выдаче. Это принципиальная позиция поисковых систем - результаты поиска должны рассчитываться по единому для всех алгоритму, быть объективными и не зависеть от денег. Алгоритмы сортировки результатов поиска (ранжирования) являются секретом поисковых систем. Необходимость секретности алгоритмов ранжирования вызвана объективными причинами. Поисковые системы работают автоматически, работники поисковых систем лично не просматривают и не оценивают все страницы, ссылки на которые выдаются в результатах поиска. Такой контроль невозможен, поскольку большие поисковые системы работают с сотнями миллионов страниц. Поэтому существует возможность применения приемов продвижения сайтов в зону видимости, которые вводят в заблуждение пользователей поисковых систем либо иными способами вредят работе поисковых машин.

Тем не менее, основные параметры, которые учитывают поисковые системы для сортировки результатов поиска, известны. Изменяя содержимое сайта, воздействуя на эти параметры, можно попытаться продвинуть ссылки на сайт в зону видимости, сделать, чтобы ссылки на сайт отображались среди первых трех, десяти, тридцати естественных ссылок в результатах поиска. Ссылки должны отображаться не по всем запросам, а только по тем, в ответ на которые на сайте имеется полезная для пользователей информация. Такие запросы еще называют профильными, или целевыми.

Изменение характеристик сайта с целью продвижения ссылок на сайт в зону видимости поисковых систем по целевым запросам называется оптимизацией сайта для поисковых машин, или поисковой оптимизацией.

Чтобы успешно оптимизировать сайт, необходимо:

выбрать целевые поисковые запросы, по которым сайт будет продвигаться в поиске;

оценить эффективность продвижения;

выбрать методики и основные приемы поисковой оптимизации;

Можно выделить несколько факторов, которые оказывают значительное влияние на индексацию страниц сайта и дальнейшее ранжирование ссылок на документы в результатах поиска на поисковых системах:

Занесение web-сайта в базу данных поискового робота с того, что робот заносит адреса страниц сайта в список для последующей индексации.

Если на сайте несколько страниц с текстами, то адрес у таких страниц имеет вид www.site.ru/service.html. Такие страницы представляют собой HTML-файл, находящийся на web-сервере, содержимое этой страницы одинаково и для каждого посетителя, зашедшего на сайт, и для поискового робота, т.е. оно статическое. Адреса таких страниц называют статическими. Это самый простой вариант адресов, и поисковые роботы успешно индексируют такие страницы.

Когда сайт становится большим, на нем часто обновляется информация или существует регистрация пользователей для входа в скрытые разделы, то создать такой сайт на статических страницах слишком трудозатратно. В этом случае используют серверные скрипты - программы, написанные на языках web-программирования (PHP, Perl, ASP, JSP или CFML), которые выполняются сервером. Страниц сайта не существует в виде готовых файлов - они создаются серверными скриптами при обращении к серверу и показываются пользователю или поисковому роботу. Адреса у таких страниц характеризуются как расширением файлов (.php,.pi,.cgi,.jsp), так и наличием в адресе символов(?,&,=),например www.site.ru/script.php?page=service&mode=show.

В настоящее время основные поисковые системы успешно работают с динамическими страницами, но с условиями. В некоторых поисковых системах квоты на количество индексируемых страниц отличаются для динамических и статических страниц. Привести адреса страниц к псевдостатическому виду можно с помощью инструкций в файле .htaccess, который позволяет настраивать работу web-сервера Apache в каждом каталоге сайта. В результате мы не только поможем поисковому роботу индексировать наш сайт, но и получим легко запоминающиеся адреса страниц. Например, динамический адрес псевдостатическом виде может выглядеть так: www.site.ru/service/

Некоторые поисковые системы, например Google, при ранжировании страниц учитывают найденные ключевые слова в названии домена, директорий и файлов и придают немного больший вес таким страницам. Следовательно, важно, чтобы слова в имени страницы были учтены поисковым роботом. Для этого в качестве знака разделителя между словами нужно использовать дефис, так как знак подчеркивания не является для поискового робота разделителем слов. Если несколько слов в адресе страницы разделены знаком подчеркивания, то робот увидит одно большое неизвестное ему слово, поэтому лучше называть файлы realty-broker-service. html, а не realty_broker_service. html.

Если на сайте адреса страниц приводятся из динамического в псевдостатический вид, то может возникнуть вопрос: какой вид адреса для индексирования поисковиком лучше - с расширением файла (www. site. ru/realty-broker-service.html) или без (www.site.ru/realty-broker-service/). В первом случае робот поисковика сразу принимает с сайта HTML-файл. Во втором случае появляется одна особенность: дело в том, что браузер Internet Explorer, как и робот поисковой системы Yahoo, не учитывает завершающий слеш в адресе. Поэтому нужно будет настраивать обработку адресов в файле .htaccess так, чтобы они создавали еще один адрес страницы - без слеша.

Разработчики Joomla! включили две опции, разрешающие Joomla! генерировать более простые URL. После включения этих опций Joomla! будет генерировать понятные поисковым машинам URL (SEF URL), напоминающие структуру каталогов статического сайта и у поисковых машин больше не будет проблем с индексированием сайта.

SEF-параметры находятся в интерфейсе администратора в разделе «Общие настройки». Всего имеется два SEF-параметра: «Включить SEO» и «Использовать mod_rewrite».

Оптимальнее всего выбрать параметр «Использовать mod_rewrite», так как при использовании «Включить SEO» часто возникает проблема - некоторые узлы неправильно работают с данной опцией и возвращают ошибку 404 («Файл не найден»).

Для этого были произведены следующие действия:

выполнена функция phpinfo( ) (Рисунок 3.2.1);

для активации этого модуля на Apache-сервере открыт файл httpd.conf;

Раскомментирована строка и добавлена директива, включающая этот модуль:

RewriteEngine On

для тестирования модуля mod_rewrite добавлена rewrite-команда (команда перезаписи пути). К примеру, в файле httpd.conf сразу после строки, включающей mode_rewrite, добавлен следующий код:

RewriteRule myadmin/ (.*) /Administrator/$1 [PT]

Рис.

Чем чаще на web-сайте изменяется информация и добавляются новые страницы, тем чаще робот поисковой машины будет его индексировать. Чтобы понять, изменилась ли страница с момента последнего визита робота, поисковая система должна ее заново скачать к себе и сравнить с предыдущей версией. Если страница содержит значимые изменения, то ее копия в индексе заменяется новой, если нет, то в индексе остается ранее скачанный вариант. Робот занят скачиванием не изменившихся страниц, а на новые у него не хватает времени. Кроме того, что в индекс не попадают новые страницы, большие сайты могут столкнуться с еще одной проблемой - неоправданной нагрузкой на сервер. Для того чтобы избежать этого, можно настроить на сервере обработку даты создания и изменения страниц. Если такая настройка включена, то при запросе поискового робота страницы сервер будет сообщать роботу дату последнего изменения этой страницы. Тогда те страницы, которые не были изменены с даты прошлого прихода робота, не будут скачиваться еще раз.

Если на сайте предусмотрена возможность регистрации пользователя, важно запоминать, когда он последний раз был на сайте, какие страницы посещал, какие настройки сделал. Для этого существует механизм сессий - уникальные идентификаторы для каждого посетителя сайта.

У обычного пользователя идентификатор сессии хранится в записях cookie браузера, но бывает, что в браузере настройки установлены таким образом, что cookie отключены. Если посетитель приходит на сайт с отключенными cookie, то, для того, чтобы проследить его действия на сайте, к каждому адресу страницы добавляется идентификатор сессии (комбинация символов).

Пример таких адресов:

www.site.ru/forum.asp?topic=135&sessionID=42487E39A2B04279A42623E59D

Поисковые роботы не могут принимать cookie, поэтому получают идентификатор сессии в адресе страницы, как те пользователи, у которых cookie отключены. Каждый раз, когда робот приходит на сайт, в котором используется механизм сессий, ему присваивается разный идентификатор, который добавляется к адресам страниц, и каждый раз одни и те же страницы для робота имеют разные адреса. После нескольких заходов на сайт в разное время поисковый робот имеет огромные списки одних и тех же страниц с разными идентификаторами сессий. В результате расходуются ресурсы сервера, а очередь до индексирования действительно важных страниц может не дойти.

При создании дизайна и верстке страниц часто возникают ошибки:

визуальное оформление заголовков и слов в тексте с помощью устаревшего тега <font>. В этом случае не используются нужные теги заголовков, полужирного шрифта или курсива, из-за чего важность страницы для поискового робота может уменьшиться и шансов попасть на верхние строчки станет меньше;

позиционирование элементов страницы с помощью большого количества вложенных таблиц. Это усложняет работу со страницей как web-мастеру, так и роботу. В результате опечатки или ошибки в работе поискового робота может произойти неправильная индексация страницы;

избыточность кода. Случается, что в HTML-код страницы вносится много лишних тегов, комментариев и элементов оформления. Это «утяжеляет» страницу и препятствует поисковому роботу правильно определить важную информацию на странице;

использование графики вместо текста. Поисковая машина не распознает текст, изображенный на картинке. Использование клиентских скриптов (сценариев) вместо текстовых ссылок. Клиентские скрипты - это программы, которые выполняются в браузере пользователя. Наиболее распространенные языки программирования подобных программ - JavaScript и VBScript. Такие скрипты позволяют web-мастеру создавать красивые и удобные раскрывающиеся меню для навигации по сайту. Но поисковые роботы в большинстве случаев не выполняют код сценариев на JavaScript и VBScript или выполняют его в ограниченном объеме, поэтому не могут обнаружить и проиндексировать внутренние страницы сайта, если ссылки на них сделаны с помощью таких средств.

игнорирование при верстке CSS . Использование стилей позволяет отделить определение внешнего вида текста от его содержания. Указывать стили можно непосредственно на HTML-странице, а можно вынести их в специальный стилевой файл, который будет загружаться браузером пользователя автоматически. Стили оформления не распознаются поисковыми системами, поэтому их желательно не писать в коде web-страниц, а размещать в отдельных файлах CSS.

Не все страницы на сайте имеет смысл отдавать на индексацию поисковому роботу. Например, если есть форум, то служебные страницы поиска, карточек пользователей или списков участников, скорее всего, не будут иметь такой полезной информации, которую пользователь будет искать через поисковую систему. На форуме есть более важные и интересные страницы с обсуждениями и мнениями участников, - поэтому именно они должны быть проиндексированы в первую очередь.

Поэтому такие страницы, примеры которых приведены выше, нужно не показывать поисковому роботу, чтобы не засорять его индекс ненужной информацией, тем самым обратив его внимание на другие, более важные страницы сайта. Для этого можно запретить индексацию определенных страниц с помощью специальных инструкция для робота. Инструкции о запрещении индексации размещают или в файле исключений, robots.txt.

Для этого были выполнены следующие действия:

запрещена индексация CGI-скриптов, которые робот Яндекса индексирует наравне с другими документами:

User-Agent: *.

Disallow: /cgi-bin/

также в файле robots.txt можно прописывать команды для конкретных страниц или роботов, к примеру:

User-Agent: Yandex

Dissalow: /myforum/forum/

Это означает, что индексация каталога forum будет запрещена только для робота Яндекс.

3.3 Анализ поискового спроса

При выборе запросов для продвижения важно представлять, что хочет найти пользователь. От вида запроса во многом зависит, какую информацию можно наилучшим образом предложить в отчет на страницах результатов поиска.

Главные критерии оценки поискового запроса - это популярность (частота) и оценка продающей способности запроса.

Статистика свидетельствует, что пользователи обычно попадают на сайты не по одному и даже не по десятку поисковых запросов. Например, на одном из сайтов посвященных теме ремонта компьютеров в течении двух месяцев были зафиксированы заходы из поисковых систем по 1400 различным формулировкам:

ремонт компьютеров - 483;

компьютерная помощь - 274;

компьютер на заказ - 381;

переустановить Windows - 261;

сломался компьютер - 1.

Все перечисленные слова и словосочетания есть на сайте, все запросы относятся к тематике web-сайта. Но дело в том, что разные поисковые запросы характеризуются разными частотами. Частота запроса - мера популярности. Частота запроса определяет количество показов пользователям ссылки на продвигаемый сайт.

Список запросов, по которым сайт продвигается в поисковых системах, называется семантическим ядром сайта. Семантический - значит смысловой, т.е. по определению это список поисковых запросов, наилучшим образом соответствующих смыслу, основному содержанию сайта.

Составление первичного списка основных слов. Как правило, основные слова любого бизнеса известны. Для составления первичного списка обычно используют следующее:

варианты названия товара, услуги, синонимы, переводы, транслитерации. (Компьютер, комп, ПК, PC, восстановить данные);

сленговые, профессиональные, сокращенные и ошибочные варианты названий (Комп, сломался, не работает, ноут, установить Windows);

варианты названий наиболее крупных потребительских решений на основе этого товара или услуги;

понятия качества, привлекательности товара или услуги (качественно, гарантия, 100%, срочно, дешево).

Для составления семантического ядра нужно выполнить следующее:

оценить информацию, предлагаемую на сайте;

составить первичный список масок (запросов) по выбранной теме;

уточнить список масок с помощью ассоциативных запросов;

получить по каждой маске список поисковых запросов и удалить ненужные формулировки;

получить информацию о частоте каждого запроса и составить общий список.

В этом общем списке запросы, как правило, располагают по убыванию частоты. Семантическое ядро в целом характеризуется:

количеством входящих в него формулировок поисковых запросов;

их суммарной частотой.

3.4 Методы оценки продвижения

Задача продвижения сайта в поисковых системах в общем виде формулируется следующим образом - необходимо добиться, чтобы по каждому запросу семантического ядра ссылка на сайт находилась в зоне видимости поисковых систем.

Решение этой задачи имеет три возрастающих уровня сложности:

попадание в диапазон Тор 30 (первые тридцать поисковых ссылок) поисковой выдачи. Это гарантирует, что ссылки на продвигаемый сайт сможет просматривать часть пользователей поисковых систем, задавших интересующие запросы. К сожалению, сколько раз они будут просматриваться и сколько посетителей перейдет по ним, предсказать сложно.

попадание в диапазон Тор 10. Такой результат гарантирует, что ссылки на продвигаемый сайт попадут на первую страницу поисковой выдачи. Следовательно, будут загружаться на компьютер каждого пользователя, задавшего интересующий нас запрос. Но некоторые пользователи не просматривают даже все ссылки первой страницы, ограничиваясь лишь ссылками, попавшими на первый экран монитора.

попадание в диапазон Тор 3, гарантирует, что ссылки на продвигаемый сайт будут просматриваться каждым пользователем, который введет в поисковую систему интересующий нас запрос. На первые три ссылки обращают внимание практически все пользователи

Сравнение с эталоном - самый простой способ оценки количественной оценки видимости сайта, и следовательно, эффективности его продвижения.

Составляя семантическое ядро, планируется результат, который нужен прямо сейчас. Фиксируется количество запросов и их частоты, по которым необходимо видеть продвигаемый сайт в первой десятке поисковой выдачи. Это гарантирует, что они будут отображаться в любом случае, когда задан интересующий поисковый запрос и количество показов в месяц по всему ядру будет равно сумме частот запросов.

Идеальной (эталонной) будет считаться ситуация, когда по каждому из поисковых запросов семантического ядра ссылки на сайт находятся среди первых десяти ссылок результатов поиска. Любое текущее положение сайта сравнивается с этим эталоном, т.е. самым лучшим результатом.

К примеру - в семантическом ядре есть следующие запросы:

компьютерная помощь - 1000 обращений в месяц;

установка Windows - 750 обращений в месяц;

восстановление данных - 750 обращений в месяц.

Таким образом, если оказаться в Тор 10 по всем трем запросам, это даст примерно 1000+750+750=2500 запросов в месяц - это эталонный результат.

Особенности эталонного метода:

Не имеет значения, по данным какой именно поисковой машины считается частота запроса. Так как сравнение производится с эталонной частотой, результат для любой из поисковых систем можно получить в процентах.

Учитываются не точные позиции ссылок на продвигаемый сайт в результатах поиска

Не учитывается изменение частот запросов. Частоты изменяются каждый месяц. Для некоторых запросов характерны сезонные колебания. С увеличением количества пользователей Рунета плавно растут и частоты всех запросов. С падением интереса аудитории ко многим товарам падают и частоты относящихся к ним запросов. При использовании метода сравнения с эталоном нет смысла учитывать такие колебания.

Информацию о реальных частотах поисковых запросов в Рунете предоставляет только поисковая система Рамблер. С помощью сервиса «Статистика поисковых запросов» (https://ad.rambler.ru/swrds/wrds.pi) можно получить информацию о том, как часто показывали в прошлом месяце контекстные рекламные баннеры. Для каждого запроса отображаются данные о показах только на первой странице результатов поиска и на всех страницах результатов. Очевидно, что информация о показах на первой странице и есть настоящая частота поискового запроса.

В Рунете есть два сервиса, сравнивающих популярность различных поисковых систем, - Глобальная статистика Спайлога 111111111111111111111 (http://gs.spylog.ru/r/?reportId=&7categoryId=l) и статистика "Сайты Рунета" (http://www.liveinternet.ru/stat/ru/searches.html?period=month), которые основаны на собственных системах интернет-статистики - счетчиках Спайлога и Liveinternet соответственно.

Система статистики отслеживает количество переходов из различных поисковых систем на сайты, на которых установлены счетчики, и показывает сводные данные о посещаемости.

По данным Спайлога, в августе-сентябре 2011 года примерно 46% переходов из поисковых систем обеспечил Яндекс, 22% - Google, 17% - Рамблер, 4,5% - Поиск@Маil.ru.

По данным Liveinternet (средние за три месяца), трафик из Яндекса составляет 50% от суммарного поискового. Рамблер отправил на сайты, где установлен счетчик Liveinternet, 19% пользователей, Google - 17%, Mail.ru - 5,6%.

Как видно, для трех главных поисковых систем Рунета данные практически совпадают, и лишь небольшое расхождение наблюдается между счетчиками при обсчете трафика с Яндекса -- 46 и 50%. Это расхождение связано с различиями в базах сайтов, на которых установлены счетчики, а также с разницей в том, что относит к поисковикам каждый из сервисов.

Поскольку переходы из поисковиков фиксируются для всех поисковых запросов, совпадение данных от разных источников позволяет нам сделать общее предположение, что частоты одних и тех же запросов в разных системах пропорциональны популярности (трафикогенерации) этих поисковых систем.