Проектирование системы обработки и хранения данных в условиях высокой нагрузки на примере компании ООО "Яндекс"

Кеширование данных - это способ оптимизации работы БД, который не является новым и уже много лет используется везде, где нужна скорость и надёжность. Основной принцип такого подхода заключается в том, что часто-используемые данные не удаляются из памяти компьютера после успешного завершения запроса, а сохраняются для дальнейшего использования, тем самым предотвращая необходимость вторичного поиска данных в хранилище. Использование такого подхода позволяет в сотни раз увеличить производительность серверов баз данных, а поскольку общение с БД, как правило, является самым «дорогим», то и всего приложения в целом. На базе такого подходя реализованы библиотеки MemCache и MemCached, которые успешно используются в таких сверх нагруженных проектах, как Facebook или Википедия.

Ограничивающим фактором использования такого подхода является быстрая конечность оперативной памяти, которая в отличии от жёсткого диска, который может хранить несколько терабайт данных, позволяют хранить лишь несколько десятков гигабайт информации. Проблема решается физическим увеличением памяти за счёт добавления новых компьютеров, а также за счёт системы «временного» кеширования. Т.е. данные закешированные в памяти хранятся не вечно, а лишь в течение некоторого времени и по истечению которого они удаляются и освобождают память.

Недостатком кеширования запросов, является и то, что кешированию подвержены не исходные данные, а некоторый результат запроса, что может привести к эффекту «протухания» данных, когда информация хранимая в кеше не соответствует действительности. Для решения данной проблемы необходимо реализовывать дополнительный интерфейс синхронизации, однако без должного инструментария данная задача может оказаться не из лёгких. Однако, в случае использования совокупности: JSON и JavaScript данная задача может быть легко решена, в виду близости этих двух инструментов.

Ещё один эффективный способ оптимизации обработки данных основывается на частично распределение нагрузки на компьютеры клиентов (компьютеры осуществляющие работу с БД). При таком подходе сервер отдаёт не конечный результат запроса, а некоторое не агрегированное множество, которое затем окончательно обрабатывается средствами пользовательского компьютера, а также все последующие запросы имеют шанс быть найдены в локальной БД и тем самым значительно уменьшить количество запросов к серверу.

Описанные выше способы оптимизации и хранения данных в значительной степени (до тысячи раз) позволяют увеличить конечную скорость работы приложения и тем самым уменьшают финансовые затраты на поддержку проекта.

2. Постановка задачи

Для написания клиентских (сценарии, которые выполняются непосредственно на компьютере клиента) сценариев можно использовать следующие технологии

а) JavaScript;

б) CoffeeScript;

в) Dart;

г) Flash;

д) Silverlight;

е) ActiveX;

ж) Java.

JavaScript - стандартный язык для большинства браузеров, создавался как простой скриптовый язык для элементарных операций с веб-документом, в качестве замены очень мощному, но тяжёлому механизму Java-апплетов. Со временем развился в полностью самостоятельный язык и сейчас активно используется «вне» браузера.

Таблица 2 - Сравнение JavaScript

CoffeeScript - компилируемый язык для написания клиентских сценариев (компилируется в JS), имеет синтаксис схожий с языками Ruby или Python, используется как правило с платформой RubyOnRails, фактически - это JavaScript. Dart - разрабатываемый компанией Google новый язык для написания клиентских сценариев, по идеологии напоминает Java, но создавался специально для использования в браузере, на данный момент находится в бета-тестировании, но по заявлениям разработчикам, язык призван стать заменой для JavaScript. Flash - универсальная кроссбраузерная платформа и язык (ActionScript) для мультимедии, для оживления веба красочной анимацией, аудио и видео. В отличие от JavaScript, разработчик может быть твёрдо уверен, что его код будет работать как надо, т.к. исходный код Flash сначала компилируется в специальный байт-код, а затем интерпретируется специальной виртуальной машиной на компьютере клиента.

Таблица 3 - Сравнение Flash

Ещё несколько лет назад при сравнении Flash c JavaScript можно было чётко прочертить грань, где и как использовать эти технологии: Flash в большинстве случаев использовался там, где была нужна мощная работа с графикой (например игры), возможность потокового воспроизведение видео и аудио в самом браузере и мощные средства для создания сетевых соединений, в тоже время, т.к. Flash - не общается с браузером на «ты», подобно, как это делает JavaScript, и это рождало множество проблем, тогда и приходил на помощь JavaScript. Однако в связи со стремительным развитием, как самого языка, так и браузеров, современный клиентский JavaScript в 90% случаев может полностью заменить Flash.

Silverlight - технология «клон» Flash от компании Microsoft и ввиду схожести реализации наследует все плюсы и минусы Flash.

ActiveX - технология компании Microsoft, даёт мощный интерфейс для взаимодействия с компьютером пользователя (прямой доступ к файловой системе и т.д.), однако реализация существует только в браузерах InternetExplorer и только под операционной системой Windows, что делает использование затруднительным.

Java - самый популярный язык в мире, взаимодействует с браузером через механизм апплетов, поддерживается большинством браузеров и работает почти в любой операционной системе, однако «тяжесть» и сложность разработки интерфейсов привело к тому, что в контексте «клиентского» кода язык почти не используется.

Вывод: из представленных выше средств конкуренты на данный момент только JavaScript и Flash, однако в последнее время Flash стремительно сдаёт позиции в пользу JS. Возможно, появление языка Dart сможет изменить ситуацию на рынке клиентских языков.

4.4 Взаимодействие интерфейса с сервером

В классической схеме работы любого WEB-приложения лежит один и тот же подход: пользователь задаёт вопрос, а сервер на него отвечает.

Рисунок 9 - Последовательная схема «клиент-сервер»

Давайте подробно рассмотрим классическую модель такого взаимодействия: пользователь дождался загрузки страницы, затем выполняет какие-либо действия и отправляет некоторые данные на сервер, где они обрабатываются, а после происходит полная перезагрузка страницы с целью показать пользователю результат его запроса.

Данная модель не может похвастаться ни интерактивностью, ни скоростью работы. Однако есть способы модернизации: если контекстом исполнения будет не весь документ, а только его часть, т.е. изменяется только то, что должно измениться, а статичная информация остаётся неизменной, то это может существенно ускорить работу и добавить интерактивности нашему интерфейсу.

Для реализации данного подхода можно использовать различные технологии, но на сегодняшний день самой популярной технологией является AJAX, которая основывается на JavaScript и способности браузеров отправлять асинхронные запросы серверу.

4.4.1 Смысл AJAX - в интеграции технологий

Технология AJAX использует комбинацию:

а) (X)HTML, CSS для подачи и стилизации информации;

б) DOM-модель, операции, над которой производятся JS на стороне клиента, чтобы обеспечить динамическое отображение и взаимодействие с информацией;

в) XMLHttpRequest для асинхронного обмена данными с веб-сервером. В некоторых AJAX-фреймворках и в некоторых ситуациях, вместо XMLHttpRequest используется iFrame, SCRIPT-тег или другой аналогичный транспорт;

г) JSON часто используется для обмена данными, однако любой формат подойдет, включая форматированный HTML, текст, XML и даже какой-нибудь EBML.

Рисунок 10 - Определение AJAX

4.4.2 Клиент

В большинстве случаев, компьютер пользователя является средством отображения информации полученной с сервера, так называемый «тонкий» клиент. Это удобно, ведь нет необходимости нагружать клиента лишней для него информации, однако данный подход не всегда может являться рациональным. Некоторые наборы данных могут и должны обрабатываться средствами клиента, тем самым снижая нагрузку на сервер и уменьшая отклик интерфейса, т.к. теперь отпадает необходимость постоянной связи с сервером. Такой подход также позволяет реализовать работы «офлайн» приложения, т.е. при отсутствии подключения к интернету.

4.4.3 Способы хранения данных на клиенте

WebSQL. В HTML 5 есть много новых возможностей, которые позволяют web-разработчикам создавать более мощные и насыщенные приложения. К этим возможностям относятся и новые способы хранения данных на клиенте, такие как WebStorage (или же DOM Storage) и WebSQL database. При этом если WebStorage ориентирован на хранение пар ключ-значение, то в случае WebSQL у нас есть полноценный sqlite (во всех текущих реализациях применяется именно этот движок баз данных, что является проблемой при стандартизации).

Т.е. мы можем хранить данные на клиенте, а также получаем возможность делать динамические выборки с помощью языка SQL. К несчастью, эта технология относительно новая и её поддержкой могут похвастаться лишь новые браузеры. Ситуацию можно немного исправить если в разработке применять плагин к браузерам Gears от Google, однако такой подход породит ряд новых проблем, таких например как: данный плагин нужно скачивать и ставить пользователям, он не реализован во всех браузерах и его разработка остановлена в пользу стандартов HTML5.

Вывод: WebSQL может стать отличным решением, если отбросить поддержку старых браузеров, но всё же отсутствие поддержки в старых браузерах может затруднить разработку.

WebStorage -- универсальное хранилище данных на компьютере клиента, оно позволяет хранить данные в виде пар ключ-значение в объёме до 5-ти мегабайт, плюс прибавим к этому неплохую поддержку браузерами (в старых версиях браузеров можно эмулировать работу через Flash/Silverlight или Gears). Данное решение можно использовать для хранения информации, однако отсутствие нативного API для сложных выборок требует использования сторонних библиотек.

Вывод: в совокупности с дополнительной библиотекой может стать универсальным решением.

Cookies -- самый старый способ хранения данных на клиенте. Принцип схож с WebStorage, однако сильное ограничение на объём данных делает эту технологию актуальной только для очень маленьких объёмов данных.

4.4.4 Реляционный подход в JavaScript

6.2.1 Расчет трудоемкости проекта

Здесь мы произведем структурирование последовательности технической реализации проекта. Произведем планирование содержания работ, формирование последовательности и характеристики этапов выбранных стадий разработки программного продукта.

Таблица 9 - Перечень работ и трудозатраты. Перечень работ и трудозатраты:

Расчет трудоемкости является основополагающим для определения общих затрат на реализацию проекта, так как через него, в конечном итоге, оценивается один из основных затратных показателей - совокупные затраты на оплату труда исполнителей.

Общие затраты труда на разработку и внедрение программы определяются следующим образом:

(1)

где t_i - затраты труда на выполнение i -го этапа проекта.

Трудоемкость по этапам проектирования была оценена на основе известной трудоемкости разработки аналогичных программ.

6.2.2 Определение численности исполнителей

Для оценки возможности выполнения проекта имеющимся в распоряжении разработчика штатным составом исполнителей рассчитывается их средняя численность, которая при реализации проекта разработки и внедрения программы определяется соотношением (2):

(2)

Q_p - затраты труда на выполнение проекта (разработка и внедрение программы), F - фонд рабочего времени.

Величина фонда рабочего времени определяется соотношением (3):

где Т - время выполнения проекта в месяцах, F_M - фонд времени в текущем месяце, который рассчитывается из учета общего числа дней в году, числа выходных и праздничных дней (4):

где t_p - продолжительность рабочего дня, D_K - общее число дней в году, D_BП - число выходных и праздничных дней в году.

Подставляя результат вычислений формулы 4 в соотношение 3, и, далее, в соотношение 2, округляют результат до большего целого, который и показывает среднее число необходимых исполнителей проекта (количество исполнителей без их качественного разделения).

В соответствии с требованиями кодекса законов о труде РФ (КЗоТ) режим работы фирмы-исполнителя, которая будет заниматься разработкой данного программного продукта, устанавливается с 9.00 до 18.00, пять дней в неделю, обеденный перерыв с 13.00 до 14.00. Выходные дни - суббота, воскресенье и все праздничные дни, указанные в КЗоТ. Работа будет проводиться в течение двух месяцев - с 1 апреля по 31 мая включительно.

Округляем значение N и получаем, что в среднем необходимое количество исполнителей - 2 человека.

Итак, персонал, который будет задействованный в разработке данного программного продукта, состоит из

а) руководитель проекта (Р);

б) программист (П).

6.3 Линейный график - график ОКР по созданию новой программной продукции

Линейный график составляется на все виды выполняемых работ в их технологической последовательности. При этом предусматривается возможность параллельного выполнения работ.

Для того чтобы построить график, необходимо определить:

а) сроки разработки, испытаний и внедрений;

б) необходимое количество работников;

в) состав исполнителей.

Таблица 10 - Этапы разработки

6.4 Расчет затрат на новую разработку и расчет цены

Затраты на выполнение проекта состоят из прямых затрат (на заработную плату исполнителям, затрат на закупку или аренду оборудования, затрат на организацию рабочих мест), и косвенных затрат (на так называемые накладные расходы).

(5)

где С_ЗАРП - заработная плата исполнителей, С_ОБ - затраты на обеспечение необходимым оборудованием, С_ОРГ - затраты на организацию рабочих мест, С_НАКЛ - накладные расходы.

Затраты на выплату исполнителям заработной платы линейно связаны с трудоемкостью и определяется следующим соотношением:

(6)

где С_З.ОСН - основная заработная плата, С_З.ДОП - дополнительная заработная плата, С_З.ОТЧ - отчисление с заработной платы.

Расчет основной заработной платы (оплаты труда непосредственных исполнителей) следует проводить по «дневной» оплате труда на основе данных по окладам и графику занятости исполнителей (7):

(7)

где Т_ЗАН - число дней, отработанных исполнителем проекта, О_ДН - дневной оклад исполнителя. При 8-ми часовом рабочем дне он рассчитывается по соотношению (8):

 (8)

где О_МЕС - месячный оклад, F_M - месячный фонд рабочего времени (4).

Зарплата исполнителей является, как правило, основной статьей расходов и ее минимизация, конечно же, снижает стоимость проекта и повышает его конкурентоспособность.

О_МЕС - месячный оклад примем:

Таблица 11 - Оклад

Таблица 12 - Расчет заработной платы. Расчет заработной платы:

К расходам на дополнительную заработную плату относятся все выплаты, предусмотренные законодательством за непроработанное время, оплата отпусков, выплата премий и т.д. размер дополнительной заработной платы определяется в процентах и составляет 20% от размера основной заработной платы:

Отчисления с заработной платы состоят в настоящее время в уплате единого социального налога. В соответствии со ст. 241 налогового кодекса РФ налогоплательщик, т.е. работодатель (в данном случае в качестве работодателя выступает заказчик), должен сделать в пенсионный фонд РФ, фонд социального страхования, фонды обязательного медицинского страхования (федеральный и территориальный фонды).

Отчисления с заработной платы составят:

(10)

Таблица 13 - Расчет заработной платы. где Н_СОЦ - отчисления с заработной платы в виде единого социального налога (ЕСН).

Таблица 14 - Расчет заработной платы. Итого общие затраты на заработную плату разработчикам вместе со всеми отчислениями равны:

6.5 Расчет амортизации основных фондов

В соответствии с пунктом 1 статьи 256 Налогового кодекса Российской Федерации (далее НК РФ) амортизируемым имуществом признаются имущество, результаты интеллектуальной деятельности и иные объекты интеллектуальной собственности, которые находятся у налогоплательщика на праве собственности, используются им для извлечения дохода и стоимость которых погашается путем начисления амортизации. Амортизируемым имуществом признается имущество со сроком полезного использования более 12 месяцев и первоначальной стоимостью более 10 000 рублей.

Амортизируемым имуществом также признаются капитальные вложения в предоставленные в аренду объекты основных средств в форме неотделимых улучшений, произведенных арендатором с согласия арендодателя (пункт 1 статьи 256 НК РФ).

В соответствии с пунктом 2 статьи 256 НК РФ не подлежат амортизации следующие виды сдаваемого в аренду амортизируемого имущества:

а) земля и иные объекты природопользования (вода, недра и другие природные ресурсы);

б) имущество бюджетных организаций, за исключением имущества, приобретенного в связи с осуществлением предпринимательской деятельности и используемого для осуществления такой деятельности;

в) имущество некоммерческих организаций, полученное в качестве целевых поступлений или приобретенное за счет средств целевых поступлений и используемое для осуществления некоммерческой деятельности;

г) имущество, приобретенное (созданное) с использованием бюджетных средств целевого финансирования, кроме имущества, полученного налогоплательщиком при приватизации;

д) имущество, полученное налогоплательщиком в рамках целевого финансирования;

е) имущество, безвозмездно полученное государственными и муниципальными образовательными учреждениями, а также негосударственными образовательными учреждениями, имеющими лицензии на право ведения образовательной деятельности, на ведение уставной деятельности;

ж) основные средства, полученные организациями, входящими в структуру Российской оборонной спортивно-технической организации (далее РОСТО) (при передаче их между двумя и более организациями, входящими в структуру РОСТО), использованные на подготовку граждан по военно-учетным специальностям, военно-патриотическое воспитание молодежи, развитие авиационных, технических и военно-прикладных видов спорта в соответствии с законодательством Российской Федерации.

В соответствии со статьей 258 НК РФ сроком полезного использования признается период, в течение которого объект основных средств служит для выполнения целей деятельности налогоплательщика.

Срок полезного использования определяется налогоплательщиком на дату ввода в эксплуатацию объекта основных средств в пределах сроков, установленных Классификацией основных средств, утвержденной Постановлением Правительства Российской Федерации от 1 января 2002 года №1 "О классификации основных средств, включаемых в амортизационные группы". При этом дополнительного обоснования выбора того или иного конкретного срока эксплуатации, принятого для объекта, не требуется.

В соответствии с проектом при разработке данного программного продукта амортизацией будут облагаться следующее оборудование:

Таблица 15 - Амортизация

В соответствии с п. 9 ст. 258 НК РФ основные средства и нематериальные активы включаются в состав амортизируемого имущества с 1-го числа месяца, следующего за месяцем, а котором они были введены в эксплуатацию.

Таким образом, 2 компьютера и МФУ в бухгалтерском учете будут отражены в феврале 2012 года, а в налоговом учете -- в апреле 2012 года.

При применении линейного метода, в соответствии с п. 4 ст. 259 НК РФ, амортизации по каждому объекту амортизируемого имущества определяется по формуле: норма

К=[1/п] * 100%, где:

К -- норма амортизации в процентах к первоначальной (восстановительной) стоимости объекта амортизируемого имущества;

п -- срок полезного использования данного объекта амортизируемого имущества, выраженный в месяцах.

За системные блоки Intel Core i7:

а) месячная норма амортизации для целей налогообложения будет рассчитана следующим образом

б) К= (1: 36) * 100%=2,8%

в) сумма начисленной в каждом месяце амортизации составит

г) 42 500,00 руб. * 2,8% = 1 190 руб.

6.6 Расчет затрат, связанных с организацией рабочих мест для исполнителей проекта

В случае использования своих площадей берутся расходы по обслуживанию этих помещений: плата за свет, телефон, уборку, охрану и т.д.

В соответствии с санитарными нормами расстояние между рабочими столами с видеомониторами должно быть не менее 2 м., а между боковыми поверхностями видеомониторов - не менее 1,2 м.. Площадь на одно рабочее место с терминалом или ПК должна составлять не менее 6 кв.м., а объем - не менее 20 куб.м.. Площадь, предусмотренная для размещения одного принтера, соответствует 0,5 площади рабочего места исполнителя. Расположение рабочих мест в подвальных помещениях не допускается. Помещения должны быть оборудованы системами отопления, кондиционирования воздуха или эффективной приточно-вытяжной вентиляцией.

Получается, что места для размещения двух компьютеров и принтера должно быть не менее 15 кв.м.

Помещение взято общей площадью 16,45 кв.м.

Помещение находится в собственности работодателя - арендная плата отсутствует.

6.6.1 Затраты на электроэнергию