Размещено на http://www.allbest.ru/

Реферат

Тема: Компьютерные технологии создания звука

2017

Содержание

компьютер музыкальный обработка звук

История компьютеризации музыкального обучения

Функциональные возможности компьютера по организации обмена музыкальной информацией

Технологии и средства обработки звуковой информации

Технологии создания позиционируемого 3D звука

Список литературы

История компьютеризации музыкального обучения

Принято считать, что история компьютеризированного обучения берет свое начало с конца 50-х гг. XX в. в связи с появлением в США первых автоматизированных обучающих систем (АОС). Однако уже к 1960 г. в США было выпущено большое количество программ, охвативших практически все вузовские учебные дисциплины, в том числе и предметы, изучаемые на искусствоведческих факультетах. Примером первых программ, использовавшихся в музыкальном образовании, являются программы «Основы музыкознания» (Дж. Эванс, Р. Глейзер, Л. Хомм) и «Понимание музыкальных произведений».

В связи с тем, что на тот момент компьютер обладал еще достаточно слабыми функциональными возможностями работы с музыкальным материалом (ввод и вывод графической и аудиальной информации были весьма ограниченными), обучение проходило преимущественно в вербальной форме.

В России процесс автоматизации обучения музыке происходил в значительно меньших масштабах и на иной технической базе: здесь использовались обучающие машины, первые образцы которых были разработаны и сконструированы П. Лобановым в 1963 г. Для реализации идеи автоматизации обучения в Государственном музыкальном педагогическом институте имени Гнесиных был открыт автоматизированный класс музыкального обучения и создано несколько программ по различным дисциплинам.

И в США, и в России внедрение новых технических средств обучения осуществлялось исключительно в рамках концепции программированного обучения. Поэтому важным этапом в открытии новых возможностей применения компьютера в обучении музыке стала разработанная Р. Зариповым в 1965 г. программа-экзаменатор, проверяющая правильность решения задачи по гармонии. Позднее автор признал, что «использовать ее в учебном процессе было невозможно, поскольку в то время на ЭВМ отсутствовали средства ввода и вывода, естественные и привычные для музыкантов», и она была лишь «прототипом обучающей системы». Однако работа над этой программой поставила ряд важных и принципиальных вопросов, касающихся проблем моделирования музыкальных процессов, формализации знаний, оценки художественных произведений, восприятия эстетической информации.

К концу 60-х гг. XX в. появилась возможность оснащения компьютерной системы средствами ввода и вывода музыкальной информации и работы со звуком. Это вызвало первый всплеск активизации производства программного продукта, предназначенного специально для обучения музыке, и способствовало появлению новых мощных образовательных центров, занимающихся исследованием проблем внедрения компьютерных технологий в практику музыкального образования.

Так, в крупных югославских университетах (в Белграде, Любляне и Загребе) с 1968 г. стали открываться центры разработки и исследования обучающих компьютерных технологий в области музыкального образования.

В начале 1980-х гг. многими зарубежными исследователями были подведены некоторые итоги многолетней работы, что фактически свидетельствует о переходе на новый уровень понимания проблемы компьютеризации музыкального образования. Большинство из проведенных к этому времени экспериментов подтвердило эффективность новой обучающей технологии и дало положительный ответ на вопрос о целесообразности использования компьютера в обучении музыке. Пик активизации процесса компьютеризации образования приходится примерно на 1989 г., что отразилось на стремительном росте количества обучающих программ. Только за первый квартал 1988 г. в США было создано более ста двадцати программ, которые могли быть использованы для обучения музыке.

С 1988 г. в Государственном музыкальном педагогическом институте имени Гнесиных под руководством профессора Ю. Рагса начались планомерные работы по музыкальной информатике.

В настоящее время продолжается наращивание потенциала обучающих компьютерных технологий. Компьютеризированное обучение музыке стало обычной практикой почти для всех учебных заведений США, занимающихся подготовкой профессиональных музыкантов.

В России на данный момент исследования проводятся в Вычислительном центре Московской государственной консерватории имени П. И. Чайковского, образованном в 1991 г., Ю. Рагсом, А. Харуто и др. Педагоги и сотрудники консерватории участвуют в создании музыкальных образовательных компьютерных программ, например, «Джоаккино Россини» (DS Multimedia Productions), «Фридерик Шопен» (DS Multimedia Productions), «Энциклопедия музыкальных инструментов» (DS Multimedia Productions) и Modest Mussorgsky (Luvia United).

Под руководством М. Заливадного и В. Петряевского в Лаборатории электронной и компьютерной музыки при Санкт-Петербургской государственной консерватории имени Н. А. Римского-Корсакова проводятся эксперименты в области темперированных и нетемперированных звукорядов, а также различных форм стохастической композиции.

Собственная программа развития компьютеризации музыкального образования составлена в Уральской государственной консерватории имени M. П. Мусоргского.

Функциональные возможности компьютера по организации обмена музыкальной информацией

Обмен музыкальной информацией осуществляется благодаря ряду функциональных возможностей компьютерной системы. При этом особая роль принадлежит таким функциональным возможностям, как ввод, визуальное отображение и аудиальное воспроизведение.

Ввод. Это главная функциональная возможность, так как именно благодаря ей компьютер начинает обработку поступившей музыкальной информации. Наибольшее распространение получили следующие способы ввода музыкальных информационных объектов.

1. Посредством клавиатуры компьютера. Особенность данного способа ввода заключается в том, что на клавиатуре компьютера нет клавиш, непосредственно соответствующих символам нотного текста (ключи, ноты, знаки альтерации и т. д.). В связи с этим значения всех необходимых для ввода компонентов информационного содержания этих символов присваивается определенным клавишам (например, «до» - клавише «с», «ре» - «d» и т. д.). Таким образом, ввод музыкальных информационных объектов осуществляется путем буквенно-знакового кодирования. Данный способ ввода оказывается достаточно удобным только в том случае, когда хорошо известна система кодирования, однако для музыканта эта форма записи нетрадиционна и, как правило, малоудобна. Данный способ ввода музыкальной информации получил в свое время достаточно широкое распространение среди программистов.

2. Посредством управляющих устройств. В качестве управляющего устройства чаще всего используется манипулятор мышь. Ввод музыкальной информации осуществляется путем выбора того или иного элемента нотного текста на специальной инструментальной панели и помещения его в соответствующую позицию на нотном стане. Этот способ более удобен тем, что он оперирует знаками, характерными для традиционной нотации, и знание особой системы кодирования здесь не требуется. Вместе с тем он, как и первый способ, далек от естественного исполнения музыки.

3. Посредством мнимой фортепианной клавиатуры. В данном способе осуществляется попытка приблизить ввод музыкальных информационных объектов к естественному исполнению музыки. С этой целью на клавиатуру компьютера накладывается мнимая фортепианная клавиатура таким образом, что нижний ряд принимает на себя функцию белых клавиш фортепианной клавиатуры, а более высокий - функцию черных клавиш. По существу здесь так же, как и в первом способе, происходит присвоение определенным клавишам значений одного из компонентов информационного содержания символов нотного текста, а именно, высоты звука. Другие компоненты (длительности, штрихи, динамические оттенки и т. д.) также вводятся с клавиатуры. Хотя ввод для музыканта в данном случае действительно становится более естественным, проблема символьного соответствия до конца не разрешается.

4. Посредством музыкальной клавиатуры (МIDI-клавиатуры). Этот способ ввода возможен только в том случае, если компьютерная система укомплектована дополнительной, музыкальной клавиатурой, являющейся по конструкции аналогом фортепианной клавиатуры. Музыкальная клавиатура обеспечивает ввод только звуковысотности, а остальные компоненты по-прежнему вводятся с помощью клавиатуры компьютера. Таким образом, этот комбинированный способ ввода по своей сути подобен предыдущему.

5. В режиме реального времени. Ввод в данном случае осуществляется путем естественного проигрывания музыки на подключенном к компьютеру синтезаторе или, реже, симуляторе, имитирующем какой либо музыкальный инструмент, например, флейту, кларнет, трубу, гитару и т. п. Этот способ самый быстрый и наиболее удобный для музыканта, т. к. он не вносит существенных изменений в характер исполнительской деятельности. Вместе с тем при расшифровке исполненной музыки возникает несколько довольно сложных проблем принципиального характера. Во-первых, компьютер, анализируя проигрывание и распознавая составляющие его элементы, абсолютно точно и педантично фиксирует момент взятия и снятия звука. А так как для исполнения всегда характерна и естественна ритмическая неравномерность, точно расшифрованная запись, как правило, содержит множество неточностей по отношению к исходному тексту исполненной музыки. Во-вторых, компьютер, фиксируя абсолютную высоту звука, безразличен к форме его записи, и проблема энгармонизма решается путем предварительных настроек (например, указания основной тональности). Выставленные таким образом знаки альтерации часто вступают в противоречие с интонационной природой музыки. В-третьих, компьютер, распознавая исполнение музыки многоголосного полифонического склада, порой не может точно идентифицировать принадлежность звуков к тому или иному голосу. В результате сформированный музыкальный текст может не соответствовать логике интонационного движения голосов. Эти, а также некоторые имеющиеся здесь другие проблемы (например, распознавание метра, динамики, штрихов и др.) свидетельствуют о том, что хотя данный способ ввода является для музыканта наиболее удобным, он не обеспечивает необходимого качественного уровня распознавания введенной в компьютер музыкальной информации.

Таким образом, ни один из указанных способов ввода музыкальных информационных объектов не может быть признан абсолютно удобным и надежным, т. к. не способен поддерживать многоуровневое движение музыкальной информации. Если во времени она развертывается последовательно и линейно, то в каждый конкретный момент она содержит несколько разноплановых элементов (высота звука, длительность, метрическая акцентуация, динамика и т. д.). Движение музыкальной информации осуществляется одновременно и параллельно сразу как бы по нескольким каналам, образуя мощный многоуровневый пласт. Взаимодействие и взаимопроникновение всех этих каналов и создает целостное музыкальное явление. Технически реализовать в компьютерной системе ввод таких многоуровневых информационных объектов часто довольно сложно.

Визуальное отображение. Эта функциональная возможность заключается в отображении музыкальных информационных объектов на экране дисплея с целью их визуального восприятия. Визуальное отображение может принимать следующие формы.

1. Нотно-графическая форма. Эта форма отображает музыкальные информационные объекты в виде традиционной нотной графики, что обеспечивает их наглядность и широкую доступность. При организации автоматизированного формирования компьютером графического изображения нотного текста часто возникают проблемы. Это связано с тем, что нотный текст, помимо фиксации реального звучания, содержит контекстуальные моменты, которые не имеют определенности и однозначности, а следовательно, не поддаются строгой алгоритмизации. Особую сложность при этом представляют случаи с отсутствием в записи музыки четкой метрической организации.

2. Графическая карта. Эта форма отображения показывает фрагмент фортепианной клавиатуры, расположенной вертикально в левой части экрана. Здесь звуки обозначаются вытянутыми прямоугольниками. Они занимают определенное положение на карте, где вертикальная координата указывает его высоту, а горизонтальная - продолжительность во времени. Эта форма отображения достаточно удобна при работе со звуковысотной и ритмической стороной музыкального текста, однако другие его компоненты (динамика, темповые градации и т. д.) здесь никак не представлены. Для их просмотра требуется иная, дополнительная форма отображения, чаще всего в виде графика или таблицы. В целом ограниченность графической карты заключается в неполноценном, выборочном отображении музыкального текста.

Таким образом, все указанные формы визуального отображения имеют те или иные недостатки. Причем эти недостатки имеют объективный характер и не зависят от качества программного продукта. Причина их заключается в многомерности информационного содержания музыкальных информационных объектов и главным образом в ограниченности отражения исполнительского и контекстного аспектов.

Аудиальное воспроизведение. Особая значимость этой функциональной возможности заключается в том, что обучение музыке немыслимо без приобретения учеником музыкально-слухового опыта. Аудиальное воспроизведение музыкальных информационных объектов осуществляется в следующих режимах.

1. Сигнально-семантический. Этот режим используется для организации аудиальной ответной реакции компьютера на действия пользователя. Отдельный аккорд, мелодический оборот или другие музыкальные информационные объекты в данном случае выступают в качестве семантических сигналов, означающих правильное или ошибочное действие, переход к новому разделу или на следующий уровень сложности и т. д. Эти сигналы, как правило, образуют целостную знаковую систему.

2. Фоновый. Воспроизведение музыки в данном режиме создает фоновое сопровождение работе с программой. Оно призвано способствовать погружению в определенную эмоциональную атмосферу и сенсибилизации восприятия предъявляемой компьютером информации.

3. Прямого воздействия. Этот режим предназначен для целенаправленного восприятия музыкальных информационных объектов. Именно они теперь становятся непосредственным содержанием информационных потоков. Следовательно, только при данном режиме аудиального воспроизведения музыкальные информационные объекты можно рассматривать в качестве предмета изучения в компьютеризированном обучении музыке.

При любом режиме аудиального воспроизведения главной проблемой остается его качество. И как уже отмечалось, художественность воспроизведения зависит не столько от технических возможностей компьютера, сколько от человека, формирующего музыкальный текст.

Рассмотренные функциональные возможности не исчерпывают все способы ввода и вывода музыкальных информационных объектов. Для обмена музыкальной информацией могут быть использованы микрофон, сканер, принтер, модем и пр. Однако возникающие здесь проблемы (например, распознавание компьютером элементов музыкального языка при вводе музыкальной информации при помощи микрофона или точность расшифровки нотного текста при сканировании) недостаточно изучены.

Технологии и средства обработки звуковой информации

В 1989 году на порядок улучшилось качество звука. Появилась звуковая подсистема - комплекс программно-аппаратных средств, предназначенный для:

· записи звуковых сигналов, поступающих от внешних источников (микрофона или магнитофона);

· воспроизведения записанных ранее звуковых данных с помощью внешней акустической системы или головных телефонов (наушников);

· микширования (смешивание) при записи или воспроизведении сигналов от внешних источников;

· одновременной записи и воспроизведения звуковых сигналов;

· обработки звуковых сигналов: редактирования, объединения или разъединения фрагментов сигнала, фильтрации, изменения уровня и т.п.;

· управления панорамой стереофонического звукового сигнала и уровнем сигнала в каждом канале при записи и воспроизведении;

· обработки звукового сигнала в соответствии с алгоритмами объемного звучания;

· генерирования с помощью синтезатора звучания музыкальных инструментов через специальный интерфейс MIDI;

· воспроизведения звуковых компакт-дисков;

· управления компьютером и ввода текста с помощью микрофона.

Звуковая система компьютера обычно выполняется в виде самостоятельных звуковых карт, устанавливаемых на материнской плате, но может быть размещена и на другой карте расширения. Отдельные функциональные модули звуковой системы могут выполняться в виде дочерних плат, устанавливаемых в соответствующие разъемы звуковой карты. Дочерняя плата обычно расширяет базовые возможности звуковой системы.

К аппаратным средствам обработки звуковой информации относятся:

· модуль записи и воспроизведения звука, который осуществляет аналого-цифровое и цифроаналоговое преобразование звуковых данных;

· модуль синтезатора;

· модуль интерфейсов, обеспечивающий взаимодействие программных и аппаратных средств;

· модуль микшера, который позволяет осуществить смешивание сигналов от разных источников;

· акустическая система (микрофон, наушники, колонки и т.п.).

Первые четыре модуля, как правило, устанавливаются на звуковой карте. Каждый из модулей может быть выполнен в виде отдельной микросхемы или входить в состав многофункциональной микросхемы.

Программные средства обработки звуковой информации включают в себя:

· музыкальные редакторы;

· синтезаторы звуков;

· системы автоматического распознавания речи;

· звуковые редакторы;

· голосовые навигаторы;

· программы диктовки, позволяющие преобразовывать речь в «письменный» текст;

· программы для улучшения качества фонограмм.

Создание (синтез) звука в основном преследует две цели:

· имитацию различных естественных звуков (шум ветра и дождя, звук шагов, пение птиц и т. п.), а также акустических музыкальных инструментов;

· получение принципиально новых звуков, не встречающихся в природе.

Обработка звука обычно направлена на получение новых звуков из уже существующих (например, голос робота), либо придание им дополнительных качеств или устранение существующих (например, добавление эффекта хора, удаление шума или щелчков).

Так же, как создание всевозможных анимационных эффектов и эффектов трехмерной графики базируется на использовании разнообразных математических методов, каждый из методов синтеза и обработки звука имеет свою математическую и алгоритмическую модель.

К основным программам обработки цифрового звука относят Cool Editor, Sound Forge, Samplitude, Software Audio Workshop дают возможность прослушивать выбранные участки, делать вырезки и вставки, амплитудные и частотные преобразования, звуковые эффекты, наложение других оцифровок, изменение частоты оцифровки, генерировать различные виды шумов, синтезировать звук.

Для обработки звука используются следующие основные методы [1, с. 392].

Монтаж. Состоит в вырезании из записи одних участков, вставке других, их замене, размножении и т. п. Называется также редактированием. Практически каждый музыкальный редактор имеет такие возможности редактирования. Все современные звуко- и видеозаписи в той или иной мере подвергаются монтажу.

Амплитудные преобразования заключаются в усилении или ослаблении звука.

Частотные (спектральные) преобразования - усиление или ослабление определенных полос частот.

Фазовые преобразования. Слуховой аппарат человека использует фазу для определения направления от источника звука. Фазовые преобразования стереозвука позволяют получить эффекты вращающегося звука, движущегося источника звука и им подобные.

Временные преобразования. Заключаются в добавлении к основному сигналу его копий, сдвинутых во времени на различные величины. При небольших сдвигах (порядка менее 20 мс) это дает эффект размножения источника звука (эффект хора), при больших - эффект эха.

Формантные преобразования оперируют с формантами - характерными полосами частот, встречающимися в звуках, произносимых человеком. Каждому звуку соответствует свое соотношение амплитуд и частот нескольких формант, которое определяет тембр и разборчивость голоса. Изменяя параметры формант, можно подчеркивать или затушевывать отдельные звуки, менять одну гласную на другую, сдвигать регистр голоса и т. п.

Обработка речевой информации включает в себя синтез речи и автоматическое распознавание речи.

Устное сообщение можно представить как последовательность элементарных звуков, называемых фонемами, и пауз между ними. От числа фонем, выделяемых в устной речи, зависит точность ее описания. На практике для кодирования русской устной речи выделяют порядка 40-45 фонем, каждой из которых ставится в соответствие кодирующее ее обозначение. Последовательность кодов, описывающих фонемы устного сообщения, вводится и хранится в памяти ЭВМ и при необходимости выводится из нее через специальные устройства, называемые синтезаторами речи.

В настоящее время сфера применения синтезаторов речи непрерывно расширяется - используются различные автоматизированные информационно-справочные системы, системы автоматизированного контроля, способные голосом предупредить человека о состоянии контролируемого объекта, и другие системы.

Разработаны устройства, позволяющие преобразовать письменный текст в соответствующее ему фонемное представление, что дает возможность воспроизводить в виде речи произвольный текст, хранящийся в памяти компьютера.

Немало усилий было положено на то, чтобы снабдить программы и операционные системы графическим интерфейсом пользователя. Сейчас развивается новое направление - речевой интерфейс пользователя. Различные голосовые навигаторы управляют программами, в какой-то мере заменяя клавиатуру и мышь.

Растет популярность средств автоматического распознавания речи. Эти средства преобразуют речь в закодированный «письменный» текст. Для этого производится спектральный анализ оцифрованной речи и определяются при помощи специальных математических методов минимальные звуковые единицы языка.

Существующие системы распознавания речи ориентированы или на слитную, или на дискретную речь. Слитная (непрерывная) речь - это нормальная плавная человеческая речь. Если система рассчитана на дискретную речь, то говорить надо с паузами между словами.

Большинство систем зависимы от диктора - перед началом работы пользователь должен «обучить» программу, произнося определенный текст. Но есть и разработки, которые не требуют этого.

Сегодня анализ звука и речи применяется во многих областях человеческой деятельности. Это биометрия, судебная экспертиза, медицина, обучение, конструкторская деятельность, научные исследования и другие. Голос человека можно использовать как пропуск в системах с ограничением доступа. При производстве судебной экспертизы материалов звукозаписи часто нужно провести идентификацию личности, то есть ответить на вопрос - принадлежит ли голос на двух фонограммах одному и тому же человеку? Можно определять эмоциональное состояние человека (уровень стресса) по параметрам устной речи. Этот способ имеет то преимущество, что человеку не нужно подсоединять датчики. Речевое сопровождение обучающих программ позволяет сделать процесс восприятия учебного материала более полным.

Технологии создания позиционируемого 3D звука

Само понятие "трехмерный звук" подразумевает, что источники звука располагаются в трехмерном пространстве вокруг слушателя. Это основа. Далее, чтобы придать звуковой модели реализм и усилить восприятие звука слушателем, используются различные технологии, обеспечивающие воспроизведение реверберации, отраженных звуков, окклюзии (звук прошедший через препятствие), обструкции (звук не прошел через препятствие), дистанционное моделирование (вводится параметр удаленности источника звука от слушателя) и масса других интересных эффектов.

Цель всего этого, создать у пользователя ощущение реального звука и усилить впечатления от видео ряда в игре или приложении. Не секрет, что слух это второстепенное чувство человека (для кого и вполне первостепенное - прим. сост.), именно поэтому, каждый индивидуальный пользователь воспринимает звук по-своему. Никогда не будет однозначного мнения о звучании той или иной звуковой карты или эффективности той или иной технологии 3D звука.

HRTF (Head Related Transfer Function) это процесс посредством которого наши два уха определяют слышимое местоположение источника звука; наши голова и туловище являются в некоторой степени препятствием, задерживающим и фильтрующим звук, поэтому ухо, скрытое от источника звука головой воспринимает измененные звуковые сигналы, которые при "декодировании" мозгом интерпретируются соответствующим образом для правильного определения местоположения источника звука. Звук, улавливаемый нашим ухом, создает давление на барабанную перепонку. Для определения создаваемого звукового давления необходимо определить характеристику импульса сигнала от источника звука, попадающего на барабанную перепонку, т.е. силу, с которой звуковая волна от источника звука воздействует на барабанную перепонку. Эту зависимость называют Head Related Impulse Response (HRIR), а ее интегральное преобразование по Фурье называется HRTF.

Список литературы

1. http://www.scienceforum.ru/2015/pdf/10759.pdf.

2. http://nsportal.ru/npo-spo/kultura-i-iskusstvo/library/2014/08/27/muzykalno-kompyuternye-tekhnologii.

3. http://www.studfiles.ru/preview/5749849/page:2/.

4. http://life-prog.ru/1_59363_tehnologii-i-sredstva-obrabotki-zvukovoy-informatsii.html.

5. http://www.tiflocomp.ru/games/design/sound_games/3d_overview.php.

Размещено на Allbest.ru