Теория вероятностей. От Паскаля до Колмогорова

Ведение понятия случайной величины связано с именами многих ученых, которые хотя и не использовали этого термина, но фактически исследовали отдельные его свойства.

Начиная с Котса, Симпсона и Н. Бернулли в 18-ом веке начала развиваться теория ошибок наблюдений, возникшая в первую очередь под влиянием астрономии. Ошибка измерения в зависимости от случая может принимать различные значения. Эта позиция была высказана Галилеем задолго до работ упомянутых ученых. Он же ввел в обиход термин «случайная» и «систематическая ошибка» измерения. Вторая тесно связана с качеством изготовления прибора, мастерством наблюдателя, условиями наблюдения. Первая же зависит от многочисленных причин, влияние которых невозможно учесть и которые изменяются от наблюдения к наблюдению. Теперь мы ясно видим, что ошибка измерения представляет собой случайную величину с каким-то неизвестным нам распределением вероятностей.

Но с понятием случайной величины встречались уже Я. Бернулли, Н. Бернулли, Монмор, Муавр. В самом деле, Я. Бернулли рассмотрел число появлений интересующего его события в независимых испытаниях. Для нас теперь это случайная величина, способная принимать значения с вероятностями, задаваемыми формулами Бернулли. Н. Бернулли, Монмор и Муавр, исследуя задачу о разорении игрока, также имели дело со случайной величиной: числом партий, которые необходимы для разорения. Муавр пошел еще дальше, он ввел в рассмотрение нормальное распределение вероятностей. Однако никто из перечисленных ученых не заметил, что в науку властно постучалась необходимость введения нового понятия случайной величины.

Первоначально считалось, что возможные значения ошибок измерений составляют арифметическую прогрессию с неопределенной, но очень малой разностью. Затем постепенно от этого предположения отказались и стали представлять себе, что возможные значения, принимаемые ошибками наблюдений, заполняют целый отрезок, вероятности возможных значений определялись посредством плотности распределения. И если Д. Бернулли в отношении плотности распределения вероятностей допускал еще определенные вольности, то у Лапласа, Гаусса, Лежандра с плотностью распределения уже было все в порядке. Это была неотрицательная функция, интеграл которой по всей прямой равен 1, а вероятность попадания в тот или иной отрезок равнялся интегралу от плотности, взятому по этому отрезку. Лапласу уже была известна формула для разыскания плотности распределения суммы по плотностям распределения слагаемых. В книге «Аналитическая теория вероятностей» Лаплас умело оперирует с плотностями распределения, ставит и решает ряд интересных задач, но нигде не вводит понятия случайной величины. Он либо использует язык теории ошибок измерений, либо язык математического анализа и не ощущает потребности в новом понятии теории вероятностей.

Первая половина 19-го века принесла новые задачи, которые нуждаются в понятии случайной величины. Прежде всего, это исследования бельгийского естествоиспытателя А. Кетле (1796-1874), заметившего, что размеры органов животных определенного возраста подчиняются нормальному распределению. Изучение уклонений снаряда от цели явилось предметом исследования многих ученых; они также пришли к выводу о нормальном распределении этой величины.

Многочисленные исследования многих крупных математиков подготовили почву для введения понятия случайной величины. По-видимому, первый шаг был сделан Пуассоном в мемуаре 1832 г. «О вероятности средних результатов наблюдений». Термина случайная величина у Пуассона еще нет, но он пишет о «некоторой вещи», которая способна принять значения соответственно с вероятностями . Он рассмотрел также непрерывные случайные величины и их плотности распределения.

Итак, Пуассоном был сделан важный шаг в науке, он ввел в научный обиход новое понятие - случайную величину. Его первоначальный термин «вещь» не привился и вскоре перестал употребляться. Чебышев в своих мемуарах по теории вероятностей уже использует термин «величина» и автоматически считает все случайные величины, с которыми имеет дело, независимыми. В работе же Ляпунова по теории вероятностей систематически используется термин «случайная величина» и всюду, где это необходимо, оговаривается, что автор имеет дело с независимыми случайными величинами.

Определение случайной величины, данное Пуассоном, теперь уже не может считаться математическим. Это скорее описание реального объекта изучения, обращение к интуиции, полученной в результате научного и житейского опыта. Даже несложный логический анализ этого определения показывает, что из него совсем не следуют правила для действий над случайными величинами. Для того, чтобы случайная величина приобрела статус полноценного математического понятия, ей необходимо дать строго формализованное определение. Это было сделано в конце 20-х годов А.Н. Колмогоровым в небольшой статье, посвященной аксиоматике теории вероятностей, а затем в подробностях изложено в его знаменитой книге «Основные понятия теории вероятностей». Подход Колмогорова стал теперь общепринятым, поскольку он полноценно включил теорию вероятностей в общий стиль современного изложения, принятый в математике.

14. Закон больших чисел

Знаменитая теорема Я. Бернулли о сближении при увеличении числа наблюдений вероятности события с частотой его появления получила первое обобщение лишь в 1837 г. в работе Пуассона «Исследования о вероятностях в решении судебных дел уголовных и гражданских». Именно в этом мемуаре он ввел сам термин «закон больших чисел». Но его результаты не внесли в теорию вероятностей существенного прогресса, поскольку в идейном плане они не выходили за пределы концепции Я. Бернулли. Существенный сдвиг в этом направлении связан с работой Чебышева «О средних величинах» (1867). В этой работе он перешел от рассмотрения случайных событий к случайным величинам. Теорема Чебышева теперь излагается во всех учебниках теории вероятностей. Она неоднократно позднее служила источником обобщений.

В 1909 г. Э. Борель для показал, что в случае схемы Бернулли имеет место более сильное предложение, чем закон больших чисел. Именно, он доказал, а в 1917 г. это предложение на произвольное распространил итальянский математик Кантелли, что .

Это предложение получило наименование усиленного закона больших чисел. Широкое обобщение усиленного закона больших чисел было дано Колмогоровым в работе 1930 г., а также в 1934 г. в его монографии «Основные понятия теории вероятностей».

В 1935 г. Хинчин ввел новое понятие относительной устойчивости сумм, которое должно было дать максимально общую форму закона больших чисел для положительных случайных величин. Пусть последовательность неотрицательных случайных величин. Про суммы говорят, что они относительно устойчивы, если можно найти такие положительные константы , что при выполнено соотношение .

В случае одинаково распределенных величин Хинчину удалось найти необходимое и достаточное условие для относительной устойчивости сумм . Ученик Хинчина А.А. Бобров распространил этот результат на случай разнораспределенных слагаемых.

Существенное расширение проблематики, связанной с законом больших чисел, было осуществлено В.И. Гливенко в работах, относящихся к 1929-1933 гг., когда он начал рассматривать предельные теоремы для случайных величин со значениями в функциональных пространствах. Вершиной его результатов является замечательная теорема о сходимости эмпирических распределений к истинной функции распределения наблюдаемой случайной величины. Теорема Гливенко, сразу же после ее опубликования, была названа Кантелли основной теоремой математической статистики.

15. Центральная предельная теорема

Теорема Муавра о сходимости распределений центрированного и нормированного числа появлений события в независимых испытаниях, в каждом из которых событие может наступить с одной и той же вероятностью , к нормальному распределению долгое время служила образцом для последующих обобщений. Первое обобщение принадлежит Лапласу и уже формулируется как предельная теорема для сумм независимых случайных величин , каждая из которых равномерно распределена на отрезке . Лаплас рассматривал дискретные случайные величины с увеличивающимся числом возможных значений. Этим самым давалась аппроксимация непрерывного распределения дискретным.

Существенное продвижение исследований по предельной теореме связано с именем Пуассона. Он рассмотрел схему последовательности независимых испытаний с разными вероятностями появления события в каждом из испытаний. Пуассон доказал для этого случая локальную теорему. здесь же он дал ошибочное обобщение этой теоремы на суммы произвольных независимых случайных величин, имеющих конечные дисперсии, при условии их центрирования суммами математических ожиданий и нормирования квадратным корнем из суммы дисперсий слагаемых.

Интерес к нормальному распределению в начале 19-го века возрос в связи с появлением знаменитых исследований Лежандра и Гаусса по формулировке и обоснованию метода наименьших квадратов.

Второй толчок, который вызвал дополнительный интерес к предельным теоремам теории вероятностей, была статистическая физика, начала которой были построены в середине 19-го века. Первый общий результат в этом направлении был сформулирован в 1887 г. Чебышевым. Для доказательства этого предложения Чебышевым был разработан весьма сильный метод, получивший название метода моментов и являющийся одним из крупнейших достижений науки того времени. Однако, в формулировке теоремы и ее доказательстве был допущен ряд промахов, которые сразу же взялся исправлять ученик Чебышева А.А. Марков. Им была строго доказана несколько исправленная теорема Чебышева. Ляпунов на протяжении 1900-1901 гг. обобщил полученные результаты.

Общность результатов Ляпунова произвела огромное впечатление на современников. Именно в ту пору появился термин «центральная предельная теорема» для обозначения условной сходимости функций распределения нормированных и центрированных математическими ожиданиями сумм к нормальному распределению.

Многие ученые занимались и добились некоторых результатов при изучении центральной предельной теоремы: Линдеберг (1922), Феллер (1934), Бернштейн (1927), Хинчин и Леви (1935)…

Исследование вопроса сходимости функции распределения к нормальному закону не окончились и в наши дни.

16. Общие предельные распределения для сумм

Естественный вопрос о том, какие распределения возможны в качестве предельных для сумм независимых случайных величин при условии, что они примерно одинаковы по величине, возник только в двадцатые-тридцатые годы 20-го века. Этот вопрос подробно исследовали Колмогоров, Гнеденко, Леви, Хинчин.

17. Формирование понятий математического ожидания и дисперсии

Понятие математического ожидания в самых начальных его элементах было введено в теорию вероятностей очень рано: впервые оно появилось в переписке Паскаля и Ферма. В более явной форме оно было введено Гюйгенсом. Но в ту пору этому термину придавался смысл ожидания той средней цены, которую можно дать за приобретение случайной величины, дающей выигрыш с вероятностью .

Для 18-го века обращение к математическому ожиданию было не характерным. Все внимание привлекало понятие вероятности случайного события. В знаменитой книге Лапласа «Аналитическая теория вероятностей» нет определения математического ожидания и тем более правил действия с ними. Возможно, это связано с тем, что Лаплас не рассматривал и понятия случайной величины, вместо этого он изучал ошибки наблюдений, плотности их распределений и даже вывел, и использовал формулу для плотности суммы двух независимых ошибок.

Казалось бы, создание и развитие теории ошибок наблюдений должно было стимулировать изучение числовых характеристик случайных величин. Однако этого не случилось. Впрочем, для нормального распределения были введены понятия истинного значения и точности наблюдений; было известно, как их вычислять по плотности распределения. Таким образом, для этого частного случая уже была известна формула для вычисления математического ожидания и дисперсии.

В начале 19-го века нормальное распределение затмило собой все остальные, поскольку с ним столкнулись в теории ошибок наблюдений и, казалось, доказали в работах Гаусса и Лежандра, что распределение ошибок наблюдений должно быть нормальным. Остальные распределения потеряли интерес, о них попросту не думали. Несомненно, в связи с этим никто не помышлял о доказательстве теорем относительно математических ожиданий и дисперсий, поскольку для нормального распределения уже было все известно. Заметим, что в книге Чебышева «Опыт элементарного анализа теории вероятностей» понятия случайной величины, математического ожидания и дисперсии даже не упоминаются. Однако в курсе лекций по теории вероятностей, которые систематически он читал в Петербургском университете, Чебышев говорит о величинах (имея в виду случайные величины), их математическом ожидании и дисперсии. Более того, в этих лекциях было сказано, что «оно (понятие математического ожидания) имеет большее значение на практике, чем сама вероятность, потому что на основании ее у нас составляется суждение о том, что мы можем ожидать перед появлением известного события».

В этих лекциях имеется доказательство и формулировка теорем о математическом ожидании и дисперсии суммы случайных величин. Там же он привел и вывод своего знаменитого неравенства. При этом он предполагал как нечто самоочевидное, что речь идет о независимых величинах.

Только в учебнике «Исчисление вероятностей» (1913-1924) строго доказываются и теорема о математическом ожидании произведения и о математическом ожидании суммы со специальным упоминанием о том, что она верна не только для независимых величин.

Понятие случайного процесса принадлежит прошлому столетию и связано с именами Колмогорова, Хинчина, Слуцкого, Винера (1894-1965). Это понятие в наши дни является одним из центральных не только в теории вероятностей, но также в естествознании, инженерном деле, экономике, организации производства, теории связи. Теория случайных процессов принадлежит к категории наиболее быстро развивающихся математических дисциплин. Несомненно, что это обстоятельство в значительной мере определяется ее глубокими связями с практикой.

20-ый век не мог удовлетвориться тем идейным наследием, которое было получено им от прошлого. В то время, как физика, инженера, биолога интересовал процесс, т.е. изменение изучаемого явления во времени, теория вероятностей предлагала им в качестве математического аппарата лишь средства, изучавшие стационарные состояния. Для исследования изменения во времени теория вероятностей конца 19-го начала 20-го века не имела ни разработанных частных схем, ни тем более общих приемов. Изучение броуновского движения в физике подвело математику к порогу создания теории случайных процессов. В исследованиях датского ученого А.К. Эрланга была начата новая важная область поисков, связанная с изучением загрузки телефонных сетей. Число абонентов изменяется во времени случайно, а длительности каждого разговора обладает большой индивидуальностью. И вот в этих условиях двойной случайности следует производить расчет пропускной способности телефонных сетей, коммутационной аппаратуры и управляющих связью систем. Работы Эрланга оказали значительное влияние не только на решение чисто телефонных задач, но и на формирование элементов теории случайных процессов, в частности, процессов гибели и размножения.

Во втором десятилетии двадцатого века начались исследования динамики биологических популяций. Итальянский математик Вито Вольтера разработал математическую теорию этого процесса на базе чисто детерминистских соображений. Позднее ряд биологов и математиков развивали его идеи уже на основе стохастических представлений. Первоначально и в этой теории применялись исключительно идеи процессов гибели и размножения.

Теория броуновского движения, исходящая из теоретико-вероятностных предпосылок, была разработана в 1905 г. двумя известными физиками М. Смолуховским (1872-1917) и А. Эйнштейном (1879-1955). Позднее высказанные ими идеи использовались неоднократно как при изучении физических явлений, так и в различных инженерных задачах.

Попытка изучения средствами теории вероятностей явления диффузии была предпринята в 1914 г. двумя известными физиками Н. Планком (1858-1947) и Фоккером.

Мы должны упомянуть еще о двух важных группах исследований, начатых в разное время и по разным поводам. Во-первых, это работы А.А. Маркова (1856-1922) по изучению цепных зависимостей. Во-вторых, работах Е.Е. Слуцкого (1880-1948) по теории случайных функций. Оба эти направления играли очень существенную роль в формировании общей теории случайных процессов.

В 1931 г. была опубликована большая статья Колмогорова «Об аналитических методах в теории вероятностей», а через три года работа Хинчина «Теория корреляции стационарных стохастических процессов», которые следует считать началом построения общей теории случайных процессов. В первой из этих работ были заложены основы теории марковских процессов, а во второй - основы стационарных процессов. Они были источником огромного числа последующих исследований.

Обе упомянутые основополагающие работы содержат не только математические результаты, но и глубокий философский анализ причин, послуживших исходным пунктом для построения основ теории случайных процессов.

Но не общефилософское содержание является основным достоинством работы Колмогорова. В ней были заложены основы теории случайных процессов без последействия и получены дифференциальные уравнения (прямые и обратные), которые управляют вероятностями перехода. В этой же работе был дан набросок теории скачкообразных процессов без последействия, подробное развитие которой позднее было дано Феллером и Дубровским.

Построение другого класса случайных процессов на базе физических задач было осуществлено Хинчиным. Он ввел понятие стационарного процесса в широком и узком смысле и получил знаменитую формулу для коэффициента автокорреляций. Эта работа послужила основанием для последующих исследований Крамера, Вальда, Колмогорова и многих других ученых.

Заключение

В истории каждой науки постоянно приходится сталкиваться с такими ситуациями, когда эта наука еще не создана, а исследователи рассматривают отдельные задачи, которые относятся к ее компетенции. С таким же положением мы сталкиваемся и в теории случайных процессов. Этой теории еще не было, не было и свойственных ей понятий, не было даже идеи рассмотрения изменения случайной величины во времени, а отдельные задачи в этом направлении уже изучались.

Теория вероятностей имеет богатую и поучительную историю. Она наглядно показывает как возникали ее основные понятия и развивались методы из задач, с которыми сталкивался общественный прогресс. При этом мы увидим, как человечество переходило от первичных догадок к более полному и совершенному знанию, как создание теории вероятностей позволяло переходить от строгих детерминистических представлений к более широким стохастическим концепциям, тем самым, открывая новые возможности для глубоких заключений о природе вещей.

Теория вероятностей продолжает бурно развиваться, в ней появляются новые направления исследований. Эти направления представляют значительный общетеоретический и прикладной интерес.