Методы статистического анализа исторических текстов (часть 2)
Шрифт:
Работы авторов настоящей работы были в числе первых работ в области непараметрических методов решения задач о "разладке". С самого начала мы стремились синтезировать такие методы, которые можно достаточно легко применять для решения практических задач. В этом отношении именно непараметричесике методы, не использующие априорную информацию о распределениях, представляются наиболее подходящими.
Итог нашим исследованиям в рассматриваемой области математической статистики подведен в книге [546]. Здесь мы изложим основные идеи нашего подхода применительно к ретроспективным методам обнаружения "разладки", т.к. именно эти методы использовались для анализа исторических текстов.
Наша методология основана на двух основных идеях. Первая состоит в том, что обнаружение изменения любой функции распределения или какой-либо иной вероятностной характеристики
X = {x } ,
"склеенная" из двух строго стационарных случайных последовательностей
1 t=1
склейки n .
Пусть известно, что X и X отличаются между собой одной из двумерных функций распределения, а именно, предположим, что функция
P{x u , x u } = F(u ,u ) до момента t = n - 2 равна F ,
а при t t = n +1 - F , причем \F - F \ > 0, где \ \ -обычная sup-норма. Хорошо известно, что функция распределения конечномерного случайного вектора может быть приближена равномерно с любой точностью функцией распределения случайного вектора с конечным числом значений. Отсюда следует, что при разбиении плоскости R на достаточно большое число непересекающихся областей A , j=1,...,r, вектор (x ,x ) можно аппроксимировать по распределению вектором с конечным числом значений. Поэтому, если ввести новые случайные последовательности
(I(A) - индикатор множества А), то хотя бы в одной из этих последовательностей происходит изменение математического ожидания. Следовательно, если существует алгоритм, обнаруживающий изменение математического ожидания, то этот же алгоритм обнаружит и изменение функции распределения. Аналогично можно обнаружить и изменение произвольной вероятностной характеристики. Например, если в последовательности меняется корреляционная функция, то рассматривая новые последовательности V = x x , =0,1,2,..., мы сведем задачу к обнаружению изменения математического ожидания в одной из последовательностей V .
Указанное обстоятельство позволяет ограничиться разработкой только одного, базового, алгоритма, который может обнаруживать изменение математического ожидания, а не создавать (вообще говоря, бесконечное) семейство алгоритмов для обнаружения изменений тех или иных вероятностных характеристик.
Вторая идея нашего подхода заключается в использовании для обнаружения моментов "разладок" семейства статистик вида
Y (n) = [(1 - - )] [ - x - x ] (1)
где 0 1, 1 n N-1, X= {x } - исследуемая реализация, и некоторых производных от этих статистик.
Семейство (1) представляет собой обобщенный вариант статистики Колмогорова-Смирнова, которая используется для проверки совпадения или различия функций распределения у двух выборок (при фиксированном n). Можно показать, что статистики вида (1) асимптотически (при N--> и сохранении соотношения между объемами "склеенных" реализаций) минимаксны (т.е. минимизируют максимально возможную вероятность ошибки оценивания момента "разладки") по порядку.
Указанные идеи (подробнее см.[546]) воплощены в комплексе прикладных программ VERDIA для персональной ЭВМ типа IBM-PC. Этот комплекс позволяет в диалоговом режиме обнаруживать "разладки" произвольной случайной последовательности. При помощи комплекса VERDIA нами был проведен анализ ряда конкретных исторических текстов. Результаты этого анализа изложены в следующем Дополнении 2 к настоящей книге.
ДОПОЛНЕНИЕ 2.
Б.Е.Бродский, Б.С.Дарховский, Г.В.Носовский, А.Т.Фоменко.
ВЫЯВЛЕНИЕ ОДНОРОДНЫХ И НЕОДНОРОДНЫХ ФРАГМЕНТОВ ВНУТРИ
РУССКИХ ЛЕТОПИСЕЙ, РИМСКИХ И ГРЕЧЕСКИХ ХРОНИК, В БИБЛИИ.
1. ВВЕДЕНИЕ.
В современной математической статистике большое применение нашел важный метод разладки, созданный А.Н.Ширяевым. В настоящей работе кратко описываются результаты интересного численного эксперимента, идея которого была впервые предложена А.Н.Ширяевым и А.Т.Фоменко. Эта идея и эксперимент обсуждались на научно-исследовательском семинаре "Геометрия и статистика", работавшем под их руководством в математическом ин-те им В.А.Стеклова АН СССР. Цель эксперимента - применить метод разладки к важной задаче выявления, распознавания "однородных кусков" внутри достаточно больших исторических (и более общо, - т.н. нарративных) текстов. К таким текстам относятся, в частности, исторические хроники, летописи и т.п. Теоретические основы
метода разладки см. в статье Б.Е.Бродского и В.С.Дарховского, помещенного в настоящей книге как Дополнение 2.Выявление информативных количественных характеристик текстов и предварительная обработка исторических текстов, в частности, русских летописей и исторических книг Библии, были выполнены Г.В.Носовским и А.Т.Фоменко. Статистический анализ и компьютерный эксперимент были затем проведены Б.С.Дарховским и Б.Е.Бродским. Большую помощь при этом нам оказали Т.Толозова, А.Громова и Л.Мищенко.
Сейчас мы опишем постановку задачи, полученные результаты и их интерпретацию. Многие древние исторические источники составлены из отдельных фрагментов, кусков разной природы. Например, эти отдельные куски могли быть написаны в разное время разными авторами и вообще в разных странах. Поэтому могут существенно отличаться друг от друга своим характером, языком и стилем изложения, степенью подробности, эмоциональной окраской. Затем могло случиться так, что эти отдельные фрагменты были объединены каким-то более поздним летописцем в одну книгу. После этого первоначальное происхождение этих текстов-фрагментов было забыто. Они начинали существовать, "спаянные" в единое целое внутри какой-то одной поздней летописи. С течением времени, при многократной переписке летописей, их изменений под влиянием разных "редакторов", внешние различия, существовавшие первоначально между различными старыми фрагментами, составляющими "новый большой текст", постепенно стирались. Сегодня такие составные тексты часто воспринимаются как единое целое, поскольку предистория их возникновения давно забыта.
Возникает естественный и важный вопрос: можно ли, опираясь на численный, статистический анализ различных частотных характеристик, выявить сегодня внутри единой большой летописи эти первичные составные части, куски, то есть можно ли снова разрезать большой текст на его первичные, древние фрагменты-первоисточники ?
В основу излагаемого ниже метода положена идея, согласно которой каждый первичный, древний фрагмент был более или менее "однороден". Например, он мог быть написан одним автором, а потому несет на себе характерный отпечаток одной индивидуальности. Единый стиль, манера и т.п. Поскольку эта гипотетическая индивидуальность по-видимому "мало менялась" в процессе написания одного текста, то можно сформулировать естественную гипотезу, модель о "первичной однородности" фрагментов, написанных одним автором, в одно время, или в одной и той же исторической школе летописцев.
Эта на первый взгляд простая идея, сформулированная А.Н.Ширяевым и А.Т.Фоменко, оказалась полезной при анализе конкретных исторических текстов. Более того, оказалось, что результаты, полученные на основе применения этой идеи и статистического исследования Б.С.Дарховского, Б.Е.Бродского и Г.В.Носовского, применительно к конкретным историческим текстам, хорошо согласуются с независимыми результатами, полученными применением совсем других методов, тоже статистического характера.
В качестве численной характеристики исследуемого текста была взята функция объема, введенная выше. Напомним ее определение. Предположим, что исторический текст X разбит на "главы" X(t), где каждая "глава" это фрагмент текста, посвященный описанию событий одного года t. Такова структура очень многих древних летописей. Эта структура условно изображена на рис.Доп-2.1. Например, слева на странице указываются годы, например по эре от сотворения мира, или по эре Р.Х. Рядом с каждым годом помещен фрагмент текста, излагающий события, происшедшие (по мнению летописца) именно в этом году. Это и есть фрагменты X(t). Далее, можно вычислить объем каждого фрагмента. Объем можно измерять, например, числом строк, или числом страниц, или числом знаков. Таким образом, мы получаем последовательность чисел - объемов глав X(t). Эти числа удобно изобразить в виде графика. См. рис.Доп-2.2. Выбор единицы измерения объема здесь для нас абсолютно несущественен, так как изменение единицы измерения приводит лишь к смене масштаба по вертикали на рис.Доп-2.2.
Излагаемый ниже метод разбиения больших исторических текстов на однородные и неоднородные куски применим не только к графикам объема текстов, но и к другим численным характеристикам. Для упрощения изложения мы будем говорить здесь лишь о функциях объемов.
Выше мы говорили об однородных кусках исторических текстов. Однако в действительности, мы разобьем тексты на т.н. стационарные куски, являющиеся не только однородными, но и такими, что внутри них "параметры процесса" практически не меняются.