Регрессия. Часть 1. MS Office Excel

Представим, что имеется некоторая база данных в которых одна часть наблюдения (пробы) имееют все результаты анализов, а другая часть - не все. Для того, что бы заполнить пробелы существует регрессионный анализ.

Регрессия бывает парной – между двумя переменными, а бывает множественная, где есть одна зависимая и множество независимых переменных.

Так же, множество видов регрессионного анализа можно разделить на три группы: линейные методы, нелинейные, непараметрические.

Линейная регрессия означает, что ищется зависимость определяемая линейной функций вида y = ax + b, где:

• y – зависимая переменная (например, содержание серебра в руде),
• a – коэффициент, который задает наклон прямой на графике (например, если коэффициент отрицательный, то чем меньше будет компонента x, то тем больше будет компонента y.)
• x – независимая переменная (например, содержание золота в руде)
• b – константа, некоторое число. Оно определяет высоту прямой. Например, константа определит сколько будет серебра в руде, если содержание золота равно нулю.

Нелинейные методы определяются функциями всевозможного вида: логарифмическими (y = ln(x)), и полиномиальными, и другими.

Непараметрические методы тоже определяют зависимость между переменными, но не могут выдать её в качестве функции.

Важно отметить, что регрессионный анализ является лишь инструментом в руках исследователя. Его нельзя применять формально, а только имея полное представление о предмете исследования. Вы уже должны знать что из чего вытекает и использовать регрессионный анализ в качестве подтверждающего метода. Так например, один лишь выброс в данных (резко выделяющееся значение) может полностью исказить представление о взаимосвязях между переменными. Тоже относится к объединению данных из разных популяций.

В первой части хочется остановится на самом простом способе – использовании регрессионного анализа в MS Excel. Рассмотрим на примере определение закономерностей между плотностью горной породы и содержанием полезных компонентов в ней. Используем парную и множественную регрессию. Линейные и нелинейные методы.

Шаг 1. Составим базу данных. В данном случае имеем: группирующую переменную “Порода”, зависимую “Плотность”, независимые “М1-М8”.

Шаг 2. Включим надстройку “Анализ данных” для Excel. Для этого правой клавишей мышки щелкаем в любом месте на ленте и открываем вкладку “Настройка ленты”

В открывшемся окне переходим во вкладку “Надстройки”. Внизу в строке “Управление” выбираем “Надстройки Excel” - “Перейти”.

В новом окне выбираем “Пакет анализа” и активируем кнопкой ОК. Надстройку “Анализ данных” можно будет найти на ленте во вкладке “Данные”.

Шаг 3. Определим вид распределения данных. Для линейных методов необходимо, чтобы данные были распределены нормально. То есть имелось среднее значение от котого равновероятно отходят остальные значения.

Как правило, вид распределения определяют по графикам, дополняя их статистическими критериями. В Excel данная часть реализована очень слабо. Проверим распределение с помощью гистрограммы. Откроем эту функцию в пакете Анализа данных.

Стоит отметить, что для каждой популяции необходимо строить свою гистрограмму. Например, роговики отдельно от массивных сульфидных руд.

Так же, как правило, в геологогии редкие и благородные металлы имеют логнормальное распределение. Вы так же, вряд ли ошибетесь выбрав логнормальное распределение, если значения переменнной изменяются на два порядка.

Выбираем данные, ставим галочки (кроме Парето) и жмём ОК.

Шаг 4. Анализуем гистограммы.

Массивные руды показывают моду на классе 4.38, но из-за хвоста слева, идёт снижение среднего до 4.30. Такой вид гистограммы называется правоскошенным. В роговиках было отобрано значительно меньше проб, но тем не менее среднее находится на уроне 3.2-3.5. Разница серьезная. Более того, исследователь, опробовавший километры керна, знает, что плотность 2.72 (как и 3.16) не характерна для массивных руд. Даже теоретически. Следовательно, на лицо наличие прослоев немассивных руд в выборке.

Фактически у нас ненормальное распределение, но учитывая особенности выборки мы можем пренебречь этим фактом. Ведь ничего другого нам не остаётся. Исправить правоскошенное распределение с помощью логарифмирования не получится. Минимальное значение плотности для массивных руд также не известно, поскольку накладывается ряд факторов: влажность, пористость, состав, допустимый процент силикатного вещества.

Шаг 5. Проводим корреляционный анализ, чтобы определить самые значимые переменные. Предварительно, логарифмируем наши редкие и благородные металлы. Переменную Плотность оставляем как есть.

Используем формулу =log10(), что бы получить десятичные логарифмы независимых переменных. Они у нас являются логнормальными величинами априори. Все отсутствующие значения вместо логарифма будут иметь значение #ЧИСЛО!, а значит их необходимо предварительно очистить. Данную операцию легко сделать через инструмент Фильтр.

В надстройке Анализ данных выбираем строку Корреляция.

Инструмент запросил непрерывную область данных, поэтому пришлось переместить столбец Плотность.

Рассмотрим полученную таблицу и отметим, что Плотность тесно коррелирует с тремя переменными: М1, М3 и М4.

Важное замечание. В Excel с помощью Анализа данных мы получим таблицу линейных коэффициентов корреляции (r-Пирсона), а они будут отличатся от нелинейных. Но этого будет достаточно, что бы выделить наиболее значимые элементы.

Шаг 6. Построим точечные графики распределения.

Выделим зависимую Плотность и первый элемент М1 – на вкладке “Вставка” выберем “Точечная”.

К сожалению, в построенном графике место зависимой переменной занимает М1, а не Плотность. Необходимо поменять их местами. Щёлкаем мышкой на саму диаграму, и в ленте открываем панель “Выбрать данные”

Находим кнопку “Изменить данные” и в открывшемся окне, просто меняем X и Y местами с помощью вырезать-вставить.

 

Теперь получен правильный график. В глаза явно бросаются пять значений-выбросов. К сожеланию опять, в Excel нельзя выбрать пробы прямо на графике и исключить их из анализа. Поэтому с помощью фильтра ищем эти значения и удаляем.

Шаг 8. Один раз щёлкаем левой клавишей мышки на любую точку на графике, нажимаем правую клавишу и в новом меню выбираем “Добавить линию тренда”. Повторяя операцию можно добавлять другие линии тренда.

На данном графике построено две линии тренда. Черная – линейная, красная – полиномиальная. Еще можно построить Экспоненциальную. И всё. Как видите, возможности Excel сильно ограничены.

Главное, что на графике показаны уравнения зависимости и коэффициенты детерминации R2. Если взять квадратный корень из R2, то получите коэффициент корреляции R.

Можно заметить, что R для линейной модели составляет 0.77, в то же время корреляционный анализ выше выдавал значение 0.72. Разница в 5% произошла по причине исключения выбросов после построения графика. Поэтому данные всегда стоит проверять на графиках.

Получив уравнения на графиках, мы применили составили парную регрессию между Плотностью и М1. В дополнение хочется отметить, что возможно стоит проверить кусочно-линейные функции – разбить данные на еще две субвыборки по значению log10(M1) = 0.2 и составить уравнения для разных элементов.

Остальные точечные графики построить проще простого. При выделении графика, в таблице подсветятся столбцы переменных по которым он построен. Выделение столбца с независимой переменной можно передвинуть мышкой, тогда получится другой график.

Шаг 9. Произведем рассчет множественной линейной регресии с помощью инструмента Регрессия в пакете Анализ данных. Множественная нелинейная регрессия не реализована в надстройке Анализ данных. Предварительно необходимо удалить все пробы с отсутствующими значениями. Функция множетственной корреляции в Excel не умеет автоматически исключать такие пробы.

   На что обратить внимание в сухой таблице?

Начнём по порядку.

• Множественный R – коэффициент корреляции, равен 0.77. Простая парная рассмотренная выше регрессия выдала такой же результат;
• Нормированный R-квадрат – доля объяснённой дисперсии. 0.60 – означает 60%, что в общем, маловато;
• Стандартная ошибка. Это мера дисперсии остатков, или как предсказанные значения отклоняются от среднего. Много это или мало? Для этого надо определить Относительную Стандартную ошибку. Среднее значение плотности в выборке составляет 4.23. Поделив 0.206 на 4.23 мы получим 0.05 или 5%. Таким образом, в среднем плотность определена нами с погрешностью 5% (50% данных с погрешностью +/-5%, еще 17% с погрешностью +/-10%, а 99,5% всех данных определены с погрешностью +/- 15%). Для сравнения, стандартная ошибка полиномиальной модели в парной регресии выше (расчёт не показан) составила 0.198. Близкое значение;
• Дисперсионный анализ показывает Значимость F сильно меньше 0.001, что является высокозначимым результатом – Регрессия состоялась и она значима. Не так что бы можно было медаль вешать, а просто статистически это говорит, что результат наврядли является случайностью;
• Коэффициенты – это и есть параметры уравнения вида y = ax + b. Выглядит оно так: Плотность = 3.6132 + 1.4403* log10(M1)… на этом моэно остановится, потому что коэффициенты M3 и M4 по сути равны нулю и не значимы. Их P-значение сильно выше 0.05;
• Вывод остатка. Для интересующихся, можно рассмотреть каждое отдельное значение.

Дополнительно в опциях инструмента Регрессии было выбрано построение графиков остатков. Выберем один график с М1.

В данном случае, наглядно показано, что остатки концентрируются плотным пучком с центром в середине. То есть при высоком значении М1 могут быть ошибки одинаковые по модулю ошибки, но разные по знаку. Это плюс. Значит, систематической ошибки нет. Фиолетовым обведен тот самый “Хвост”, то есть уравнение регрессии говорит, что при таких низких содержаниях М1, не может быть высокой плотности, а поскольку функция линейная, то и расположение точек этих остатков выглядит линейно.

Подводя итог, хочется вспомнить слова Эйнштейна: “Всё относительно”. Велика или мала относительная стандартная ошибка в 5%, должно быть определено экономическими факторами. В данном случае мы констатируем факт наблюдения.

В остальном, я надеюсь эта статья покажет путь начинающим исследователям.

Построение карт ранговой дисперсии геохимического поля

 

Данный пост основан на статье Григория Юрьевича Боярко из сборника прикладной геохимии:

Боярко Г.Ю. Построение карт ранговой дисперсии геохимического поля // Прикладная геохимия. Вып. 3. Прогноз и поиск. М.: ИМГРЭ, 2002. С. 107–115.

Так же рассматриваемый метод вкратце рассмотрен в статье Ворошилова Валерия Гавриловича.

Основа данного метода – уравнивание дисперсии всех элементов с помощью непараметрической статистики, и выявление наиболее согласованных аномалий. То есть, имея редкие элементы с чрезвычайно высокой дисперсией (как например, Au), мы упускаем из виду элементы с меньшей дисперсией. Хотя вклад по металлу в геохимическое поле у первых значительно меньше.

Моя цель – показать вам как использовать данный метод с помощью Excel.

Шаг 1. Берем базу данных геохимического опробования.

В данном примере использована реальная база опробования по 549 точкам. Переменные НЕ требуют никакого преобразования. Главное иметь столбец с уникальным номером для каждой пробы. Его мы будем часто использовать. В моём случае это третий столбец. Так же, в моей базе все переменные нормализованы и имеют измененные имена с целью обезличивания. Столбцы А1-А20 – металлы.

Шаг 2. Копируем на отдельный лист одну переменную металла (A1) и столбец Nomer.

2.1. Сортируем значения А1 от минимального к максимальному. Для этого на ленте на вкладке “Главная” находим справа значок “Сортировка и фильтр”.

2.2. Создаем дополнительные столбцы как на рисунке выше.

2.3. В столбце i присваем условный ранг от 1 до 549 (столько у нас проб). Так мы переходим к равномерному распределению. На практике, редкие металлы распределены логнормально или иначе. Замечу, что в данном столбце должны быть именно числовые значения, а не формулы или текст.

2.4. Теперь необходимо перейти к нормальному распределению. Для этого в столбец bi в ячейку E2 вставляем формулу:

=((C2-1)/(СЧЁТЗ($C$2:$C$550)-1))-0.5

и копируем её до конца. Так в ячейке E2 будет значение –0.5, а в последней ячейке E550 будет +0.5.

2.5. В столбце Φ (xi) рассчитываем значение по формуле: bi + 0.5

Так, мы получим значения интергральной функции от 0 до 1. В принципе, можно сразу 0.5 в столблец bi, но я повторяю методику автора по шагам.

2.6. В столбце G рассчитываем квантили для интегральной функции. Для этого в ячейку G3, именно G3 вставляем формулу:

=НОРМ.ОБР(D3;0;1)

Копируем её до предпоследней пробы.

Ячейке G2 присваиваем значение –5, а последней ячейке G550 присваиваем +5. Всё это потому что, в столбце Φ (xi) мы присвоили значения вероятностей от [0;1]. А функция НОРМ.ОБР работает только в пределах (0;1). То есть при вероятности 0 и 1 она выдаст ошибку.

2.7. В приципе, этого достаточно, потому что самое важное в столбце xi. Но автор еще рассчитывает функцию плотности распределения в каждой пробе. Для этого копируем в ячейку F2 формулу:

=НОРМ.СТ.РАСП(G2;ЛОЖЬ)

Копируем её до конца.

2.8. Проделываем шаги 1-2 для всех остальных металлов оставляя промежутки в 5 столбцов.

2.9. В промежутки копируем столбцы C-G. Так все рассчёты выше автоматически произведутся для каждого элемента.

2.10. Сортируем столбцы рассчётов для каждого элемента.

Шаг 3. Составляем сводную таблицу элементов по значениям xi.

3.1. Создаём дополнительную переменную Cj. Она представляет собой комплексный показатель согласованности элементов.

Для этого необходимо взять модуль каждой переменной (для каждой пробы), сложить и поделить на количество элементов. Таким образом, даже если происходил вынос одних элементов и привнос других мы получим высокое значение. А если проба характеризует фоновые процессы, то её значение будет на уровне 0.

Как вы уже догадались, комплексный показатель можно рассчитывать не только для всех элементов, но и выборочно.

Шаг 4. Строим карту ранговой дисперсии геохимического поля

Тут важно отметить, что поскольку мы перешли от эмпирического распределения к равномерному, а затем к нормальному. То количество аномальных точек всегда будет порядка 3%. То есть не стоит искать тут структуру. Эти карты показывают лишь самые-самые перспективные точки.

На карте выше, я бы отметил, что аномалии (цветные полигоны) концентрируются преимущественно в двух областях: южной и северной. Собственно геолого-геохимическая интерпретация покажет, что вероятно, часть точек относятся к ландшафтным аномалиям, и тем не менеее заслуживают внимания. А другая часть точек может служить основой для выбора участка детализации или даже бурения.

 

Дополнительно, в своей статье Григой Юрьевич рассматривает построение аналогичных карт по данным спектрального полуколичественного анализа и сопоставление результатов съемок разных лет. Но об этом в следующих раз.

Кластерный анализ в Statistica. Часть 4. Нейронные сети

 

Обширную тему решил затронуть. Искусственные нейронные сети. Попытаюсь дать представление на пальцах. Что это такое? Это попытка смоделировать человеческий мозг. Только более примитивно. Базовым элементом каждой нейронной сети является нейрон (Рис. 1).

Рис. 1. Принципиальная схема нейрона.

Нейрон имеет входы, сумматор и функцию активации. На входы подается информация, например содержание трех хим. элементов в конкретной пробе. Каждое из них умножается на определенный коэффицициент. Далее входящие сигналы суммируются и преобразуются с помощью активационной функции. Это может быть тангенс данного числа, или e^(-1*данную сумму), где е – число Эйлера. Весь цимес заключается в:

1. Весах нейронов;
2. Функции активации;
3. Наборе нейронов. Если взять несколько нейронов и организовать их в слои, в каждом из которых будет от 1 до N нейронов, то это будет искуссвенная нейронная сеть.

Искусственные нейронные сети необходимо обучать, или дать им возможность самообучится. Обучить нейронную сеть – означает дать ей выборку и подстроить веса так, что бы нейроны максимально точно описывали данные. Функции активации как раз моделируют нелинейные взаимосвязи хим. элементов. А структура нейронной сети (количество нейронов, количество слоев) контролирует гибкость сети. То насколько точно она может подстроится под данные. При этом в геохимии совсем точная подстройка не нужна. Важно выявить закономерности.

Когда нам мало чего известно о данных используется кластеризация. В случае нейронных сетей используются самообучающиеся нейронные сети Кохонена. Смысл их заключается в том, что нейроны как на рисунке 1, организуются в один двумерный слой(Рис. 2). Нейронам сначала случайным образом задаются первичные веса, и подаются наблюдения. Нейроны соревнуются между собой, кто лучше опишет наблюдение. Победители пытаются подстроить своих соседей. В конечном счете, когда в данных находятся реальные кластеры, они будут описаны разными группами нейронов. Прелесть, да?

Рис. 2. Принципиальная схема Самоорганизующейся сети Кохонена. 4х3 нейрона = 12 нейронов.

Рис. 3. Открываем данные и запускаем модуль нейросетевого анализа. Данные можно использовать сырые, без предварительного логарифмирования. Но явные выбросы все равно лучше убрать.

Рис. 4 Выбираем кластерный анализ

Рис. 5. Выбираем переменные во вкладке Quick (Быстро). В данном модуле можно выбрать категориальные входные переменные. Например, возраст пород из которых отобрана проба.

Рис. 6 Переходим во вторую вкладку Sampling (Подвыборки). Нейронные сети разбивают первоначальную выборку на три подвыборки:

1. Обучающую. По ней производится обучение нейронной сети и подстройка весов;
2. Тестовую. Она так же используется в процессе обучения и проверяет не переробучилась ли сеть;
3. Проверочная выборка. Она не используется в процессе обучения, а служит лишь для оценки точности сети на “новых” данных. То есть ее возможность предсказания.

Оставим по умолчанию. Жмем ОК.

Рис. 7 Во вкладке Quick (Kohonen), задаем количество нейронов и их структуру. Поскольку нейроны обучают соседей, то расположение нейронов тоже важно. Либо 4 нейрона расположить квадратом, либо цепочкой. Для начала выбираем 5х5. Не стремитесь сделать огромные сети. Помните, что важно выявить общие закономерности, а не сразу все-все решить.

Рис. Во вкладке Kohonen Training (Обучение сети) самый важный параметр Neighborhoods (Соседи) – то сколько соседей обучает нейрон. Оставим по умолчанию. Жмем ОК.

Рис. 9. Сеть обучается и выводится окно результатов. Сразу переходим во вкладку Kohonen (graph). Тут показывается все 25 нейронов и то какое количество обучающих проб попало в каждый. Считается необходимым, что бы каждый нейрон описал какую-то часть данных. Не должно быть пустых нейронов. Пики представленные бурым красным цветом показывают сколько проб описал данный нейрон. В целом, тут выделяются три пика. Скорее всего у нас три кластера. Жмем Cancel, Cancel и переходим в первую вкладку выбора структуры сети.

Рис. 10. Выбираем цепочку нейронов из трех штук. Каждый нейрон опишет свой кластер.

Рис. 11. Перейдем во вкладку Обучение сети и выберем, что бы каждый нейрон влиял только на одного соседа. Связанные кластеры получатся. Тут стоит поэксперементировать. Если влияние на соседей, то врядли получится уловить переходные области.

Рис. 12. Получаем результат. Каждый нейрон описал изрядное количество данных.

Рис. 13. Перейдем в первую вкладку окна результатов Predictions (Предсказание). Выведем результаты по каждой пробе с координатами.

Рис. 14. Получаем выходную табличку. Что бы построить график из данных в ней, необходимо сделать табличку активной. Выделяем, щелкаем правой клавишей мышки и выбираем пункт Active Input (Активный Ввод). Тут как и в методе k-средних имеется столбец с “расстоянием” пробы до кластера (нейрона). Чем меньше число, тем лучше. Если число очень высокое, то это либо выброс, либо совсем отдельный кластер.

Рис. 15. Строим карту кластеров. Об этом можете прочитать тут. Конечно эти графики лучше строить в ArcGIS или в Surfer. Делать описание с учетом геол.карты. К сожалению тут я не могу много об этом писать. Но скажу лишь то, что кластеризация нейронной сетью выдала аналогичный результат, что и Иерархическая кластеризация и k-средних. Далее можно построить графики типа Ящик-с –усами и дать заключение о специализации кластеров. Поскольку эту выборку я кластеризую уже в третий раз, то не привожу их. Смотрите предыдущие посты.

Дополнительно построим карту значений активации. Значение активации – это как раз там сумма элементов преобразованная нелинейной функцией.

Рис. 16. Карта распределения значений активации наблюдений. На юге площади выделяется группа проб с высокими значениями активации. Стоит отдельно рассмотреть их по моноэлементным картам и другим параметрам.

Рис. 17. Сохраняем структуру нейронной сети. Что бы всегда можно было к ней вернутся.

Рис. 18. Когда запускам модуль нейросетевого анализа, слева находится окно в котором можно открыть уже созданную нейронную сеть. Например, вы изучили эталонный объект, создали по нему нейронную сеть и хотите прогнать через нее пробы с другой площади. Вуаля.

Удачи.

По нейронным сетям рекомендую прочитать:

1. Хайкин Саймон Нейронные сети: полный курс, 2-е издание. : Пер. с англ. – М. : Издательский дом “Вильямс”, 2006. – 1104 с. : ил. – Парал. тит. англ. ISBN 5-8459-0890-6 (рус)
2. Нейронные сети. STATISTICA Neural Networks: Методология и технология современного анализа данных/ Под редакцией В.П. Боровикова. – 2-е изд., перераб. и доп. – М.: Горячая линия – Телеком, 2008. – 292 с., ил. ISBN 978-5-9912-0015-8

Вторая книга отличается от модуля в Statistica 10, но тоже подойдет.

Кластерный анализ в Statistica. Часть 3. k-средних (K-means)

 

Перед прочтением стоит ознакомится с предыдущим постом. Подготовка данных точно такая же как и для иерархической кластеризации, поэтому я начну с Рисунка 5.

Метод k-средних мало общего с иерархической кластеризацией. Метод является разведочным, но когда мы имеем некоторое представление о данных. Конкретно мы предполагаем определенное количество групп наблюдений (или переменных). Исследователь задает необходимое количество кластеров, метод выбирает несколько случайных (или предварительно выбранных) наблюдений и пытается объединить данные в кластеры с максимальной дисперсией между ними и минимальной внутри. То есть, это обратный дисперсионный анализ.

С количеством кластеров все достаточно просто. Как правило, в прикладной геохимии выделяют не более 4-5 кластеров. Это не строгое число, а рекомендация на основе опыта. А потом уже уточняют интересующие кластеры повторным анализом. Так же тут помогает иерархическая кластеризация. Зачастую, геохимики сначала строят дендрограммы объединения проб, и выделяют крупные гроздья. Сколько их увидят, столько и зададут кластеров в методе k-means. Метод производится за считанные секунды, в чем его огромное преимущество.

Так же стоит учитывать, что в Statistica метод реализован только на Евклидовой метрике. И предполагаемые кластеры должны иметь форму шара! В природе объекты могут образовывать кластеры с формой дыни в пространстве химических элементов, так что данный метод может не дать положительного результата и вовсе запутать.

Рис. 5 Выбираем метод С-средних (K-means)

Рис. 6 Переходим во вкладку Расширенное (Advanced) и выбираем параметры кластеризации.

Cluster: Cases (rows) – Кластеризуем пробы, а не переменные.

Number of clusters: 6 – Количество кластеров: 6. По аналогии с прошлым постом.

Number of iterations: 10 – Количество итераций:10. Это сколько шагов я даю программе, что бы она объединила пробы в кластеры и сделала их максимально различными. Как правило, десяти итераций хватает с лихвой. Но вам ничего не мешает поставить двадцать, например.

Initial cluster centers: Первичные кластеры. Как программа должна выбрать первые пробы (по количеству кластеров), что бы они были затравкой.

• Choose observations… Выбрать наблюдения что мы максимизировать первоначальное различие между кластерами. Выбирает максимально различные пробы. Заметьте, если есть выбросы, то не стоит выбирать этот пункт
• Sort distances and take… Сортировать наблюдения по расстоянию и выбрать объекты через равные интервалы. Наиболее часто используемый метод.
• Choose the first N… Выбрать первые N (количество кластеров) наблюдений. Например, у вас есть некоторый известный объект на площади геохимической съемки, вы эмпирически выделили центральную часть, фланговую, фоновую и хотите проверить все остальные части площади на соответствие данным зонам. А вдруг найдете аналогичный объект? Тогда рассчитываете средние или медианы по пробам в данных зонах и вставляете как первые наблюдения в вашу выборку. Это и будут затравки для кластеров.

Рис. 7 Окно вывода результатов.

Решение было найдено за 7 итераций. Хорошо.

В целом, нам необходимы лишь три пункта тут:

• Analysis of variance – Анализ дисперсии
• Graph of means – график средних
• Save classifications and distances – Сохранить переменную Кластер и Расстояние с другими переменными

Рис. 8 Таблица анализа дисперсии

Тут смотрим на столбец signf. p. Чем ниже значение тем лучше. Тут все значения сильно ниже 0,05 и даже 0,001, что говорит о высокозначимых различиях всех групп по всем элементам. В действительности, в этом и задача метода максимально отдалить кластеры. В природе, часто играют роль 3-10 элементов, остальные не несут информации об оруденении. Поэтому StatSoft рекомендует не сильно смотреть на эту табличку. Просто видите, что по всем элементам различаются группы и хорошо.

Поймите, что кластерный анализ не панацея, а лишь первичная разведка ваших данных. Это уже когда пройдут годы и пробурят десятки скважин, то получите полноценную геологическую информацию об объекте.

Рис. 9 График средних.

Помните, что для кластерного анализа k-средних используются стандартизированные данные.

В первую очередь, меня тут заинтересовали кластеры №4 и №5. Кластер №2 может быть переходным, а №3 и 6 – фоновыми.

Так же, меня не устраивает, что по оси OX хим. элементы указаны через один. Это не серьезно! Дважды щекам на названия хим элементов.

Рис. 10 В открывшемся окне исправляем Skip values (Пропускать значения) на off (выключить) и щелкаем кнопку Edit custom labels (Редактировать подписи)

Рис. 11 В столбцы Position и Text вписываем по порядку хим. элементы из выборки.

1 Cr

2 Cu

…

Рис. 12 Сохраняем результы классификации (см. Рис. 7).

Имеем столбцы: координаты, номер пробы (это нам не нужно), номер кластера, и расстояние. В столбце “Distance” – укзано расстояние между пробой и выделенным кластером. В идеале, оно должно быть минимальным. А поскольку на вход мы подавали стандартизированные значения, а метрика Евклидова, то в мерой расстояния является стандартное отклонение наблюдения от выборки. В многомерном пространстве, круто, да? В общем, если значение сильно больше 3-х, то скорее всего это либо выброс, либо отдельный кластер.

Рис. 13 Строим двумерный график рассеяния, с маркировкой подвыборок (кластеров). Об этом смотрите в предыдущем посте.

Собственно, северная аномалия так же выделяется с двумя рудными кластерами. Кластер №4 характеризуется максимальными значениями рудных и редкоземельных элементов, а №5 немного меньшими содержаниями. На юг отходит кластер №3 с повышенным содержанием Pb. Свинец в свою очередь является сильным центробежным элементов и уходит во фланговые зоны, что может быть косвенным признаком наличия зональности. Таким образом, стоит сосредоточить внимание на северной части и провести там детализационные работы, поисковые маршруты.

Рис. 14 Построим карту распределения расстояний объектов до их кластеров.

Рис. 15 Выбираем в качестве Z – Distance

Рис. 16. Карта распределения расстояний объектов до центров их кластеров

Область на юге имеет повышенное количество высоких значений. Скорее всего там необходимо выделить отдельную зону, либо проверить пробы. На севере выделяются два возможных выброса.

Вот и всё, что я хотел рассказать про кластерный анализ K-средних в Statistica.