Перейти к содержанию

Корреляции Пирсона и Спирмена

Алгоритм используется для определения корреляции между двумя сериями данных. Поддерживаемые методы корреляции - корреляция Пирсона и корреляция Спирмена. Алгоритм берёт на вход датасет и выдает матрицу корреляции размера NxN, где N - это количество параметров, между которыми считается корреляция.

Синтаксис команды

apply [correlation | corr] 
      [method=<method>] 
from <features>

Обязательные параметры:

  • features — список полей, между значениями которых требуется найти корреляцию. Список задается перечислением, например: from field1 field2.

Опциональные параметры:

  • method - метод определения корреляции, задается строкой. Допустимые значения: pearson, spearman. Значение по умолчанию method=pearson.

Примеры использования

На демонстрационных данных, содержащих давления, создаваемые на нагнетательных нефтяных скважинах, рассчитаем абсолютно медианное отклонение для значений среднего давления на каждом кусте.

Текст запроса

| fsget path=demo_train
| where engine_freq>40 AND engine_freq<60 AND well=535
| apply corr from p_input, dynamic_level

Описание запроса

  • Команда fsget загружает данные из хранилища признаков.
  • Команда where оставляет только те строки, где значение поля engine_freq находится в диапазоне от 40 до 60 (в этом поле указана частота работы погружного насоса, качающего нефть; она может быть только в этом диапазоне, остальные значения - ошибочные), а так же оставляет данные только для скважины 535.
  • Команда apply применяет алгоритм к указанным полям и выводит матрицу корреляцию по указанным полям.

Результат запроса

После выполнения запроса строки с пустыми значениями будут удалены. В результате выполнения запроса будет создана матрица корреляции размера 2х2

Corr

К началу