О чем свидетельствует коэффициент корреляции
Корреляция и коэффициент корреляции
Корреляция — степень связи между 2-мя или несколькими независимыми явлениями.
Корреляция бывает положительной и отрицательной.
Положительная корреляция (прямая) возникает при одновременном изменении 2-х переменных величин в одинаковых направлениях (в положительном или отрицательном). Например, взаимосвязь между количеством пользователей, приходящих на сайт из поисковой выдачи и нагрузкой на сервер: чем больше пользователей, тем больше нагрузка.
Корреляция отрицательна (обратная), если изменение одной величины приводит противоположному изменению другой. Например, с увеличением налоговой нагрузки на компании уменьшается их прибыль. Чем больше налогов, тем меньше денег на развитие.
Типичные виды корреляции
Эффективность корреляции как статистического инструмента заключается в возможности выражения связи между двумя переменными при помощи коэффициента корреляции.
При значении КК равным 1, следует понимать, что при каждом изменении 1-й переменной происходит эквивалентное изменение 2-й переменной в том же направлении.
Положительная корреляция концентраций этанола в синовии и крови
Отрицательная корреляция между показателями результатов в беге на 100 м с барьерами и прыжками в длину
| Значение | Интерпретация |
| до 0,2 | Очень слабая |
| до 0,5 | Слабая |
| до 0,7 | Средняя |
| до 0,9 | Высокая |
| свыше 0,9 | Очень высокая корреляция |
Данный метод обработки статистической информации популярен в экономических, технических, социальных и других науках в виду простоты подсчета КК, простотой интерпретации результатов и отсутствия необходимости владения математикой на высоком уровне.
Корреляционная зависимость отражает только взаимосвязь между переменными и не говорит о причинно-следственных связях: положительная или отрицательная корреляция между 2-мя переменными не обязательно означает, что изменение одной переменной вызывает изменение другой.
Например, есть положительная корреляция между увеличением зарплаты менеджеров по продажам и качеством работы с клиентами (повышения качества обслуживания, работа с возражениями, знание положительных качеств продукта в сравнении с конкурентами) при соответствующей мотивации персонала. Увеличившийся объем продаж, а следовательно и зарплата менеджеров, вовсе не означает что менеджеры улучшили качество работы с клиентами. Вполне вероятно, что случайно поступили крупные заказы и были отгружены или отдел маркетинга увеличил рекламный бюджет или произошло еще что-то.
Возможно существует некая третья переменная, влияющая на причину наличия или отсутствия корреляции.
Коэффициент корреляции не рассчитывается:
Что означают положительный, отрицательный и нулевой коэффициенты корреляции?
Опубликовано 29.06.2021 · Обновлено 03.10.2021
Коэффициенты корреляции – это индикаторы силы линейной связи между двумя разными переменными x и y. Коэффициент линейной корреляции больше нуля указывает на положительную взаимосвязь. Значение меньше нуля означает отрицательную связь. Наконец, нулевое значение указывает на отсутствие связи между двумя переменными x и y. В этой статье объясняется значение коэффициента линейной корреляции для инвесторов, как рассчитать ковариацию для акций и как инвесторы могут использовать корреляцию для прогнозирования рынка.
Ключевые выводы:
Понимание корреляции
Коэффициент корреляции ( ρ ) – это мера, которая определяет степень, в которой связано движение двух разных переменных. Наиболее распространенный коэффициент корреляции, генерируемый корреляцией произведения-момента Пирсона, используется для измерения линейной связи между двумя переменными. Однако в нелинейной зависимости этот коэффициент корреляции не всегда может быть подходящей мерой зависимости.
Краткий обзор
При интерпретации корреляции важно помнить, что наличие корреляции между двумя переменными не означает, что одна вызывает другую.
Корреляция и финансовые рынки
На финансовых рынках коэффициент корреляции используется для измерения акции движутся в противоположных направлениях, коэффициент корреляции отрицательный.
Например, предположим, что цены на кофе и компьютеры наблюдаются и обнаруживают корреляцию +,0008. Это означает, что между двумя переменными нет корреляции или взаимосвязи.
Расчет ρ
Стандартное отклонение – это мера разброса данных от среднего значения. Ковариация – это мера того, как две переменные изменяются вместе. Однако его масштабы безграничны, поэтому его трудно интерпретировать. Нормализованная версия статистики вычисляется путем деления ковариации на произведение двух стандартных отклонений. Это коэффициент корреляции.
Положительное соотношение
Положительная корреляция – когда коэффициент корреляции больше 0 – означает, что обе переменные движутся в одном направлении. Когда ρ равно +1, это означает, что две сравниваемые переменные имеют идеальную положительную взаимосвязь; когда одна переменная движется выше или ниже, другая переменная движется в том же направлении с той же величиной.
Чем ближе значение ρ к +1, тем сильнее линейная зависимость. Например, предположим, что стоимость цен на нефть напрямую связана с ценами на авиабилеты с коэффициентом корреляции +0,95. Взаимосвязь между ценами на нефть и стоимостью авиабилетов имеет очень сильную положительную корреляцию, так как значение близко к +1. Таким образом, если цена на нефть снижается, цены на авиабилеты также уменьшаются, а если цена на нефть растет, то же самое происходит и с ценами на авиабилеты.
На приведенной ниже диаграмме мы сравниваем один из крупнейших банков США, JPMorgan Chase & Co. ( биржевым фондом Financial Select SPDR Exchange Traded Fund (ETF) (XLF ).1 Как вы понимаете, компания JPMorgan Chase & Co. должна иметь положительную корреляцию с банковской отраслью в целом. Мы видим, что коэффициент корреляции в настоящее время составляет 0,98, что свидетельствует о сильной положительной корреляции. Значение выше 0,50 обычно свидетельствует о положительной корреляции.
Понимание корреляции между двумя акциями (или одной акцией) и отраслью может помочь инвесторам оценить, как акции торгуются по сравнению с аналогами. Все типы ценных бумаг, включая облигации, сектора и ETF, можно сравнить с помощью коэффициента корреляции.
Отрицательная корреляция
Примеры отрицательной корреляции
Когда дело доходит до инвестирования, отрицательная корреляция не обязательно означает, что следует избегать ценных бумаг. Коэффициент корреляции может помочь инвесторам диверсифицировать свой портфель, включив в него набор инвестиций, имеющих отрицательную или низкую корреляцию с фондовым рынком. Короче говоря, при снижении риска волатильности в портфеле иногда все же привлекаются противоположности.
Коэффициент линейной корреляции
Даже для небольших наборов данных вычисления коэффициента линейной корреляции могут оказаться слишком длинными, чтобы их можно было выполнять вручную. Таким образом, данные часто загружаются в калькулятор или, что более вероятно, в компьютер или статистическую программу, чтобы найти коэффициент.
Коэффициент Пирсона
Простая линейная регрессия описывает линейную связь между переменной ответа (обозначенной y) и независимой переменной (обозначенной x) с использованием статистической модели. Статистические модели используются для прогнозов.
Краткий обзор
Упростите линейную регрессию, вычислив корреляцию с помощью такого программного обеспечения, как Excel.
В финансах, например, корреляция используется в нескольких анализах, включая расчет стандартного отклонения портфеля. Поскольку это требует много времени, корреляцию лучше всего рассчитать с помощью такого программного обеспечения, как Excel. Корреляция объединяет статистические концепции, а именно дисперсию и стандартное отклонение. Дисперсия – это дисперсия переменной вокруг среднего значения, а стандартное отклонение – это квадратный корень из дисперсии.
Поиск корреляции с помощью Excel
В Excel есть несколько методов расчета корреляции. Самый простой – получить два набора данных рядом и использовать встроенную формулу корреляции:
Если вы хотите создать корреляционную матрицу для ряда наборов данных, в Excel есть подключаемый модуль анализа данных, который находится на вкладке «Данные» в разделе «Анализ».
Выберите таблицу доходов. В этом случае наши столбцы имеют заголовки, поэтому мы хотим установить флажок «Ярлыки в первой строке», чтобы Excel обрабатывал их как заголовки. Затем вы можете выбрать вывод на том же листе или на новом листе.
Как только вы нажмете Enter, данные будут созданы автоматически. Вы можете добавить текст и условное форматирование, чтобы очистить результат.
Часто задаваемые вопросы о коэффициенте линейной корреляции
Что такое коэффициент линейной корреляции?
Коэффициент линейной корреляции – это число, вычисленное на основе заданных данных, которое измеряет силу линейной связи между двумя переменными, x и y.
Как найти коэффициент линейной корреляции?
Корреляция объединяет несколько важных и связанных статистических концепций, а именно дисперсию и стандартное отклонение. Дисперсия – это дисперсия переменной вокруг среднего значения, а стандартное отклонение – это квадратный корень из дисперсии.
Вычисления слишком длинные, чтобы их можно было выполнять вручную, и программное обеспечение, такое как Excel или статистическая программа, является инструментами, используемыми для вычисления коэффициента.
Что подразумевается под линейной корреляцией?
Как найти коэффициент линейной корреляции на калькуляторе?
Графический калькулятор необходим для расчета коэффициента корреляции.Следующие инструкции предоставлены Statology.
Шаг 1. Включите диагностику
Вам нужно будет сделать этот шаг на калькуляторе только один раз. После этого вы всегда можете начать с шага 2 ниже. Если вы этого не сделаете, r (коэффициент корреляции) не будет отображаться при запуске функции линейной регрессии.
Нажмите [2nd], а затем [0], чтобы войти в каталог вашего калькулятора. Прокрутите, пока не увидите «DiagnosticsOn».
Нажимайте Enter, пока на экране калькулятора не появится надпись «Готово».
Это важно повторить: вам никогда не придется делать это снова, если вы не перезагрузите калькулятор.
Шаг 2: введите данные
Введите свои данные в калькулятор, нажав [STAT], а затем выбрав 1: Edit. Чтобы упростить задачу, вы должны ввести все свои «данные x» в L1 и все «данные y» в L2.
После того, как вы введете свои данные, вы перейдете к [STAT], а затем к меню CALC вверху. Наконец, выберите 4: LinReg и нажмите Enter.
Это оно! Готово! Теперь вы можете просто считать коэффициент корреляции прямо с экрана (его r). Помните, что если r не отображается на вашем калькуляторе, необходимо включить диагностику. Это то же самое место на калькуляторе, где вы найдете уравнение линейной регрессии и коэффициент детерминации.
Коэффициент линейной корреляции может быть полезен при определении взаимосвязи между инвестициями и рынком в целом или другими ценными бумагами. Его часто используют для прогнозирования доходности фондового рынка. Это статистическое измерение полезно во многих отношениях, особенно в финансовой отрасли. Например, это может быть полезно для определения того, насколько хорошо взаимный фонд ведет себя по сравнению с его эталонным индексом, или его можно использовать для определения того, как взаимный фонд ведет себя по отношению к другому фонду или классу активов. Добавляя взаимный фонд с низкой или отрицательной корреляцией к существующему портфелю, можно получить преимущества диверсификации.
Линейный коэффициент корреляции Пирсона
Обнаружение взаимосвязей между явлениями – одна из главных задач статистического анализа. На то есть две причины. Первая. Если известно, что один процесс зависит от другого, то на первый можно оказывать влияние через второй. Вторая. Даже если причинно-следственная связь отсутствует, то по изменению одного показателя можно предсказать изменение другого.
Взаимосвязь двух переменных проявляется в совместной вариации: при изменении одного показателя имеет место тенденция изменения другого. Такая взаимосвязь называется корреляцией, а раздел статистики, который занимается взаимосвязями – корреляционный анализ.
Корреляция – это, простыми словами, взаимосвязанное изменение показателей. Она характеризуется направлением, формой и теснотой. Ниже представлены примеры корреляционной связи.
Далее будет рассматриваться только линейная корреляция. На диаграмме рассеяния (график корреляции) изображена взаимосвязь двух переменных X и Y. Пунктиром показаны средние.
При положительном отклонении X от своей средней, Y также в большинстве случаев отклоняется в положительную сторону от своей средней. Для X меньше среднего, Y, как правило, тоже ниже среднего. Это прямая или положительная корреляция. Бывает обратная или отрицательная корреляция, когда положительное отклонение от средней X ассоциируется с отрицательным отклонением от средней Y или наоборот.
Линейность корреляции проявляется в том, что точки расположены вдоль прямой линии. Положительный или отрицательный наклон такой линии определяется направлением взаимосвязи.
Крайне важная характеристика корреляции – теснота. Чем теснее взаимосвязь, тем ближе к прямой точки на диаграмме. Как же ее измерить?
Складывать отклонения каждого показателя от своей средней нет смысла, получим нуль. Похожая проблема встречалась при измерении вариации, а точнее дисперсии. Там эту проблему обходят через возведение каждого отклонения в квадрат.
Квадрат отклонения от средней измеряет вариацию показателя как бы относительно самого себя. Если второй множитель в числителе заменить на отклонение от средней второго показателя, то получится совместная вариация двух переменных, которая называется ковариацией.
Чем больше пар имеют одинаковый знак отклонения от средней, тем больше сумма в числителе (произведение двух отрицательных чисел также дает положительное число). Большая положительная ковариация говорит о прямой взаимосвязи между переменными. Обратная взаимосвязь дает отрицательную ковариацию. Если количество совпадающих по знаку отклонений примерно равно количеству не совпадающих, то ковариация стремится к нулю, что говорит об отсутствии линейной взаимосвязи.
Таким образом, чем больше по модулю ковариация, тем теснее линейная взаимосвязь. Однако значение ковариации зависит от масштаба данных, поэтому невозможно сравнивать корреляцию для разных переменных. Можно определить только направление по знаку. Для получения стандартизованной величины тесноты взаимосвязи нужно избавиться от единиц измерения путем деления ковариации на произведение стандартных отклонений обеих переменных. В итоге получится формула коэффициента корреляции Пирсона.
Показатель имеет полное название линейный коэффициент корреляции Пирсона или просто коэффициент корреляции.
Таким образом, ковариация и корреляция отражают тесноту линейной взаимосвязи. Последняя используется намного чаще, т.к. является относительным показателем и не имеет единиц измерения.
Линейная функция является моделью взаимосвязи между X иY и показывает ожидаемое значение Y при заданном X. Коэффициент детерминации – это соотношение дисперсии ожидаемых Y (точек на прямой линии) к общей дисперсии Y, или доля объясненной вариации Y. При r = 0,1 r 2 = 0,01 или 1%, при r = 0,5 r 2 = 0,25 или 25%.
Выборочный коэффициент корреляции
Коэффициент корреляции обычно рассчитывают по выборке. Значит, у аналитика в распоряжении не истинное значение, а оценка, которая всегда ошибочна. Если выборка была репрезентативной, то истинное значение коэффициента корреляции находится где-то относительно недалеко от оценки. Насколько далеко, можно определить через доверительные интервалы.
Согласно Центральное Предельной Теореме распределение оценки любого показателя стремится к нормальному с ростом выборки. Но есть проблемка. Распределение коэффициента корреляции вблизи придельных значений не является симметричным. Ниже пример распределения при истинном коэффициенте корреляции ρ = 0,86.
В общем рассчитывать на свойства нормального распределения нельзя. Поэтому Фишер предложил провести преобразование выборочного коэффициента корреляции по формуле:
Распределение z для тех же r имеет следующий вид.
Намного ближе к нормальному. Стандартная ошибка z равна:
Далее исходя из свойств нормального распределения несложно найти верхнюю и нижнюю границы доверительного интервала для z. Определим квантиль стандартного нормального распределения для заданной доверительной вероятности, т.е. количество стандартных отклонений от центра распределения.
Теперь обратным преобразованием Фишера из z вернемся к r.
Нижняя граница r:
Это была теоретическая часть. Переходим к практике расчетов.
Как посчитать коэффициент корреляции в Excel
Корреляционный анализ в Excel лучше начинать с визуализации.
На диаграмме видна взаимосвязь двух переменных. Рассчитаем коэффициент парной корреляции с помощью функции Excel КОРРЕЛ. В аргументах нужно указать два диапазона.
Коэффициент корреляции 0,88 показывает довольно тесную взаимосвязь между двумя показателями. Но это лишь оценка, поэтому переходим к интервальному оцениванию.
Расчет доверительного интервала для коэффициента корреляции в Excel
В Эксель нет готовых функций для расчета доверительного интервала коэффициента корреляции, как для средней арифметической. Поэтому план такой:
— Делаем преобразование Фишера для r.
— На основе нормальной модели рассчитываем доверительный интервал для z.
— Делаем обратное преобразование Фишера из z в r.
Удивительно, но для преобразования Фишера в Excel есть специальная функция ФИШЕР.
Стандартная ошибка z легко подсчитывается с помощью формулы.
Используя функцию НОРМ.СТ.ОБР, определим квантиль нормального распределения. Доверительную вероятность возьмем 95%.
Значение 1,96 хорошо известно любому опытному аналитику. В пределах ±1,96σ от средней находится 95% нормально распределенных величин.
Используя z, стандартную ошибку и квантиль, легко определим доверительные границы z.
Последний шаг – обратное преобразование Фишера из z назад в r с помощью функции Excel ФИШЕРОБР. Получим доверительный интервал коэффициента корреляции.
Нижняя граница 95%-го доверительного интервала коэффициента корреляции – 0,724, верхняя граница – 0,953.
Надо пояснить, что значит значимая корреляция. Коэффициент корреляции статистически значим, если его доверительный интервал не включает 0, то есть истинное значение по генеральной совокупности наверняка имеет тот же знак, что и выборочная оценка.
Несколько важных замечаний
1. Коэффициент корреляции Пирсона чувствителен к выбросам. Одно аномальное значение может существенно исказить коэффициент. Поэтому перед проведением анализа следует проверить и при необходимости удалить выбросы. Другой вариант – перейти к ранговому коэффициенту корреляции Спирмена. Рассчитывается также, только не по исходным значениям, а по их рангам (пример показан в ролике под статьей).
2. Синоним корреляции – это взаимосвязь или совместная вариация. Поэтому наличие корреляции (r ≠ 0) еще не означает причинно-следственную связь между переменными. Вполне возможно, что совместная вариация обусловлена влиянием третьей переменной. Совместное изменение переменных без причинно-следственной связи называется ложная корреляция.
3. Отсутствие линейной корреляции (r = 0) не означает отсутствие взаимосвязи. Она может быть нелинейной. Частично эту проблему решает ранговая корреляция Спирмена, которая показывает совместный рост или снижение рангов, независимо от формы взаимосвязи.
В видео показан расчет коэффициента корреляции Пирсона с доверительными интервалами, ранговый коэффициент корреляции Спирмена.