собственные векторы определены чем

Собственные векторы и собственные значения

Содержание

Основные теоремы и определения [ править ]

Определения [ править ]

Свойства [ править ]

[math]\sum\limits_^m \alpha^i x_i = 0 [/math]

[math]\lambda_m( \sum\limits_^m \alpha_i x_i) = \sum\limits_^m \alpha_i \lambda_m x_i = 0_x[/math] (2)

[math]\Rightarrow [/math] все [math]\alpha_i = 0[/math] [math]\Rightarrow \sum\limits_^m \alpha_i x_i = 0_x[/math]

1) Если [math]x[/math] — св, то и [math] \alpha x[/math] — тоже св.

2) Если [math]x,y[/math] — св, то и [math]x+y[/math] — тоже св.

Из 1 и 2 [math]\Rightarrow[/math] что лемма доказана (по определению подпространства)[math]\triangleleft[/math]

Сначала [math]\subseteq[/math] потом [math]\supseteq[/math] [math]\Rightarrow[/math] доказательство (так в конспекте);

Вообще не понятно, зачем эта лемма, ибо она по определению.[math]\triangleleft[/math]

(идет как упражнение)

Поиск СЗ и СВ [ править ]

Если [math]det(A- \lambda E) = 0 \Rightarrow \exists [/math] нетривиальное решение [math]\Rightarrow \exists[/math] СВ [math]x[/math]

Источник

Собственные векторы и собственные значения линейного оператора

Вектор Х ≠ 0 называют собственным вектором линейного оператора с матрицей А, если найдется такое число l, что АХ = lХ.

При этом число l называют собственным значением оператора (матрицы А), соответствующим вектору Х.

Иными словами, собственный вектор – это такой вектор, который под действием линейного оператора переходит в коллинеарный вектор, т.е. просто умножается на некоторое число. В отличие от него, несобственные векторы преобразуются более сложно.

Запишем определение собственного вектора в виде системы уравнений:

Перенесем все слагаемые в левую часть:

Последнюю систему можно записать в матричной форме следующим образом:

Полученная система всегда имеет нулевое решение Х = О. Такие системы, в которых все свободные члены равны нулю, называют однородными. Если матрица такой системы – квадратная, и ее определитель не равен нулю, то по формулам Крамера мы всегда получим единственное решение – нулевое. Можно доказать, что система имеет ненулевые решения тогда и только тогда, когда определитель этой матрицы равен нулю, т.е.

Это уравнение с неизвестным l называют характеристическим уравнением (характеристическим многочленом) матрицы А (линейного оператора).

Можно доказать, что характеристический многочлен линейного оператора не зависит от выбора базиса.

Например, найдем собственные значения и собственные векторы линейного оператора, заданного матрицей А = .

Чтобы найти собственные векторы, решаем две системы уравнений

Для первой из них расширенная матрица примет вид

,

Для второй из них расширенная матрица примет вид

,

Таким образом, собственными векторами этого линейного оператора являются все вектора вида (-(2/3)с; с) с собственным значением (-5) и все вектора вида ((2/3)с₁; с₁) с собственным значением 7.

Можно доказать, что матрица оператора А в базисе, состоящем из его собственных векторов, является диагональной и имеет вид:

,

где l_i – собственные значения этой матрицы.

Верно и обратное: если матрица А в некотором базисе является диагональной, то все векторы этого базиса будут собственными векторами этой матрицы.

Также можно доказать, что если линейный оператор имеет n попарно различных собственных значений, то соответствующие им собственные векторы линейно независимы, а матрица этого оператора в соответствующем базисе имеет диагональный вид.

Поясним это на предыдущем примере. Возьмем произвольные ненулевые значения с и с₁, но такие, чтобы векторы Х (1) и Х (2) были линейно независимыми, т.е. образовали бы базис. Например, пусть с = с₁ = 3, тогда Х (1) = (-2; 3), Х (2) = (2; 3).

Убедимся в линейной независимости этих векторов:

С Т = ;

Квадратичные формы

Квадратичной формой f(х₁, х₂, х_n) от n переменных называют сумму, каждый член которой является либо квадратом одной из переменных, либо произведением двух разных переменных, взятым с некоторым коэффициентом: f(х₁, х₂, х_n) = (a_ij = a_ji).

Матрицу А, составленную из этих коэффициентов, называют матрицей квадратичной формы. Это всегда симметрическая матрица (т.е. матрица, симметричная относительно главной диагонали, a_ij = a_ji).

В матричной записи квадратичная форма имеет вид f(Х) = Х Т AX, где

. В самом деле

Например, запишем в матричном виде квадратичную форму .

Таким образом, при невырожденном линейном преобразовании С матрица квадратичной формы принимает вид: А * = C T AC.

Квадратичная форма называется канонической (имеет канонический вид), если все ее коэффициенты a_ij = 0 при i ≠ j, т.е.
f(х₁, х₂, х_n) = a₁₁ x₁ 2 + a₂₂ x₂ 2 + a_nn x_n 2 = .

Ее матрица является диагональной.

Теорема (доказательство здесь не приводится). Любая квадратичная форма может быть приведена к каноническому виду с помощью невырожденного линейного преобразования.

Для этого вначале выделим полный квадрат при переменной х₁:

Теперь выделяем полный квадрат при переменной х₂:

Отметим, что канонический вид квадратичной формы определяется неоднозначно (одна и та же квадратичная форма может быть приведена к каноническому виду разными способами). Однако полученные различными способами канонические формы обладают рядом общих свойств. В частности, число слагаемых с положительными (отрицательными) коэффициентами квадратичной формы не зависит от способа приведения формы к этому виду (например, в рассмотренном примере всегда будет два отрицательных и один положительный коэффициент). Это свойство называют законом инерции квадратичных форм.

Убедимся в этом, по-другому приведя ту же квадратичную форму к каноническому виду. Начнем преобразование с переменной х₂:

Также следует отметить, что ранг матрицы квадратичной формы, называемый рангом квадратичной формы, равен числу отличных от нуля коэффициентов канонической формы и не меняется при линейных преобразованиях.

В большинстве практических ситуации установить знакоопределенность квадратичной формы несколько сложнее, поэтому для этого используют одну из следующих теорем (сформулируем их без доказательств).

Теорема. Квадратичная форма является положительно (отрицательно) определенной тогда и только тогда, когда все собственные значения ее матрицы положительны (отрицательны).

Теорема (критерий Сильвестра). Квадратичная форма является положительно определенной тогда и только тогда, когда все главные миноры матрицы этой формы положительны.

Главным (угловым) минором k-го порядка матрицы А n-го порядка называют определитель матрицы, составленный из первых k строк и столбцов матрицы А ( ).

Отметим, что для отрицательно определенных квадратичных форм знаки главных миноров чередуются, причем минор первого порядка должен быть отрицательным.

Способ 2. Главный минор первого порядка матрицы А D₁ = a₁₁ = 2 > 0. Главный минор второго порядка D₂ = = 6 – 4 = 2 > 0. Следовательно, по критерию Сильвестра квадратичная форма – положительно определенная.

Одно из этих чисел отрицательно, а другое – положительно. Знаки собственных значений разные. Следовательно, квадратичная форма не может быть ни отрицательно, ни положительно определенной, т.е. эта квадратичная форма не является знакоопределенной (может принимать значения любого знака).

Источник

Линейная алгебра для исследователей данных

«Наша [Ирвинга Капланского и Пола Халмоша] общая философия в отношении линейной алгебры такова: мы думаем в безбазисных терминах, пишем в безбазисных терминах, но когда доходит до серьезного дела, мы запираемся в офисе и вовсю считаем с помощью матриц».

Для многих начинающих исследователей данных линейная алгебра становится камнем преткновения на пути к достижению мастерства в выбранной ими профессии.

kdnuggets

В этой статье я попытался собрать основы линейной алгебры, необходимые в повседневной работе специалистам по машинному обучению и анализу данных.

Произведения векторов

Для двух векторов x, y ∈ ℝⁿ их скалярным или внутренним произведением xᵀy

называется следующее вещественное число:

Как можно видеть, скалярное произведение является особым частным случаем произведения матриц. Также заметим, что всегда справедливо тождество

Для двух векторов x ∈ ℝᵐ, y ∈ ℝⁿ (не обязательно одной размерности) также можно определить внешнее произведение xyᵀ ∈ ℝᵐˣⁿ. Это матрица, значения элементов которой определяются следующим образом: (xyᵀ)ᵢⱼ = xᵢyⱼ, то есть

Следом квадратной матрицы A ∈ ℝⁿˣⁿ, обозначаемым tr(A) (или просто trA), называют сумму элементов на ее главной диагонали:

След обладает следующими свойствами:

Для любой матрицы A ∈ ℝⁿˣⁿ: trA = trAᵀ.

Для любой матрицы A ∈ ℝⁿˣⁿ и любого числа t ∈ ℝ: tr(tA) = t trA.

Для любых матриц A,B, таких, что их произведение AB является квадратной матрицей: trAB = trBA.

Для любых матриц A,B,C, таких, что их произведение ABC является квадратной матрицей: trABC = trBCA = trCAB (и так далее — данное свойство справедливо для любого числа матриц).

TimoElliott

Нормы

Норму ∥x∥ вектора x можно неформально определить как меру «длины» вектора. Например, часто используется евклидова норма, или норма l₂:

Более формальное определение таково: нормой называется любая функция f : ℝn → ℝ, удовлетворяющая четырем условиям:

Для всех векторов x ∈ ℝⁿ: f(x) ≥ 0 (неотрицательность).

f(x) = 0 тогда и только тогда, когда x = 0 (положительная определенность).

Для любых вектора x ∈ ℝⁿ и числа t ∈ ℝ: f(tx) = |t|f(x) (однородность).

Для любых векторов x, y ∈ ℝⁿ: f(x + y) ≤ f(x) + f(y) (неравенство треугольника)

Другими примерами норм являются норма l₁

Все три представленные выше нормы являются примерами норм семейства lp, параметризуемых вещественным числом p ≥ 1 и определяемых как

Нормы также могут быть определены для матриц, например норма Фробениуса:

Линейная независимость и ранг

линейно зависимы, так как x₃ = −2xₙ + x₂.

Столбцовым рангом матрицы A ∈ ℝᵐˣⁿ называют число элементов в максимальном подмножестве ее столбцов, являющемся линейно независимым. Упрощая, говорят, что столбцовый ранг — это число линейно независимых столбцов A. Аналогично строчным рангом матрицы является число ее строк, составляющих максимальное линейно независимое множество.

Оказывается (здесь мы не будем это доказывать), что для любой матрицы A ∈ ℝᵐˣⁿ столбцовый ранг равен строчному, поэтому оба этих числа называют просто рангом A и обозначают rank(A) или rk(A); встречаются также обозначения rang(A), rg(A) и просто r(A). Вот некоторые основные свойства ранга:

Для любой матрицы A ∈ ℝᵐˣⁿ: rank(A) ≤ min(m,n). Если rank(A) = min(m,n), то A называют матрицей полного ранга.

Для любой матрицы A ∈ ℝᵐˣⁿ: rank(A) = rank(Aᵀ).

Для любых матриц A ∈ ℝᵐˣⁿ, B ∈ ℝn×p: rank(AB) ≤ min(rank(A),rank(B)).

Ортогональные матрицы

Два вектора x, y ∈ ℝⁿ называются ортогональными, если xᵀy = 0. Вектор x ∈ ℝⁿ называется нормированным, если ||x||₂ = 1. Квадратная м

атрица U ∈ ℝⁿˣⁿ называется ортогональной, если все ее столбцы ортогональны друг другу и нормированы (в этом случае столбцы называют ортонормированными). Заметим, что понятие ортогональности имеет разный смысл для векторов и матриц.

Непосредственно из определений ортогональности и нормированности следует, что

Другими словами, результатом транспонирования ортогональной матрицы является матрица, обратная исходной. Заметим, что если U не является квадратной матрицей (U ∈ ℝᵐˣⁿ, n

для любых вектора x ∈ ℝⁿ и ортогональной матрицы U ∈ ℝⁿˣⁿ.

TimoElliott

Область значений и нуль-пространство матрицы

Областью значений R(A) (или пространством столбцов) матрицы A ∈ ℝᵐˣⁿ называется линейная оболочка ее столбцов. Другими словами,

Нуль-пространством, или ядром матрицы A ∈ ℝᵐˣⁿ (обозначаемым N(A) или ker A), называют множество всех векторов, которые при умножении на A обращаются в нуль, то есть

Квадратичные формы и положительно полуопределенные матрицы

Для квадратной матрицы A ∈ ℝⁿˣⁿ и вектора x ∈ ℝⁿ квадратичной формой называется скалярное значение xᵀ Ax. Распишем это выражение подробно:

Симметричная матрица A ∈ 𝕊ⁿ называется положительно определенной, если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx > 0. Обычно это обозначается как

(или просто A > 0), а множество всех положительно определенных матриц часто обозначают

Симметричная матрица A ∈ 𝕊ⁿ называется положительно полуопределенной, если для всех векторов справедливо неравенство xᵀ Ax ≥ 0. Это записывается как

(или просто A ≥ 0), а множество всех положительно полуопределенных матриц часто обозначают

Аналогично симметричная матрица A ∈ 𝕊ⁿ называется отрицательно определенной

, если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx

), если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx ≤ 0.

Наконец, симметричная матрица A ∈ 𝕊ⁿ называется неопределенной, если она не является ни положительно полуопределенной, ни отрицательно полуопределенной, то есть если существуют векторы x₁, x₂ ∈ ℝⁿ такие, что

Собственные значения и собственные векторы

Для квадратной матрицы A ∈ ℝⁿˣⁿ комплексное значение λ ∈ ℂ и вектор x ∈ ℂⁿ будут соответственно являться собственным значением и собственным вектором, если выполняется равенство

На интуитивном уровне это определение означает, что при умножении на матрицу A вектор x сохраняет направление, но масштабируется с коэффициентом λ. Заметим, что для любого собственного вектора x ∈ ℂⁿ и скалярного значения с ∈ ℂ справедливо равенство A(cx) = cAx = cλx = λ(cx). Таким образом, cx тоже является собственным вектором. Поэтому, говоря о собственном векторе, соответствующем собственному значению λ, мы обычно имеем в виду нормализованный вектор с длиной 1 (при таком определении все равно сохраняется некоторая неоднозначность, так как собственными векторами будут как x, так и –x, но тут уж ничего не поделаешь).

Перевод статьи был подготовлен в преддверии старта курса «Математика для Data Science». Также приглашаем всех желающих посетить бесплатный демоурок, в рамках которого рассмотрим понятие линейного пространства на примерах, поговорим о линейных отображениях, их роли в анализе данных и порешаем задачи.

Источник

• ← что можно приготовить для всей семьи покушать
• Оба они н к чему не имели особой страсти или привязанности →