что такое геометрическая кратность собственного значения
Визуализация собственных значений и собственных векторов
Дата публикации Aug 24, 2019
Собственные значения и собственные векторы являются очень важной концепцией в линейной алгебре и машинном обучении в целом. В моем предыдущемстатьяЯ представлял эти концепции с точки зрения анализа основных компонентов, предоставляя практические примеры. В этой статье я подробнее остановлюсь на математике, лежащей в основе этих понятий, и предоставлю геометрическую интерпретацию того, что собираюсь объяснить.
Для этого я расскажу о следующей теме:
Итак, начнем с первой темы.
Линейное преобразование
Преобразование, которое сохраняет операции сложения и скалярного умножения следующим образом:
Называется Linear Transformation, и теперь мы будем называть его T.
Давайте рассмотрим следующие два числовых примера, чтобы иметь это в виду. Представьте, что мы получили преобразование T, определенное в R2, с выходами в R:
Как видите, это преобразование не является линейным, поскольку не сохраняет аддитивности. А как насчет этого?
Как видите, аддитивность и умножение на скаляр сохраняются, следовательно, преобразование является линейным. Стоит отметить, что единственными линейными преобразованиями из R2 в R являются те, которые выглядят как w = ax + by, следовательно, линейные комбинации компонентов векторов области.
Очень важное свойство линейных систем задается теоремой о представлении, которая утверждает, что линейное преобразование может быть представлено следующим образом:
Теперь каждое преобразование может влиять на направление и расширение вектора (для более ясного объяснения формы векторов в многомерном пространстве вы можете прочитать мою предыдущую статьюВот). Однако, учитывая преобразование T, существует очень интересный класс векторов, на которые это преобразование влияет только с точки зрения расширения, поскольку направление остается неизменным. Общий векторvс этим свойством таково, что:
гделямбдаявляется фактором расширения. Эти векторы называются собственными векторами, а значениелямбдасвязанный с ними называется собственное значение.
Собственные значения и собственные векторы
Как и предполагалось, собственными векторами являются те векторы, направление которых остается неизменным после преобразования через фиксированный T, а собственными значениями являются те значения коэффициента расширения, которые связаны с ними.
Чтобы быть более точным, собственные векторы являются векторами, которые не являются тривиальными, следовательно, отличаются от0, Это потому, что равенство выше всегда имеет по крайней мере одно решение, которое является тривиальнымv = 0,
Как мы можем найти наши собственные векторы и собственные значения при условии, что эти первые отличаются от тривиального вектора? Для этого давайте переосмыслим нашу линейную систему с помощью теоремы о представлении:
Как и ожидалось, эта система имеет по крайней мере одно решение, которое является тривиальным. Следовательно, мы хотим найти те значения лямбды, для которых определитель матрицы (A-лямда* I) равно нулю (в противном случае это означало бы, что из-за теоремы Крамера система имеет 1 единственное решение).
Итак, давайте установим наше уравнение:
Это уравнение называется характеристическим уравнением, а его корнями являются собственные значения. Кроме того, из-за основной теоремы алгебры«Каждый многочлен степени n имеет n решений в C (множество комплексных чисел)»мы знаем, что степень характеристического уравнения будет числом собственных значений, связанных с этой системой.
Давайте рассмотрим следующий пример:
Давайте визуализируем это:
По сути, все векторы, которые лежат на этой прямой линии, являются собственными векторами, связанными с собственным значением 3: после преобразования через T они будут только расширяться / сокращаться, но не изменяться в направлении. Рассмотрим, например, следующий вектор:
Теперь давайте изменим это:
Как видите, его величина теперь в 3 раза больше, но направление остается прежним
Алгебраическая и геометрическая кратность
Теперь представьте, что у вас есть характерное уравнение степениNно вы найдете только один корень. Следовательно, поскольку степеньNэтот корень, как говорят, имеет алгебраическую кратностьN, Давайте рассмотрим два следующих примера:
Теперь вопрос: уважается ли эта множественность и с геометрической стороны проблемы? Другими словами, равняется ли количество раз, когда собственное значение появляется в решении, равному размерам / степеням свободы соответствующего собственного пространства (которое является набором связанных собственных векторов)?
Ответ не всегда. Всякий раз, когда у нас есть собственное значение с кратностью, равнойNи соответствующее собственное пространство с размерами меньшеNмы называем этот коэффициент лямбда нерегулярным (в противном случае собственные значения называются регулярными).
Давайте наглядно представим это на примере выше:
Как видите, даже если у нас есть собственное значение с кратностью 2, ассоциированное собственное пространство имеет только одно измерение, так как оно равно y = 0.
Вывод
Собственные значения и собственные векторы являются фундаментальными в науке о данных и построении модели в целом. Помимо их использования в PCA, они используются, в частности, в спектральной кластеризации и сжатии изображений. Следовательно, важно иметь в виду их геометрическую интерпретацию.
Что такое геометрическая кратность собственного значения
Рассмотрим линейную однородную систему \(n\) дифференциальных уравнений с постоянными коэффициентами, которую можно записать в матричном виде как \[\mathbf
Таким образом, мы приходим к выводу, что для того, чтобы векторная функция \(\mathbf
Как видно, решение линейной системы уравнений можно построить алгебраическим методом. Поэтому приведем далее некоторые необходимые сведения из линейной алгебры.
Вернемся к полученному выше матрично-векторному уравнению \[A\mathbf
Детальное описание этих способов решения приводится отдельно на указанных web-страницах. Ниже мы рассмотрим примеры систем дифференциальных уравнений, соответствующие случаям \(1\) и \(2.\)
Общее решение системы уравнений записывается в виде \[\mathbf
Собственный вектор
Из Википедии — свободной энциклопедии
Понятия собственного вектора и собственного числа [3] являются одними из ключевых в линейной алгебре, на их основе строится множество конструкций. Это связано с тем, что многие соотношения, связанные с линейными операторами, существенно упрощаются в системе координат, построенной на базисе из собственных векторов оператора. Множество собственных значений линейного оператора (спектр оператора) характеризует важные свойства оператора без привязки к какой-либо конкретной системе координат. По этим причинам собственные векторы имеют важное прикладное значение. Так, например, собственные векторы часто встречаются в механике, квантовой теории и так далее. В частности, оператор проекции спина на произвольную ось имеет два собственных и соответствующие им собственные векторы.
Понятие линейного векторного пространства не ограничивается «чисто геометрическими» векторами и обобщается на разнообразные множества объектов, таких как пространства функций (в которых действуют линейные дифференциальные и интегральные операторы). Для такого рода пространств и операторов говорят о собственных функциях операторов.
Множество всех собственных векторов линейного оператора, соответствующих данному собственному числу, дополненное нулевым вектором, называется собственным подпространством [4] этого оператора.
Научный форум dxdy
Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки
Правила форума
В этом разделе нельзя создавать новые темы.
Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе «Помогите решить/разобраться (М)».
Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.
Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.
Собственные вектора единичной матрицы
 |
Последний раз редактировалось Andrei94 14.12.2011, 22:17, всего редактировалось 1 раз.
Допустим у нас есть единичная матрица.
Собственные числа 
При поиске собственных векторов, оказывается, что у нас умножается матрица из нулей на собственный вектор и в итоге получается нулевой столбец, тогда ведь собственный вектор может быть любым.
Как это можно описать и объяснить на математическом языке?
| Заслуженный участник |
|
| Заслуженный участник |
|
Последний раз редактировалось arseniiv 14.12.2011, 22:51, всего редактировалось 1 раз.
|
Окей, хорошо! Понятно! Спасибо.
Кстати, а как влияет кратность собственных значений на собственные вектора?
Есть ли различие между собственными значениями и собственными числами?
| Заслуженный участник |
|
Последний раз редактировалось ewert 14.12.2011, 23:12, всего редактировалось 3 раз(а).
Ну может. Ну и что. Вы в курсе, что собственные векторы определёны как минимум неоднозначно.
| Заслуженный участник |
|
Последний раз редактировалось svv 15.12.2011, 00:00, всего редактировалось 3 раз(а).
Начнем с характеристического многочлена 
. Он имеет кратный корень 
. Кратность этого корня равна 
.
Понятно, что собственные векторы, соответствующие данному собственному числу, образуют пространство. Оно называется собственным подпространством данного собственного числа. А размерность этого подпространства называется геометрической кратностью собственного числа. В данном случае она тоже равна .
Бывают и такие случаи, что геометрическая кратность собственного числа не равна алгебраической кратности, но первая никогда не превосходит вторую.
Научный форум dxdy
Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки
Правила форума
В этом разделе нельзя создавать новые темы.
Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе «Помогите решить/разобраться (М)».
Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.
Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.
Собственные значения и векторы
| Заслуженный участник |
|
Понятие геометрической кратности имеет смысл для всех матриц, и даже не только матриц, но и вообще для всех линейных операторов какой угодно природы. В отличие от алгебраической кратности.
| Заслуженный участник |
 |
| Заслуженный участник |
|
| Заслуженный участник |
|
| Заслуженный участник |
 |
| Заслуженный участник |
|
Последний раз редактировалось ewert 28.12.2012, 18:40, всего редактировалось 1 раз.
Да, кстати: при этом конкретно к книжке Воеводина с Кузнецовым я отношусь с глубочайшим уважением; по-моему, исключительно грамотная книжка. Только надо уметь её читать.
| Заслуженный участник |
|
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей