Интересные моменты по линейной алгербе

Очень "не организованная" заметка, прочитать её скорее всего не выйдет. Нужно её конкретно перерабатывать.

Про базисы и линейные операторы

b - набор из старых базисных-векторов, c - набор из новых базисных векторов,

U - по определению матрица перехода из b в с.

Из этого и единственности разложения вектора по базису можно показать, что новые координаты выражаются через старые как 

Неравенство Коши-Буняковского, верное для любого понятия скалярного произведения

Для доказательства достаточно рассмотреть выражение  

, которое больше или равно нулю ввиду аксиом скалярного произведения. Само же выводимое неравенство выглядит так: 

Нормы матриц

Любая векторная норма имеет согласованную матричную норму определяемую как

Для векторной евклидовой нормы индуцированная ей норма определяется как квадр. корень из максимального собственного значения tr(A) * A.

Собственные числа

Если характеристическое уравнение линейного оператора имеет кратные корни, то такой оператор может и иметь в некотором базисе диагональный вид, но так бывает не всегда. (стр. 171, Линейная Алгебра).

Пример когда матрица уже имеет диагональный вид - единичная, хотя все её корни хар. уравнения равный "1".

Пример, когда матрица не может иметь различных двух линейно независимых собственных векторов, привёл Stephan Boyd в EE263. Например это матрица:

[0 1]

[0 0]

Собственные вектора для различных собственных значений линейно независимы.

Задача приведения оператора к диагональному виду сводится к поиску P, такого что A'=P^-1 * A * P. (I, стр.171)

Самосопряженный оператор оператор равный transpose(A), где A - матрица оператор в ортонормированном базисе). В некоторых случаях его можно найти не прибегая в работе с матрицей а выявить его непосредственно из определения (Ax, y) = (x, By).

Операция проектирования вектора вдоль направления -- есть самосопряженный оператор. (обобщается на любое R^n)

Если A=transpose(A) в ортогональном базисе => оператор самосопряженный. 

Все корни уравнения det(A-lamda*E) = 0 в случае самосопряженного оператора действительны. (I, стр.191)

Более того симметричные матрицы всегда диаганализируются (спектральная Теорема).

Случай если нет - кратных корней доказывается без проблем. Случай же кратных корней - я пока доказательства не знаю, но оно есть.

Собственные вектора отвечающие различным собственным числам линейно независимы.  Собственные вектора для различных собственных значений самосопряженного оператора (а его матрица в ортогональном базисе симметрична) ортогональны. 

В случае если имеются кратные корни хар. уравнении для самосопряженного оператора, то базис из ортогональных векторов все равно существует, но теорема уже более тяжело применима.

Ортогональный линейный оператор, это оператор такой что (Ax, Ay) = (x, y).

Ортогональными являются все операторы, сохраняющие евклидову норму. (I, стр. 202)

Ортогональный оператор переводит ортогональный базис в ортогональный базис. Верно и обратное утверждение. (I, стр. 203)

[I -- IV Канатников А.Н., Крищенко А.П. Линейная алгебра]

Про описание множества "точек":

  Множества всех внутренних точек - IntA, 

  Открытое множество - множество без границы. (граница вводится через Eps-окрестности в котороую попадают как внтрении, так и внешнии точки )

  Inta + граничное множество - называется замкнутым множеством или компактом.

  Если в множестве можно провести непрерывную кривую - область называется линейно связанная.

About matrix norms:

If you have matrix A then |A| = sup ( |Ax| ), where |x| = 1 is the definition of induced matrix norm.

Matrix norm |A| was induced via look in maximum vector norm of transformed Ax vectors where x comes from unit "sphere".

My book in which I studied Linear Algebra ([I]) doesn't containt proof, but is was mentioned:

  1. If |Ax| is L2 euclidian norm, then |A| = sqrt(max eigen value of A'A) (spectral norm of matrix A)

  2. If |Ax| is L1 norm (summ of modules) |A| = max(L1 norm of A colums)

  3. If |Ax| is Linf norm (max of modules) |A| = max(L1 norm of A rows)

In case (1) and SVD give in column V give you eigenvalues of square matrix A'A.

If A=E => |E| = {sup ( |Ex| ), where |x| = 1}=1 => any norm of "E" is equal to 1

About eigen values:

if x is Eigen Value => det(A-xE) = 0 => det( (-1) (A-xE) ) = 0 => det( (-A-(-x)E) ) = 0 

So -x is Eigen Value if "-A"

inf( |Ax| ) = sup( -|Ax| ) = sup( |(-A)x| )

About System of Linear Equations

System of linear algebraic equatiosn:

A(m,n) X(n,1) = B(m,1)

Uniform (B = 0) -- однородная система

not uniform (B != 0) -- неоднородная система

feasible (it is exist at least one solution) -- совместная

not feasible (there is no solutions at all) не совместная

if solution is only one -- slau is determenined определенная

uniform system -- однородная система

AX=0

Критерий совместно СЛАУ Кронекера-Капелли rang(A|b)=rang(A)

ker(A) is all x s.t. Ax=0 << ядро (kernel)

im(A) is all y s.t. Ax=y for some x (Образ)

dim(ker(A)) -- дефект оператора A (defect of A operator) d(A)

dim(im(A)) -- ранг оператора

d(A)+Rg(A) = dim(of all space)

Rg(AB)<=min(Rg(A), Rg(B));

При умножении матрицы на невырожденную её ранг не меняется.

c(A)=||A||*||A^-1|| <<< обусловленность кв. матриц

Чем выше число обусловленности тем выше погрешности.

Минимальное значение с(A)=1

rank(A(m,n))=min{m,n} then A called fullrank.

if for square matrix A^-1 exist => A is called as invertible or non-singular matrix A

The range of A was named as R(A). it is equal to im(A), i.e.  all y s.t. Ax=y for some x

Nullspace -- is all  x, s.t. Ax=0

================================================================

max (x' A x) when x lie in identity sphere. Solution for this optimization problem will eigenvector with max eigenvalue.

min (x' A x) when x lie in identity sphere. Solution for this optimization problem will eigenvector with min eigenvalue.

It can be shown via look into a Lagrangian L=x'Ax-Lambda*x'*x and evaluate gradient w.r.t. x