/////
🎐

Chapter 2. Linear Transformations and Matrices

Created
2020/12/21 15:06
Tags
공사 중인 페이지입니다! 가독성이 떨어질 수 있습니다.
이번 장에서는 벡터 공간 사이에서 선형성을 보전하는 함수인 linear transformation과, 이러한 linear transformation을 효율적으로 계산할 수 있는 matrix representation에 대해 배운다.

2.1. Linear Transformations, Null Spaces, and Ranges

우선 linear transformation(선형 사상)을 다음과 같이 정의한다. 공간과 공간을 mapping하는, 선형 관계를 보전하는 함수이다.
Definitino: Linear Transformation Let VV and WW be vector spaces. We call a function T:V→WT: V \rightarrow W a linear transformation from VV to WW if, for all x,y∈Vx, y \in V and c∈Fc \in F, we have - T(x+y)=T(x)+T(y)T(x + y) = T(x) + T(y) - T(cx)=cT(x)T(cx) = cT(x)
즉 어떤 사상(함수)이 선형인지를 증명하기 위해서는 T(cx+y)=cT(x)+T(y)T(cx + y) = cT(x) + T(y) 임을 보이면 된다. 이제 선형인 사상의 예시를 몇 가지 들 수 있는데, 대표적으로 미분과 적분, 그리고 rotation, reflection, projection 등이 있다. 특수한 선형 사상으로는 identity transformation, zero transformation 등이 있다.
선형 사상에 대해 보다 깊게 공부하기 위해서는 다음의 range, null space 개념에 대한 정의가 필요하다. 간단히 말해 null space는 원소를 0 벡터로 mapping하는 정의역의 공간이고, range는 치역 전체의 공간이다.
Definition: Null Space Let VV and WW be vector spaces, and let T:V→WT: V \rightarrow W be linear. We define the null space N(T)N(T) of TT to be the set of all vectors xx in VV such that T(x)=0T(x) = 0; that is, N(T)={x∈V:T(x)=0}N(T) = \{ x \in V: T(x) = 0 \}.
Definition: Range We define the range (or image) R(T)R(T) of T to be the subset of WW consisting of all images of vectors in VV; that is, R(T)={T(x):x∈V}R(T) = \{ T(x): x \in V \}.
선형 사상 TT 에 대해 T(0)=0T(0) = 0이다. 또한 N(T)N(T) 와 R(T)R(T) 가 덧셈과 곱셈에 의해 닫혀 있음은 쉽게 보일 수 있다. 따라서 N(T)N(T) 와 R(T)R(T)는 각각 벡터 공간이다.
Theorem 2.1 Let VV and WW be vector spaces and let T:V→WT: V \rightarrow W be linear. Then N(T)N(T) and R(T)R(T) are subspaces of VV and WW, respectively.
이제 선형 사상은 벡터 공간의 선형성을 보전하기 때문에 다음와 같은 정리는 당연하다. 즉 어떤 v∈Vv \in V 도 VV 의 basis인 β\beta 의 선형 조합으로 표현 가능하기 때문에,
Theorem 2.2 Let VV and WW be vector spaces, and let T:V→WT: V \rightarrow W be linear. If β={v1,v2,...,vn}\beta = \{ v_1, v_2, ..., v_n \} is a basis for VV, then R(T)=span(T(β))=span(T(v1),...,T(vn))R(T) = span(T(\beta)) = span(T(v_1), ..., T(v_n)).
1장에서 벡터 공간의 크기를 dimension으로 측정했었다. Null space와 range는 특수한 벡터 공간으로, 이러한 공간의 dimension을 다음과 같이 따로 정의한다.
Definition: Nullity and Rank Let VV and WW be vector spaces, and let T:V→WT: V \rightarrow W be linear. If N(T)N(T) and R(T)R(T) are finite-dimensional, then we define the nullity of TT, denoted nullity(T)nullity(T), and the rank of TT, denoted rank(T)rank(T), to be the dimensions of N(T)N(T) and R(T)R(T), respectively.
그런데 null space는 선형 사상에 의해 0으로 mapping되는 정의역의 공간이다. 한편 range는 정의역의 원소가 mapping되는 전체 공간이다. 직관적으로 null space가 커질수록 range가 작아질 것이라고 기대할 수 있겠다.
이 때 null space의 basis가 {v1,v2,...,vk}\{ v_1, v_2, ..., v_k \}이고, 정의역의 basis가 {v1,...,vk,...,vn}\{ v_1, ..., v_k, ..., v_n \}라고 하자. 사실상 0은 모든 벡터의 선형 조합으로 표현 가능하기 때문에, range의 basis는 {vk+1,...,vn}\{ v_{k+1}, ..., v_n \}가 된다. 즉 다음의 정리가 증명된다.
Theorem 2.3: Dimension Theorem Let VV and WW be vector spaces, and let T:V→WT: V \rightarrow W be linear. If VV is finite-dimension, then nullity(T)+rank(T)=dim(V)nullity(T) + rank(T) = dim(V).
또 N(T)={0}N(T) = \{ 0 \}일 경우 어떤 서로 다른 두 벡터도 선형 사상에 의해 같은 값으로 매핑되지 못한다. 그 반대는 당연하므로, 다음과 같은 관계가 성립한다.
Theorem 2.4 Let VV and WW be vector spaces, and let T:V→WT: V \rightarrow W be linear. Then TT is one-to-one if and only if N(T)=0N(T) = {0}.
이제 정의역과 치역의 dimension이 같다면, 위의 관계를 이용해 다음과 같은 정리가 따른다. 오직 공집합만이 그 dimension이 0임을 기억하자. (단 infinite-dimension일 때는 one-to-one과 onto는 독립적이다.)
Theorem 2.5 Let VV and WW be vector spaces of equal (finite) dimension, and let T:V→WT: V \rightarrow W be linear. Then the following are equivalent. - TT is one-to-one. - TT is onto. - rank(T)=dim(V)rank(T) = dim(V).
벡터 공간의 원소들은 그 basis에 의해 모두 표현될 수 있다. 그리고 선형 사상은 이러한 성질을 보전한다. 따라서 선형 사상의 행동은 basis에 대한 행동에 의해 온전히 특정된다는 다음의 정리는 당연해(?)보인다. 보다 엄밀한 증명은 생략한다.
이제 다음의 정리가 따른다.
Corollary Let VV and WW be vector spaces, and suppose VV has a finite basis {v1,v2,...,vn}\{ v_1, v_2, ..., v_n \}. If U,T:V→WU, T: V \rightarrow W are linear and U(vi)=T(vi)U(v_i) = T(v_i) for i=1,2,...,ni = 1, 2, ..., n, then U=TU = T.
마지막으로 다음과 같은 정의를 기억해두자.
Definition: Projection Let VV be a vector space and WiW_i and W2W_2 be subspaces of VV such that V=W1⊕W2V = W_1 \oplus W_2. A function T:V→VT: V \rightarrow V is called the projection on W1W_1 along W2W_2 if, for x=x1+x2x = x_1 + x_2 with x1∈W1x_1 \in W_1 and x2∈W2x_2 \in W_2, we have T(x)=x1T(x) = x_1.
Definition: T-Invariant Let VV be a vector space, and let T:V→VT: V \rightarrow V be linear. A subspace WW of VV is said to be T-invariant if T(x)∈WT(x) \in W for every x∈Wx \in W, that is, T(W)⊂WT(W) \subset W. If WW is T-invariant, we define the restriction of TT on WW to be the function Tw:W→WT_w: W \rightarrow W defined by Tw(x)=T(x)T_w(x) = T(x) for all x∈Wx \in W.

2.2. The Matrix Representation of a Linear Transformation

놀랍게도 모든 선형 사상과 행렬을 일대일 대응시킬 수 있을 뿐 아니라, 선형 사상의 성질들을 행렬이 보전하기까지 한다. 즉 선형 사상을 행렬로 온전히 표현할 수 있다는 것인데, 이러한 행렬 표현은 선형 사상을 연구하는 데 아주 큰 도움을 준다.
이를 위해 먼저 ordered basis에 대한 정의가 필요하다. 간단하게 순서를 고정한 basis이다.

(Def: Ordered Basis) Let $V$ be a finite-dimensional vector space. An ordered basis for $V$ is a basis for $V$ endowed with a specific order.

이제 벡터 공간의 임의의 벡터를 ordered basis와 적당한 스칼라 값으로 이루어진 벡터의 곱으로 표현할 수 있다. 여기서 coordinate vector를 정의한다.

(Def: Coordinate Vector) Let $\beta = \{ v_1, ..., v_n \}$ be an ordered basis for a finite-dimensional vector space $V$. For $x \in V$, let $a_1, a_2, ..., a_n$ be the unique scalars such that $x = \sum_{i = 1}{a_1 v_1}$. We define the coordinate vector of $x$ relative to $\beta$, denoted by $[x]{\beta}$, by $[x]{\beta} = (a_1 a_2 ... a_n)^t$

예컨대 $[v_i]_{\beta} = e_i$ 이다. 이러한 coordinate으로의 변환은 사실상 $V$ 에서 $F^n$ 으로의 선형 사상이다. 이는 2.4장에서 보다 깊게 공부한다.
이로써 임의의 벡터 공간의 원소를 행렬을 통해 표현할 수 있게 되었다. 이어서 선형 사상 역시 행렬을 통해 표현할 수 있다. 예컨대 finite-dimensional 벡터 공간 $V, W$ 가 존재하고, $\beta = \{ v_1, ..., v_n \}, \gamma = \{ w_1, ..., w_m \}$ 이 각각 $V, W$의 ordered basis라 하자. 그러면 $1 ≤ j ≤ n, 1≤ i ≤ m$ 인 $i, j$에 대해 다음과 같은 고유한 scalar가 존재한다.
$$ T(v_j) = \sum_{i = 1}^m{a_{ij} w_i} $$

(Def: Matrix Representation of Linear Transformations) We call the $m \times n$ matrix $A$ defined by $A_{ij} = a_{ij}$ the matrix representation of T in the ordered bases $\beta$ and $\gamma$, and write $A = [T]{\beta}^{\gamma}$. If $V = W$ and $\beta = \gamma$, then we write $A = [T]{\beta}$.

이 때 $A$의 각각의 열이 $T(\beta)$의 각 원소에 대한 coordinate vector인 것을 눈치챌 수 있을 것이다. Vectorization하자면 $T(\beta^t) = \gamma^t A$라고 할 수 있겠다. (각 basis는 column vector로 표현한다.)
이제 선형 사상을 행렬로 표현하는 방법을 구했다. 그런데, 이러한 행렬로써의 표현이 선형 사상의 성질을 보전하는지 확인해봐야 할 것이다. 결론부터 말하자면, 모든 선형 사상들의 집합은 벡터 공간이고, 모든 행렬의 집합 역시 벡터 공간이며, 이 두 공간은 동치(isomorphic)이다. Matrix representation은 이 두 벡터 공간 사이의 선형 사상이다.
먼저 선형 사상에 대해 addition과 scalar multiplication을 새롭게 정의한다. 사실 이전의 개념과 아주 같다.

(Def: Addition and Multiplication) Let $T, U: V \rightarrow W$ be arbitrary functions, where $V$ and $W$ are vector spaces over $F$, and let $a \in F$. We define $T + U: V \rightarrow W$ by $(T + U)(x) = T(x) + U(x)$ for all $x \in V$, and $aT: V \rightarrow W$ by $(aT)(x) = aT(x)$ for all $x \in V$.

이제 zero transformation이 0 벡터의 역할을 한다는 것을 상기하면, 다음과 같은 정리를 내릴 수 있다.

(Thm 2.7) Let $V$ and $W$ be vector spaces over $F$, and let $T, U: V \rightarrow W$ be linear.

•
For all $a \in F$, $aT + U$ is linear.
•
Using operations of addition and scalar multiplication defined above, the collection of all linear transformations from $V$ to $W$ is a vector space over $F$.
그렇다. 두 벡터 공간 사이의 모든 선형 사상의 집합은 벡터 공간이다! 이를 다음과 같이 정의한다.

(Def: Vector Space of All Linear Transformations) Let $V$ and $W$ be vector spaces over $F$. We denote the vector space of all linear transformations from $V$ into $W$ by $L(V, W)$. In the case that $V = W$, we write $L(V)$.

그런데, 이러한 선형성은 예고되었듯 행렬 사이에서도 나타난다.

(Thm 2.8) Let $V$ and $W$ be finite-dimensional vector spaces with ordered bases $\beta$ and $\gamma$, respectively, and let $T, U: V \rightarrow W$ be linear transformations. Then

•
$[T + U]{\beta}^{\gamma} = [T]{\beta}^{\gamma} + [U]_{\beta}^{\gamma}$
•
$[aT]{\beta}^{\gamma} = a[T]{\beta}^{\gamma}$

2.3. Composition of Linear Transformations and Matrix Multiplication

이번 절에서는 계속해서 선형 사상과 그 행렬 표현의 연관성에 대해 공부한다. 예컨대 선형 사상의 합성은 행렬 공간의 행렬곱과 대응된다.
먼저 벡터 공간에서의 선형 사상의 합성이 선형적임을 밝힌다.

(Thm 2.9) Let $V$, $W$, and $Z$ be vector spaces over the same field $F$, and let $T: V \rightarrow W$ and $U: W \rightarrow Z$ be linear. Then $UT: V \rightarrow Z$ is linear.

또 다음과 같은 정리를 쉽게 증명할 수 있다.

(Thm 2.10) Let $V$ be a vector space. Let $T, U_1, U_2 \in L(V)$. Then

•
$T(U_1 + U_2) = TU_1 + TU_2$ and $(U_1 + U_2)T = U_1T + U_2T$
•
$T(U_1 U_2) = (TU_1)U_2$
•
$TI = IT = T$
•
$a(U_1 U_2) = (aU_1)U_2 = U_1(aU_2)$
이제 $A = [T]$, $B = [U]$에 대해 $AB = [TU]$가 되도록 matrix multiplication을 정의할 수 있다. 우리가 흔히 보아오던 그 행렬곱인데, 이러한 선형 사상의 합성을 보전하기 위해 고안되었음을 알 수 있다.

(Def: Matrix Multiplication) Let $A$ be an $m \times n$ matrix and $B$ be an $n \times p$ matrix. We define the product of $A$ and $B$, denoted $AB$, to be the $m \times p$ matrix such that $(AB){ij} = \sum{k = 1}^n{A_{ik}B_{kj}}$.

애초에 그렇게 고안되었기 때문에, 다음의 정리는 당연하다.

(Thm 2.11) Let $V, W, Z$ be finite-dimensional vector spaces with ordered bases $\alpha, \beta, \gamma$, respectively. Let $T: V \rightarrow W$ and $U: W \rightarrow Z$ be linear transformations. Then $[UT]{\alpha}^{\gamma} = [U]{\beta}^{\gamma} [T]_{\alpha}^{\gamma}$.

(Cor) Let $V$ be a finite-dimensional vector space with an ordered basis $\beta$. Let $T, U \in L(V)$. Then $[UT]{\beta} = [U]{\beta} [T]_{\beta}$.

이제 identity matrix와 kronecker delta를 다음과 같이 정의한다.

(Def: Kronecker Delta) We define Kronecker delta $\delta_{ij}$ by $\delta_{ij} = 1, if i = j$ and $\delta_{ij} = 0, otherwise$.

(Def: Identity Matrix) The $n \times n$ identity matrix $I_n$ is defined by $(I_n){ij} = \delta{ij}$.

다음의 정리는 행렬곱이 정리 2.10에서 정리된 선형 사상의 1, 3, 4번째 성질을 만족함을 보여준다.

(Thm 2.12) Let $A$ be an $m \times n$ matrix, $B$ and $C$ be $n \times p$ matrices, and $D$ and $E$ be $q \times m$ matrices. Then

•
$A(B + C) = AB + AC$ and $(D + E)A = DA + EA$
•
$a(AB) = (aA)B = A(aB)$
•
$I_mA = A = AI_n$
•
If $V$ is an n-dimensional vector space with an ordered basis $\beta$, then $[I_V]_{\beta} = I_n$.
또 간단한 계산을 통해 다음의 정리를 보일 수 있다.

(Thm 2.13) Let $A$ be an $m \times n$ matrix and $B$ be an $n \times p$ matrix. For each $j (1< j < p)$, let $u_j$ and $v_j$ denote the $j$th columns of $AB$ and $B$, respectively. Then

•
$u_j = Av_j$
•
$v_j = Be_j$
즉 $AB$의 열이 $v_j$를 계수로 한 $A$의 선형 조합이라는 것이다. 위의 결과를 transpose해도 마찬가지로 성립하는데, 따라서 위와 같은 논의를 (열이 아닌) 행에 대해서도 할 수 있다.
또 다음의 정리는 특정 벡터에 대한 선형 사상의 출력값이 선형 사상의 행렬 표현과 coordinate vector의 행렬곱으로 표현될 수 있음을 보인다.

(Thm 2.14) Let $V$ and $W$ be finite-dimensional vector spaces having ordered bases $\beta$ and $\gamma$, respectively, and let $T: V \rightarrow W$ be linear. Then, for each $u \in V$, we have $[T(u)]{\gamma} = [T]{\beta}^{\gamma} [u]_{\beta}$.

이제 이번 절의 정리들을 이용하여 행렬 공간에서 벡터 공간의 선형 사상과 동일한 역할을 하는 left-multiplication transformation을 정의한다.

(Def: left-multiplication transformation) Let $A$ be an $m \times n$ matrix with entries from a field $F$. We donote by $L_A$ the mapping $L_A: F^n \rightarrow F^m$ defined by $L_A(x) = Ax$ for each column vector $x \in F^n$. We call $L_A$ a left-multiplication transformation.

이러한 left-multiplication transformation은 선형 사상일 뿐만 아니라, 다음과 같은 유용한 성질들을 가진다.

(Thm 2.15) Let $A$ be an $m \times n$ matrix with entries from $F$. Then the left-multiplication transformation $L_A: F^n \rightarrow F^m$ is linear. Furthermore, if $B$ is any other $m \times n$ matrix (with entries from $F$) and $\beta$ and $\gamma$ are the standard ordered bases for $F^n$ and $F^m$ , respectively, then we have the following properties.

•
$[L_A]_{\beta}^{\gamma} = A$.
•
$L_A = L_B$ if and only if $A = B$.
•
$L_{A + B} = L_A + L_B$ and $L_{aA} = aL_A$.
•
If $T: F^n \rightarrow F^m$ is linear, then there exists a unique $m \times n$ matrix C such that $T = L_C$. In fact, $C = [T]_{\beta}^{\gamma}$.
•
If $E$ is an $n \times p$ matrix, then $L_{AE} = L_A L_E$.
•
If $m = n$, then $L_{I_n} = I_{F^n}$.
또 left-multiplication transformation은 다음의 정리에 의해 정리 2.10의 두 번째 조건인 associativity 역시 만족한다.

(Thm 2.16) Matrix multiplication is associative.

2.4. Invertibility and Isomorphisms

함수의 inverse는 원래 함수의 여러 가지 성질을 보전한다. 예컨대 연속함수의 역함수는 연속이며, 미분 가능한 함수의 역함수 역시 미분 가능하다. 또 선형 사상의 선형성 역시 역함수에 의해 보전된다는 것을 공부한다. 또한 역시나 함수의 역은 행렬의 역과 연관되어 있다. 이를 통해 역행렬의 성질에 대해 공부한다.
먼저 역함수를 정의한다.

(Def: Inverse) Let $V$ and $W$ be vector spaces, and let $T: V \rightarrow W$ be linear. A function $U: W \rightarrow V$ is said to be an inverse of $T$ if $TU = I_W$ and $UT = I_V$. If $T$ has an inverse, then $T$ is said to be invertible.

역함수에 대한 다음과 같은 성질을 알아두자.
•
$(TU)^{-1} = U^{-1} T^{-1}$.
•
$(T^{-1})^{-1} = T$; in particular, $T^{-1}$ is invertible.
•
Let $T: V \rightarrow W$ be a linear transformation, where $V$ and $W$ are finite-dimensional spaces of equal dimension. Then $T$ is invertible if and only if $rank(T) = dim(V)$.
예고했듯, 선형 사상의 역은 역시 선형 사상이다.

(Thm 2.17) Let $V$ and $W$ be vector spaces, and let $T: V \rightarrow W$ be linear and invertible. Then $T^{-1} : W \rightarrow V$ is linear.

우리의 목적은 항상 선형 사상과 행렬을 연관짓는 것이다. 이에 먼저 행렬의 역을 정의한다.

(Def: Inverse of Matrix) Let $A$ be an $n \times n$ matrix. Then A is invertible if there exists an $n \times n$ matrix $B$ such that $AB = BA = I$.

이제 선형 사상의 역과 행렬의 역과의 관계들을 차례차례 밝혀나간다. 우선 정의역의 basis가 치역을 generate(span)하기 때문에 (그리고 그 역도 마찬가지이기 때문에), 그리고 전단사 함수에 대해서만 역함수가 정의되기 때문에 다음의 정리를 준비할 수 있다.

(Lemma) Let $T$ be an invertible linear transformation from $V$ to $W$. Then $V$ is finite-dimensional if and only if $W$ is finite-dimensional. In this case, $dim(V) = dim(W)$.

이제 위의 준비 정리를 이용해 각각 선형 사상의 역의 coordinate이 역행렬, 그리고 역행렬의 coordinate이 선형 사상의 역이라는 사실을 보일 수 있다. ($AB = I$에서 $[U]_{\gamma}^{\beta}$인 $U$가 $T$의 역임을 보이는 식이다.)

(Thm 2.18) Let $V$ and $W$ be finite-dimensional vector spaces with ordered bases $\beta$ and $\gamma$, respectively. Let $T: V \rightarrow W$ be linear. Then $T$ is invertible if and only if $[T]{\beta}^{\gamma}$ is invertible. Furthermore, $[T^{-1}]{\gamma}^{\beta} = ([T]_{\beta}^{\gamma})^{-1}$.

다음과 같은 정리가 자연스레 따른다.

(Cor 1) Let $V$ be a finite-dimensional vector space with an ordered basis $\beta$, and let $T: V \rightarrow V$ be linear. Then $T$ is invertible if and only if $[T]{\beta}$ is invertible. Furthermore, $[T^{-1}]{\beta} = ([T]_{\beta})^{-1}$.

(Cor 2) Let $A$ be an $n \times n$ matrix. Then $A$ is invertible if and only if $L_A$ is invertible. Furthermore, $(L_A)^{-1} = L_{A^{-1}}$.

여태까지 쭉 보아온 것과 같이, 어떤 벡터 공간은 또 다른 벡터 공간과 굉장히 닮아있다. 더 나아가, 벡터의 배치를 제외한다면 그 두 벡터 공간을 사실상 동일시할 수 있겠다. 즉 두 공간은 동치이다. 이제 두 벡터 공간 사이의 선형 사상을 isomorphism으로 정의한다.

(Def: Isomorphism) Let $V$ and $W$ be vector spaces. We say that $V$ is isomorphic to $W$ if there exists a linear transformation $T: V \rightarrow W$ that is invertible. Such a linear transformation is called an isomorphism from V onto W.

선형 사상의 정의역과 치역의 dimension이 같을 경우에만 그 역이 존재한다. 그리고 이 명제의 역도 분명 성립한다. 그러니 당연하게도 isomorphism 또한 마찬가지이다.

(Thm 2.19) Let $V$ and $W$ be finite-dimensional vector spaces (over the same field). Then $V$ is isomorphic to $W$ if and only if $dim(V) = dim(W)$.

(Cor) Let $V$ be a vector space over $F$. Then $V$ is isomorphic to $F$ if and only if $dim(V) = n$.

이제 선형 사상으로부터 coordinate matrix로의 사상인 $\Phi$는 정리 2.8에 의해 선형이고, 정리 2.6에 의해 one-to-one이며 onto이다. 따라서 드디어 다음과 같은 정리를 증명할 수 있다.

(Thm 2.20) Let $V$ and $W$ be finite-dimensional vector spaces over $F$ of dimensions $n$ and $m$, respectively, and let $\beta$ and $\gamma$ be ordered bases for $V$ and $W$, respectively. Then the function $\Phi: L(V,W) \rightarrow M_{m \times n}(F)$, defined by $\Phi(T) = [T]_{\beta}^{\gamma}$ for $T \in L(V, W)$, is an isomorphism.

한편 $dim(M_{n \times m}) = nm$이므로,

(Cor) Let $V$ and $W$ be finite-dimensional vector spaces of dimensions $n$ and $m$, respectively. Then $L(V , W)$ is finite-dimensional of dimension $nm$.

이제 추상적인 임의의 벡터 공간의 원소를 coordinate vector로, 그리고 이에 따라 두 벡터 공간 사이의 선형 사상을 $F^n$에서 $F^m$으로의 선형 사상으로 맞바꿀 수 있다(서로 isomorphic이다). 이와 같은 사실은 다음과 같은 정의와 이어지는 정리에 의해 보다 선명해진다.

(Def: Standard Representation) Let $\beta$ be an ordered basis for an n-dimensional vector space $V$ over the field $F$. The standard representation of $V$ with respect to $\beta$ is the function $\phi_{\beta}: V \rightarrow F^n$ defined by $\phi_{\beta}(x) = [x]_{\beta}$ for each $x \in V$.

(Thm 2.21) For any finite-dimensional vector space $V$ with ordered basis $\beta$, $\phi_{\beta}$ is an isomorphism.

이제 linear transformation과 그에 대응되는 left-multiplication transformation의 관계를 보다 직관적으로 이해할 수 있다. 예컨대 각각 $n, m$ dimension인 벡터 공간 $V, W$와 그 ordered bases $\beta, \gamma$, 그리고 linear transformation $T: V \rightarrow W$와 matrix representation $A$가 있다고 해보자. 그러면 벡터 공간 $V$의 임의의 원소를 $F^n$으로 mapping한 standard representation을 $A$에 대해 left-multiplication transform한 것과 해당 원소를 $T$를 통해 transform한 후 $F^m$으로 mapping한 것은 (각각의 변형들이 모두 isomorphic 했으므로) 아주 같게 된다. 즉,
$$ L_A \phi_{\beta} = \phi_{\gamma} T $$
이는 사실상 모든 벡터 공간의 선형 사상은 우리에게 (혹은 컴퓨터에게 더) 친숙한 행렬의 연산으로 대신할 수 있다는 의미이다!

2.5. The Change of Coordinate Matrix

$2x^2 - 4xy + 5y^2 = 1$와 같은 등식은, $x = (2/\sqrt{5})x' - (1/\sqrt{5})y', y = (1/\sqrt{5})x' + (2/\sqrt{5})y'$를 이용해 $(x')^2 + 6(y')^2 = 1$와 같이 표현할 수 있다. 즉 $xy$-coordinate에서 $x'y'$-coordinate으로 축을 회전한 것인데, 이는 basis를 이용해 가능하다.

(Thm 2.22) Let $\beta$ and $\beta'$ be two ordered bases for a finite-dimensional vector space $V$, and let $Q = [I_V]_{\beta'}^{\beta}$. Then

•
$Q$ is invertible.
•
For any $v \in V$, $[v]{\beta} = Q[v]{\beta'}$.
이 때 위에서 정의된 $Q = [I_V]_{\beta'}^{\beta}$를 change of coordinate matrix라 칭한다. $Q$는 $\beta'$-coordinate을 $\beta$-coordinate으로 바꿔준다. 그렇다면 당연히 $Q^{-1}$는 $\beta$-coordinate을 $\beta'$-coordinate으로 바꿔준다.
이번 절에서는 $V$에서 자기 자신인 $V$로 mapping되는 linear transformation들만 다룬다. 이러한 linear transformation을 linear operator (on $V$)라 한다.
그러면 $Q$의 정의에 의해 다음의 정리가 쉽게 성립한다. 다음의 정리는 두 bases에 의해 표현된 선형 사상의 각각의 matrix representation간의 관계를 보여준다.

(Thm 2.23) Let $T$ be a linear operator on a finite-dimensional vector space $V$, and let $\beta$ and $\beta'$ be ordered bases for $V$. Suppose that $Q$ is the change of coordinate matrix that changes $\beta'$-coordinates into $\beta$-coordinates. Then $[T]{\beta'} = Q^{-1}[T]{\beta}Q$.

아래의 정리에서 정의된 $Q$는 $\gamma$-coordinate에서 standard ordered basis인 $\beta$-coordinate로의 change of coordinate matrix이다. 따라서 정리 2.15에 의해 다음이 성립한다.

(Cor) Let $A \in M_{n \times n}(F)$, and let $\gamma$ be an ordered basis for $F^n$. Then $[L_A]_{\gamma} = Q^{-1}AQ$, where $Q$ is the $n \times n$ matrix whose $j$th column is the $j$th vector of $\gamma$.

정리 2.23에서와 같은 두 행렬의 관계는 꽤 중요한 관계이기 때문에, 다음과 같이 미리 정의해둔다.

(Def: Similarity of Matrices) Let $A$ and $B$ be matrices in $M_{n \times n}(F)$. We say that $\beta$ is similar to $A$ if there exists an invertible matrix $Q$ such that $B = Q^{-1}AQ$.

2.6. Dual Spaces

이번 절에서는 벡터 공간 $V$에서 그 field $F$로의 linear transformation인 linear functional의 특성에 대해 배운다.
먼저 한 가지 중요한 개념을 몇 가지 소개한다.

(Fourier Coefficient) 구간 $[0, 2\pi]$에서 정의된 연속 실함수들로 이루어진 벡터 공간 $V$의 한 원소 $g$가 있다고 하자. 그러면 $h: V \rightarrow R$에서 정의된 함수 $h(x) = \frac{1}{2\pi} \int_0^{2\pi}x(t)g(t)dt$는 linear functional (on $V$)이다. 특히 $g(t) = \sin{nt}, or \cos{nt}$일 경우 $h(x)$를 $n$th Fourier coefficient of $x$라 부른다.

(Coordinate Function) 유한 차원의 벡터 공간 $V$에 대해 ordered basis $x = \{ x_1, x_2, ..., x_n \}$이 있다고 하자. 그러면 $x \in V$의 coordinate vector $[x]{\beta} = (a_1, ..., a_n)^t$에 대해 함수 $f_i(x) = a_i$를 정의한다. 이 linear functional을 $i$th coordinate function with respect to the basis $\beta$라 한다. 특히 $f_i(x_j) = \delta{ij}$이다.

(Def: Dual Space) For a vector space $V$ over $F$, we define the dual space of $V$ to be the vector space $L(V, F)$, denoted by $V^*$.

즉 dual space란 linear functional를 모두 모아 놓은 벡터 공간이라 하겠다. 참고로 $dim(F) = 1$이기 때문에 $dim(V^) = dim(V)$이고, 정리 2.19에 따라 $V$와 $V^$는 isomorphic이다.
이제 아래에서 정의되는 함수 $f$는 각각의 basis의 원소인 $x_1, ..., x_n$에서 함수값 $f(x_1), ..., f(x_n)$을 가지므로 등식이 성립하고, 임의의 함수에 대해 성립하므로 $\beta$는 $V^*$를 generate하고, 따라서 basis이다. 즉 다음의 정리가 증명된다.

(Thm 2.24) Suppose that $V$ is a finite-dimensional vector space with the ordered basis $\beta = \{ x_1, x_2, ..., x_n \}$. Let $f_i (1 ≤ i ≤ n)$ be the $i$th coordinate function with respect to $\beta$ as just defined, and let $\beta^* = \{ f_1, f_2, ..., f_n \}$. Then $\beta^$ is an ordered basis for $V^$, and, for any $f \in V^*$, we have $f = \sum_{i = 1}^n{f(x_i)f_i}$.

이제 위와 같은 ordered basis를 정의한다.

(Def: Dual Basis) We call the ordered basis $\beta^* = \{ f_1, ..., f_n \}$ of $V^*$ that satisfies $f_i(x_j) = \delta_{ij}$ the dual basis of $\beta$.

한편 두 벡터 공간 $V, W$ 사이의 선형 사상은 그 matrix representation에 의해 행렬과 일대일 대응이 가능하며, 그 역함수는 역행렬과 대응된다. 그렇다면 행렬의 전치(transpose)와 관련되는 선형 사상이 궁금해질 수밖에 없다(?). 물론 이러한 선형 사상은 $dim(V) = dim(W)$일 경우에만 존재할 수 있다. 어쨌거나 선형 사상의 transpose는 다음과 같이 도출된다.

(Thm 2.25) Let $V$ and $W$ be finite-dimensional vector spaces over $F$ with ordred bases $\beta$ and $\gamma$, respectively. For any linear transformation $T: V \rightarrow W$, the mapping $T^t: W^* \rightarrow V^$ defined by $T^t(g) = gT, g \in W^$ is a linear transformation with the property that $[T^t]{\gamma^}^{\beta^} = ([T]{\beta}^{\gamma})^t$.

이제 다소 변태같지만 $V$와 그 double dual인 $V^{**}$간의 관계를 알아보려 한다. 사실, 두 벡터 공간은 isomorphic이다.
우선 $v \in V$에 대해 linear functional $\hat{x}: V^* \rightarrow F$를 $\hat{x}(f) = f(x), for f \in V^*$와 같이 정의한다. 즉 $\hat{x} \in V^{**}$이다.
그러면 $x ≠ 0$이라면 $x$를 첫 번째 원소로 포함하는 ordered basis를 잡으면 분명 $f_1(x) = 1 ≠ 0$이다. 따라서 다음 정리가 증명된다.

(Lemma) Let $V$ be a finite-dimensional vector space, and let $x \in V$. If $\hat{x}(f) = 0$ for all $f \in V^*$, then $x = 0$.

이제 $x$에서 $\hat{x}$로의 사상은 선형이며, 위의 준비 정리에서 알 수 있듯 전단사이다. 따라서 다음의 정리가 따른다.

(Thm 2.26) Let $V$ be a finite-dimensional vector space, and define $\psi: V \rightarrow V^{**}$ by $\psi(x) = \hat{x}$. Then $\psi$ is an isomorphism.

(Cor) Let $V$ be a finite-dimensional vector space with dual space $V^$. Then every ordered basis for $V^$ is the dual basis for some basis for $V$.

2.7. Homogenous Linear Differential Equations with Constant Coefficients

만약 다음과 같은 미분 방정식(differential equation)
$$ a_n y^{(n)} + a_{n - 1} y^{(n)} + ... a_1 y^{(1)} + a_0 y = f $$
의 $a_i$와 $f$가 각각 함수일 때, 위의 방정식을 linear하다고 한다. 또한 각 $a_i$를 coefficient라 한다. $f = 0$일 때 방정식이 homogenous하다고 한다. 즉 이번 절에서는 지금까지 배운 내용들을 이용해 $a_i$들이 상수이며 $f = 0$인 미분 방정식을 다루는 방법들을 공부한다.
그런데 후에 밝혀질 어떤 이유로 인해 이러한 방정식에 대한 해를 실변수에 대한 복소수 함수(complex-valued functions of a real variable)로 생각한다. 복소수 함수는 다음과 같이 표현될 수 있는데,
$$ x(t) = x_1(t) + ix_2(t), t \in R $$
여기서 $x_1$은 real part, $x_2$는 imaginary part로 불린다.
우선 이러한 복소수 함수의 미분 가능성에 대해 정의한다.

(Def: Differentiability) Given a function $x \in F(R, C)$ with real part $x_1$ and imaginary part $x_2$, we say that $x$ is differentiable if $x_1$ and $x_2$ are differentiable. If $x$ is differentiable, we define the derivative $x'$ of $x$ by $x' = x_1' + i x_2'$.

그러면 간단한 귀납적 추론에 의해 다음의 정리가 증명 가능하다. 예컨대 $y' = 4y$라 한다면 $y'$는 당연하게도 derivative를 가지고, 이러한 논의는 계속해서 이어진다.

(Thm 2.27) Any solution to a homogeneous linear differential equation with constant coefficients has derivatives of all orders; that is, if $x$ is a solution to such an equation, then $x^{(k)}$ exists for every positive integer $k$.

이제 해석개론에서도 배웠던 $C^{n}$함수를 정의한다. 물론 미분은 선형성을 가지기 때문에 이러한 함수들의 공간은 역시 벡터 공간이다.

(Def: $C$-function) We use $C^{\infty}$ to denote the set of all functions in $F(R, C)$ that have derivatives of all orders.

정리 2.27에 의해, 우리가 찾는 미분 방정식의 해는 방금 정의한 $C^{\infty}$ 함수의 공간 속에 있다는 것이 분명해진다. 또 다음과 같이 정의된 함수 $D: C^{\infty} \rightarrow C^{\infty}, D(x) = x'$는 linear operator임 역시 분명하다. 조금 더 일반적으로 다항식 $p(t) = a_n t^n + ... a_1 t^1 + a_0$에 대해 $p(D) = a_n D^n + ... + a_1 D + a_0 I$로 정의한다.

(Def: Differential Operator) For any polynomial $p(t)$ over $C$ of positive degree, $p(D)$ is called a differential operator. The order of the differential operator $p(D)$ is the degree of the polynomial $p(t)$.

...(나중에 다시 방문하도록 하자)...
너무 길고도 험난한 2챕터였다. 어쨌거나 벡터 공간에서 정의된 선형 사상과 행렬의 관계에 대해 배웠다.
Theorem 2.6 Let VV and WW be vector spaces over FF, and suppose that {vi,u2,...,vn}\{ v_i,u_2,...,v_n \} is a basis for VV. For w1,w2,...,wn∈Ww_1, w_2, ... , w_n \in W, there exists exactly one linear transformation T:V→WT: V \rightarrow W such that T(vi)=wiT(v_i) = w_i for i=1,2,...,ni = 1,2,..., n.