/////
♣️

Chapter 1. Vector Spaces

Created
2020/12/21 14:40
Tags
이번 장에서는 벡터(vector)의 기하학적 성질을 공부하고, 벡터간 연산이 가능한 벡터 공간(vector space)을 정의한다.

1.2 Vector Spaces

우선 벡터 공간을 다음과 같이 정의한다.
Definition A vector space VV over FF consists of a set on which two operations(addition and scalar-multiplication) are defined so that for each pair of elements x,y∈Vx, y \in V there is a unique element x+y∈Vx + y \in V and for each element a∈Fa \in F and x∈Vx \in V there is a unique element ax∈Vax \in V, such that the following conditions hold.
•
x+y=y+xx + y = y + x
•
(x+y)+z=x+(y+z)(x + y) + z = x + (y + z)
•
There exists an element 0∈V0 \in V such that x+0=xx + 0 = x
•
For each x∈Vx \in V there exists yy such that x+y=0x + y = 0
•
1x=x1x = x
•
(ab)x=a(bx)(ab)x = a(bx)
•
a(x+y)=ax+aya(x + y) = ax + ay
•
(a+b)x=ax+bx(a + b)x = ax + bx
곧이어 이 책에서는 (column) vector, matrix, polynomial, sequence를 소개한다. 이쯤에서 눈치챌 수 있지만, 이들은 모두 벡터 공간에 해당될 수 있으며, 대수적으로 관련이 깊다.
또 위의 조건 2, 3에 대해, 양 항에 zz 의 역원을 더함으로써 다음의 정리를 이끌어낼 수 있다.
Theorem 1.1: Cancellation Law for Vector Addition For x,y,zx, y, z are vectors in a vector space such that x+z=y+zx + z = y + z , then x=yx = y.
또 이로써 다음 정리들을 차례대로 얻는다.
Corollary 1 The vector 0 is unique.
Corollary 2 The vector −x∈V-x \in V is unique for each x∈Vx \in V.

1.3 Subspaces

모집단의 공간으로서의 성질을 보전하고 있는 부분집합을 다음과 같이 부분 공간(subspace)이라 한다.
Definition A subset WW of a vector space VV over FF is called a subspace of VV, if WW is a vector space over FF with the operations of addition and scalar multiplication defined on VV.
어떤 집합이 부분 공간인지를 확인하기 위해서는 그 집합이 벡터 공간인지를 살펴봐야 한다. 즉 위에서 정의된 8가지 성질을 모두 만족하는지 살펴봐야 하는데, 조건 3, 4를 제외하고는 모든 벡터에 대해 성립한다. 따라서 부분 공간인지를 확인하기 위해서는 다음의 성질들을 확인해봐야 한다.
•
집합이 덧셈에 대해 닫혀 있는가?
•
집합이 스칼라곱에 대해 닫혀 있는가?
•
조건 3이 성립하는가? 즉 덧셈에 대한 항등원이 존재하는가?
•
조건 4가 성립하는가? 즉 덧셈에 대한 역원이 존재하는가?
하지만 집합이 덧셈에 의해 닫혀 있고, 또 0 벡터가 집합 안에 존재한다면 역원이 그 집합에 포함됨은 당연하다. 즉 위의 조건 4는 redundant하다.
또 각 부분 공간은 0 벡터를 포함하며, 덧셈과 스칼라곱에 의해 닫혀 있으므로, 그 교집합 역시 부분 공간이다.
Theorem 1.4 Any intersection of subspaces of a vector space $V$ is a subspace of VV.
그러면 자연스럽게 합집합에 대해서도 생각해 볼 수 있다. 그런데, 아쉽게도(?) 합집합에 대해서는 위와 같은 명제가 성립하지 않는데, 합집합이 덧셈에 대해 닫혀있다는 보장이 없기 때문이다. 실제로 두 벡터 공간의 합집합이 벡터 공간이 되는 필요 충분 조건은 두 벡터 공간이 포함 관계에 있는 것이다.
이에 두 집합을 합하여 벡터 공간으로 만드는 집합간의 연산이 바로 집합의 합이다. 이러한 집합의 합은 양 집합의 임의의 원소의 합들을 원소로 가지는 집합으로 정의된다.
또한 벡터 공간 $V$ 에 대해 W1,W2W_1, W_2 가 각각 VV 의 부분 공간이고, W1∩W2=0W_1 \cap W_2 = 0, W1∪W2=VW_1 \cup W_2 = V 인 경우 VV 를 W1W_1 과 W2W_2 의 direct sum이라 칭하고, V=W1⊕W2V = W_1 \oplus W_2 와 같이 쓴다.

1.4 Linear Combinations and Systems of Linear Equations

어떤 벡터 공간 VV 의 벡터 u,vu, v 가 있다고 하자. 그러면 u,vu, v 의 선형 조합들로 표현 가능한 공간이 존재하게 된다. 이 공간은 어떻게 보면 선형대수학의 핵심이다. 먼저 이러한 공간의 원소들을 다음과 같이 정의한다.
Definition Let VV be a vector space and SS a nonempty subset of VV. A vector v∈Vv \in V is called a linear combination of vectors of SS if there exist a finite number of vectors u1,u2,...,un∈Su_1, u_2, ..., u_n \in S and scalars a1,a2,...,an∈Fa_1, a_2, ..., a_n \in F such that v=a1u1+a2u2+...+anunv = a_1 u_1 + a_2 u_2 + ... + a_n u_n.
또 이러한 선형 조합들로 표현 가능한 공간을 정의한다.
Definition Let SS be a nonempty subset of a vector space VV. The span of SS, denoted by span(S)span(S), is the set containing of all linear combinations of the vectors in SS. Especially, span(∅)=0span(\emptyset) = {0}.
그런데, 선형 조합이라는데서 이미 이 집합은 덧셈과 스칼라곱에 의해 닫혀있다. 또 0 벡터는 모든 비어 있지 않은 집합의 선형 조합이기 때문에, 다음의 정리가 성립한다.
Theorem 1.5 The span of any subset SS of a vector space VV is a subspace of VV. Moreover, any subspace of VV that contains SS must also contain span(S)span(S).
만약 SS 의 span이 VV 를 뒤덮는다면
Definition A subset SS of a vector space VV generates(or spans) VV if span(S)=Vspan(S) = V.
이제 VV 를 span하는 집합 SS의 벡터들은 어느 정도 VV를 대표한다고 할 수도 있겠다. 그러면 자연스럽게 VV 를 대표하는 최소한의 집합 SS 에 대해 생각해볼 수 있다. 이러한 집합을 basis라 한다.

1.5 Linear Dependence and Independence

선형 조합으로 같은 공간을 표현할 수 있는 최소한의 벡터들을 찾기 위해서는 중복되는, 혹은 없어도 되는 원소들(그것이 없어도 같은 이미 같은 공간을 표현할 수 있는)을 배제해야 한다. 이렇게 원소를 줄여내면 줄여낼수록, 더 적은 수의 선형 조합이 발생하기 때문에 당연히도 계산의 효율이 높아진다.
어쨌거나 배제해야 하는 원소는, 이미 다른 벡터들로도 충분히 표현 가능한 벡터이다. 만약 어떤 집합 내의 한 벡터가 다른 벡터들의 선형 조합으로 표현될 수 있다면, 그 집합 내의 벡터들의 선형 조합으로 0 벡터를 표현해낼 수 있다. 이러한 상황을 linear dependency라 한다.
Definition A subset SS of vector space VV is called linearly dependent if there exist a finite number of distinct vectors u1,u2,...,un∈Su_1, u_2, ..., u_n \in S and scalars a1,a2,...,an∈Fa_1, a_2, ..., a_n \in F, not all zero, such that a1u1+a2u2+...+anun=0a_1 u_1 + a_2 u_2 + ... + a_n u_n = 0.
이렇게 0 벡터를 표현해내는 조합을 "nontrivial representation of 0"라 칭하기도 한다(trivial representation은 모든 coefficient가 0인 선형 조합이다). 즉 linearly dependent한 집합에 대해서는 이러한 trivial representation이 반드시 존재한다. 또한 0을 포함한 집합은 반드시 linearly dependent이다. 이제 linearly dependent하지 않은 집합을 linearly independent하다고 한다.
Definition A subset SS of a vector space that is not linearly dependent is called linearly independent.
한편 정의에 의해 다음과 같은 정리를 이끌어낼 수 있다.
Theorem 1.6 Let VV be a vector space, and let S1⊂S2⊂VS_1 \subset S_2 \subset V. If S1S_1 is linearly dependent, then S2S_2 is linearly dependent.
Corollary Let VV be a vector space, and let S1⊂S2⊂VS_1 \subset S_2 \subset V. If S2S_2 is linearly independent, then S1S_1 is linearly independent.
Theorem 1.7 Let SS be a linearly independent subset of a vector space VV, and let v∈V∖Sv \in V \setminus S. Then S∪{v}S \cup \{v\} is linearly dependent if and only if v∈span(S)v \in span(S).

1.6 Bases and Dimension

앞선 절들에서 linearly independence와 generatement에 대해 정의했다. 이 때, linearly independent이면서 모집단을 generate하는 집합은, 그 모집단의 원소를 unique한 선형 조합으로 표현할 수 있다는 특수성을 갖는다. 특히 이러한 집합을 앞서 언급했듯 basis라고 한다. Basis는 어떤 집합을 대표하는 원소들이자, 집합을 쌓는 벽돌이라고 볼 수 있다.
Definition A basis β\beta for a vector space VV is a linearly independent subset of VV that generates VV.
Linearly independent인 집합이 0 벡터를 표현할 수 있는 유일한 방법은 trivial representation이다. 양쪽의 조건은 서로의 필요 충분 조건으로, 위의 명제는 역도 역시 성립한다. 따라서 다음의 정리를 얻는다.
Theorem 1.8 Let VV be a vector space and β=u1,u2,...,un\beta = {u_1, u_2, ..., u_n} be a subset of VV. Then β\beta is a basis for VV if and only if each v∈Vv \in V can be uniquely expressed as a linear combination of vectors of β\beta.
위의 명제를 다시 생각해보면, 임의의 scalar tuple이 unique한 v∈Vv \in V 를 정한다는 의미이다. 그러면 이러한 basis β\beta 가 벡터 공간 VV 와 벡터 공간 FnF^n 을 긴밀히 연결하는 무언가가 되지 않겠는가. 이는 2.4절에서 보다 깊게 연구될 예정이다.
또 VV 를 generate하는 어떤 유한 집합 SS 이 존재하면, 이 집합의 linearly independent한 최대의 부분 집합을 선택함으로써 VV의 basis를 구성할 수 있다. 물론 이 때 포함되지 않은 원소들은 이미 basis의 linear combination으로 표현이 가능하고, 따라서 $S \subset span(\beta)$ 이므로 당연히 generating set이다. 따라서 다음의 정리를 얻는다.
Theorem 1.9 If a vector space VV is generated by a finite set SS, then some subset of SS is a basis for VV. Hence VV has a finite basis.
또한 다음의 정리와 따름정리를 도출해낼 수 있는데, 굉장히 중요한 정리들이라 한다. 매우 중요하지만, 길고 지루한 다음 정리의 증명은 생략하도록 하겠다. 참고로 귀납법을 이용해 증명이 가능하다.
Theorem 1.10: Replacement Let VV be a vector space that is generated by a set GG containing exactly nn vectors, and let LL be a linearly independent subset of VV containing exactly mm vectors. Then m≤nm ≤ n and there exists a subset HH of GG containing exactly n−mn - m vectors such that L∪HL \cup H generates VV.
그런데 basis는 linearly independent subset이자 generating set이므로, 다음의 정리가 따른다.
Corollary 1 Let VV be a vector space having a finite basis. Then every basis for VV contains the same number of vectors.
즉 어떤 벡터 공간에서 그 basis의 원소의 수는 고유하다. 특히 basis의 원소의 수가 유한한 벡터 공간을 finite-dimensional이라고 한다.
Definition A vector space is called finite-dimensional if it has a basis consisting of a finite number of vectors. The unique number of vectors in each basis is called the dimension of VV, denoted by dim(V)dim(V).
또 따름정리 1과 정리 1.10에 의해 다음과 같은 정리가 따르게 된다.
Corollary 2 Let VV be a vector space with dimension nn. - Any finite generating set for VV contains at least nn vectors, and a generating set for VV that contains exactly nn vectors is a basis for VV. - Any linearly independent subset of VV that contains exactly nn vectors is a basis for VV. - Every linearly independent subset of VV can be extended to a basis for VV.
이제 부분 공간의 dimension에 대해 생각해보자. 만약 dimension이 nn 인 벡터 공간 VV 의 부분 공간 $W$ 이 있다고 하면, 분명히 WW 의 linearly independent subset의 크기는 nn 이하이다. 따라서 WW 의 최대의 linearly independent subset을 잡아도 그 크기는 nn 이하이며, 특히 이러한 subset은 WW 의 generating set, 즉 basis이다. 따라서 다음 정리를 얻는다.
Theorem 1.11 Let WW be a subspace of a finite-dimensional vector space VV. Then WW is finite-dimensional and dim(W)≤dim(V)dim(W) ≤ dim(V). Moreover if dim(W)=dim(V)dim(W) = dim(V), then V=WV = W.
Corollary If WW is a subspace of a finite-dimensional vector space VV, then any basis for WW can be extended to a basis for VV.

The Lagrange Interpolation Formula

이번 절에서 증명한 정리를 통해 주어진 점을 통과하는 다항식을 만들어낼 수 있는 유용한 식을 이끌어낼 수 있다. 먼저 distinct scalars c0,c1,...,cnc_0, c_1, ..., c_n 가 주어졌을 때 다항식 f0(x),f1(x),...,fn(x)f_0(x), f_1(x), ..., f_n(x)를 다음과 같이 정의한다.
fi(x)=Πk=0,k≠inx−ckci−ckf_i(x) = \Pi_{k = 0, k ≠ i}^n{ \frac{x - c_k}{c_i - c_k} }
이러한 다항식을 Lagrange polynomials (associated with c0,c1,...,cnc_0, c_1, ..., c_n)라 부른다. 이 때 i=ji = j 일 때 fi(cj)=1f_i(c_j) = 1, i≠ji ≠ j 일 때 fi(cj)=0f_i(c_j) = 0 임에 유의하자. 이렇게 구성된 다항식들로 0을 표현할 수 있는 방법은 trivial representation뿐이며, 따라서 이 다항식들은 Pn(F)P_n(F)의 basis이다.
따라서 임의의 함수 g∈Pn(F)g \in P_n(F) 를 다음과 같이 unique하게 표현할 수 있다.
g=∑i=0nbifig = \sum_{i = 0}^n{b_i f_i}
그런데 g(cj)=bjg(c_j) = b_j 이므로,
g=∑i=0ng(ci)fig = \sum_{i = 0}^n{g(c_i)f_i}
로써 gg를 유일하게 표현해낼 수 있다. 즉 n+1n + 1 개의 점을 지나는 다항식 g∈Pn(F)g \in P_n(F) 를 구해낼 수 있게 되었다! 다항식의 이러한 표현을 Lagrange interpolation formula라고 한다.

1.7 Maximal Linearly Independent Subsets

이전 절에서는 finite-dimensional vector space에 대해 다루었다. 이번 절에서는 이 결과를 infinite-dimensional vector space로 확장하게 된다. 즉, 다음의 명제를 증명한다: "모든 벡터 공간은 basis를 가진다."
하지만 infinite-dimensional 벡터 공간에 대해서는 이전처럼 수학적 귀납법에 의한 증명이 어렵다. 따라서 위의 명제를 증명하기 위해 basis와 동일한 역할을 하는 개념을 정의한 후, 해당 개념을 이용하여 결과를 도출한다. 먼저 다음과 같은 개념들을 정리해 둘 필요가 있다.
Definition Let FF be a family of sets. A member MM of FF is called maximal if MM is contained in no member of FF other than itself.
Definition A collection of sets CC is called a chain if for each pair of sets A,B∈CA, B \in C, either A⊂BA \subset B or A⊃BA \supset B.
이제 다음과 같은 Maximal Principle을 논할 수 있다.
Maximal Principle Let FF be a family of sets. If, for each chain C∈FC \in F, there exists a member of FF that contains each member of CC, then FF contains a maximal member.
Definition Let SS be a subset of a vector space VV. A maximal linearly independent subset of SS is a subset BB of SS satisfying both of the following conditions. - BB is linearly independent. - The only linearly independent subset of SS that contains BB is BB itself.
위와 같이 maximal linearly independent subset을 정의할 수 있다. 그런데 사실 basis는 정의에 의해 linearly independent하고, 전체 집합을 generate한다. 따라서 basis는 maximal linearly independent subset이다. 그런데 그 역 역시 성립한다.
Theorem 1.12 Let VV be a vector space and SS a subset that generates VV. If β\beta is a maximal linearly independent subset of SS, then β\beta is a basis for VV.
이제 위의 정리들을 통해 다음과 같은 정리를 증명할 수 있다. 예컨대 어떤 linearly independent인 부분 집합 SS 를 잡았을 때, SS 를 포함하는 linearly independent인 집합들의 family를 잡으면, 임의의 chain CC 에 대해 그 chain의 멤버를 모두 포함하는 집합 UU 가 존재한다. 물론 이는 CC 의 합집합이다. 그런데 UU 는 linearly independent한 집합의 chain의 합집합이므로 당연히 linearly independent이며, 물론 SS 를 포함한다. 따라서 U∈FU \in F 이다. 따라서 Maximal Principle에 의해 증명이 끝난다.
Theorem 1.13 Let SS be a linearly independent subset of a vector space VV. There exists a maximal linearly independent subset of VV that contains SS.
Maximal linearly independent subset은 basis이다. 따라서 다음이 따른다.
Corollary Every vector space has a basis.
Finite-dimensional vector space의 basis는 그 원소의 수가 모두 같았다. Infinite-dimensional vector space에도 유사한 논의가 가능한데, 사실 이러한 벡터 공간의 basis들은 서로 전단사 관계를 가진다. 예컨대 어떤 basis가 셀 수 있는 만큼의 무한한 원소를 가진다면, 그 벡터 공간의 임의의 basis의 원소는 셀 수 있는 만큼 무한히 많은 것이다.
E.O.D.