다음과 같이 이산(Discrete)시스템에 대한 모델링 파라메터를 추정하고자 한다. LS(Least Square: 추정치 오차 자승 합)방식을 이용할 때 t=4sec 순간의 a값의 추정치를 구하시오.
https://darkpgmr.tistory.com/56
“`htmlLeast Square
1. 문제
다음과 같은 이산 시스템에서 Least Square 방법을 이용하여 모델링 Parameter를 추정한다.
u(t) ─────► [ a ] ─────► y(t)
| t(sec) | 0 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|
| u(t) | 3 | 2 | 1 | 2 | 3 |
| y(t) | 4 | 3 | 3 | 4 | 5 |
필기에서는 t = 4 sec까지의 데이터를 이용하여 모델 Parameter를 구한다.
2. Least Square
여러 개의 데이터가 있을 때 모든 점을 정확히 통과하는 식이 아니라, 전체 오차의 제곱합이 가장 작아지는 모델을 구한다.
3. 직선 모델 가정
필기에서는 데이터가 직선 형태로 분포한다고 가정한다.
또는 예제 풀이에서는 다음과 같이 표기한다.
여기서 구해야 할 값은 직선의 기울기와 절편이다.
4. 각 데이터의 추정오차
실제 측정값과 직선으로 추정한 값의 차이를 오차로 둔다.
5. 오차 제곱합
Least Square에서는 각 오차를 제곱하여 합한다.
필기에서는 이 값이 최소가 되도록 A와 B를 결정한다.
6. 최소조건
오차제곱합을 각 Parameter에 대해 편미분하고 결과를 0으로 둔다.
7. A에 대한 편미분
정리하면 필기의 첫 번째 식은 다음과 같다.
8. B에 대한 편미분
필기에서는 다음 식으로 정리한다.
9. 정상방정식
두 식을 동시에 풀면 A와 B를 구할 수 있다.
10. 행렬 형태
예제 풀이에서는 직선식 y = ax + b를 행렬로 표현한다.
┌ x1 1 ┐
│ x2 1 │
│ x3 1 │ ┌ a ┐ ┌ y1 ┐
│ x4 1 │ × │ b │ = │ y2 │
│ x5 1 │ └ ┘ │ y3 │
└ ┘ │ y4 │
└ y5 ┘
11. 예제 데이터
데이터 수는 5개이다.
12. Least Square 계산 결과
필기에서는 Least Square 계산 후 다음의 2×2 연립방정식으로 정리한다.
┌ 2 1 ┐ ┌ a ┐ ┌ 4 ┐
│ │ │ │ = │ │
└ 3 1 ┘ └ b ┘ └ 5 ┘
13. 역행렬 계산
필기에 적힌 역행렬 계산은 다음과 같다.
14. 최종 Parameter
15. 추정 모델
따라서 필기에서 얻은 Least Square 직선 모델은 다음과 같다.
16. 계산 흐름
측정 Data
│
▼
직선 Model 가정
y = ax + b
│
▼
추정값 계산
ŷi = axi + b
│
▼
Error
ei = yi - ŷi
│
▼
Error² 합
Σei²
│
▼
a, b로 편미분
│
▼
최소조건 = 0
│
▼
연립방정식
│
▼
Matrix 계산
│
▼
a = 1, b = 2
17. 이미지 OCR 핵심 정리
| 항목 | 필기 내용 |
|---|---|
| Least Square | 추정오차 제곱합을 최소화 |
| 모델 | y = ax + b |
| 오차 | eᵢ = yᵢ – ŷᵢ |
| 목적함수 | Σ(yᵢ – axᵢ – b)² 최소 |
| 최소조건 | Parameter에 대해 편미분 = 0 |
| 행렬표현 | AX = B |
| 예제 결과 | a = 1, b = 2 |
| 추정식 | ŷ = x + 2 |