Introduction

This is a summary of the text Pattern Recognition & Machine Learning (Cristopher Bishop). The textbook is free to download at the following link

Pattern Recognition & Machine Learning

New Posts

Chapter 1. 소개 (Introduction)

• 0. 프롤로그 (Prolog)
• 1. 예제 : 다항식 커브 피팅 (Example: Polynomial Curve Fitting)
• 2. 확률 이론 (Probability Theory)
• 3. 모델 선택 (Model Selection)
• 4. 차원의 저주 (The Curse of Dimension)
• 5. 결정 이론 (Decision Theory)
• 6. 정보 이론 (Information Theory)

Chapter 2. 확률 분포 (Probability Distributions)

• 0. 프롤로그 (Prolog)
• 1. 이진 변수 (Binary Variables)
• 2. 다항 분포 (Multinomial Variables)
• 3. 가우시안 분포 (The Gaussian Distributions) - Part.I
• 3. 가우시안 분포 (The Gaussian Distributions) - Part.II
• 3. 가우시안 분포 (The Gaussian Distributions) - Part.III
• 4. 지수 분포족 (The Exponential Family)
• 5. 비모수적 방법들 (Nonparametric Methods)

Chapter 3. 회귀 선형 모델 (Linear Models for Regression)

• 0. 프롤로그 (Prolog)
• 1. 선형 기저 함수 모델 (Linear Basis Function Model)
• 2. 바이어스-분산 분해 (The Bias-Variance Decomposition)
• 3. 베이지언 선형 회귀 (Bayesian Linear Regression)
• 4. 베이지언 모델 비교 (Bayesian Model Comparison)
• 5. 증거 영역 근사 (Evidence Approximation)
• 6. 고정된 기저 함수의 제약점 (Limitations of Fixed Basis Functions)

Chapter 4. 분류 선형 모델 (Linear Models for Classification)

• 0. 프롤로그 (Prolog)
• 1. 판별함수 (Discriminant Functions)
• 2. 확률 생성 모델 (Probabilistic Generative Models)
• 3. 확률 판별 모델 (Probabilistic Discriminative Models)
• 4. 라플라스 근사법 (Laplace Approximation)
• 5. 베이지안 로지스틱 회귀 (Bayesian Logistic Regression)

Chapter 5. 신경망 (Neural Network)

• 0. 프롤로그 (Prolog)
• 1. 전방향 네트워트 (Feed-forward Network Functions)
• 2. 네트워크 학습 (Network Training)
• 3. 에러 역전파 (Error Backpropagation)
• 4. 헤시안 행렬 (Hessian Matrix)
• 5. [작성중] 신경망 정칙화 (Regularization in Neural Networks)
• 6. [작성중] 혼합 밀도 네트워크 (Mixture Density Networks)
• 7. [작성중] 베이지안 신경망 (Bayesian Neural Networks)

Chapter 6. 커널 메소드 (Kernel Method) (일단 SKIP)

Chapter 7. 희소 커널 (Sparse Kernel Machines) (일단 SKIP)

Chapter 8. 그래픽 모델 (Graphical Models)

• 0. 프롤로그 (Prolog)
• 1. 베이지언 네트워크 (Bayesian Networks)
• 2. 조건부 독립 (Conditional Independence)
• 3. [작업중] 마코프 랜덤 필드 (Markov Random Fields)
• 4. [준비중] 그래프 모델 추론 (Inference in Graphical Models)

Chapter 9. 혼합 모델과 EM (Mixture Models and EM)

• 0. 프롤로그 (Prolog)
• 1. K-평균 클러스터링 (K-means Clustering)
• 2. 가우시안 혼합 분포 (Mixtures of Gaussians)
• 3. EM 의 대안 (An Alternative View of EM)
• 4. EM 일반화 (The EM Algorithm in General)

Chapter 10. 변분 추론 (Variational Inference)

• 0. 프롤로그 (Prolog)
• 1. 변분추론 (Variational Inference)
• 2. [준비중] 변분 혼합 가우시안 (Variational Mexture of Gaussians)
• 3. [준비중] 변분 선형 회귀 (Variational Linear Regression)
• 4. [준비중] 지수족 분포들 (Exponential Family Distributions)
• 5. [준비중] 지역 변분식 (Local Variational Methods)
• 6. [준비중] 변분 로지스틱 회귀 (Variational Logistic Regression)
• 7. [준비중] 기대 전파 (Expectation Propagation)

Chapter 11. 샘플링 (Sampling Methods)