Phân tích dữ liệu - Đặc trưng m c trưng mẫu và ước lư lượng tham số quần thể

Phân tích dữ liệu - Đặc trưng mẫu & ước lượng tham số quần thể Dàn bài
Giới thiệu
Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu
Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp moments Giới thiệu
Các công cụ trực quan giúp có được cái nhìn tổng thể để ước đoán mô hình phân bố hoặc quan sát sự phân tách các tập dữ liệu
không áp dụng được cho quá trình tính toán
Cần phải xác định các đặc trưng (số) của tập dữ liệu
Cần phải ước lượng các đặc trưng đó sao cho ‘tốt nhất’ Giới thiệu (tt)
Về mặt thống kê, các đặc trưng cần quan tâm liên quan đến mô hình phân bố xác suất của quần thể ◦ Trung bình ◦ Phương sai ◦ Các moment ◦ Các tham số đầu vào của mô hình phân bố ◦ Dàn bài
Giới thiệu
Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu
Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp moments Một số đặc trưng mẫu
Cho tập mẫu {X1,,Xn}
Các Xi là biến ngẫu nhiên có cùng phân bố là phân bố của tập quần thể
Giả sử các Xi độc lập xác suất từng đôi một
Định lý Monte Carlo với xi là thể hiện của Xi 1 1( ,..., ) ( )... ( )n np p p=X X X X 1 1 ( ) [ ( )] ( ) ( ) n n i i f E f f p d n →∞ = → =∑ ∫x X x x x Trung bình mẫu
Trung bình mẫu được cho bởi là một biến ngẫu nhiên có phân bố ‘gần’ chuẩn với (theo định lý hội tụ trung tâm) 1 1 n i in = = ∑X X [ ] [ ] var[ ] var[ ] E E n = = X X XX Trung bình mẫu (tt)
Từ định lý Monte Carlo (chú ý: xi là thể hiện của Xi) 1 1 [ ] n n i i E n →∞ = = →∑x x X Phương sai mẫu
Phương sai mẫu được cho bởi
Từ định lý Monte Carlo 1 1 ( )( ) ' 1 n i i i S n = = − − − ∑ X X X X 1 1 ( )( ) ' cov( ) 1 n n i i in →∞ = − − → − ∑ x x x x X Moment mẫu
Ở đây chỉ xét đến 1 chiều
Moment mẫu bậc r được cho bởi
Từ định lý Monte Carlo 1 1 n r r i i M X n = = ∑ 1 1 [ ] n nr r i i x E X n →∞ = →∑ Dàn bài
Giới thiệu
Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu
Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp moments Ước lượng tham số quần thể
Các đặc trưng ở trên có tính chất mô tả tập mẫu.
Để mô tả cả một quần thể, thông thường người ta đi tìm một mô hình nào đó cho quần thể.
Mỗi mô hình như vậy cần có tham số
cần phải ước lượng những tham số đó
Vấn đề: tìm ước lượng tham số ‘tốt nhất’ từ tập mẫu hữu hạn Ước lượng tham số (tt)
Một ước lượng là một hàm từ không gian dữ liệu vào không gian tham số T = t(X1,,Xn) chú ý rằng T là một biến ngẫu nhiên.
Để đánh giá một ước lượng có tốt hay không, thông thường có 3 vấn đề cần quan tâm ◦ Lệch (bias) ◦ Trung bình bình phương mẫu (mean squared error) ◦ Standard error Bias
Gọi θ là giá trị đúng của tham số cần ước lượng
Bias được định nghĩa bởi Bias(T) = E[T] - θ
Nếu Bias(T) = 0 thì ta nói đó là ước lượng không lệch (unbias) Standard error
Standard error của một ước lượng được cho bởi SE(T) = sqrt(var(T)) Mean squared error
Mean squared error được định nghĩa bởi MSE(T) = E[ (T - θ)2 ]
MSE(T) càng nhỏ càng cho thấy ước lượng T càng hiệu quả, điều đó có nghĩa là nếu MSE(T1) < MSE(T2) thì ước lượng T1 hiệu quả hơn T2
Cực tiểu hóa MSE là một tiêu chí phổ biến MSE (tt)
Một điều lưu ý MSE(T) = SE(T)2 + Bias(T)2
Nếu ước lượng là không lệch thì cực tiểu hóa MSE tương đương với cực tiểu hóa SE Maximum Likelihood Estimator (MLE)
Giả sử θ = [θ1,, θm] là vector tham số cần ước lượng
Ý tưởng của MLE là sẽ tìm
Hướng giải tổng quát là đi tìm nghiệm 1 ˆ argmax ( ,..., | )MLE np= θ θ x x θ 1( ,..., | ) 0ndp d = x x θ θ MLE (tt)
Ví dụ: ◦ X ~ N(µ,σ2) với µ chưa biết, σ đã biết ◦ Tập mẫu (X1,,Xn) thỏa các Xi đôi một độc lập xác suất ◦ Tìm µ.
Ta có /2 2 1 2 11 1 1( ,..., | ) ( | ) exp ( ) 2 2 nn n n i i ii p x x p x xµ µ µ piσ ==    = = − −        ∑∏ MLE (tt)
Cực đại hóa vế trái tương đương với cực đại hóa ln(p(x1,,xn|µ) 2 1 1 1 1 1 1ln ( ,..., | ) ( ) 2 ln ( ,..., | ) 0 ( ) 0 1 n n i i n n i i n i i p x x x d p x x d x x n µ µ µ µ µ µ = = = ∝ − − = ⇔ − = ⇔ = ∑ ∑ ∑ MLE (tt)
Người ta chứng minh được rằng, khi n
vô cùng thì ◦ Ước lượng MLE là không lệch ◦ Ước lượng MLE cho MSE nhỏ nhất Phương pháp moment
Đôi khi, việc giải phương trình dp/dθ=0 là rất khó
không thể áp dụng MLE
Ý tưởng của phương pháp moment là đưa tham số về dạng biểu diễn của các moment, rồi ước lượng những moment đó dựa trên moment mẫu Phương pháp moment (tt)
Ví dụ ◦ Ước lượng t và λ
Rất khó để dùng MLE giải quyết vấn đề này. 1( )( ) , 0 , 0( ) x te xp x x and t k λλ λ λ − − = > > Γ Phương pháp moment (tt)
Nhận thấy
Thay trung bình mẫu và moment mẫu bậc 2 ta được 2 2 2 2 2 2 [ ]= , ar( ) [ ] ( [ ]) ,[ ] ( [ ]) [ ] ( [ ]) t tE X v X E X E X t E X E X E X E X λ λ λ = ⇒ = = − − 2 2 2 2 2 1 1 ˆ ˆ, 1 1n n i i i i X X t X X X X n n λ = = = = − −∑ ∑