Bài giảng tin ứng dụng

Bài giảng tin ứng dụng • Gv: Trần Trung Hiếu • Bộ môn CNPM – Khoa CNTT – ĐH Nông Nghiệp Hà Nội • Email: tthieu@hua.edu.vn • Website: CHƢƠNG IV: PHÂN TÍCH PHƢƠNG SAI, SO SÁNH VÀ KIỂM ĐỊNH Nội dung:  Phân tích phƣơng sai  Kiểm định sự bằng nhau của 2 phƣơng sai  So sánh trung bình 2 mẫu 3 Phân tích phƣơng sai • Ví dụ • Công cụ chủ yếu để phân tích số liệu khi theo dõi ảnh hƣởng của các mức nhân tố khác nhau tới kết quả hay ảnh hƣởng tƣơng tác của các nhân tố tới kết quả 4 1.1 Phân tích phƣơng sai một nhân tố • Đƣợc sử dụng để phân tích số liệu khi theo dõi ảnh hƣởng của các mức nhân tố tới kết quả  Ví dụ: » Nhân tố: Công thức cho lợn ăn  Mức nhân tố là các công thức khác nhau  Xem ảnh hƣởng tới năng suất nhƣ thế nào  Bài toán: Kiểm định giả thuyết về tác động giống nhau của các mức nhân tố » H0: m1 = m2 =...=mn » H1: tồn tại i, j mà mi khác mj • Các bƣớc thực hiện • Chuẩn bị dữ liệu • Dữ liệu có thể bố trí dƣới dạng cột hay hàng • Dữ liệu ứng với mỗi mức nhân tố có thể khác nhau • Sử dụng công cụ Anova: Single Factor • Phân tích kết quả • Nếu F thực nghiệm > F lý thuyết (Fcrit) thì các mức nhân tố có tác động khác nhau tới kết quả (chấp nhận H1) Cần so sánh các công thức để rút ra công thức nào tốt nhất (sử dụng LSD) • Ngƣợc lại: các mức nhân tố không có khác biệt đáng kể trong tác động tới kết quả (chấp nhận H0) So sánh các trung bình dùng chỉ số LSD • Sử dụng trong trƣờng hợp kết luận các mức nhân tố có tác động khác nhau tới kết quả • Sử dụng để chỉ rõ tác động khác nhau của các mức nhân tố tới kết quả là ntn: xếp thứ tự về sự tác động của các mức nhân tố tới kết quả • Nếu cần so sánh trung bình CT Ti (với ri lần lặp) với trung bình CT Tj (với rj lần lặp) có thể tính thêm chỉ số LSD = tα,f * SQRT(s 2(1/ ri + 1/ rj )  tα,f = TINV(α, f) với α = 1 – p; f = df & within groups  s2= MS within groups: Phương sai chung  ri, rj: số lần lặp lại dữ liệu đối với các mức nhân tố i, j 1. Căn cứ kết luận  Nếu |mi-mj| > LSD(i,j) thì tác động của mức nhân tố i, j là khác nhau và ngược lại  Trong TH khác nhau, nếu mi > mj thì KLuan mức nhân tố i tốt hơn mức nhân tố j 6 Phân tích phƣơng sai hai nhân tố 1. Ví dụ: Điều tra về chiều dài của cây, hai nhân tố xét đến là phân bón và nhiệt độ 2. Xảy ra hai trƣờng hợp:  Nhân tố A và B không tƣơng tác, biến động gây nên bởi tác động đồng thời của A và B gần sát 0.  Nhân tố A và B có tƣơng tác.  Bài toán 1: Xét riêng tác động của các mức nhân tố A » H0: m1 = m2 =...=mn » H1: tồn tại i, j mà mi khác mj  Bài toán 2: Xét riêng tác động của các mức nhân tố B » H0: m1 = m2 =...=mn » H1: tồn tại i, j mà mi khác mj  Bài toán 3: Xét riêng tác động đồng thời của (A,B) » H0: Tác động đồng thời của 2 nhân tố không có tác động đáng kể tới kết quả » H1: Tác động đồng thời của 2 nhân tố có tác động đáng kể tới kết quả 7 Phân tích phƣơng sai hai nhân tố không tƣơng tác 1. Không xét đến tác động đồng thời của hai nhân tố A, B 2. Cần giải quyết bài toán 1, bài toán 2 3. Các bƣớc thực hiện  Bố trí dữ liệu  Sử dụng công cụ: Anova: Two-Factor Without Replication  Phân tích kết quả: » Xét giá trị F thực nghiệm và F lý thuyết tƣơng ứng với các nhân tố, nếu F thực nghiệm > F lý thuyết thì kết luận các mức của nhân tố tƣơng ứng có ảnh hƣởng khác nhau tới kết quả và ngƣợc lại 8 Phân tích phƣơng sai hai nhân tố tƣơng tác 1. Xét đến cả tác động đồng thời của 2 nhân tố A, B 2. Cần giải quyết 3 bài toán về phân tích phƣơng sai 3. Các bƣớc thực hiện  Bố trí dữ liệu  Sử dụng công cụ Anova: Two Factor With Replication  Phân tích kết quả » Xét giá trị F thực nghiệm và F lý thuyết tƣơng ứng với các nhân tố, nếu F thực nghiệm > F lý thuyết thì kết luận các mức của nhân tố tƣơng ứng có ảnh hƣởng khác nhau tới kết quả (chấp nhận H1) và ngƣợc lại (chấp nhận H0) » Xét giá trị F tn và F lt tƣơng ứng với tác động đồng thời của hai nhân tố (interaction), nếu Ftn > Flt thì chấp nhận H1, tác động đồng thời là đáng kể tới kết quả, ngƣợc lại chấp nhận H0 9 2. Kiểm định sự bằng nhau của hai phƣơng sai  Kiểm định hai phía » H0: δ1 2 = δ2 2 (phƣơng sai của biến X bằng phƣơng sai của biến Y) » Đối thuyết H1 : δ1 2 ≠ δ2 2  Kiểm định một phía » H0: δ1 2 = δ2 2 (phƣơng sai của biến X bằng phƣơng sai của biến Y) » Đối thuyết H1 : δ1 2 > δ2 2 10 Phân tích kết quả Trong Excel, sử dụng công cụ F-Test Two Sample for Variances để kiểm định một phía 1. Nếu F < 1  nếu F > F Critical one-tail thì chấp nhận H0 (δ1 2 = δ2 2 )  ngƣợc lại bác bỏ H0, chấp nhận H1 δ1 2 > δ2 2 2. Nếu F >= 1  nếu F < F Critical one-tail thì chấp nhận H0 (δ1 2 = δ2 2 )  ngƣợc lại bác bỏ H0, chấp nhận H1 δ1 2 > δ2 2 3. So sánh trung bình 2 mẫu • Với X, Y là 2 DLNN độc lập, có phân phối chuẩn N(mX; σ2X), N(mY; σ 2 Y) ta có thể gặp các bài toán về kiểm định giả thuyết giá trị trung bình của 2 mẫu nhƣ sau: - Kiểm định hai phía: Giả thuyết H0: mX = mY+d Đối thuyết H1: mX ≠ mY+d - Kiểm định một phía: Giả thuyết H0: mX = mY+d Đối thuyết H1: mX > mY+d hoặc Giả thuyết H0: mX = mY+d Đối thuyết H1: mX < mY+d * Khi giá trị sai khác d=0 ta có bài toán kiểm định sự bằng nhau của 2 giá trị trung bình 3. So sánh trung bình 2 mẫu Các trƣờng hợp: 1. Lấy mẫu độc lập  TH biết phƣơng sai σ2X, σ 2 Y  TH không biết phƣơng sai » Kích thƣớc mẫu lớn (nX>=30; nY>=30) » Kích thƣớc mẫu nhỏ • Hai phƣơng sai bằng nhau • Hai phƣơng sai khác nhau 2. Lấy mẫu theo cặp dữ liệu của 2 mẫu đƣợc lấy ngẫu nhiên, 2 mẫu là độc lập với nhau dữ liệu của 2 mẫu lấy theo từng cặp tƣơng ứng 3. So sánh trung bình 2 mẫu 1. So sánh TB 2 mẫu độc lập khi biết phƣơng sai σ2X, σ 2 Y  Qui tắc kiểm định trong xác suất » Xét đại lƣợng Z=(Xtb-Ytb-(mX-mY)-d)/sqrt(σ 2 X/nX+ σ 2 Y/nY) có phân phối chuẩn tắc » Nếu giả thuyết H0 đúng thì Z=(Xtb-Ytb-d)/sqrt(σ 2 X/nX+ σ 2 Y/nY) có phân phối chuẩn tắc khi đó ta có bảng quy tắc kiểm định sau: * Trƣờng hợp này đƣợc trình bày chi tiết, các trƣờng hợp khác tƣơng tự Sử dụng khi trong một tình huống nào đó ta đã biết được phương sai (thường xảy ra khi điều tra lại một tổng thể sau một thời gian chưa lâu, nên phương sai chưa thay đổi, do đó lấy phương sai của lần điều tra trước để tính toán) H0: mX = mY+d H1: mX ≠ mY+d H0: mX = mY+d H1: mX > mY+d H0: mX = mY+d H1: mX < mY+d Ta có: P(|Z|>Zα/2)=α từ đây có quy tắc bác bỏ H0 là: +Nếu |Z|>Zα/2 quyết định bác bỏ H0 +Nếu |Z|<=Zα/2 quyết định chấp nhận H0 Ta có: P(Z>Zα)=α từ đây có quy tắc bác bỏ H0 là: +Nếu Z>Zα quyết định bác bỏ H0 +Nếu Z<=Zα quyết định chấp nhận H0 Ta có: P(Z<-Zα)=α từ đây có quy tắc bác bỏ H0 là: +Nếu Z<-Zα quyết định bác bỏ H0 +Nếu Z>=-Zα quyết định chấp nhận H0 * Zα/2, Zα đƣợc tra cứu trong bảng phân phối chuẩn tắc N(0,1) * Trong excel có thể tính Zα=normsinv(1-α), ngƣợc lại biết Zα có thể tính α =1-normsdist(Zα) 3. So sánh trung bình 2 mẫu 1. So sánh TB 2 mẫu độc lập khi biết phƣơng sai σ2X, σ 2 Y  Ví dụ: » So sánh giá trị trung bình của số cừu mắc bệnh trong 8 nhóm tiêm phòng và 8 nhóm đối chứng. Mẫu đƣợc lấy độc lập, biết phƣơng sai tƣơng ứng là 22, 18. » Các bƣớc thực hiện trong Excel: Tool  Data Analysis, chọn công cụ phân tích: z-Test: Two Sample for Means Hiện cửa sổ Miền biến 1 Giả thiết về sự khác nhau của hai trung bình (d) Miền biến 2 Phương sai của biến 1 Phương sai của biến 2 Nếu có nhãn thì chọn Nơi để kết quả Kết quả Giả thiết sự khác nhau của hai trung bình (d) Số quan sát Phương sai Trung bình Z thực nghiệm P một phía và hai phía Z lý thuyết (tới hạn) một phía (Zα) và hai phía (Zα/2) 1. So sánh TB 2 mẫu độc lập khi biết phƣơng sai σ2X, σ 2 Y * Căn cứ để kết luận 1. Kiểm định 2 phía  Nếu |Ztn|> Zhai phía (z critical two-tail) thì bác bỏ giả thuyết H0, chấp nhận H1 (mX≠mY+d)  Nếu |Ztn|<= Zhai phía (z critical two-tail) thì chấp nhận giả thuyết H0 (mX=mY+d) 2. Kiểm định một phía  Nếu Ztn>0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d » Nếu Ztn> Zmột phía (z critical one-tail) thì bác bỏ H0 và ngƣợc lại  Nếu Ztn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d » Nếu Ztn<-Zmột phía (z critical one-tail) thì bác bỏ H0 và ngƣợc lại Phân tích kết quả Kiểm định 2 phía: Ta có |z|=2.068>z2 phía nên bác bỏ giả thiết H0 (mX=mY) Kiểm định 1 phía: Vì z<0 nên ta xét bài toán kiểm định với đối thuyết H1: mX<mY Ta có z=-2.068<-zmột phía=-1.644 nên bác bỏ H0, chấp nhận H1 (mX<mY) Nhận xét về giá trị của Pmột phía và Phai phía so với mức xác suất α=0.05 ?? Thực hành 1. Sinh viên thực hành ví dụ vừa rồi với dữ liệu đảo ngƣợc nhƣ sau (σ2X =22, σ2Y=18): 3. So sánh trung bình 2 mẫu 2. So sánh trung bình 2 mẫu độc lập trƣờng hợp không biết phƣơng sai và kích thƣớc mẫu lớn lớn (nX>=30, nY>=30)  Xét đại lƣợng Z=(Xtb-Ytb-(mX-mY)-d)/sqrt(s 2 X/nX+ s2Y/nY) có phân phối xấp xỉ phân phối chuẩn tắc  (trong đó s2X, s 2 Y là các giá trị xấp xỉ của phƣơng sai σ 2 X, σ 2 Y có thể tính đƣợc bằng hàm VAR)  Tƣơng tự trƣờng hợp đã biết phƣơng sai, thay thế s2X bởi σ 2 X, s 2 Y bởi σ 2 Y và sử dụng công cụ z-Test: two sample for means ta có thể giải quyết bài toán này. 3. So sánh trung bình 2 mẫu 3. So sánh trung bình 2 mẫu độc lập trƣờng hợp không biết phƣơng sai và kích thƣớc mẫu nhỏ (nX<30 và nY<30)  Để giải quyết bài toán này ta cần có giả thiết về sự bằng nhau hay khác nhau của 2 phƣơng sai σ2X, σ 2 Y  Nếu đề bài chƣa cho biết thông tin đó, cần kiểm định thêm một giả thuyết phụ về sự bằng nhau hay khác nhau của 2 phƣơng sai σ2X, σ 2 Y đã học ở bài trƣớc (sử dụng công cụ F- Test: Two-Sample for Variances) » Nếu σ2X = σ 2 Y ta giải quyết bài toán sử dụng công cụ phân tích t- Test: Two-Sample Assuming Equal Variances » Nếu σ2X ≠ σ 2 Y ta giải quyết bài toán sử dụng công cụ phân tích t- Test: Two-Sample Assuming Unequal Variances Ví dụ 1: t-Test: Two-Sample Assuming Equal Variances (giả thiết đề bài cho hoặc sau khi kiểm định có kết quả 2 phƣơng sai bằng nhau) Ví dụ 1: Kết quả Trung bình Phương sai Số quan sát Giả thiết sự khác nhau của hai trung bình t thực nghiệm P một phía và hai phía t lý thuyết (tới hạn) một phía và hai phía Phương sai chung Bậc tự do = n1 + n2 -2 t-Test: Two-Sample Assuming Equal Variances 1. Căn cứ để kết luận  Kiểm định 2 phía » Nếu |ttn|> thai phía (t Critical two-tail) quyết định bác bỏ H0 và ngƣợc lại » Trong ví dụ 1: |ttn|=1.5187<thai phía=2.009 nên chấp nhận H0 (mX=mY). Giá trị Phai phía> α là phù hợp với kết luận trên  Kiểm định một phía » Nếu ttn>0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d • Nếu ttn> tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại » Nếu ttn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d • Nếu ttn<-tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại Ví dụ 2: t-Test: Two-Sample Assuming Unequal Variances (giả thiết đề bài cho hoặc sau khi kiểm định có kết quả 2 phƣơng sai không bằng nhau) Ví dụ 2: Kết quả t-Test: Two-Sample Assuming Unequal Variances 1. Căn cứ để kết luận (giống trƣờng hợp 2 phƣơng sai bằng nhau, chỉ khác ở giá trị ttn do khác về công thức tính)  Kiểm định 2 phía » Nếu |ttn|> thai phía (t Critical two-tail) quyết định bác bỏ H0 và ngƣợc lại » Trong ví dụ 2: |ttn|=1.7133<thai phía=2.009 nên chấp nhận H0 (mX=mY). Giá trị Phai phía> α là phù hợp với kết luận trên  Kiểm định một phía » Nếu ttn>0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d • Nếu ttn> tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại » Nếu ttn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d • Nếu ttn<-tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại 3. So sánh trung bình 2 mẫu 3. So sánh trung bình 2 mẫu đƣợc lấy theo cặp  Ví dụ: Vào Tools/Data Analysis Hiện ra của sổ Miền của biến 1, kể cả hàng đầu của mẫu quan sát. Miền của biến 2 Giả thiết về hiệu hai trung bình của hai tổng thể. H0: m1 = m2 thì ghi 0. Nếu H0: m1 = m2 + d thì ghi d Nếu có nhãn thì chọn Chọn miền đặt kết quả Kết quả t-Test: Paired Two Sample for Means 1. Căn cứ để kết luận (giống trƣờng hợp so sánh trung bình 2 mẫu độc lập có kích thƣớc mẫu nhỏ)  Kiểm định 2 phía » Nếu |ttn|> thai phía (t Critical two-tail) quyết định bác bỏ H0 và ngƣợc lại » Trong ví dụ trên: |ttn|=3.3105>thai phía=2.3646 nên chấp nhận H1 (mX≠mY). Giá trị Phai phía<α là phù hợp với kết luận trên  Kiểm định một phía » Nếu ttn>0 ta có bài toán kiểm định H0: mX = mY+d H1: mX > mY+d • Nếu ttn> tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại • Trong ví dụ trên: ttn>0 và ttn> tmột phía=1.8945 nên chấp nhận H1 (mX > mY). Giá trị Pmột phía<α là phù hợp với kết luận trên » Nếu ttn<0 ta có bài toán kiểm định H0: mX = mY+d H1: mX < mY+d • Nếu ttn<-tmột phía (t critical one-tail) thì bác bỏ H0 và ngƣợc lại