Đánh giá nghiệm pháp chẩn đoán

1 ĐÁNH GIÁ NGHIỆM PHÁP CHẨN ĐOÁN PGS.TS. Kim Bảo Giang Trường Đại học Y Hà Nội Nội dung • Đánh giá sự đồng nhất trong chẩn đoán • Đánh giá giá trị của nghiệm pháp chẩn đoán 2 Tin cậy và giá trị (Reliability and validity) 1. Độ tin cậy (reliability) repeatability, reproducibility: đo lường cùng 1 chỉ số, trên cùng đối tượng, trong cùng điều kiện => cùng kết quả 3 Độ tin cậy (reliability)  Độ tin cậy khi lặp lại test (Test-Retest Reliability): Nhất quán về kết quả đo lường khi thực hiện lại NPCĐ (The consistency of a measure from one time to another)  Độ tin cậy (đồng nhất) giữa những người chẩn đoán (Inter- Rater or Inter-Observer Reliability): Nhất quán về kết quả đo lường giữa những người chẩn đoàn khác nhau (The degree to which different observers give consistent estimates of the same phenomenon) 4 Độ đồng nhất giữa nhiều người chẩn đoán (Inter-Observer Reliability) Kappa 5 Ý nghĩa của Kappa • Kappa test (K) được sử dụng để đánh giá phần trăm đồng ý giữa 2 người khi đánh giá về 1 hiện tượng sức khoẻ nào đó sau khi đã loại bỏ vai trò của các yếu tố may rủi (chance). • Nếu cả hai đều thống nhất ý kiến trong tất cả mọi trường hợp nhận định, K = +1. • Nếu tỷ lệ đồng ý quan sát được (observed agreement) giữa 2 người >= tỷ lệ đồng ý mong đợi (expected agreement) hay còn gọi là đồng ý do may rủi thì K  0. Nếu tỷ lệ đồng ý quan sát được nhỏ hơn hoặc bằng tỷ lệ đồng ý do may rủi; K  0. BS1 + - Tổng BS 2 + a b p1 - c d q1 Tổng p2 q2 1 a, b, c, d = tỷ lệ % 6 Doctor 2 + - Total Doctor 1 + 1467 1309 2776 - 782 16232 17014 Total 2249 17541 19790 Doctor 2 Positive Negative Total Doctor 1 Positive 0.074 0.066 0.140 Negative 0.040 0.820 0.860 Total 0.114 0.886 1.000 = 0.54 KAPPA <0.4 Yếu 0.4-0.6 TB 0.61-0.80 Tốt 0.81-1 Rất tốt 7 Bài tập Mở file Kappa.dta Dùng menue hoặc dùng câu lệnh • kap , tab 8 GIÁ TRỊ CỦA NGHIỆM PHÁP CHẨN ĐOÁN 2. Tính giá trị (validity) • Liệu test nhanh có giá trị trong chẩn đoán đái tháo đường không? • Liệu test PY có giá trị trong chẩn đoán ung thư dạ dày? • Sử dụng bộ câu hỏi có giá trị trong chẩn đoán nghiện rượu? - Tính giá trị là khả năng đo lường đúng đặc tính quan tâm (cần đo) 9 Nghiệm pháp chẩn đoán là gì? • Là bất cứ triệu chứng, nhóm triệu chứng lâm sàng hay kết quả cận lâm sàng xuất hiện trong một bệnh nào đó được sử dụng để làm chỉ điểm định hướng cho chẩn đoán một bệnh/một tình trạng. 10 Hai loại nghiệm pháp chẩn đoán • Nghiệm pháp định tính: kết quả là có-không hoặc dương tính-âm tính: chụp phim có hình ảnh gãy xương hay không • Nghiệm pháp định lượng: kết quả là các biến liên tục hoặc các biến hạng mục như số đo huyết áp; hàm lượng đường máu; có bệnh nhẹ, vừa, nặng, v.v. Đánh giá nghiệm pháp chẩn đoán Đánh giá dựa trên hình vẽ (1) • Năm 1966 đơn vị chăm sóc mạch vành của bệnh viện Edinburg được thành lập. Đơn vị nhận tất cả các BN dưới 70 tuổi có nghi ngờ có NMCT trong vòng 48h. Đơn vị này nhanh chóng trë lªn qu¸ t¶i  Làm thế nào để phân biệt được BN thực sự nhồi máu cơ tim? BN nghi ngờ và BN chắc chắn NMCT? • Theo dõi nhận thấy tình trạng tăng men creatinin Kinase có thể giúp chẩn đoán NMCT sớm hơn là SGOT và SGPT 11 Đánh giá nghiệm pháp chẩn đoán Đánh giá dựa trên hình vẽ (2) • Lấy máu của 360 BN vào viện, còn sống và tiến hành XN Creatine kinase (CK) 2 lần: • Lúc nhập viện • Sáng hôm sau • Lấy KQ điện tâm đồ, bệnh án, và KQ mổ tử thi làm tiêu chuẩn vàng. Một bác sĩ “mù” với KQ CK được phân công đọc KQ điện tâm đồ, mổ tử thi (nếu BN chết) và bệnh án • sóng Q khổng lồ, ST chênh, T muộn hoặc mổ tử thi (+): Nhồi máu 35 8 7 15 19 13 18 19 21 30 30 13 2 230 CK + 480 440 400 360 320 280 240 200 160 120 80 40 0 Không nhồi máu 0 0 0 0 0 1 1 1 0 5 8 26 88 130 • 35 BN trong nhóm có NM và 0 BN trong nhóm không NM có CK >= 480 •2 Bn trong nhóm có Nm và 88 BN trong nhóm không Nm có CK <40 12 Nhồi máu 15% 3% 3% 7% 8% 6% 8% 8% 9% 13% 13% 6% 1% 100% CK + 480 440 400 360 320 280 240 200 160 120 80 40 0 Không nhồi máu 0 0 0 0 0 1% 1% 1% 0 4% 6% 20% 67% 100% Xác định 37% 63% 0% 100% Nhồi máu 15% 3% 3% 7% 8% 6% 8% 8% 9% 13% 13% 6% 1% 100% CK + 480 440 400 360 320 280 240 200 160 120 80 40 0 Không nhồi máu 0 0 0 0 0 1% 1% 1% 0 4% 6% 20% 67% 100% Xác định 42% 58% 1% 99% Loại trừ 1% 99% 67% 33% 13 Đánh giá nghiệm pháp chẩn đoán Tính độ nhạy, độ đặc hiệu, giá trị dự đoán âm tính và dương tính • Độ nhạy (Sensitivity)= số trường hợp dương tính với nghiệm pháp/ số trường hợp thực sự có bệnh khả năng phát hiện bệnh của nghiệm pháp, dương tính thật • Độ đặc hiệu (Specificity)= số trườnghợp âm tính với nghiệm pháp/ số trường hợp thực sự không có bệnhkhả năng loại trừ TH không có bệnh của nghiệm pháp, âm tính thật Giá trị dự đoán dương tính và giá trị dự đoán âm tính • Độ nhạy và độ đặc hiệu giúp XĐ giá trị của một nghiệmpháp nhưng trên lâm sàng khi một BN âm tính hay dương tính với một nghiệm pháp thì bác sĩ cần biết khả năng thực sự không có bệnh của BN(-) là bao nhiêu hoặc khả năng thực sự có bệnh của một BN (+) là bao nhiêu? Giá trị dự đoán • Giá trị dự đoán dương tính (Positive Predicted Value- PPV)= Số trường hợp dương tính có bệnh/ tổng số trường hợp dương tính • Giá trị dự đoán âm tính (Negative Predicted Value- NPV)= Số TH âm tính không có bệnh/ tổng số âm tính với nghiệm pháp 14 Giá trị dự đoán âm tính và dương tính Chuẩn vàng Nghiệm pháp Tình trạng nhồi máu Tổng Có Không Kết quả xét nghiệm Dương tính Ck>=80 215 a 16 b 231 a+b Âm tính CK<80 c 15 d 114 129 c+d Tổng 230 a+c 130 b+d 360 a+b+c+d PPV= a/(a+b)= 215/231= 93%-> 93% số TH dương tính thực sự có bệnh NPV= d/(b+d)= 114/129=88% 88% số TH âm tính thực sự không có bệnh Tỷ lệ hiện mắc= 230/360= 64% Đặc điểm của PPV và NPV • Độ nhạy và độ đặc hiệu thường không thay đổi ở các quần thể có tỷ lệ hiện mắc bệnh khác nhau • PPV tăng, giảm cùng chiều với tỷ lệ hiện mắc bệnh trong quần thể • NPV tăng giảm ngược chiều với tỷ lệ hiện mắc bênh trong quần thể •  Tính lại PPV và NPV khi SD test để chẩn đoán ở các quần thể khác nhau 15 Giá trị dự đoán âm tính và dương tính : Thay đổi tỷ lệ hiện mắc Chuẩn vàng Nghiệm pháp Tình trạng nhồi máu Tổng Có Không Kết quả xét nghiệm Dương tính Ck>=80 215 a 248 b 463 a+b Âm tính CK<80 c 15 d 1822 1837 c+d Tổng 230 a+c 2070 b+d a+b+c+d PPV= a/(a+b)= 215/463= 46% NPV= d/(b+d)= 1822/1837=99% Tỷ lệ hiện mắc= 230/2300=10% Các chỉ số thường dùng Độ nhạy (Sensitivity)= khả năng một người có bệnh mà dương tính (tính đúng đắn của xét nghiệm đối với người mắc bệnh) P(T+ | D+) Độ đặc hiệu (Specificity) = khă năng một người không có bệnh mà âm tính (tính đúng đắn của xét nghiệm đối với người không mắc bệnh) P(T- | D-) Giá trị dự đoán dương tính (PV+): : khả năng một người dương tính mà có bệnh (tỉ lệ xét nghiệm đúng ở người có kết quả dương) P(D+ | T+) Giá trị dự đoán âm tính (PV-) : khả năng một người âm tính mà có bệnh (tỉ lệ xét nghiệm đúng ở người có kết quả âm) P(D- | T-) Khả năng phân biệt bệnh – không bênh của test: ROC analysis (AUC) : diện tích vùng dưới đường cong ROC Hệ số đúng (+/-)- (likelihood ratio- LK+/-) 16 a d c b Thực tế có bệnh + - Test + - Sensitivity: a / (a + c) Specificity: d / (b + d) PV+: a / (a + b) PV-: d / (c + d) Prev: (a+c)/(a+b+c+d) Ví dụ • Dùng test đo hàm lượng đường máu để chẩn đoán bệnh đái tháo đường cho một nhóm gồm 10000 người. Biết rằng trong đó có 500 bệnh nhân đã được chẩn đoán đái tháo đường. Sử dụng test này cho kết quả dương tính trên 2250 người, tuy nhiên trong số dương tính chỉ có 350 người thực sự mắc bệnh. 17 350 7600 150 1900 Tình hình bệnh thực tế + - Test + - Sensitivity: a / (a + c) = 350/ (350 + 150) = 70% Specificity: d / (b + d) = 7600 / (1900 + 7600) = 80% PV+: a / (a + b) = 350 / (350 + 1900) = 15,6% PV-: d / (c + d) = 7600 / (150 + 7600) = 98% 2250 7750 500 9500 Sử dụng stata • diagt • diagti 18 • Bài tập: Đối với bệnh lý phình động mạch não, chụp cộng hưởng từ không những đánh giá tốt các đặc điểm của túi phìnhcũng như tổn thương nhu mô não liên quan, mà còn đánh giá được hình ảnh toàn bộ mạch máu não, cho nhiều thông tin giúp đánh giá tổng thể tổn thương để có quyết định điều trị thích hợp Đánh giá khả năng phát hiện PĐMN trên CHT đối chiếu với CMSHXN người ta thực hiện trên 88 BN, CHT sử dụng xung TOF và xung mach Gd+ rồi sử dụng kết quả chụp mạch số hóa xóa nền làm chuẩn vàng để đánh giá. - File số liệu: chan doan phinh mach nao.dta - Biến số: - Chuẩn : pdmntrendsa - CHT: pdmntrentof, pdmntrengd Đánh giá khả năng phát hiện PĐMN trên CHT đối chiếu với CMSHXN (tính theo số bệnh nhân) CMSHXN CHT CMSHXN Tổng Số BN Có Không Xung TOF Có 47 2 50 Không 6 1 6 Tổng số BN 53 3 56 CMSHXN Tổng Số BN Có Không Xung mạch + Gd Có 47 2 49 Không 6 1 7 Tổng số BN 53 3 56 19 Với chuẩn vàng là Chụp mạch số hóa xóa nền (CMSHXN), CHT xung mạch TOF có: Độ nhạy = 47/53 = Độ đặc hiệu = 1/3 = Giá trị dự báo dương tính = 47/50 = Giá trị dự báo âm tính = 1/6 = CHT xung mạch có tiêm thuốc có: Độ nhạy = Độ đặc hiệu = Giá trị dự báo dương tính = Giá trị dự báo âm tính = Phân tích ROC  Phân tích ROC để kiểm tra khả năng phân biệt của test giữa trường hợp bệnh và không bệnh.  Vẽ đường cong ROC: nối các điểm cắt giữa độ nhạy (Sens) và 1- độ đặc hiệu (1- Spe)  Diện tích vùng dưới đường cong ROC (AUC): Giá trị từ 0,5 đến 1 ◦ Giá trị =0,5: khả năng phân biệt của test chỉ như may rủi ◦ Giá trị >=0,75: khả năng phân biệt chấp nhận được.  .90-1 = rất tốt(A)  .80-<.90 = tốt (B)  0.7- <.80 = TB  .60-<.70 = kém (D)  .50-.60 = rất kém (F) ◦ Giá trị=1: test phân biệt được chính xác tất cả các trường hợp bệnh- không bệnh ◦ Lưu ý khoảng tin cậy của AUC: không được chứa 0,5 20 Sử dụng Stata • roctab ,d gr • roccomp , gr sum • rocgold , gr sum • File so lieu: nhoimaucotim.dta 21 0 .0 0 0 .2 5 0 .5 0 0 .7 5 1 .0 0 S e n s it iv it y 0.00 0.25 0.50 0.75 1.00 1-Specificity CK ROC area: 0.7427 tnt ROC area: 0.7492 Reference Sens 99%; Spe. 95% D+ D- Tổng T+ 99 495 594 T- 1 9405 9406 Tổng 100 9900 10000 D+ D- Tổng T+ 495 475 970 T- 5 9025 9030 Tổng 500 9500 10000 Prev: 1% Prev: 5% Tỷ lệ hiện mắc không ảnh hưởng đến Sen and Spe 22 Sens 100%; Prev. 10% D+ D- Tổng T+ 1000 2700 3700 T- 0 6300 6300 Tổng 1000 9000 10000 D+ D- Tổng T+ 1000 450 1450 T- 0 8550 8550 Tổng 1000 9000 10000 Spe: 70% Spe: 95% Sử dụng nhiều test chẩn đoán D+ D- Tổng T+ 350 1900 2250 T- 150 7600 7750 Tổng 500 9500 10000 D+ D- Tổng T+ 315 190 505 T- 35 1710 1745 Tổng 350 1900 2250 • Lần lượt (Sequential tests) 500 trường hợp bệnh SD test 2 SD test 1 Sen=315/500=63% Spe.=(1710 +7600)/9500=98% 350 TH + 315 TH + 23 Sử dụng nhiều test chẩn đoán • Đồng thời (Simultenous tests) Test 2 Test 1 Co 315 TH + với cả 2 test Có 350-315=35 TH chỉ (+) với Test 1 Có 450-315=135 TH chỉ (+) với Test 2 Có 315 + 35 + 135=485 TH (+) với ít nhất 1 test Sens=485/500 =97% Sử dụng nhiều test chẩn đoán • Đồng thời (Simultenous tests) Test 2 Test 1 Co 6840 TH (-) với cả 2 test Spe. =6840/9500=72% 24 Tính tỷ lệ mắc bệnh thực tế AP + (Specificity-1) = ------------------------------------ (Sensitivity + Specificity-1) Hệ số chẩn đoán đúng (Likehood ratio) • Khả năng có kết quả nào đó ở nhóm có bệnh so với khả năng có kết quả đó ở nhóm không có bệnh. • Hệ số đúng (+) viết tắt là LK(+): Khả năng test (+) ở nhóm có bệnh Sensitivity ------------------------------------------------------------- = ------------------------- Khả năng test (+) ở nhóm không có bệnh 1- Specificity • Hệ số đúng (-) viết tắt là LK(-) Khả năng test (-) ở nhóm có bệnh 1- Sensitivity ------------------------------------------------------------- = ------------------------- Khả năng test (-) ở nhóm không có bệnh Specificity