Phương pháp học Bayes Bayesian classification

Transcription

1 Khoa Công Nghệ Thông Tin Trường Đại Học Cần Thơ Phương pháp học Bayes Bayesian classification Đỗ Thanh Nghị Cần Thơ

2 Nội dung Kết luận và hướng phát triển

3 Nội dung Kết luận và hướng phát triển

4 Bayesian classification lớp các giải thuật học dựa trên theorem Bayes mạng Bayes và naive Bayes kết quả sinh ra có thể dịch được giải quyết các vấn đề về phân loại, gom nhóm, etc. được ứng dụng thành công : phân tích dữ liệu, phân loại text, spam, etc. 4

5 Kỹ thuật DM thành công trong ứng dụng thực (004) 5

6 Nội dung Kết luận và hướng phát triển 6

7 Giải thuật naive Bayes ngây thơ các thuộc tính (biến) có độ quan trọng như nhau các thuộc tính (biến) độc lập có điều kiện khi được cho lớp/nhãn nhận xét giả thiết các thuộc tính độc lập không bao giờ đúng nhưng trong thực tế, naive Bayes cho kết quả khá tốt 7

8 Dữ liệu weather, dựa trên các thuộc tính (Outlook, Temp, Humidity, Windy), quyết định (play/no) Outlook Temp Humidity Windy Play Sunny Hot High False No Sunny Hot High True No Overcast Hot High False Yes Rainy Mild High False Yes Rainy Cool Normal False Yes Rainy Cool Normal True No Overcast Cool Normal True Yes Sunny Mild High False No Sunny Cool Normal False Yes Rainy Mild Normal False Yes Sunny Mild Normal True Yes Overcast Mild High True Yes Overcast Hot Normal False Yes Rainy Mild High True No 8

9 Dữ liệu weather, dựa trên các thuộc tính (Outlook, Temp, Humidity, Windy), quyết định (play/no) Sunny Overcast Rainy Sunny Overcast Rainy Outlook Yes 4 /9 4/9 /9 No 0 /5 0/5 /5 Temperature Hot Mild Cool Hot Mild Cool Yes 4 /9 4/9 /9 No 1 /5 /5 1/5 High Normal High Normal Humidity Yes 6 /9 6/9 No 4 1 4/5 1/5 False True False True Windy Yes 6 6/9 /9 No /5 /5 Yes 9/14 Outlook Temp Humidity Windy Play Sunny Hot High False No Sunny Hot High True No Overcast Hot High False Yes Rainy Mild High False Yes Rainy Cool Normal False Yes Rainy Cool Normal True No Overcast Cool Normal True Yes Sunny Mild High False No Sunny Cool Normal False Yes Rainy Mild Normal False Yes Sunny Mild Normal True Yes Overcast Mild High True Yes No 5/14 Overcast Hot Normal False Yes Rainy Mild High True No 9 9 Play 5

10 Dữ liệu weather, dựa trên các thuộc tính (Outlook, Temp, Humidity, Windy), quyết định (play/no) Outlook Temperature Humidity Windy Play Yes No Yes No Yes No Yes No Yes No Sunny Hot High 4 False Overcast 4 0 Mild 4 Normal 6 1 True Rainy Cool 1 Sunny /9 /5 Hot /9 /5 High /9 4/5 False 6/9 /5 9/14 5/14 Overcast 4/9 0/5 Mild 4/9 /5 Normal 6/9 1/5 True /9 /5 Rainy /9 /5 Cool /9 1/5 quyết định (play=yes/no) Outlook Temp. Humidity Windy Play Sunny Cool High True? Likelihood(yes) = /9 x /9 x /9 x /9 x 9/14 = Likelihood(no) = /5 x 1/5 x 4/5 x /5 x 5/14 = Xác suất : P(yes) = / ( ) = 0.05 P(no) = / ( ) =

11 Luật Bayes Probability of event H given evidence E : A priori probability of H : Pr[H] Probability of event before evidence is seen A posteriori probability of H : Pr[H E] Pr[ H E] Pr[ E H ]Pr[ H ] Pr[ E] Probability of event after evidence is seen 11

12 Luật Bayes học phân lớp khi có dữ liệu đến naïve : Evidence E = dữ liệu Event H = giá trị lớp của dữ liệu Pr[ E1 H ]Pr[ E Pr[ H E] H ] Pr[ E Pr[ E] n H ]Pr[ H ] 1

13 Luật Bayes Outlook Temp. Humidity Windy Play Sunny Cool High True? Evidence E Pr[ yes E] Pr[ Outlook Sunny yes] Pr[ Temperature Cool yes] xác suất của lớp yes Pr[ Humidity High Pr[ Windy True Pr[ yes] Pr[ E] yes] yes] Pr[ E]

14 Xác suất = 0 giá trị của thuộc tính không xuất hiện trong tất cả các lớp ( Humidity = high của lớp yes ) Probability will be zero! Pr[ Humidity A posteriori probability will also be zero! High yes] 0 Pr[ yes E] 0 sử dụng Laplace estimator xác suất không bao giờ có giá trị 0 14

15 Laplace estimator ví dụ : thuộc tính outlook cho lớp yes / 4 / 9 9 / 9 Sunny Overcast Rainy trọng số có thể không bằng nhau, nhưng tổng phải là 1 1 p 9 4 p 9 p 9 Sunny Overcast Rainy 15

16 Giá trị thuộc tính nhiễu học : bỏ qua dữ liệu nhiễu phân lớp : bỏ qua các thuộc tính nhiễu ví dụ : Outlook Temp. Humidity Windy Play? Cool High True? Likelihood(yes) = /9 /9 /9 9/14 = 0.08 Likelihood(no) = 1/5 4/5 /5 5/14 = 0.04 P(yes) = 0.08 / ( ) = 41 P(no) = 0.04 / ( ) = 59 16

17 Dữ liệu liên tục 17

18 Dữ liệu liên tục giả sử các thuộc tính có phân phối Gaussian hàm mật độ xác suất được tính như sau mean 1 n n i 1 x i standard deviation 1 n n 1 i1 ( x i ) hàm mật độ xác suất f(x) f ( x ) 1 ( x) e Karl Gauss, great German mathematician 18

19 Dữ liệu liên tục (667) 1 ví dụ : 6. f ( temperature 66 yes) e

20 Dữ liệu liên tục phân lớp Outlook Temp. Humidity Windy Play Sunny true? Likelihood(yes) = / /9 9/14 = Likelihood(no) = / /5 5/14 = P(yes) = / ( ) = 0.9 P(no) = / ( ) =

21 Nội dung Kết luận và hướng phát triển 1

22 Kết luận naïve Bayes cho kết quả tốt trong thực tế mặc dù chịu những giả thiết về tính độc lập có điều kiện (khi được cho nhãn/lớp) của các thuôc tính phân lớp không yêu cầu phải ước lượng một cách chính xác xác suất dễ cài đặt, học nhanh, kết quả dễ hiểu sử dụng trong phân loại text, spam, etc tuy nhiên khi dữ liệu có nhiều thuộc tính dư thừa thì naïve Bayes không còn hiệu quả dữ liệu liên tục có thể không tuân theo phân phối chuẩn (=> kernel density estimators)

23 Hướng phát triển naïve Bayes chọn thuộc tính con từ các thuộc tính ban đầu chỉ sử dụng các thuộc tính con để học phân lớp mạng Bayes : mối liên quan giữa các thuộc tính tìm kiếm thông tin (ranking)

24