Mạng nơron và ứng dụng trong xử lý tín hiệu - Kết hợp mẫu

Nguyễn Công Phương Mạng nơron và ứng dụng trong xử lý tín hiệu Kết hợp mẫu Nội dung • Giới thiệu • Các mạng nơron đơn giản dùng cho phân loại mẫu • Kết hợp mẫu • Các mạng cạnh tranh • Lý thuyết cộng hưởng thích nghi • Mạng lan truyền ngược Lô í h ờ à ơ lô í h ờ• g c m v mạng n ron g c m • Một số ứng dụng trong xử lý tín hiệu 2Kết hợp mẫu Nội dung • Giới thiệu • Các thuật toán huấn luyện • Mạng ký ức dị kết • Mạng ký ức tự kết • Mạng tự kết lặp • Mạng ký ức kết hợp lưỡng hướng 3Kết hợp mẫu Giới thiệu • Học: thiết lập sự kết hợp giữa các mẫu có liên quan • VD: nhận ra một người • Mạng ký ức: mạng một lớp có khả năng ghi nhớ sự kết hợp của các mẫu • Đồng kết: véctơ được kết hợp giống với véctơ mục đích • Dị kết: véctơ được kết hợp khác với véctơ mục đích • Khả năng ghi nhớ của mạng Kết hợp mẫu 4 Nội dung • Giới thiệu • Các thuật toán huấn luyện • Mạng ký ức dị kết • Mạng ký ức tự kết • Mạng tự kết lặp • Mạng ký ức kết hợp lưỡng hướng 5Kết hợp mẫu ấCác thuật toán hu n luyện (1) Bước 1 Khởi tạo tất cả các trọng số wi = 0 (i = 1 tới n) Bước 2 Đặt giá trị cho các nơron đầu vào xi = si Bước 3 Đặt giá trị cho nơron đầu ra yj = tj Bước 4 Chỉnh trọng số wi(mới) = wi(cũ) + xiyj (i = 1 tới n) Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện ( ) ( ) P ij i jw s p t p  ( ) ( )P T p p W s t Kết hợp mẫu 6 1p 1p ấCác thuật toán hu n luyện (2) j ij i i y w x  ( ) ( ) ( )míi còw w t y x ij ij j j i ( )ij j j iw t y x   Kết hợp mẫu 7 ấCác thuật toán hu n luyện (3) 1 ( _ ); _ n J J J iJ i i y f y vao y vao w x    2( ) m j je t y  1j _2( ) 2( ) '( )JJ J J J I J e y vaot y t y x f y vao       _ IJ IJw w  ( ) '( )IJ J J I Jw t y x f y vao   Kết hợp mẫu 8 _ Nội dung • Giới thiệu • Các thuật toán huấn luyện • Mạng ký ức dị kết • Mạng ký ức tự kết • Mạng tự kết lặp • Mạng ký ức kết hợp lưỡng hướng 9Kết hợp mẫu ếMạng ký ức dị k t (2) X1 w1j Y1w11 w 1 1 _ 0 0 0 nÕu nÕu jy vao y y vao   X  Y i wn1 w _ 1 _ 0 nÕu j j jy vao     i  j w1m ij w 1 _ 0nÕu jy vaoy   Xn Ym im wnm 0 _ 0nÕu j jy vao  Kết hợp mẫu 10 ếMạng ký ức dị k t (3) s1 s2 s3 s4 t1 t2 VD1 4 y vao w x X1 w11 w12 1 0 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 1 1 _ j ij i i X2 Y1w21 w22 0 0 1 1 0 1 (1,0,0,0) : (1,0) X3 Y2 w w31 w32 1 21; 0y y  11 11 1 1( ) ( ) 0 1 1míi còw w x y     (1 1 0 0) (1 0) X4 41 w42 1 0nÕu jy vao  , , , : , 1 21; 0y y  11 11 1 1( ) ( ) 1 1 2míi còw w x y     Kết hợp mẫu 11 _ 0 _ 0nÕu j j y y vao  21 21 2 1( ) ( ) 0 1 1míi còw w x y     ếMạng ký ức dị k t (4) s1 s2 s3 s4 t1 t2 VD1 2 0  Cách 1 1 0 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 1 1 0 0 1 0 2        w 0 0 1 1 0 1 (1,0,0,0) : (1,0) (0,0,0,1) : (0,1) 1 21; 0y y  11 11 1 1( ) ( ) 0 1 1míi còw w x y     (1 1 0 0) (1 0) 1 20; 1y y  42 42 4 2( ) ( ) 0 1 1míi còw w x y     (0 0 1 1) : (0 1), , , : , 1 21; 0y y  11 11 1 1( ) ( ) 1 1 2míi còw w x y     , , , , 1 20; 1y y  32 32 3 2( ) ( ) 0 1 1míi còw w x y     Kết hợp mẫu 12 21 21 2 1( ) ( ) 0 1 1míi còw w x y     42 42 4 2( ) ( ) 1 1 2míi còw w x y     ếMạng ký ức dị k t (5) s1 s2 s3 s4 t1 t2 VD1 4 y vao w x X1 w11 w12 1 0 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 1 1 _ j ij i i X2 Y1w21 w22 0 0 1 1 0 1 2 0  X3 Y2 w w31 w32 1 0 0 1 0 2        w X4 41 w42 1 0nÕu jy vao  1 1 2_ 2 2 y vao x x  Kết hợp mẫu 13 _ 0 _ 0nÕu j j y y vao  2 3 4 _y vao x x  ếMạng ký ức dị k t (6) s1 s2 s3 s4 t1 t2 VD1 Cách 2 1 0 1 0 0 0 0 0 2 0         1 0 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1                                          w 0 0 1 1 0 1 (1,0,0,0) : (1,0) 1 1 0       (0,0,0,1) : (0,1) 0 0 0       0 0 0 0 0 1 0 1 0 2           (1) 0 0 01 0 0 0 0 0 0 0               w (1 1 0 0) (1 0)  (3) 0 0 00 1 0 0 0 1 0 1               w (0 0 1 1) : (0 1), , , : ,  (2) 1 1 0 1 1 0 1 0           w , , , ,  (4) 0 0 0 0 0 0 0 1           w Kết hợp mẫu 14 0 0 0 0 0 0           1 0 1 1 0 1           ếMạng ký ức dị k t (7) s1 s2 s3 s4 t1 t2 VD1 X1 w11 w12 1 0 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 1 X2 Y1w21 w22 0 0 1 1 0 1 2 0  X3 Y2 w w31 w32 1 0 0 1 0 2        w X4 41 w42 1 0nÕu jy vao    1 2 1 2 3 4 2 0 1 0 y vao y vao x x x x       Kết hợp mẫu 15 _ 0 _ 0nÕu j j y y vao   _ _ 0 1 0 2   ếMạng ký ức dị k t (8) s1 s2 s3 s4 t1 t2 VD2 4 4 1 –1 –1 –1 1 –1 1 1 –1 –1 1 –1 –1 –1 –1 1 –1 1 2 2 2 2        w –1 –1 1 1 –1 1 (1, 1, 1, 1) : (1, 1)    1 1 1       ( 1, 1, 1,1) : ( 1,1)    1 1 1        4 4   (1) 1 1 11 1 1 1 1 1 1 1                   w (1 1 1 1) (1 1)  (3) 1 1 11 1 1 1 1 1 1 1                  w ( 1 1 1 1) : ( 1 1), , , : ,    (2) 1 1 1 1 1 1 1 1            w , , , ,    (4) 1 1 1 1 1 1 1 1              w Kết hợp mẫu 16 1 1 1 1 1 1             1 1 1 1 1 1           ếMạng ký ức dị k t (9) s1 s2 s3 s4 t1 t2 VD3 2 0  y vao x w1 0 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 1 1 0 0 1 0 2        w 1 _ 0 0 _ 0 nÕu nÕu j j j y vao y y vao     _ . 0 0 1 1 0 1 Kiểm tra: x1 = (0,1,0,0) & x2 = (0,1,1,0)?    1 2 0 1 0 0 1 0 0 1 0      y vao    2 2 0 1 0 0 1 1 0 1 1      y vao0 1 0 2   _ 0 1 0 2   _ Kết hợp mẫu 17  1 1 0 y  2 1 1 y ếMạng ký ức dị k t (10)VD4 4 4 s1 s2 s3 s4 t1 t2 y vao x w 2 2 2 2 4 4        w 1 –1 –1 –1 1 –1 1 1 –1 –1 1 –1 –1 –1 –1 1 –1 1 1 _ 0 1 _ 0 nÕu nÕu j j j y vao y y vao     _ .  Kiểm tra x = (0,1,0,–1)? –1 –1 1 1 –1 1 4 4     2 20 1 0 1 6 6 2 2 4 4         y_vao  1 1  y Kết hợp mẫu 18 Nội dung • Giới thiệu • Các thuật toán huấn luyện • Mạng ký ức dị kết • Mạng ký ức tự kết • Mạng tự kết lặp • Mạng ký ức kết hợp lưỡng hướng 19Kết hợp mẫu ếMạng ký ức tự k t (2) X1 w1j Y1w11 w 1 X  Y i wn1 w 1 _ 0nÕu j j y vao y  i  j w1n ij w 1 _ 0nÕu jy vao  Xn Yn in wnn Kết hợp mẫu 20 ếMạng ký ức tự k t (3) Bước 1 Khởi tạo tất cả các trọng số wi = 0 (i = 1 tới n) B ớ 2 Đặt iá t ị h á đầ àư c g r c o c c nơron u v o xi = si Bước 3 Đặt giá trị cho nơron đầu ra yj = tj Bước 4 Chỉnh trọng số wi(mới) = wi(cũ) + xiyj (i = 1 tới n) Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện ( ) ( ) P T i i w s s Kết hợp mẫu 21 1i ếMạng ký ức tự k t (4)VD1 Xây dựng mạng nơron lưu trữ x1 = (1,1,1,–1)? P 1 ( ) ( )T i i i   w s s  1 1 1 1 1 1 1 1 1 1 1 1 1 1 1               w 1 1 1 1 1 1 1 1 1 1           Kết hợp mẫu 22 ếMạng ký ức tự k t (5)VD2 1 1 1 1  1 (1,1,1, 1) x 1 1 1 1 1 1 1 1       w 2 3 4 ( 1,1,1, 1) (1, 1,1, 1) (1,1, 1, 1)          x x x Cho ; tính: 1 1 1 1    5 (1,1,1,1)x 1 1 1 1     1 1 1 1 1 11 1 1 1 4 4 4 41 1 1 1           y_vao x w 1 1 1 1     1 1 1 1 Kết hợp mẫu 23 1  y ếMạng ký ức tự k t (6)VD2 1 1 1 1  1 (1,1,1, 1) x 1 1 1 1 1 1 1 1       w 2 3 4 ( 1,1,1, 1) (1, 1,1, 1) (1,1, 1, 1)          x x x Cho ; tính: 1 1 1 1    5 (1,1,1,1)x    4 4 4 4 1 1 1 1     y vao x w y    2 2 22 2 2 2 1 1 1 1     y_vao x w y 1 1 1_    3 3 32 2 2 2 1 1 1 1     y_vao x w y    4 4 42 2 2 2 1 1 1 1     y_vao x w y Kết hợp mẫu 24    5 5 52 2 2 2 1 1 1 1     y_vao x w y ếMạng ký ức tự k t (7)VD3 1 1 1 1  1 (1,1,1, 1) x 1 1 1 1 1 1 1 1       w 2 3 4 (0,1,1, 1) (1,0,1, 1) (1,1,0, 1)       x x x Cho ; tính: 1 1 1 1    5 (1,1,1,0)x    4 4 4 4 1 1 1 1     y vao x w y    2 2 23 3 3 3 1 1 1 1     y_vao x w y 1 1 1_    3 3 33 3 3 3 1 1 1 1     y_vao x w y    4 4 43 3 3 3 1 1 1 1     y_vao x w y Kết hợp mẫu 25    5 5 53 3 3 3 1 1 1 1     y_vao x w y ếMạng ký ức tự k t (8)VD4 1 1 1 1  1 1 1 1 1 1 1 1       w 1 2 (1,1,1, 1) ( 1, 1,1, 1)       x x Cho ; tính: 1 1 1 1       4 4 4 4 1 1 1 1     y vao x w y  2 2 0 0 0 0 y_vao x w 1 1 1_ Kết hợp mẫu 26 ếMạng ký ức tự k t (9)VD5 1 1 1 1 0 1 1 1        1 (1,1,1, 1) x 0 1 1 1 1 1 0 1 1 ; 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0                      w w 2 3 (0,0,1, 1) (0,1,0, 1) (0 1 1 0)      x x x Cho ; tính:    4 4 4 4 1 1 1 1     y vao x w y 4 5 6 , , , (1,0,0, 1) (1,0,1,0)    x x    1 1 0 13 3 3 3 1 1 1 1     y_vao x w y 1 1 1_     7 (1,1,0,0)x 2 2 0 22 2 1 1 1 1 1 1     y_vao x w y    3 3 0 32 1 2 1 1 1 1 1     y_vao x w y Kết hợp mẫu 27    4 4 0 42 1 1 2 1 1 1 1     y_vao x w y ếMạng ký ức tự k t (10) a) Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1) b) Xây dựng mạng nơron lưu trữ x = ( 1 1 1 1) VD6 2 – , , ,–     1 1 1 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 ; 1 1 1 1 1 1 1 1 T T                           w x x w x x 1 1 1 1 1 1 1 1           Hoặc 10 20 0 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 ; 1 1 0 1 1 1 0 1                         w w Kết hợp mẫu 28 1 1 1 0 1 1 1 0       ếMạng ký ức tự k t (11) Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1) & x2 = (–1,1,1,–1) VD7     1 1 1 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 ; 1 1 1 1 1 1 1 1 T T                           w x x w x x 1 1 1 1 1 1 1 1       2 0 2 0 0 2 0 2     1 1 4 4 4 4   y_vao x w 1 2 2 0 2 0 0 2 0 2         w w w  1 1 1 1 1   y  1 1 0 2 2 2 2   y_vao x w Hoặc 0 0 0 2 0 0 0 0 2 2 0 0 0      w  1 1 1 1 1   y  2 2 0 2 2 2 2   y vao x w Kết hợp mẫu 29 0 2 0 0     2 1 1 1 1    _ y ếMạng ký ức tự k t (12) Xây dựng mạng nơron lưu trữ x1 = (1,–1,–1, 1) & x2 = (1,1,–1,1) VD8     1 2 0 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 ; 1 1 0 1 1 1 0 1                        w w 1 1 1 0 1 1 1 0      0 0 2 2 0 0 0 0    1 2 2 0 0 2 2 0 2 0          w w w  1 1 0 4 0 4 4  y_vao x w Kết hợp mẫu 30  2 2 0 4 0 4 4  y_vao x w ếMạng ký ức tự k t (13) Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1), x2 = (–1,1,1,–1), & x3 = (–1,1,–1,1) VD9       10 20 30 0 1 1 1 0 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 1 0 1 1 ; 1 1 0 1 1 1 0 1 1 1 0 1                                        w w w 1 1 1 0 1 1 1 0 1 1 1 0           0 1 1 1 1 0 1 1      0 10 20 30 1 1 0 1 1 1 1 0                w w w w    1 1 0 11 1 1 1 1 1 1 1       y_vao x w y    2 2 0 21 1 1 1 1 1 1 1       y_vao x w y Kết hợp mẫu 31    3 3 0 31 1 1 1 1 1 1 1       y_vao x w y ếMạng ký ức tự k t (14) Xây dựng mạng nơron lưu trữ x1 = (1,1,–1,–1), x2 = (–1,1,1,–1), x3 = (–1,1,–1,1), & x = (1 1 1 1) VD10 4 , , , . 0 1 1 1 0 1 1 1 0 1 1 1                10 20 30 1 0 1 1 1 0 1 1 1 0 1 1 ; 1 1 0 1 1 1 0 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 1 0                                       w w w 0 1 1 1 1 0 1 1     0 0 0 0 0 0 0 0     40 1 1 0 1 1 1 1 0      w 0 10 20 30 40 0 0 0 0 0 0 0 0          w w w w w Kết hợp mẫu 32 ếMạng ký ức tự k t (15) n – 1 véctơ phân cực (mỗi véctơ có n phần tử) trực giao lẫ h l ô l l i đ t ột t kếtn n au u n ưu ạ ược rong m mạng ự Kết hợp mẫu 33 Nội dung • Giới thiệu • Các thuật toán huấn luyện • Mạng ký ức dị kết • Mạng ký ức tự kết • Mạng tự kết lặp • Mạng ký ức kết hợp lưỡng hướng 34Kết hợp mẫu ếMạng tự k t lặp (1)VD1 0 1 1 1  1 0 1 1 1 1 0 1       w 1 2 (1,1,1, 1) (1,0,0,0)    x x Cho ; tính: 1 1 1 0     (1)2 2 0 1 1 1  y_vao x w  (2) (1)2 2 3 2 2 2  y_vao y_vao w  1 1 1 1  y Kết hợp mẫu 35 ếMạng tự k t lặp (2) Bước 1 Khởi tạo tất cả các trọng số & các hệ số học Bước 2 Đặt giá trị kích hoạt yi = xi Bước 3 Tính các đầu vào Bước 4 Tính các đầu ra _ i i j ji j y vao y y w   1 _ 1 _ 1 _ 1 1 1 nÕu nÕu nÕu i i i i i y vao y y vao y vao y vao       Bước 4 Chỉnh trọng số wij(mới) = wij(cũ) + βyiyj Bước 5 Lặp lại các bước 2, 3, 4 cho tất cả cặp đầu vào & đầu ra của bộ huấn luyện _ Kết hợp mẫu 36