Nội dung nội dung bài viết 2. ICA Phân tích nguyên tố độc lập2.2 Một vài ba sự việc nhập nhằng vào mô hình4. Trung tâm giải thích ICA5. Tiền xử lý ICA6. FastICA7. Cài đặt thuật tân oán
Independent Component Analysis (so với yếu tắc độc lập) là 1 trong những phương pháp thống kê được thi công nhằm bóc tách tránh biểu lộ các chiều thành những nguyên tố dấu hiệu độc lập ẩn sâu bên dưới dữ liệu. Kỹ thuật này yên cầu bắt buộc đưa ra đưa tngày tiết mãi sau những mối cung cấp bộc lộ dưới nongaussianity với chủ quyền những thống kê từng song một. Thuật toán thù ICA có nhiều áp dụng thoáng rộng trong tương đối nhiều bài xích tân oán không giống nhau như cách xử trí biểu thị, kinh tế học, sinc tin học,…

*

Xung xung quanh họ, mãi sau không ít nguồn biểu đạt phân phát ra một bí quyết độc lập, tự do tại đây hoàn toàn có thể gọi một bí quyết nôm na là chẳng liên quan tác động gì mang đến nhau vào bài toán tạo nên tín hiệu, tuy vậy Việc thu thập dữ liệu đôi khi lại hòa trộn các nguồn sát vào nhau. Liệu bao gồm một chiến thuật nào đó mà chúng ta cũng có thể phục sinh dữ liệu về dạng nguim bản, ko trộn lẫn sát vào nhau xuất xắc không?

Dữ liệu nhiều chiều thường có thể được xem tựa như những con số đo lường được có mặt một giải pháp gián tiếp từ bỏ đa số mối cung cấp bên dưới không quan lại tiếp giáp được. Một số ví dụ cầm cố thể:

Trong tư tưởng học tập, những bài bác kiểm soát hay chỉ dẫn những thắc mắc thực tiễn nhằm đo đều nhân tố không quan tiền cạnh bên được làm việc bên dưới, chẳng hạn tính toán về: sự sáng sủa, lòng kiêu dũng,…

Điện não đồ dùng (EEG - Electroencephalography): là một trong phương thức lưu lại xung điện tự những nơ ron vào óc, ICA được áp dụng nhằm tách bóc những dấu hiệu này thành các biểu lộ yếu tắc độc lập bên dưới, nhằm khử nhiễu, chắt lọc gần như đặc thù cân xứng.

Bạn đang xem: Thuật toán phân tích thành phần độc lập

Trong sinch tin học tập, bạn ta có tác dụng xem sét cùng với từng tế bào để bỏ túi một nút biểu hiện làm sao kia với gien, tài liệu tích lũy được lưu giữ thành một ma trận biểu thị nhằm Ship hàng so với. Liệu có những nhân tố độc lập như thế nào ẩn sâu dưới bỏ ra phối toàn thể quá trình tạo cho phần đa bộc lộ này?

ICA (Independent Component Analysis) với PCA (Principal Component Analysis) là nhì phương thức bao gồm mô hình tương tự nhau, chỉ khác nhau bí quyết đưa ra trả tmáu, dẫn mang đến cách giải quyết và xử lý bài toán không giống nhau. ICA mang tngày tiết rằng trường thọ một mô hình cơ mà dữ liệu có thể trình diễn từ đầy đủ vươn lên là tự nhiên bên dưới hòa bình thống kê, ngoài ra PCA mang tngày tiết rằng tồn tại một mô hình cơ mà dữ liệu hoàn toàn có thể màn biểu diễn từ đông đảo biến hóa bỗng nhiên bên dưới ko tương quan.

ICA là 1 trong mức sử dụng tâm đắc để phát hành các đặc thù tương xứng và trẻ khỏe cho nhiều bài bác toán công nghệ tài liệu.

1. Một bài bác toán ví dụ minc họa

Trong 1 căn chống nọ, gồm $3$ tín đồ nói chuyện tự do cùng nhau, cnạp năng lượng phòng được một “thám tử dữ liệu” thêm $3$ chiếc máy thu thanh ($X_1$, $X_2$ với $X_3$) sống rất nhiều vị trí khác biệt.

Mỗi thời hạn $t$, mỗi cái máy đánh dấu được tín hiệu âm tkhô giòn bị trộn lẫn bởi tiếng nói của tất cả ba tín đồ. Vì mỗi chiếc máy thu thanh đặt ở các địa điểm khác nhau trong căn uống phòng, yêu cầu âm thanh hao nhận được từng chiếc máy khác nhau, lớn hay nhỏ dựa vào vào khoảng cách chiếc máy thu thanh đặt gần tuyệt xa.

*

Gần xa, to nhỏ… suy nghĩ đi nghĩ về lại hoàn toàn có thể đặt một trọng số $a$ gì đấy biểu hiện được sự nhờ vào này. Vậy nên chúng ta cũng có thể trợ thì đặt $a_ij$ là trọng số của sản phẩm ghi âm $i$ nhận được từ bỏ mối cung cấp $j$, chẳng hạn:

$$ X_1 = a_11 S_1 + a_12 S_2 + a_13 S_3$$

Hừm, những mối cung cấp là chủ quyền, ông $S_1$ sẽ hát vu vơ “mây và tóc em bay vào chiều gió lộng…”, ông $S_2$ thì sẽ trả lời điện thoại cảm ứng thông minh, ông $S_3$ thì ngồi đờ đẫn đọc thơ… Ba âm thanh khô chẳng liên quan gì nhau hòa xáo trộn lộn sát vào nhau được mỗi chiếc máy ghi âm ghi lại.

Thương Mại Dịch Vụ theo dõi và quan sát “tư chấm không 4.0” quý khách hàng lại hưởng thụ cần có cả phiên bản thô và phiên bản đã làm được up date nhằm nghe rõ giọng từng người… yêu cầu làm sao bây giờ?

2. ICA Phân tích thành phần độc lập

2.1 Mô hình ICA

Giả sử chúng ta thu được $p$ trở thành tự nhiên quan liền kề được $X_1, X_2,… X_p$ và đưa định rằng từng biến hóa thiên nhiên quan liêu gần kề được $X_i$ có thể thể biểu diễn vì $p$ đổi thay thốt nhiên chủ quyền những thống kê ko quan lại liền kề được $S_1, S_2,… S_p$ dựa vào vào trọng số $a_i1, a_i2,… a_ip$, bạn cũng có thể viết lại mô hình ICA như sau:

$$ eginarray*20c X_1 & = & a_11 S_1 + a_12 S_2 + … + a_1p S_p \ X_2 và = & a_21 S_1 + a_22 S_2 + … + a_2p S_p \ vdots và và vdots \ X_p & = và a_p1 S_1 + a_p2 S_2 + … + a_pp S_p endarray $$

Viết lại dạng ma trận:

$$ underbrace color#ff2d55 X_(p imes 1) = underbrace mathbfA_(p imes p) underbrace color#ff2d55 S_(p imes 1) $$

Vector bỗng nhiên $X$ rất có thể biểu diễn vì chưng tích ma trận $A$ với vector tự dưng $S$.

Mô hình nghỉ ngơi bên trên cùng với $S_1, S_2,… S_p$ độc lập những thống kê là mô hình ICA, điều họ cần kiếm tìm là ma trận $A$ (ma trận trộn), tuy nhiên còn nếu không mang định gì thêm, việc đào bới tìm kiếm ra mô hình trên là bất khả thi, chính vì có rất nhiều tmê mệt số yêu cầu ước lượng!

2.2 Một vài vấn đề nhập nhằng trong tế bào hình

2.2.1 Không thể xác minh phương thơm không nên của các nguyên tố độc lập

Thật vậy, nguyên nhân dễ dàng nếu chúng ta gồm một đại lượng vô phía $c$, Việc nhân với phân chia mang lại $c$ vào mô hình ICA chế tạo thành một mô hình bắt đầu nhưng mà vẫn thỏa những giả tmáu ban đầu:

$$ eginarray*20l color#ff2d55 X và = và mathbfA color#ff2d55 S \ và = & (c mathbfA) color#ff2d55 (S/c) endarray$$

Lưu ý rằng vector thiên nhiên $(S/c)$ vào ngôi trường vừa lòng này vẫn tự do những thống kê từng nhân tố.

Do kia bao gồm rất nhiều lời giải có chức năng xảy ra. Với không khí giải mã như thế, việc tìm và đào bới ra một giải thuật hợp lí là hết sức khó khăn, chính vì như vậy họ nên đặt thêm một vài đưa định nhằm giải bài xích toán đưa ra. Giả định rằng $mathbbE( S_i^2) = 1$.

Tuy nhiên vụ việc nhập nhằng bên trên vẫn là 1 vụ việc choáng váng, bởi vì trường hợp $c = -1$ chúng ta đang bỏ túi một quy mô mà $S_i$ bị đảo chiều dẫu $mathbbE( S_i^2) = 1$ ko đổi.

May mắn cố, trong những trường hòa hợp áp dụng thực tiễn, nó ko tác động gì nhiều chính vì Chuyên Viên hoàn toàn có thể kiểm soát và điều chỉnh hiệu quả sau cùng dựa vào học thức am hiểu về loại tài liệu mà mình sẽ xử lý!

2.2.2 Mô hình trực giao, phxay quay trực giao, quan trọng xác định thứ từ nhân tố độc lập

Nếu nhỏng các bạn đã quen thuộc với các quy mô Principal component analysis tốt Factor Analysis thì tất cả một tư tưởng hơi thú vui trong số mô hình này là phnghiền cù varimax rotation (cùng quartimax rotation) nhằm diễn giải các thành phần bên dưới, sỡ dĩ làm được vấn đề này bởi vì có một điều thú vị trong mô hình trên.

call $R$ là một trong ma trận $(p imes p)$ trực giao (orthogonal matrix), ta tất cả $R^intercal R = R R^intercal = I$ cùng với $I$ là ma trận đơn vị.

Thật thụ vị:

$$ eginarray*20l color#ff2d55 X và = và mathbfA color#ff2d55 S \ và = và mathbfA I color#ff2d55 S \ & = & (mathbfA R^intercal) color#ff2d55 (RS) \ & = và mathbfA^* color#ff2d55 S^* endarray$$

Trong thời điểm này chúng ta bao gồm $S^* = RS$ là 1 vector hốt nhiên bắt đầu vẫn thỏa đa số đưa định ban đầu. Thật nhập nhằng!

3. Thế nào là tự do thống kê?

Nhỏng đã có mang nôm mãng cầu ở đoạn trước, tự do những thống kê phát âm dễ dàng là ko liên quan gì nhau.

Hai sự kiện bất kì, sự kiện này diễn ra cũng chẳng tác động gì sự khiếu nại còn lại. Việc một trở nên vắt xẩy ra cũng ko tác động tăng bớt khả năng xảy ra biến hóa ráng sót lại.

Khái niệm của độc lập thống kê được mở rộng để phù hợp cùng với tập của nhiều biến hóa ráng xuất xắc có thể nói rằng biến đổi tự nhiên, trong ngôi trường hợp này thì nhị trở thành thốt nhiên Call là chủ quyền cùng nhau Lúc từng đổi mới nắm của bọn chúng tự do từng song một. Với nhị vươn lên là ngẫu nhiên bất kỳ $v_1$, $v_2$, nhì trở thành tự dưng hòa bình lúc hàm mật độ Phần Trăm (hoặc hàm khối xác suất) phân bố hợp của bọn chúng hoàn toàn có thể biểu diễn:

$$p(v_1, v_2) = p(v_1) p(v_2)$$

trong những dạng yếu đuối của tự do thống kê là ko đối sánh. Hai phát triển thành đột nhiên $v_1$ và $v_2$ được Call là không đối sánh tương quan, nếu như như:

$$mathbbE(v_1 v_2) - mathbbE(v_1)mathbbE(v_2) = 0$$

Nếu như hai vươn lên là bỗng nhiên là chủ quyền thì chúng ko tương quan. Tuy nhiên điều trở lại thì không đúng. Đây chỉ cần ĐK cần, không hẳn điều kiện đủ.

Từ lúc độc lập thống kê lại suy ra ko tương quan, nhiều phương pháp ICA được gây ra sao có thể có mặt khoảng chừng ko đối sánh tương quan cho các yếu tố chủ quyền bên dưới tài liệu. Việc này có tác dụng giảm con số tsay mê số cần ước chừng cũng như dễ dàng vấn đề bài xích toán.

4. Trung tâm trình bày ICA

4.1 Lập luận “nongaussianity thì độc lập”

Một phương pháp trực cảm, chiếc chìa khóa dẫn mang lại giải thuật của ICA đó đó là mang định các thành phần $S_i$ dưới tài liệu nongaussianity (tức ko tương tự với phân bố chuẩn).

Định lý giới hạn trung tâm (CLT - Central limit theorem) là 1 trong những định lý truyền thống vào kim chỉ nan phần trăm thống kê. Nó là khóa xe cho ý tưởng của bài tân oán so sánh yếu tố hòa bình. Định lý giới hạn trung trọng tâm phát biểu rằng phân bố tổng của tập các biến đổi chủng loại nhiên độc lập gồm phân bổ định hướng tiến về phân bổ chuẩn với một số trong những ĐK.

Giả định rằng vector thiên nhiên $X$ được phân pân hận bởi vì các yếu tố tự do dưới dữ liệu:

$$ color#ff2d55 X color#37474f = mathbfA color#ff2d55S$$

Nếu như họ tìm kiếm được ma trận $mathbfA$, bài toán khoảng chừng vector tự dưng $S$ kiếm tìm vì chưng tế bào hình:

$$ S = mathbfA^-1 X$$

Do kia, trường hợp chỉ cần ước chừng được độc nhất một thành phần tự do, bạn cũng có thể chỉ cần tìm kiếm một vector trọng số tổng hợp tuyến tính từ $X_i$.

Xem thêm: Cách Sửa Lỗi Đánh Số Ra Chữ 1

call $y = mathbfw^intercal X$ với $mathbfw$ là vector trọng số $p imes 1$. bởi vậy lúc này $y$ là 1 trong tổ hợp đường tính những thành phần từ bỏ $X$.

Tuy nhiên vị $X = mathbfA S$ bắt buộc ta rất có thể màn trình diễn lại $y = mathbfw^intercal mathbfA S$. Đặt $mathbfq^intercal = mathbfw^intercal mathbfA$ ta có:

$$ y = mathbfw^intercal X = mathbfq^intercal S $$

Nếu nlỗi $mathbfw$ là một trong mặt hàng của $mathbfA^-1$, tổng hợp đường tính $mathbfw^intercal X$ có thể đó là một trong các thành phần độc lập $S_i$. Trong ngôi trường phù hợp này, nếu điều bên trên xẩy ra thì $mathbfq$ đang là 1 trong những vector mà chỉ tất cả tuyệt nhất 1 phần tử bằng $1$ còn toàn bộ sót lại là $0$ (như vậy $mathbfq^intercal S$ đúng chuẩn bởi một trong số yếu tắc $S_i$).

Câu hỏi đề ra ngay hiện giờ là: Làm bí quyết làm sao cơ mà bạn có thể sử dụng định lí giới hạn trung vai trung phong nhằm tìm kiếm $mathbfw$ mà nó đó là một sản phẩm của ma trận $mathbfA^-1$?

Mẹo nằm ở chỗ này, từ bỏ Khi phân bố của tổng các biến hóa tình cờ hòa bình thì gaussian nhiều hơn nữa từng yếu tố tự do, khi ấy $y$ được trình diễn $mathbfq^intercal S$ bắt buộc $y$ xuất xắc $mathbfw^intercal X$ thì gaussian nhiều hơn thế nữa $S_i$ bất kể tuy thế lại ít gaussian rộng Khi nó thực sự thiết yếu bởi một yếu tố độc lập $S_i$.

Do kia bạn cũng có thể cực đại nongaussianity của $y$ giỏi $mathbfw^intercal X$ nhằm thu về một thành phần chủ quyền.

4.2 Đo lường nongaussianity bởi Negentropy

Để đo lường và thống kê nongaussianity vào mô hình ICA, có không ít bí quyết khác nhau (ví dụ như Kurtosis hay moment máy 4, tuy vậy kurtosis vô cùng nhạy cảm cùng với các điểm dị biệt), cách thức daianevent.com chọn trình bày là Negentropy làm cho độ đo vày tính bất biến cao.

Negentropy là một độ đo báo cáo dựa trên differential entropy để đo lường và thống kê khoảng cách biết tin mang đến phân bổ chuẩn cùng thời điểm vọng và pmùi hương không nên của phân bổ nơi bắt đầu. Ý nghĩa của độ đo entropy trong kim chỉ nan ban bố độc giả có thể đọc thêm tại bài viết sau daianevent.com - Lý tmáu biết tin.

Differential entropy là độ đo entropy giành riêng cho trở thành hốt nhiên tiếp tục $y$ cùng với hàm mật độ tỷ lệ $p(y)$:

$$H(y) = -int p(y) log p(y) extdy$$

Negentropy là hiệu của nhị Differential entropy của một trở thành tự nhiên $y_ extgauss$ (cùng kỳ vọng với phương thơm không nên với $y$) cùng rất $y$ được khái niệm như sau:

$$J(y) = H(y_ extgauss) - H(y)$$

Trong kim chỉ nan thông báo (information theory), một trong những công trình xây dựng cơ bản của (Cover and Thomas, 1991; Papoulis, 1991) chứng tỏ rằng vươn lên là hốt nhiên gồm phân bố chuẩn chỉnh bao gồm entropy tối đa trong các toàn bộ những trở nên tự nhiên tất cả cùng pmùi hương không đúng (a gaussian variable has the largest entropy among muốn all random variables of equal variance), phần chứng minh sẽ không còn được trình bài tại đây, độc giả tự tham khảo thêm.

Do kia hôm nay $J(y)$ là 1 trong hàm ko âm, đề đạt mức độ gần phân bổ gaussian của $y$.

Tuy nhiên câu hỏi tính tân oán $J(y)$ đòi hỏi ước tính được hàm tỷ lệ Xác Suất p.d.f của $y$, bài toán này hay tinh vi với khó khăn.

Ttốt vị tính tân oán trực tiếp như bên trên, Hyvärinen và Oja lời khuyên một cách xấp xĩ:

$$J(y) approx < mathbbE (G(y)) - mathbbE ( G(y_ extgauss))>^2$$

Với $G$ là 1 trong những hàm có nhiều sự lựa chọn:

$$ G_1(u) = frac1a_1 log cosh a_1 u ext với 1 le a_1 le 2$$$$ G_2(u) = -exp frac-u^22$$

Với đạo hàm bậc $1$ đặt là $g(u)$ ta có:

$$g_1(u) = anh (a_1 u)$$$$g_2(u) = u exp frac-u^22 $$

Và đạo hàm bậc $2$ đặt là $g’(u)$ ta có:

$$g’_1(u) = a_1 (1 - anh^2 (a_1 u))$$$$g’_2(u) = (1-u^2) exp frac-u^22$$

5. Tiền cách xử trí ICA

Trong phần này, bọn họ đang thuộc bàn luận về một số trong những bước chi phí cách xử trí những thống kê trước lúc thực hiện cách thức so sánh nguyên tố hòa bình.

5.1 Chỉnh chổ chính giữa (Centering)

trong số những bước cơ bạn dạng độc nhất cần thiết trong bước chi phí xử lý là chỉnh trung ương của dữ liệu thu thập được bằng phương pháp trừ cho vector hy vọng $m = mathbbE(X)$ nhằm tạo thành thành dữ liệu bắt đầu.

Cách tiền cách xử trí này góp thuật tân oán ICA đơn giản và dễ dàng hơn. Nó ko đồng nghĩa rằng là hy vọng cần thiết khoảng chừng được, sau khi khoảng chừng chấm dứt ma trận $mathbfA$, bạn trọn vẹn có thể khoảng chừng vector mong rằng của $S$ và chỉnh trung khu $S$ bằng phương pháp cộng thêm một lượng $mathbfA^-1 m$.

5.2 Tẩy tài liệu (Whitening)

trong số những bước chi phí cách xử lý quan trọng đặc biệt của ICA là tẩy tài liệu (whitening) sau khoản thời gian chỉnh trọng điểm.

Trong những thống kê, Whitening transformation (tuyệt Sphering transformation) là 1 phép chuyển đổi tuyến tính nhằm chuyển đổi một vector tự nhiên với ma trận hiệp phương thơm không đúng biết trước thành một tập thay đổi thiên nhiên new gồm ma trận hiệp pmùi hương không nên là ma trận đơn vị chức năng. Hay nói cách khác phép biến đổi này biến hóa một tập đổi mới tự nhiên đối sánh tương quan thành một tập vươn lên là tự nhiên mới không đối sánh tương quan với có pmùi hương sai là $1$.

Một phương pháp hiệ tượng, bài toán này kiếm tìm một cách biểu diễn vector ngẫu nhiên $ ilde X$ bởi tổ hợp tuyến tính tự $X$ trường đoản cú ma trận $mathbfP$ tức $ ilde X = mathbfP X$ sao cho:

$$ mathbbE( ilde X ilde X^intercal) = I$$

Rất phương pháp được xây dựng để xử lý bài toán thù này, bạn đọc quyên tâm có thể xem thêm một vài phương thức sau:

ZCA-Mahalanobis whiteningCholesky whiteningPCA whitening

Tính hữu dụng của câu hỏi làm cho này là gì?

Quan giáp kỹ ta thấy (đặt $ ilde mathbfA = mathbfPA$):

$$ ilde X = mathbfPX = mathbfP mathbfA S = ilde mathbfA S$$

Ta có:

$$ mathbbE( ilde X ilde X^intercal) = I ag1$$$$ mathbbE( ilde X ilde X^intercal) = mathbbE( ilde mathbfA S S^intercal ilde mathbfA^intercal) = ilde mathbfA mathbbE(S S^intercal) ilde mathbfA^intercal = ilde mathbfA I ilde mathbfA^intercal = ilde mathbfA ilde mathbfA^intercal ag2$$

Từ $(1)$ với $(2)$ ta có:

$$ ilde mathbfA ilde mathbfA^intercal = I$$

Hay có thể nói $ ilde mathbfA$ là 1 ma trận trực giao (orthogonal matrix)!

Tại trên đây họ thấy rằng công đoạn này rất bổ ích và quan trọng đặc biệt đặc biệt cũng chính vì nó làm giảm xuống con số tđắm say số cần được ước tính. Thay vì bọn họ yêu cầu ước lượng $p^2$ tsay mê số, tuyệt nói cách khác kia chính là con số tmê man số một ma trận vuông bình thường, mặc dù một ma trận trực giao thì chỉ tất cả $p(p-1)/2$ bậc tự do tuyệt nói cách khác chỉ gồm $p(p-1)/2$ ttê mê số bắt buộc ước lượng! Do đó, công đoạn này đặc biệt quan trọng giúp thuật tân oán ICA trnghỉ ngơi bắt buộc đơn giản và dễ dàng với bình ổn rộng.

6. FastICA

Trong phần này, họ coi nlỗi dữ liệu đã được tiền giải pháp xử lý ở trong phần trên.

6.1 FastICA đến nhất một thành phần độc lập

Với bài bác toán “kiếm tìm duy nhất một thành phần độc lập”, bài toán thù tương tự với câu hỏi bọn họ bắt buộc kiếm tìm vector trọng số $mathbfw$ cực to nongaussianity $y = mathbfw^intercal X$ tuyệt nói theo cách khác chúng ta vẫn đi cực to hàm $J(mathbfw^intercal X)$.

Xem thêm: Bệnh Viện Mắt Trung Ương Hà Nội, Bệnh Viện Mắt Trung Ương

Tối ưu hàm $J(mathbfw^intercal X)$ cùng với thỏa mãn điều kiện $mathbbE ( (mathbfw^intercal X)^2) = ||mathbfw||^2 = 1$ theo $w$ theo hàm Langrange, ta đề xuất gradient của Lagrangian bằng $0$ giỏi nói bí quyết khác:

$$ mathbbE (X g(mathbfw^intercalX)) - eta mathbfw = 0 $$

(điều kiện của gradient này đã có điều khiển và tinh chỉnh, về khía cạnh bản chất bắt buộc mở ra $gamma = mathbbE (G(mathbfw^intercal X)) - mathbbE(G(y_gauss))$ đã có đào thải, nguyên nhân $gamma$ bao gồm ảnh hưởng tới sự định hình của thuật toán thù, không chỉ có thế với Việc so với bọn họ thấy rằng loại bỏ $gamma$ không ảnh hưởng đến công dụng mong muốn cuối cùng chính vì $mathbfw$ bọn họ đã tiến hành một bước chuẩn hóa bên dưới, bạn đọc quan tâm rất có thể đọc thêm <3> sách Independent Component Analysis )

Để giải phương trình bên trên chúng ta có thể áp dụng phương thức Newton. Đặt về trái là $F$, ta bao gồm ma trận Jacobian tương xứng là:

$$JF(mathbfw) = mathbbE (XX^intercal g’(mathbfw^intercal X) ) - eta I$$

Từ lúc tài liệu của bọn họ đã được whitening, lúc này ta gồm $mathbbE(XX^intercal g’(mathbfw^intercalX)) approx mathbbE (XX^intercal) mathbbE (g’(mathbfw^intercalX))$ cho nên $mathbbE(XX^intercal g’(mathbfw^intercalX)) approx mathbbE(g’(mathbfw^intercal X))I$. Ta có:

$$JF(mathbfw) approx I$$

Lưu ý rằng $JF(mathbfw)$ bây chừ là một quý giá vô hướng, cho nên vì thế vậy bởi vì rước ma trận nghịch hòn đảo của $JF(mathbfw)$ (ma trận đường chéo cánh bởi nhân với $I$) bạn cũng có thể phân tách thẳng cho đại lượng vô hướng này, ta gồm công thức update $mathbfw^+$ theo vector trọng số bắt đầu của $mathbfw$ được xem theo cách thức Newton:

$$mathbfw^+ leftarrow mathbfw - ^-1 F(w)$$

Tương đương:

$$mathbfw^+ leftarrow mathbfw - / $$

Nhân nhì vế mang lại $eta - mathbbE(g’(mathbfw^intercal X))$ ta có:

$$ <eta - mathbbE(g’(mathbfw^intercal X))> mathbfw^+ leftarrow <eta - mathbbE(g’(mathbfw^intercal X))> mathbfw + $$

Đơn giản hóa:

$$ <eta - mathbbE(g’(mathbfw^intercal X))> mathbfw^+ leftarrow mathbbE (X g(mathbfw^intercalX)) - mathbbE(g’(mathbfw^intercal X)) mathbfw $$

Hay nói cách khác:

$$ pmê say mathbfw^+ leftarrow mathbbE (X g(mathbfw^intercalX)) - mathbbE(g’(mathbfw^intercal X)) mathbfw $$

Lưu ý hiện giờ $psi$ đóng vai trò hệt như một thông số xác suất mang lại $mathbfw^+$, tuy nhiên vị ĐK chúng ta mong muốn trọng số $||mathbfw^+|| = 1$, không chỉ có vậy phần nhập nhằng ban sơ trường hợp như $mathbfw^+$ được chấp nhận thì $-mathbfw^+$ cũng trở thành được đồng ý, vì thế tại đây bạn cũng có thể hoàn toàn đơn giản dễ dàng thuật toán bằng phương pháp thắt chặt và cố định lốt $mathbfw^+$ bằng cách quăng quật $psi$ cùng thêm 1 công đoạn chuẩn hóa $mathbfw^+$ vào thuật toán.

Hay nói cách khác:

$$ mathbfw^+ leftarrow mathbbE (X g(mathbfw^intercalX)) - mathbbE(g’(mathbfw^intercal X)) mathbfw $$

$$ mathbfw^+ leftarrow mathbfw^+ / ||mathbfw^+||$$

Mã trả của thuật tân oán bên dưới quan điểm mô hình toán thù học tập cho vector thốt nhiên $X$:


Chuyên mục: Kiến Thức