对白脏话肉麻粗话视频,欧美又长又大又深又爽a片特黄,13岁可以塞下多少支马克笔,八戒八戒网影院在线观看

 首頁 / 電子科技 / 邏輯斯蒂回歸算法(邏輯斯蒂回歸模型推導(dǎo))

邏輯斯蒂回歸算法(邏輯斯蒂回歸模型推導(dǎo))

Time:2024-06-11 13:04:19 Read:466 作者:CEO

在講邏輯回歸之前,我們先回顧一下感知器的一些知識(shí):

(資料圖)

邏輯斯蒂回歸算法(邏輯斯蒂回歸模型推導(dǎo))

感知器的公式:f(x)=sign(w·x+b)輸出+1或-1

那么問題來了,1、只輸出-1和+1是不是太死板了?這種判斷方法真的有效嗎?

2.距超平面左側(cè)0.001距離的點(diǎn)和距超平面右側(cè)0.001距離的點(diǎn)真的有巨大差異嗎?

同時(shí),感知器的缺陷也不容忽視:感知器通過梯度下降來更新參數(shù),但在符號(hào)函數(shù)中,x=0是不連續(xù)點(diǎn),不可微。

如何解決因距離極小而導(dǎo)致+1和-1相差巨大的問題? 2、如何讓最終的預(yù)測公式連續(xù)可微?

邏輯回歸可以解決以上問題

邏輯斯蒂回歸

邏輯回歸的定義

P(Y=1|x)=取值范圍:(01)

P(Y=0|x)=取值范圍:(01)

圖形表示為

若將P(Y=1|x)記為A,P(Y=0|x)記為B,則A/A+B + B/A+B=1

邏輯回歸是連續(xù)可微的

參數(shù)估計(jì)

在學(xué)習(xí)邏輯回歸模型時(shí),對(duì)于給定的訓(xùn)練數(shù)據(jù)集T={(,), (,). (,)},其中,{0,1},可以應(yīng)用最大似然估計(jì)的方法來估計(jì)模型參數(shù),從而得到邏輯回歸模型。

假設(shè):P(Y=1 | x)=(x), P(Y=0|x)=1 - (x)

似然函數(shù)是

對(duì)數(shù)似然函數(shù)是

上圖中的對(duì)數(shù)似然函數(shù)看似簡單的三步過程,但是卻用到了很多知識(shí)。下面解釋詳細(xì)步驟,如下圖所示。

我再解釋一下,機(jī)器學(xué)習(xí)中對(duì)數(shù)的一點(diǎn)知識(shí):與熵相關(guān)的默認(rèn)縮寫為log;與商無關(guān)的默認(rèn)縮寫為log或ln

似然函數(shù)關(guān)于w 的導(dǎo)數(shù)

總結(jié)

1、物流以輸出概率的形式解決了極小距離造成的+1和-1的巨大差異。同時(shí),概率也可以作為模型輸出的置信度。

2. Logistics使得最終的模型函數(shù)連續(xù)可微。訓(xùn)練目標(biāo)和預(yù)測目標(biāo)一致

3.物流使用最大似然估計(jì)來估計(jì)參數(shù)。

最大熵

什么是最大熵?

當(dāng)我們猜測概率時(shí),我們認(rèn)為不確定的部分是同樣可能的,就像骰子一樣。我們知道有6條邊,所以我們認(rèn)為每條邊的概率都是1/6,即等概率。

換句話說,為了實(shí)現(xiàn)均勻分布,最大熵使用了這樣一個(gè)簡單的原理:

無論我們知道什么,我們都會(huì)考慮它,無論我們不知道什么,我們都會(huì)平均分配它

最終目標(biāo)是找到概率P(Y |

熵:H(P)=-

將最終目標(biāo)代入熵:H(P)=-

進(jìn)行一些更改來調(diào)整熵:

H(P)=H(y | x)=-

注:1.H(P)=H(y | x) 為條件熵

2.表示來自訓(xùn)練集的統(tǒng)計(jì)數(shù)據(jù)

讓我們看看訓(xùn)練集中的統(tǒng)計(jì)概率:

(X=x)=

特征函數(shù)和特征函數(shù)f(x,y) 相對(duì)于經(jīng)驗(yàn)分布(x,y) 的期望值

特征函數(shù)f(x,y) 相對(duì)于模型P(Y|X) 和經(jīng)驗(yàn)分布(x) 的期望值:

最大熵模型

拉格朗日乘子法:

總結(jié)

1.最大熵強(qiáng)調(diào)不提及任何構(gòu)造,以熵最大化為目標(biāo)。

2、將最終目標(biāo)代入熵公式后,最大化

3. 查找訓(xùn)練集中現(xiàn)有的約束,計(jì)算期望,并將其用作約束。使用拉格朗日乘子法得到P(y|x),然后使用優(yōu)化算法得到P(y|x)中的參數(shù)w

參考視頻鏈接:https://www.bilibili.com/video/BV1i4411G7Xv?p=6vd_source=7621d9b6568d814ad80158fea1c47dcc

#頭條新聞創(chuàng)作挑戰(zhàn)#

Copyright ? 2002-2025 訊肆科技網(wǎng) 版權(quán)所有 

免責(zé)聲明: 1、本站部分內(nèi)容系互聯(lián)網(wǎng)收集或編輯轉(zhuǎn)載,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。 2、本頁面內(nèi)容里面包含的圖片、視頻、音頻等文件均為外部引用,本站一律不提供存儲(chǔ)。 3、如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除或斷開鏈接! 4、本站如遇以版權(quán)惡意詐騙,我們必奉陪到底,抵制惡意行為。 ※ 有關(guān)作品版權(quán)事宜請(qǐng)聯(lián)系客服郵箱:478923*qq.com(*換成@)

備案號(hào): 滬ICP備2023025279號(hào)-31