Vizualizare sursă pentru „Backpropagation”

În [[Învățare automată|învățarea automată]], '''{{Lang|en|backpropagation}}''' este o metodă de estimare a [[Gradient|gradientului]] utilizată pentru a antrena modele de rețele neurale. Estimarea gradientului este utilizată de [[Optimizare|algoritmul de optimizare]] pentru a calcula actualizările [[Rețea neurală|parametrilor]] rețelei.

Este o aplicare eficientă la astfel de rețele a regulii derivării funcțiilor compuse enunțată de [[Gottfried Wilhelm von Leibniz|Leibniz]] (1673) pentru calculul [[derivarea funcțiilor compuse |derivatelor funcțiilor compuse]].<ref name="leibniz1676">{{Citat carte|nume=Leibniz|prenume=Gottfried Wilhelm Freiherr von|url={{Google books|plain-url=yes|bOIGAAAAYAAJ|page=90}}|titlu=The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir)|dată=1920|editură=Open court publishing Company|isbn=9780598818461|limbă=en|p=90}}</ref> Este cunoscut și ca modul invers al {{Ill-wd|Q787371|3=diferențierii automate}} sau {{Ill-wd|Q787371|3=acumularea inversă}}, datorită lui {{Ill-wd|Q23682411|3=Seppo Linnainmaa}} (1970).<ref name="lin1970">{{Cite thesis|first=Seppo|last=Linnainmaa|degree=Masters|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|language=fi|publisher=University of Helsinki}}</ref><ref name="lin1976">{{Citat revistă|nume=Linnainmaa|prenume=Seppo|legătură-autor=Seppo Linnainmaa|an=1976|titlu=Taylor expansion of the accumulated rounding error|journal=BIT Numerical Mathematics|volum=16|număr=2|pagini=146–160|doi=10.1007/bf01931367}}</ref><ref name="grie2012">{{Citat carte|nume=Griewank|prenume=Andreas|titlu=Optimization Stories|an=2012|serie=Documenta Matematica, Extra Volume ISMP|pagini=389–400|capitol=Who Invented the Reverse Mode of Differentiation?}}</ref><ref name="grie2008">{{Citat carte|nume=Griewank|prenume=Andreas|url={{google books |plainurl=y |id=xoiiLaRxcbEC}}|titlu=Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, Second Edition|nume2=Walther|prenume2=Andrea|editură=SIAM|an=2008|isbn=978-0-89871-776-1|legătură-autor2=Andrea Walther}}</ref><ref name="schmidhuber2015">{{Citat revistă|nume=Schmidhuber|prenume=Jürgen|legătură-autor=Jürgen Schmidhuber|an=2015|titlu=Deep learning in neural networks: An overview|journal=Neural Networks|volum=61|pagini=85–117|pmid=25462637|doi=10.1016/j.neunet.2014.09.003}}</ref><ref name="scholarpedia2015">{{Citat revistă|nume=Schmidhuber|prenume=Jürgen|legătură-autor=Jürgen Schmidhuber|an=2015|titlu=Deep Learning|journal=Scholarpedia|volum=10|număr=11|pagină=32832|bibcode=2015SchpJ..1032832S|doi=10.4249/scholarpedia.32832}}</ref> Termenul de „corectare a erorilor cu propagare inversă” a fost introdus în 1962 de {{Ill-wd|Q93018|3=Frank Rosenblatt}},<ref>{{Citat carte|nume=Rosenblatt|prenume=Frank|titlu=Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms Cornell Aeronautical Laboratory. Report no. VG-1196-G-8 Report (Cornell Aeronautical Laboratory)|editură=Spartan|an=1962|pagini=Page XIII Table of contents, Page 292 "13.3 Back-Propagating Error Correction Procedures", Page 301 "figure 39 BACK-PROPAGATING ERROR-CORRECTION EXPERIMENTS"|legătură-autor=Frank Rosenblatt}}</ref><ref name="DLhistory" /> dar el nu știa cum să implementeze acest lucru, chiar dacă {{Ill-wd|Q23683521|3=Henry J. Kelley}} avea un precursor continuu al lui {{Lang|en|backpropagation}}<ref name="kelley1960">{{Citat revistă|nume=Kelley|prenume=Henry J.|legătură-autor=Henry J. Kelley|an=1960|titlu=Gradient theory of optimal flight paths|journal=ARS Journal|volum=30|număr=10|pagini=947–954|doi=10.2514/8.5282}}</ref> deja în 1960 în contextul {{Ill-wd|Q6501221|3=teoriei controlului}}.<ref name="DLhistory" />

{{Lang|en|Backpropagation}} calculează [[Gradient|gradientul]] unei {{Ill-wd|Q1036748|3=funcții de cost}} în raport cu [[Glosar de teoria grafurilor|ponderile]] rețelei pentru un singur exemplu de intrare-ieșire și face acest lucru [[Eficiența algoritmilor|eficient]], calculând gradientul strat cu strat, {{Ill-wd|Q651022|3=iterând}} înapoi de la ultimul strat pentru a evita calculele redundante ale termenilor intermediari din regula derivării funcțiilor compuse; aceasta se poate calcula prin {{Ill-wd|Q380679|3=programare dinamică}}.<ref name="kelley1960"/><ref name="bryson1961">{{Citat carte|nume=Bryson|prenume=Arthur E.|titlu=Proceedings of the Harvard Univ. Symposium on digital computers and their applications, 3–6 April 1961|editură=Harvard University Press|an=1962|locul-publicării=Cambridge|capitol=A gradient method for optimizing multi-stage allocation processes|oclc=498866871}}</ref>{{Sfn|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf33 214]}} În mod obișnuit, se utilizează {{Ill-wd|Q1199743|3=metoda de descreștere a gradientului}} sau variante ale ei, cum ar fi {{Ill-wd|Q7617819|3=cea stochastică}}.<ref name="robbins1951">{{Citat revistă|nume=Robbins|nume2=Monro|prenume=H.|prenume2=S.|legătură-autor=Herbert Robbins|an=1951|titlu=A Stochastic Approximation Method|journal=The Annals of Mathematical Statistics|volum=22|număr=3|pagini=400|doi=10.1214/aoms/1177729586}}</ref>

În sens strict, termenul ''{{Lang|en|backpropagation}}'' se referă doar la algoritmul de calcul al gradientului, nu la modul în care este utilizat gradientul; dar termenul este adesea folosit în mod liber pentru a se referi la întregul algoritm de învățare – inclusiv la modul în care este utilizat gradientul, cum ar fi descreșterea stochastică.<ref>{{Harvnb|Goodfellow|Bengio|Courville|2016|p=[https://www.deeplearningbook.org/contents/mlp.html#pf25 200]}}, "The term back-propagation is often misunderstood as meaning the whole learning algorithm for multilayer neural networks. Backpropagation refers only to the method for computing the gradient, while other algorithms, such as stochastic gradient descent, is used to perform learning using this gradient."</ref> În 1986 {{Ill-wd|Q93111|3=David E. Rumelhart}} et al. au publicat o analiză experimentală a tehnicii.<ref name="learning-representations">{{Citat revistă|nume=Rumelhart|nume2=Hinton|nume3=Williams|an=1986|titlu=Learning representations by back-propagating errors|url=http://www.cs.toronto.edu/~hinton/absps/naturebp.pdf|journal=Nature|volum=323|număr=6088|pagini=533–536|bibcode=1986Natur.323..533R|doi=10.1038/323533a0}}</ref> Aceasta a contribuit la popularizarea tehnicii și a ajutat la inițierea unei perioade active de cercetare în domeniul {{Ill-wd|Q2991667|3=perceptronilor multistrat}}.

== Generalități ==
{{Lang|en|Backpropagation}} calculează gradientul în {{Ill-wd|Q2600211|3=spațiul ponderilor}} unei rețele neuronale {{Lang|en|feedforward}}, în raport cu o {{Ill-wd|Q1036748|3=funcție de cost}}. Se notează cu:

* <math>x</math>: input (vectorul de caracteristici)
* <math>y</math>: ieșirea așteptată
*: Pentru clasificare, ieșirea va fi un vector de probabilități pe toate clasele (de ex., <math>(0.1, 0.7, 0.2)</math>, iar ieșirea așteptată este o anumită clasă, codificată prin variabila one-hot (de ex., <math>(0, 1, 0)</math>).
* <math>C</math>: {{Ill-wd|Q1036748|3=funcția de cost}}
*: Pentru clasificare, aceasta este de obicei [[entropia încrucișată]] (XC, {{Ill-wd|Q1685498|3=cost logaritmic}}), în timp ce pentru regresie este de obicei costul erorii la pătrat
*: (SEL).
* <math>L</math>: numărul de straturi
* <math>W^l = (w^l_{jk})</math>: ponderile legăturilor între straturile <math>l - 1</math> și <math>l</math>, unde <math>w^l_{jk}</math> este ponderea între nodul <math>k</math> din stratul <math>l - 1</math> și nodul <math>j</math> din stratul <math>l</math>{{Efn|Aceasta rezultă din {{harvtxt|Nielsen|2015}}, și înseamnă că înmulțirea (la stânga) cu matricea <math>W^l</math> corespunde convertirii valorilor de ieșire ale stratului <math>l - 1</math> în valori de intrare ale stratului <math>l</math>: coloanele corespund coordonatelor de intrare, rândurile corespund coordonatelor de ieșire.}}
* <math>f^l</math>: {{Ill-wd|Q4677469|3=funcțiile de activare}} de pe stratul <math>l</math>
*: Pentru clasificare, ultimul strat este de regulă {{Ill-wd|Q1052379|3=funcția logistică}} pentru clasificare binară, și {{Ill-wd|Q7554146|3=softmax}} (softargmax) pentru clasificare cu mai multe clase, în timp ce pentru stratele ascunse, aceasta este tradițiomal o {{Ill-wd|Q526668|3=funcție sigmoidă}} (funcția logistică sau altele) pe fiecare nod (coordonată), dar astăzi gama este mai variată, fiind comună și funcția {{Ill-wd|Q7303176|3=rectificator}} ({{Ill-wd|Q1047481|3=ramp}}, {{Ill-wd|Q7303176|3=ReLU}}).
* <math>a^l_j</math>: activarea nodului <math>j</math> din stratul <math>l</math>.

În calculul lui ''{{Lang|en|backpropagation}}'', se folosesc alte cantități intermediare introducându-le după cum este necesar mai jos. Termenii de bias nu sunt tratați în mod special, deoarece corespund unei ponderi cu o intrare fixă de 1. Pentru ''{{Lang|en|backpropagation}}'', funcția de cost și funcțiile de activare specifice nu contează atâta timp cât ele și derivatele lor pot fi evaluate eficient. Printre funcțiile tradiționale de activare se numără sigmoidele, tanh și ReLU. Au mai fost propuse și [[Funcția swish|swish]],<ref>{{Cite arXiv|last1=Ramachandran|title=Searching for Activation Functions|eprint=1710.05941}}</ref> [[Redresor (rețele neuronale)|mish]],<ref>{{Cite arXiv|last1=Misra|title=Mish: A Self Regularized Non-Monotonic Activation Function|eprint=1908.08681}}</ref> și alte funcții de activare.

Rețeaua de ansamblu este o combinație de {{Ill-wd|Q244761|3=compuneri de funcții}} și [[Înmulțirea matricilor|înmulțiri de matrici]]:

: <math>g(x) := f^L(W^L f^{L-1}(W^{L-1} \cdots f^1(W^1 x)\cdots))</math>

Ca mulțime de antrenare se ia o mulțime de perechi intrare-ieșire, <math>\left\{(x_i, y_i)\right\}</math> . Pentru fiecare pereche intrare-ieșire <math>(x_i, y_i)</math> din mulțimea de antrenare, costul modelului pe acea pereche este costul diferenței dintre rezultatul prezis <math>g(x_i)</math> și rezultatul așteptat <math>y_i</math>:

: <math>C(y_i, g(x_i))</math>

În timpul evaluării modelului, ponderile sunt fixe, în timp ce intrările variază (și ieșirea așteptată poate fi necunoscută), iar rețeaua se termină cu stratul de ieșire (nu include funcția de cost). În timpul antrenării modelului, perechea intrare-ieșire este fixă în timp ce ponderile variază, iar rețeaua se termină cu funcția de cost.

{{Lang|en|Backpropagation}} calculează gradientul pentru o pereche de intrare-ieșire ''fixă'' <math>(x_i, y_i)</math>, unde ponderile <math>w^l_{jk}</math> pot varia. Fiecare componentă individuală a gradientului, <math>\partial C/\partial w^l_{jk},</math> poate fi calculată prin regula derivării funcțiilor compuse; dar a face acest lucru separat pentru fiecare pondere este ineficient. {{Lang|en|Backpropagation}} calculează eficient gradientul, evitând calculele duplicate și nu calculează valori intermediare inutile, calculând gradientul fiecărui strat{{Mdash}} în special gradientul ''intrării'' ponderate a fiecărui strat, notat cu <math>\delta^l</math> – din spate către față.

Cu alte cuvinte, punctul cheie este că, din moment ce singurul mod în care o pondere din <math>W^l</math> afectează costul este prin efectul său asupra stratului ''următor'' și face acest lucru ''liniar'', rezultă că <math>\delta^l</math> sunt singurele date de care este nevoie pentru a calcula gradienții ponderilor stratului <math>l</math>, iar apoi stratul anterior poate fi calculat cu <math>\delta^{l-1}</math> și repetat recursiv. Aceasta evită ineficiența în două moduri. În primul rând, evită duplicarea, deoarece atunci când se calculează gradientul la stratul <math>l</math> – nu mai este nevoie să se recalculeze toate derivatele pe straturile ulterioare <math>l+1, l+2, \ldots</math> de fiecare dată. În al doilea rând, evită calculele intermediare inutile, deoarece în fiecare etapă calculează direct gradientul ponderilor în raport cu rezultatul final (costul), și nu calculează inutil derivatele valorilor straturilor ascunse în raport cu modificările ponderilor <math>\partial a^{l'}_{j'}/\partial w^l_{jk}</math>.

{{Lang|en|Backpropagation}} poate fi exprimat pentru rețelele simple {{Lang|en|feedforward}} în termeni de înmulțire de matrici sau, mai general, în termeni de graf adjunct.

== Înmulțire de matrici ==
Pentru cazul de bază al unei rețele {{Lang|en|feedforward}}, în care nodurile din fiecare strat sunt conectate numai la nodurile din stratul imediat următor (fără a sări peste niciun strat) și există o funcție de cost care calculează costul scalar pentru ieșirea finală, ''{{Lang|en|backpropagation}}'' poate fi înțeles pur și simplu prin înmulțiri de matrici.{{Efn|Secțiunea se bazează pe și rezumă {{harvtxt|Nielsen|2015}}.}} În esență, ''{{Lang|en|backpropagation}}'' evaluează expresia derivatei funcției de cost ca un produs al derivatelor între fiecare strat ''de la dreapta la stânga'' – „înapoi” – iar gradientul ponderilor dintre fiecare strat este o simplă modificare a produsele parțiale („eroarea propagată înapoi”).

Dacă se dă o pereche intrare-ieșire <math>(x, y)</math>, costul este:

: <math>C(y, f^L(W^L f^{L-1}(W^{L-1} \cdots f^2(W^2 f^1(W^1 x))\cdots)))</math>

Pentru a-l calcula, se începe cu intrarea <math>x</math> și se merge înainte; se notează intrarea ponderată a fiecărui strat ascuns cu <math>z^l</math> și rezultatul stratului ascuns <math>l</math> ca activarea <math>a^l</math>. Pentru ''{{Lang|en|backpropagation}}'', activarea <math>a^l</math> precum și derivatele <math>(f^l)'</math> (evaluat la <math>z^l</math>) trebuie să fie memorate pentru utilizare în timpul trecerii înapoi.

Derivata costului în termeni de intrări este dată de regula derivării funcțiilor compuse; fiecare termen este o {{Ill-wd|Q636889|3=derivată totală}}, evaluată la valoarea rețelei (în fiecare nod) pe intrarea <math>x</math>:

: <math>\frac{d C}{d a^L}\cdot \frac{d a^L}{d z^L} \cdot \frac{d z^L}{d a^{L-1}} \cdot \frac{d a^{L-1}}{d z^{L-1}}\cdot \frac{d z^{L-1}}{d a^{L-2}} \cdot \ldots \cdot \frac{d a^1}{d z^1} \cdot \frac{\partial z^1}{\partial x},</math>

Unde <math>\frac{d a^L}{d z^L}</math> este o matrice diagonală.

Acești termeni sunt: derivata funcției de cost;{{Efn|Derivata funcției de cost este un {{Ill-wd|Q261527|3=Covector}}, deoarece funcția de cost este o [[Câmp scalar|funcție cu valori scalare]] de mai multe variabile.}} derivatele funcțiilor de activare;{{Efn|Funcția de activare se aplică fiecărui nod în parte, deci derivata ei este doar [[Matrice diagonală|matricea diagonală]] a derivatei fiecărui nod. Aceasta se reprezintă adesea ca [[Produs Hadamard|produsul Hadamard]] cu vectorul derivatelor, notat cu <math>(f^l)'\odot</math>, care este matematic identic dar se potrivește mai bine cu reprezentarea internă a derivatelor ca vectori în loc de matrice diagonală.}} și matricile ponderilor:{{Efn|Întrucât multiplicarea matricilor este liniară, derivata ei este doar matricea: <math>(Wx)' = W</math>.}}

: <math>\frac{d C}{d a^L}\circ (f^L)' \cdot W^L \circ (f^{L-1})' \cdot W^{L-1} \circ \cdots \circ (f^1)' \cdot W^1.</math>

Gradientul <math>\nabla</math> este [[Matrice transpusă|transpusa]] derivatei ieșirii în termeni de intrare, deci matricile sunt transpuse și ordinea înmulțirii se inversează, dar intrările sunt aceleași:

: <math>\nabla_x C = (W^1)^T \cdot (f^1)' \circ \ldots \circ (W^{L-1})^T \cdot (f^{L-1})' \circ (W^L)^T \cdot (f^L)' \circ \nabla_{a^L} C.</math>

{{Lang|en|Backpropagation}} constă apoi, în esență, în evaluarea acestei expresii de la dreapta la stânga (echivalent, înmulțirea expresiei anterioare pentru derivată de la stânga la dreapta), calculând gradientul la fiecare strat pe parcurs; se mai adaugă un pas, deoarece gradientul ponderilor nu este doar o subexpresie: există o înmulțire suplimentară.

Introducerea mărimii auxiliare <math>\delta^l</math> pentru produsele parțiale (înmulțirea de la dreapta la stânga), interpretată ca „eroare la nivelul <math>l</math>” și definită ca gradientul valorilor de intrare la nivelul <math>l</math>:

: <math>\delta^l := (f^l)' \circ (W^{l+1})^T\cdot(f^{l+1})' \circ \cdots \circ (W^{L-1})^T \cdot (f^{L-1})' \circ (W^L)^T \cdot (f^L)' \circ \nabla_{a^L} C.</math>

Cum <math>\delta^l</math> este un vector, de lungime egală cu numărul de noduri din nivelul <math>l</math>, fiecare componentă este interpretată drept „costul atribuibil (valorii) nodului respectiv”.

Gradientul ponderilor din stratul <math>l</math> este atunci:

: <math>\nabla_{W^l} C = \delta^l(a^{l-1})^T.</math>

Factorul <math>a^{l-1}</math> este pentru că greutățile <math>W^l</math> între nivelele <math>l - 1</math> și <math>l</math> afectează <math>l</math> proporțional cu intrările (activările): intrările sunt fixe, ponderile variază.

<math>\delta^l</math> poate fi ușor calculat recursiv, mergând de la dreapta la stânga, după cum urmează:

: <math>\delta^{l-1} := (f^{l-1})' \circ (W^l)^T \cdot \delta^l.</math>

Gradienții ponderilor pot fi astfel calculați folosind câteva înmulțiri de matrici pentru fiecare nivel; aceasta este ''{{Lang|en|backpropagation}}''.

Se compară cu calculul naiv înainte (folosind <math>\delta^l</math> pentru ilustrare):

: <math>\begin{align}
\delta^1 &= (f^1)' \circ (W^2)^T \cdot (f^2)' \circ \cdots \circ (W^{L-1})^T \cdot (f^{L-1})' \circ (W^L)^T \cdot (f^L)' \circ \nabla_{a^L} C\\
\delta^2 &= (f^2)' \circ \cdots \circ (W^{L-1})^T \cdot (f^{L-1})' \circ (W^L)^T \cdot (f^L)' \circ \nabla_{a^L} C\\
&\vdots\\
\delta^{L-1} &= (f^{L-1})' \circ (W^L)^T \cdot (f^L)' \circ \nabla_{a^L} C\\
\delta^L &= (f^L)' \circ \nabla_{a^L} C,
\end{align}</math>

În ''{{Lang|en|backpropagation}}'' există două diferențe esențiale:

# Calculul lui <math>\delta^{l-1}</math> în termeni de <math>\delta^l</math> evită evidenta dublare a înmulțirii straturilor <math>l</math> și mai departe.
# Înmulțirea începând de la <math>\nabla_{a^L} C</math> – propagarea erorii ''înapoi'' – înseamnă că la fiecare pas pur și simplu se înmulțește un vector (<math>\delta^l</math>) cu matricile de ponderi <math>(W^l)^T</math> și derivatele activărilor <math>(f^{l-1})'</math>. În schimb, înmulțirea înainte, pornind de la modificările de la un strat anterior, înseamnă că la fiecare înmulțire se înmulțește o ''matrice'' cu altă ''matrice''. Aceasta este mult mai costisitoare și corespunde urmăririi tuturor căilor posibile ale unei modificări dintr-un singur strat <math>l</math> până în stratul <math>l+2</math> (pentru înmulțirea lui <math>W^{l+1}</math> cu <math>W^{l+2}</math>, cu înmulțiri suplimentare pentru derivatele activărilor), care calculează în mod inutil cantități intermediare ale modului în care modificările de pondere afectează valorile nodurilor ascunse.

== Graful adjunct ==
Pentru grafuri mai generale și alte variații avansate, ''{{Lang|en|backpropagation}}'' poate fi înțeles în termeni de {{Ill-wd|Q787371|3=diferențiere automată}}, unde ''{{Lang|en|backpropagation}}'' este un caz particular al acumulării inverse (sau „modului invers”).

=== Motivația ===
Obiectivul oricărui algoritm de {{Ill-wd|Q334384|3=învățare supravegheată}} este de a găsi o funcție care mapează cel mai bine un set de intrări la ieșirea lor corectă. Motivația pentru ''{{Lang|en|backpropagation}}'' este de a antrena o rețea neurală cu mai multe straturi, astfel încât să poată învăța reprezentările interne adecvate pentru a-i permite să învețe orice mapare arbitrară a intrării la ieșire.<ref name="RumelhartHintonWilliams1986a">{{Citat revistă|nume=Rumelhart|nume2=Hinton|nume3=Williams|prenume=David E.|prenume2=Geoffrey E.|prenume3=Ronald J.|legătură-autor=David E. Rumelhart|legătură-autor2=Geoffrey E. Hinton|legătură-autor3=Ronald J. Williams|dată=1986a|titlu=Learning representations by back-propagating errors|journal=Nature|volum=323|număr=6088|pagini=533–536|bibcode=1986Natur.323..533R|doi=10.1038/323533a0}}</ref>

=== Învățarea ca problemă de optimizare ===
Pentru a înțelege calculul matematic al algoritmului de ''{{Lang|en|backpropagation}}'', este nevoie mai întâi de dezvoltarea unei intuiții despre relația dintre produsul real al unui [[neuron]] și rezultatul corect pentru un anumit exemplu de antrenament. Fie o rețea neurală simplă cu două unități de intrare, o unitate de ieșire și fără unități ascunse și în care fiecare neuron utilizează o ieșire liniară (spre deosebire de majoritatea lucrărilor pe rețelele neurale, în care maparea de la intrări la ieșiri este neliniară){{Efn|Se poate observa că rețelele neurale multistrat folosesc funcții de activare neliniare, astfel că exemplul cu neuroni liniari pare obscur. Chiar dacă însă suprafațele de erori ale rețelelor multistrat sunt mai complicate, local acestea pot fi aproximate cu un paraboloid. Neuronii liniari sunt folosiți, deci, pentru simplitate și ușurință de învățare.}} care este suma ponderată a intrărilor sale.
[[Fișier:A_simple_neural_network_with_two_input_units_and_one_output_unit.png|miniatura|250x250px| O rețea neurală simplă cu două unități de intrare (fiecare cu o singură intrare) și o unitate de ieșire (cu două intrări)]]
Inițial, înainte de antrenare, ponderile pot fi stabilite aleatoriu. Apoi neuronul învață din {{Ill-wd|Q3985153|3=exemplele de antrenare}}, care în acest caz constau dintr-o mulțime de {{Ill-wd|Q600590|3=tupluri}} <math>(x_1, x_2, t)</math> unde <math>x_1</math> și <math>x_2</math> sunt intrările rețelei și {{Mvar|t}} este ieșirea corectă (ieșirea pe care rețeaua ar trebui să o producă când primește acele intrări, la momentul antrenării). Când primește la intrare <math>x_1</math> și <math>x_2</math>, rețeaua inițială va calcula o ieșire {{Mvar|y}} care probabil diferă de {{Mvar|t}} (dat fiind că ponderile sunt aleatorii). O [[Funcția de pierdere|funcție de cost]] <math> L(t, y) </math> este utilizată pentru măsurarea discrepanței dintre ieșirea așteptată {{Mvar|t}} și ieșirea calculată {{Mvar|y}}. Pentru problemele de [[Analiza de regresie|analiză de regresie]], eroarea pătrată poate fi folosită ca funcție de cost, dar pentru {{Ill-wd|Q1744628|3=clasificare}} se poate folosi {{Ill-wd|Q1685498|3=entropia încrucișată categorială}}.

De exemplu, fie o problemă de regresie folosind eroarea pătrată ca funcție de cost:

: <math>L(t, y)= (t-y)^2 = E, </math>

unde {{Mvar|E}} este discrepanța sau eroarea.

Fie rețeaua pe un singur caz de antrenare: <math>(1, 1, 0)</math>. Astfel, intrările <math>x_1</math> și <math>x_2</math> sunt 1 și, respectiv, 1, iar ieșirea corectă {{Mvar|t}} este 0. Acum, dacă este reprezentată relația dintre ieșirea rețelei {{Mvar|y}} pe axa orizontală și eroarea {{Mvar|E}} pe axa verticală, rezultatul este o parabolă. [[Maxim și minim|Minimul]] [[Parabolă|parabolei]] corespunde ieșirii {{Mvar|y}} care minimizează eroarea {{Mvar|E}}. Pentru un singur caz de antrenament, minimul atinge și axa orizontală, ceea ce înseamnă că eroarea va fi zero și rețeaua poate produce o ieșire {{Mvar|y}} care se potrivește exact cu ieșirea țintă {{Mvar|t}}. Prin urmare, problema mapării intrărilor la ieșiri poate fi redusă la o {{Ill-wd|Q984063|3=problemă de optimizare}} a găsirii unei funcții care va produce eroarea minimă.
[[Fișier:Error_surface_of_a_linear_neuron_for_a_single_training_case.png|dreapta|miniatura|250x250px| Suprafața de eroare a unui neuron liniar pentru un singur caz de antrenament]]
Ieșirea unui neuron depinde însă de suma ponderată a tuturor intrărilor sale:

: <math>y=x_1w_1 + x_2w_2,</math>

Unde <math>w_1</math> și <math>w_2</math> sunt ponderile conexiunii de la unitățile de intrare la unitatea de ieșire. Prin urmare, eroarea depinde și de ponderile de intrare ale neuronului, care este în cele din urmă ceea ce trebuie schimbat în rețea pentru a permite învățarea.

În acest exemplu, la injectarea datelor de antrenare <math>(1, 1, 0)</math>, funcția de cost devine

<math> E = (t-y)^2 = y^2 = (x_1w_1 + x_2w_2)^2 = (w_1 + w_2)^2.</math>

Atunci, funcția de cost <math>E</math> ia forma unui cilindru parabolic cu baza îndreptată de-a lungul  dreptei <math>w_1 = -w_2</math>. Deoarece toate mulțimile de ponderi care satisfac <math>w_1 = -w_2</math> minimizează funcția de cost, în acest caz sunt necesare constrângeri suplimentare pentru a converge către o soluție unică. Constrângerile suplimentare ar putea fi generate fie prin stabilirea unor condiții specifice pentru ponderi, fie prin injectarea de date suplimentare de antrenare.

Un algoritm utilizat în mod obișnuit pentru a găsi mulțimea de ponderi care minimizează eroarea este {{Ill-wd|Q1199743|3=descreșterea gradientului}}. Prin ''{{Lang|en|backpropagation}}'', se calculează cea mai abruptă direcție de descreștere a funcției de cost față de ponderile sinaptice actuale. Ponderile pot fi apoi modificate pe cea mai abruptă direcție de descreștere, iar eroarea este redusă la minimum într-un mod eficient.

== Derivare ==
cu

: <math>E = L(t, y)</math>

unde

: <math>L</math> este costul pentru ieșirea <math>y</math> și valoarea așteptată <math>t</math> ,
: <math>t</math> este rezultatul așteptat pentru un eșantion de antrenare și
: <math>y</math> este ieșirea reală a neuronului de ieșire.

Pentru fiecare neuron <math>j</math>, ieșirea sa <math>o_j</math> este definită ca

: <math>o_j = \varphi(\text{net}_j) = \varphi\left(\sum_{k=1}^n w_{kj}x_k\right),</math>

unde {{Ill-wd|Q4677469|3=funcția de activare}} <math>\varphi</math> este {{Ill-wd|Q660848|3=neliniară}} și [[Funcție derivabilă|diferențiabilă]] în regiunea de activare (ReLU nu este diferențiabilă într-un punct). O funcție de activare folosită istoric este {{Ill-wd|Q1052379|3=funcția logistică}}:

: <math> \varphi(z) = \frac 1 {1+e^{-z}}</math>

care are o derivată convenabilă:

: <math> \frac {d \varphi}{d z} = \varphi(z)(1-\varphi(z)) </math>

Prin urmare, derivata în raport cu <math>o_j</math> poate fi calculată dacă se cunosc toate derivatele în raport cu ieșirile <math>o_\ell</math> ale stratului următor – cele mai apropiate de neuronul de ieșire. Dacă vreunul dintre neuroni din mulțimea <math>L</math> nu este conectat la neuronul <math>j</math>, atunci ar fi independent de <math>w_{ij}</math>, iar derivata parțială corespunzătoare sub însumare s-ar reduce la 0.

=== Găsirea derivatei erorii ===
[[Fișier:ArtificialNeuronModel_english.png|miniatura|400x400px| Diagrama unei rețele neurale artificiale care ilustrează notația folosită aici]]
Calculul [[Derivată parțială|derivatei parțiale]] a erorii în raport cu o pondere <math>w_{ij}</math> se face folosind regula derivării funcțiilor compuse de două ori:
{{NumBlk|:|<math>\frac{\partial E}{\partial o_j} = \frac{\partial E}{\partial y} </math>|{{EquationRef|Eq. 4}}}}

În ultimul factor din partea dreaptă a celor de mai sus, un singur termen din sumă, <math>\text{net}_j</math>, depinde de <math>w_{ij}</math>, astfel încât
{{NumBlk|:|<math>\frac{\partial E}{\partial o_j} = \sum_{\ell \in L} \left(\frac{\partial E}{\partial \text{net}_\ell}\frac{\partial \text{net}_\ell}{\partial o_j}\right) = \sum_{\ell \in L} \left(\frac{\partial E}{\partial o_\ell}\frac{\partial o_\ell}{\partial \text{net}_\ell}\frac{\partial \text{net}_\ell}{\partial o_j}\right) = \sum_{\ell \in L} \left(\frac{\partial E}{\partial o_\ell}\frac{\partial o_\ell}{\partial \text{net}_\ell}w_{j \ell}\right)</math>|{{EquationRef|Eq. 5}}}}

Dacă neuronul se află în primul strat după stratul de intrare, <math>o_i</math> este doar <math>x_i</math>.

Intrarea <math>\text{net}_j</math> a unui neuron este suma ponderată a ieșirilor <math>o_k</math> a neuronilor anteriori. Dacă neuronul se află în primul strat după stratul de intrare, atunci <math>o_k</math> ale stratului de intrare sunt pur și simplu intrările <math>x_k</math> la rețea. Numărul de unități de intrare către neuron este <math>n</math>. Variabila <math>w_{kj}</math> denotă ponderea dintre neuronul <math>k</math> din stratului anterior și neuronul <math>j</math> din stratului curent.<math display="block">E(y,y') = \tfrac{1}{2} \lVert y-y'\rVert^2</math> care pentru {{Ill-wd|Q1052379|3=funcția de activare logistică}}

: <math>\frac{\partial E}{\partial w_{ij}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial \text{net}_{j}} \frac{\partial \text{net}_{j}}{\partial w_{ij}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial \text{net}_{j}} o_i</math>
: <math> \frac{\partial E}{\partial w_{ij}} = o_i \delta_j</math>

Acesta este motivul pentru care ''{{Lang|en|backpropagation}}'' necesită ca funcția de activare să fie [[Funcție derivabilă|diferențiabilă]]. (Cu toate acestea, funcția de activare {{Ill-wd|Q7303176|3=ReLU}}, care este nediferențiabilă în 0, a devenit destul de populară, de exemplu în {{Ill-wd|Q28325009|3=AlexNet}})

Primul factor este simplu de evaluat dacă neuronul se află în stratul de ieșire, pentru că atunci <math>o_j = y</math> și<math display="block">E=\frac{1}{2n}\sum_x\lVert (y(x)-y'(x)) \rVert^2</math>
Dacă jumătate din pătratul erorii este folosit ca funcție de cost, o putem rescrie ca

:<math>\delta_j = \frac{\partial E}{\partial o_j} \frac{\partial o_j}{\partial\text{net}_j} = \begin{cases}
(o_j-t_j)o_j(1-o_{j}) & \text{dacă } j \text{ este un neuron de ieșire,}\\
(\sum_{\ell\in L} w_{j \ell} \delta_\ell)o_j(1-o_j) & \text{dacă } j \text{ este un neuron interior.}
\end{cases}</math>

Dacă însă <math>j</math> se află într-un strat interior arbitrar al rețelei, metoda de găsire a derivatei <math>E</math> în raport cu <math>o_j</math> este mai puțin evidentă.

Considerând <math>E</math> o funcție, intrările fiind toți neuronii <math>L = \{u, v, \dots, w\}</math> care primesc intrare de la neuronul <math>j</math>,

: <math>\frac{\partial o_j}{\partial\text{net}_j} = \frac {\partial}{\partial \text{net}_j} \varphi(\text{net}_j) = \varphi(\text{net}_j)(1-\varphi(\text{net}_j)) = o_j(1-o_j)</math>

și luând {{Ill-wd|Q636889|3=derivata totală}} în raport cu <math>o_j</math>, se obține o expresie recursivă pentru derivată:

Înlocuind {{EquationNote|Eq. 2}}, {{EquationNote|Eq. 3}} {{EquationNote|Eq.4}} și {{EquationNote|Eq. 5}} în {{EquationNote|Eq. 1}} se obține:

: <math> \Delta w_{ij} = - \eta \frac{\partial E}{\partial w_{ij}} = - \eta o_i \delta_j</math>

Metoda descreșterii de gradient implică calculul derivatei funcției de cost în raport cu ponderile rețelei. Aceasta se face în mod normal utilizând ''{{Lang|en|backpropagation}}''. Presupunând un neuron de ieșire,{{Efn|Pot fi mai mulți neuroni de ieșire, caz în care eroarea este norma la pătrat a vectorului de diferențe.}} funcția de eroare pătrată este

: <math>\delta_j 
  = 
    \frac{\partial E}{\partial o_j} \frac{\partial o_j}{\partial\text{net}_j} 
  = \begin{cases}
      \frac{\partial L(t, o_j)}{\partial o_j} \frac {d \varphi(\text{net}_j)}{d \text{net}_j}          & \text{dacă } j \text{ este un neuron de ieșire,}\\
      (\sum_{\ell\in L} w_{j \ell} 
              \delta_\ell)\frac {d \varphi(\text{net}_j)}{d \text{net}_j}  & \text{dacă } j \text{ este un neuron interior.}
\end{cases}</math>

dacă <math>\varphi</math> este funcția logistică, iar eroarea este pătratul erorii:

: <math>\frac{\partial E}{\partial o_j} = \frac{\partial E}{\partial y} = \frac{\partial}{\partial y} \frac{1}{2}(t - y)^2 = y - t </math>

Pentru a actualiza ponderea <math>w_{ij}</math> folosind descreșterea gradientului, trebuie aleasă o rată de învățare, <math>\eta >0</math> . Modificarea ponderii trebuie să reflecte impactul asupra lui <math>E</math> al unei creșteri sau scăderi a lui <math>w_{ij}</math>. Dacă <math>\frac{\partial E}{\partial w_{ij}} > 0</math>, atunci o creștere a lui <math>w_{ij}</math> va face să crească <math>E</math> ; invers, dacă <math>\frac{\partial E}{\partial w_{ij}} < 0</math>, o creștere a lui <math>w_{ij}</math> va face să scadă <math>E</math> . Noul <math>\Delta w_{ij}</math> se adaugă la ponderea veche, iar produsul dintre rata de învățare și gradient, înmulțit cu <math>-1</math> garantează că <math>w_{ij}</math> se schimbă într-un mod care scade întotdeauna <math>E</math>. Cu alte cuvinte, în ecuația imediat de mai jos, <math>- \eta \frac{\partial E}{\partial w_{ij}}</math> îl schimbă întotdeauna pe <math>w_{ij}</math> în așa fel încât <math>E</math> să se reducă:

: <math> \Delta w_{ij} = - \eta \frac{\partial E}{\partial w_{ij}} = - \eta o_i \delta_j</math>

== Descreșterea gradientului de ordinul doi ==
Folosind o [[matrice Hessiană]] de derivate de ordinul doi ale funcției de eroare, {{Ill-wd|Q1426494|3=algoritmul Levenberg-Marquardt}} converge adesea mai rapid decât descreșterea gradientului de ordinul întâi, mai ales când topologia funcției de eroare este complicată.<ref name="Tan2018">{{Citat revistă|nume=Tan|nume2=Lim|prenume=Hong Hui|prenume2=King Han|an=2019|titlu=Review of second-order optimization techniques in artificial neural networks backpropagation|journal=IOP Conference Series: Materials Science and Engineering|volum=495|număr=1|pagină=012003|bibcode=2019MS&E..495a2003T|doi=10.1088/1757-899X/495/1/012003}}</ref><ref name="Wiliamowski2010">{{Citat revistă|nume=Wiliamowski|nume2=Yu|prenume=Bogdan|prenume2=Hao|dată=June 2010|titlu=Improved Computation for Levenberg–Marquardt Training|url=https://www.eng.auburn.edu/~wilambm/pap/2010/Improved%20Computation%20for%20LM%20Training.pdf|journal=IEEE Transactions on Neural Networks and Learning Systems|volum=21|număr=6}}</ref> De asemenea, el poate găsi soluții cu un număr mai mic de noduri, cu care alte metode ar putea să nu conveargă.<ref name="Wiliamowski2010" /> Hessiana poate fi aproximată prin {{Ill-wd|Q1420659|3=matricea de informații Fisher}}.<ref name="Martens2020">{{Citat revistă|nume=Martens|prenume=James|dată=August 2020|titlu=New Insights and Perspectives on the Natural Gradient Method|journal=Journal of Machine Learning Research|număr=21}}</ref>

== Funcția de cost ==
Funcția de cost este o funcție care mapează valorile uneia sau mai multor variabile pe un [[număr real]] reprezentând intuitiv un „cost” asociat cu acele valori. Pentru ''{{Lang|en|backpropagation}}'', funcția de cost calculează diferența dintre ieșirea rețelei și rezultatul așteptat, după ce un exemplu de antrenare s-a propagat prin rețea.

=== Ipoteze ===
Expresia matematică a funcției de cost trebuie să îndeplinească două condiții pentru ca ea să poată fi utilizată în ''{{Lang|en|backpropagation}}''. Prima este că poate fi scrisă ca o medie <math display="inline">E=\frac{1}{n}\sum_xE_x</math> a funcțiilor de eroare <math display="inline">E_x</math>, pentru <math display="inline">n</math> exemple individuale de antrenare, <math display="inline">x</math> . Motivul pentru această ipoteză este că algoritmul ''{{Lang|en|backpropagation}}'' calculează gradientul funcției de eroare pentru un singur exemplu de antrenare, care trebuie generalizat la funcția de eroare generală. A doua presupunere este că poate fi scrisă în funcție de ieșirile din rețeaua neurală.

=== Exemplu de funcție de cost ===
Fie <math>y,y'</math> vectori în <math>\mathbb{R}^n</math>.

Se alege o funcție de eroare <math>E(y,y')</math> care măsoară diferența dintre două ieșiri. Alegerea standard este pătratul [[Distanță euclidiană|distanței euclidiene]] dintre vectori <math>y</math> și <math>y'</math>: <math display="block">E=\frac{1}{2n}\sum_x\lVert (y(x)-y'(x)) \rVert^2</math>

== Limitări ==
[[Fișier:Extrema_example.svg|miniatura|250x250px| Descreșterea gradientului poate găsi un minim local în locul minimului global.]]

* Descreșterea gradientului din ''{{Lang|en|backpropagation}}'' nu garantează că va găsi [[Maxim și minim|minimul global]] al funcției de eroare, ci doar un minim local; de asemenea, are probleme la traversarea {{Ill-wd|Q4968575|3=platourilor}} din peisajul funcțiilor de eroare. Această problemă, cauzată de {{Ill-wd|Q463359|3=neconvexitatea}} funcțiilor de eroare din rețelele neurale, a fost mult timp considerată a fi un dezavantaj major, dar {{Ill-wd|Q3571662|3=Yann LeCun}} ''et al.'' susțin că în multe probleme practice, nu este.<ref>{{Citat revistă|nume=LeCun|nume2=Bengio|nume3=Hinton|prenume=Yann|prenume2=Yoshua|prenume3=Geoffrey|an=2015|titlu=Deep learning|journal=Nature|volum=521|număr=7553|pagini=436–444|pmid=26017442|bibcode=2015Natur.521..436L|doi=10.1038/nature14539}}</ref>
* Învățarea prin ''{{Lang|en|backpropagation}}'' nu necesită normalizarea vectorilor de intrare; totuși, normalizarea ar putea îmbunătăți performanța.<ref>{{Citat carte|titlu=AI Techniques for Game Programming|nume=Buckland|prenume=Matt|nume2=Collins|prenume2=Mark|locul-publicării=Boston|editură=Premier Press|an=2002|isbn=1-931841-08-X}}</ref>
* ''{{Lang|en|Backpropagation}}'' necesită ca derivatele funcțiilor de activare să fie cunoscute în momentul proiectării rețelei.

== Istorie ==

=== Precursori ===
''{{Lang|en|Backpropagation}}'' a fost derivată în mod repetat, deoarece este în esență o aplicare eficientă a regulii derivării funcțiilor compuse (enunțată în premieră de [[Gottfried Wilhelm von Leibniz|Gottfried Wilhelm Leibniz]] în 1676<ref name="leibniz1676"/><ref>{{Citat revistă|nume=Rodríguez|nume2=López Fernández|prenume=Omar Hernández|prenume2=Jorge M.|an=2010|titlu=A Semiotic Reflection on the Didactics of the Chain Rule|url=https://scholarworks.umt.edu/tme/vol7/iss2/10/|journal=The Mathematics Enthusiast|volum=7|număr=2|pagini=321–332|doi=10.54870/1551-3440.1191|access-date=2019-08-04}}</ref>) asupra rețelelor neurale.

Terminologia „corectare a erorilor prin ''{{Lang|en|backpropagation}}''” a fost introdusă în 1962 de {{Ill-wd|Q93018|3=Frank Rosenblatt}}, dar el nu știa cum să implementeze acest lucru.<ref>{{Citat carte|nume=Rosenblatt|prenume=Frank|titlu=Principles of Neurodynamics|editură=Spartan, New York|an=1962|pagini=287–298|legătură-autor=Frank Rosenblatt}}</ref> În orice caz, el a studiat doar neuronii ale căror ieșiri erau niveluri discrete, care aveau doar derivate zero, făcând ''{{Lang|en|backpropagation}}'' imposibil.

Precursorii lui ''{{Lang|en|backpropagation}}'' au apărut în {{Ill-wd|Q1971426|3=teoria controlului optim}} încă din anii 1950. {{Ill-wd|Q3571662|3=Yann LeCun}} {{Lang|la|et al.}} creditează lucrările din anii 1950 a lui {{Ill-wd|Q451319|3=Pontreaghin}} și alții, în teoria controlului optim, în special {{Ill-wd|Q4683172|3=metoda stării adjuncte}}, ca fiind o versiune în timp continuu a lui ''{{Lang|en|backpropagation}}''.<ref>LeCun, Yann, et al. "A theoretical framework for back-propagation." ''Proceedings of the 1988 connectionist models summer school''. Vol. 1. 1988.</ref> {{Ill-wd|Q7345367|3=Hecht-Nielsen}}<ref>{{Citat carte|nume=Hecht-Nielsen|prenume=Robert|url=http://archive.org/details/neurocomputing0000hech|titlu=Neurocomputing|dată=1990|editură=Reading, Mass. : Addison-Wesley Pub. Co.|alții=Internet Archive|isbn=978-0-201-09355-1|pagini=124–125}}</ref> creditează {{Ill-wd|Q97663916|3=algoritmul Robbins–Monro}} (1951) și ''Applied Optimal Control'' (1969) a lui {{Ill-wd|Q4798535|3=Arthur Bryson}} și {{Ill-wd|Q9105347|3=Yu-Chi Ho}} ca ceva ce anticipa ''{{Lang|en|backpropagation}}''. Alți precursori au fost {{Ill-wd|Q23683521|3=Henry J. Kelley}} 1960, <ref name="kelley1960"/> și {{Ill-wd|Q4798535|3=Arthur E. Bryson}} (1961).<ref name="bryson1961"/> În 1962, {{Ill-wd|Q7626484|3=Stuart Dreyfus}} a publicat un calcul mai simplu bazat doar pe regula derivării funcțiilor compuse.<ref>{{Citat revistă|nume=Dreyfus|prenume=Stuart|an=1962|titlu=The numerical solution of variational problems|journal=Journal of Mathematical Analysis and Applications|volum=5|număr=1|pagini=30–45|doi=10.1016/0022-247x(62)90004-5}}</ref><ref name="dreyfus1990">{{Citat revistă|nume=Dreyfus|prenume=Stuart E.|legătură-autor=Stuart Dreyfus|dată=1990|titlu=Artificial Neural Networks, Back Propagation, and the Kelley-Bryson Gradient Procedure|journal=Journal of Guidance, Control, and Dynamics|volum=13|număr=5|pagini=926–928|bibcode=1990JGCD...13..926D|doi=10.2514/3.25422}}</ref><ref>{{Citat web|url=https://coeieor.wpengine.com/wp-content/uploads/2019/03/ijcnn2k.pdf|nume=Mizutani|titlu=On derivation of MLP backpropagation from the Kelley-Bryson optimal-control gradient formula and its application|publisher=Proceedings of the IEEE International Joint Conference on Neural Networks|date=July 2000|first1=Eiji|last2=Dreyfus|last3=Nishio|first2=Stuart|first3=Kenichi}}</ref> În 1973, el adapta [[Parametru|parametrii]] controllerelor proporțional cu gradienții de eroare.<ref name="dreyfus1973">{{Citat revistă|nume=Dreyfus|prenume=Stuart|legătură-autor=Stuart Dreyfus|an=1973|titlu=The computational solution of optimal control problems with time lag|journal=IEEE Transactions on Automatic Control|volum=18|număr=4|pagini=383–385|doi=10.1109/tac.1973.1100330}}</ref> Spre deosebire de ''{{Lang|en|backpropagation}}'' modern, acești precursori foloseau calcule standard cu matricea jacobiană de la o etapă la cea anterioară, fără a aborda legăturile directe în mai multe etape și nici potențialele câștiguri suplimentare de eficiență datorate dispersității rețelei.

Algoritmul de învățare {{Ill-wd|Q348261|3=ADALINE}} (1960) a fost o descreștere de gradient cu funcția de cost pătratul erorii pentru un singur strat. Primul {{Ill-wd|Q2991667|3=perceptron multistrat}} (MLP) cu mai mult de un strat antrenat prin {{Ill-wd|Q7617819|3=descreșterea de gradient stochastică}}<ref name="robbins1951"/> a fost publicat în 1967 de {{Ill-wd|Q7505004|3=Shun'ichi Amari}}.<ref name="Amari1967">{{Citat revistă|nume=Amari|prenume=Shun'ichi|legătură-autor=Shun'ichi Amari|dată=1967|titlu=A theory of adaptive pattern classifier|journal=IEEE Transactions|volum=EC|număr=16|pagini=279–307}}</ref><ref name="DLhistory">{{Cite arXiv}}</ref> MLP avea 5 straturi, din care 2 straturi puteau fi învățate, și a învățat să clasifice modele care nu sunt separabile liniar.<ref name="DLhistory" />

=== ''{{Lang|en|Backpropagation}}'' modern ===
''{{Lang|en|Backpropagation}}'' modern a fost publicat pentru prima dată de {{Ill-wd|Q23682411|3=Seppo Linnainmaa}} ca „mod invers de {{Ill-wd|Q787371|3=diferențiere automată}}” (1970)<ref name="lin1970"/> pentru rețele discrete conectate de funcții [[Funcție derivabilă|diferențiabile]] imbricate.<ref name="lin1976"/><ref name="grie2012"/>

În 1982, {{Ill-wd|Q7154300|3=Paul Werbos}} a aplicat ''{{Lang|en|backpropagation}}'' la MLP-uri în modul care a devenit standard.<ref name="werbos1982">{{Citat carte|titlu=System modeling and optimization|nume=Werbos|prenume=Paul|editură=Springer|an=1982|pagini=762–770|capitol=Applications of advances in nonlinear sensitivity analysis|legătură-autor=Paul Werbos|url-capitol=http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|data-accesării=2 July 2017}}</ref><ref name="werbos1974">{{Citat carte|nume=Werbos|prenume=Paul J.|titlu=The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting|locul-publicării=New York|editură=John Wiley & Sons|an=1994|isbn=0-471-59897-6}}</ref> Werbos descria într-un interviu cum a dezvoltat ''{{Lang|en|backpropagation}}''. În 1971, în timpul lucrării sale de doctorat, el a dezvoltat ''{{Lang|en|backpropagation}}'' pentru a matematiciza „fluxul de energie psihică” al lui [[Sigmund Freud|Freud]]. S-a confruntat cu dificultăți repetate în publicarea lucrării, reușind abia în 1981.<ref name=":1">{{Citat carte|url=https://direct.mit.edu/books/book/4886/Talking-NetsAn-Oral-History-of-Neural-Networks|titlu=Talking Nets: An Oral History of Neural Networks|dată=2000|editură=The MIT Press|isbn=978-0-262-26715-1|nume-editor=Anderson|prenume-editor=James A.|limbă=en|doi=10.7551/mitpress/6626.003.0016|nume-editor2=Rosenfeld}}</ref>

Prin preajma lui 1982,<ref name=":1"/>{{Rp|376}} {{Ill-wd|Q93111|3=David E. Rumelhart}} a dezvoltat independent<ref>Olazaran Rodriguez, Jose Miguel. ''[https://web.archive.org/web/20221111165150/https://era.ed.ac.uk/bitstream/handle/1842/20075/Olazaran-RodriguezJM_1991redux.pdf?sequence=1&isAllowed=y A historical sociology of neural network research]''. PhD Dissertation. University of Edinburgh, 1991.</ref>{{Rp|252}} ''{{Lang|en|backpropagation}}'' și a predat algoritmul celor din cercul său de cercetare. El nu cita lucrări anterioare, deoarece nu le cunoștea. A publicat algoritmul mai întâi într-o lucrare din 1985, apoi, într-un articol din ''[[Nature]]'' din 1986, a descris o analiză experimentală a tehnicii.<ref name="learning-representations"/> Aceste lucrări au devenit foarte citate, au contribuit la popularizarea lui ''{{Lang|en|backpropagation}}'' și au coincis cu renașterea interesului de cercetare în rețelele neurale în anii 1980.<ref name="RumelhartHintonWilliams1986a"/><ref name="RumelhartHintonWilliams1986b">{{Citat carte|nume-editor=Rumelhart|prenume-editor=David E.|link-editor=David E. Rumelhart|prenume-editor2=James L.|nume-editor2=McClelland|link-editor2=James McClelland (psychologist)|titlu=Parallel Distributed Processing : Explorations in the Microstructure of Cognition|volum=1 : Foundations|nume=Rumelhart|prenume=David E.|legătură-autor=David E. Rumelhart|nume2=Hinton|prenume2=Geoffrey E.|legătură-autor2=Geoffrey E. Hinton|prenume3=Ronald J.|nume3=Williams|legătură-autor3=Ronald J. Williams|capitol=8. Learning Internal Representations by Error Propagation|locul-publicării=Cambridge|editură=MIT Press|an=1986b|isbn=0-262-18120-7|url-capitol=https://archive.org/details/paralleldistribu00rume}}</ref><ref>{{Citat carte|url={{google books |plainurl=y |id=4j9GAQAAIAAJ}}|titlu=Introduction to Machine Learning|nume=Alpaydin|prenume=Ethem|editură=MIT Press|an=2010|isbn=978-0-262-01243-0}}</ref>

În 1985, metoda a fost descrisă și de David Parker.<ref name=":0">{{Citat carte|nume=Hertz|prenume=John|titlu=Introduction to the theory of neural computation|dată=1991|editură=Addison-Wesley|alții=Krogh, Anders., Palmer, Richard G.|isbn=0-201-50395-6|locul-publicării=Redwood City, Calif.|pagini=8|oclc=21522159}}</ref> {{Ill-wd|Q3571662|3=Yann LeCun}} a propus o formă alternativă de ''{{Lang|en|backpropagation}}'' pentru rețelele neurale în teza sa de doctorat din 1987.<ref>{{Cite thesis|title=Modèles connexionnistes de l'apprentissage|url=https://www.sudoc.fr/043586643|publisher=Université Pierre et Marie Curie|date=1987|place=Paris, France|degree=Thèse de doctorat d'état|first=Yann|last=Le Cun}}</ref>

Descreșterea gradientului a avut nevoie de o perioadă considerabilă de timp pentru a ajunge la acceptare. Unele dintre obiecțiile inițiale au fost: că nu existau garanții că descreșterea gradientului poate atinge un minim global, ci doar un minim local; că neuronii erau „cunoscuți” de fiziologi ca producând semnale discrete (0/1), nu continue, iar cu semnale discrete, nu există nici un gradient de luat. Vezi interviul cu [[Geoffrey Hinton]].<ref name=":1"/>

=== Primele succese ===
La acceptare au contribuit mai multe aplicații de antrenare a rețelelor neurale prin ''{{Lang|en|backpropagation}}'', uneori atingând popularitate în afara cercurilor de cercetare.

În 1987, {{Ill-wd|Q1960039|3=NETtalk}} a învățat să convertească textul în [[limba engleză]] în pronunție. Sejnowski a încercat să-l antreneze atât cu ''{{Lang|en|backpropagation}}'', cât și cu mașina Boltzmann, dar a constatat că ''{{Lang|en|backpropagation}}'' funcționează mult mai rapid, așa că l-a folosit pentru varianta finală de NETtalk.<ref name=":1"/>{{Rp|page=324}} Programul NETtalk a avut un mare succes și a apărut în {{Ill-wd|Q130838|3=emisiunea ''Today''}}.<ref name=":02">{{Citat carte|nume=Sejnowski|prenume=Terrence J.|titlu=The deep learning revolution|dată=2018|editură=The MIT Press|isbn=978-0-262-03803-4|locul-publicării=Cambridge, Massachusetts London, England}}</ref>

În 1989, Dean A. Pomerleau a publicat ALVINN, o rețea neurală antrenată să {{Ill-wd|Q3569610|3=conducă autonom vehicule}} folosind ''{{Lang|en|backpropagation}}''.<ref>{{Citat revistă|nume=Pomerleau|prenume=Dean A.|dată=1988|titlu=ALVINN: An Autonomous Land Vehicle in a Neural Network|url=https://proceedings.neurips.cc/paper/1988/hash/812b4ba287f5ee0bc9d43bbf5bbe87fb-Abstract.html|journal=Advances in Neural Information Processing Systems|volum=1|publisher=Morgan-Kaufmann}}</ref>

{{Ill-wd|Q94694243|3=LeNet}}, publicat în 1989, recunoștea codurile poștale scrise de mână.

În 1992, {{Ill-wd|Q7669824|3=TD-Gammon}} a atins nivelul unui jucător uman de table. Era un agent de învățare cu întârire, cu o rețea neurală cu două straturi, antrenată prin ''{{Lang|en|backpropagation}}''.<ref>{{Citat carte|nume=Sutton|prenume=Richard S.|nume2=Barto|prenume2=Andrew G.|titlu=Reinforcement Learning: An Introduction|ediție=2nd|editură=MIT Press|locul-publicării=Cambridge, MA|an=2018|capitol=11.1 TD-Gammon|url-capitol=http://www.incompleteideas.net/book/11/node2.html}}</ref>

În 1993, Eric Wan a câștigat un concurs internațional de recunoaștere a șabloanelor cu ''{{Lang|en|backpropagation}}''.<ref name="schmidhuber2015"/><ref>{{Citat carte|nume=Wan|prenume=Eric A.|titlu=Time Series Prediction : Forecasting the Future and Understanding the Past|editură=Addison-Wesley|an=1994|isbn=0-201-62601-2|nume-editor=Weigend|prenume-editor=Andreas S.|link-editor=Andreas Weigend|serie=Proceedings of the NATO Advanced Research Workshop on Comparative Time Series Analysis|volum=15|locul-publicării=Reading|pagini=195–217|capitol=Time Series Prediction by Using a Connectionist Network with Internal Delay Lines|nume-editor2=Gershenfeld|prenume-editor2=Neil A.|link-editor2=Neil Gershenfeld}}</ref>

=== După ''{{Lang|en|backpropagation}}'' ===
În anii 2000 a pierdut din popularitate, dar a revenit în anii 2010, beneficiind de sisteme de calcul ieftine și puternice bazate pe [[Unitate de procesare grafică|GPU-uri]]. A fost mai ales cazul în domeniul [[Recunoaștere vocală|recunoașterii vocale]], {{Ill-wd|Q1425977|3=vederii automate}}, [[Prelucrarea limbajului natural|prelucrării limbajului natural]] și cercetării învățării structurii limbajului (în care a fost folosită pentru a explica o varietate de fenomene legate de învățarea primei<ref>{{Citat revistă|nume=Chang|nume2=Dell|nume3=Bock|prenume=Franklin|prenume2=Gary S.|prenume3=Kathryn|dată=2006|titlu=Becoming syntactic.|journal=Psychological Review|volum=113|număr=2|pagini=234–272|pmid=16637761|doi=10.1037/0033-295x.113.2.234}}</ref> și celei de-a doua limbi<ref>{{Citat revistă|nume=Janciauskas|nume2=Chang|prenume=Marius|prenume2=Franklin|an=2018|titlu=Input and Age-Dependent Variation in Second Language Learning: A Connectionist Account|journal=Cognitive Science|volum=42|număr=Suppl Suppl 2|pagini=519–554|pmid=28744901|pmc=6001481|doi=10.1111/cogs.12519}}</ref>).<ref>{{Citat web|url=https://www.janbasktraining.com/tutorials/backpropagation-in-deep-learning|titlu=Decoding the Power of Backpropagation: A Deep Dive into Advanced Neural Network Techniques|lucrare=janbasktraining.com|limbă=en}}</ref>

''{{Lang|en|Backpropagation}}'' a fost sugerat pentru a explica componentele {{Ill-wd|Q14026181|3=ERP}} ale creierului uman, cum ar fi {{Ill-wd|Q1969643|3=N400}} și {{Ill-wd|Q7117933|3=P600}}.<ref>{{Citat revistă|nume=Fitz|nume2=Chang|prenume=Hartmut|prenume2=Franklin|dată=2019|titlu=Language ERPs reflect learning through prediction error propagation|journal=Cognitive Psychology|volum=111|pagini=15–52|language=en|pmid=30921626|doi=10.1016/j.cogpsych.2019.03.002}}</ref>

În 2023, un algoritm de ''{{Lang|en|backpropagation}}'' a fost implementat pe un [[Calculator fotonic|procesor fotonic]] de către o echipă de la [[Universitatea Stanford]].<ref>{{Citat web|url=https://spectrum.ieee.org/backpropagation-optical-ai|titlu=Photonic Chips Curb AI Training's Energy Appetite - IEEE Spectrum|accessdate=2023-05-25|lucrare=spectrum.ieee.org|limbă=en}}</ref>

==Note de completare==
{{Notelist}}

==Note bibliografice==
<references/>

== Lectură suplimentară ==
* {{cite book|last1=Goodfellow |first1=Ian |author-link1=Ian Goodfellow |last2=Bengio |first2=Yoshua |author-link2=Yoshua Bengio |last3=Courville |first3=Aaron |year=2016 |title=Deep Learning |url=http://www.deeplearningbook.org |publisher=MIT Press |section=6.5 Back-Propagation and Other Differentiation Algorithms
|section-url=https://www.deeplearningbook.org/contents/mlp.html#pf25
|pages=200–220
|isbn=9780262035613 }}
* {{cite book |last=Nielsen |first=Michael A. |author-link=Michael Nielsen |year=2015 |title=Neural Networks and Deep Learning |url=http://neuralnetworksanddeeplearning.com |chapter=How the backpropagation algorithm works |chapter-url=http://neuralnetworksanddeeplearning.com/chap2.html |publisher=Determination Press}}
*{{cite web |url=https://docs.microsoft.com/en-us/archive/msdn-magazine/2012/october/test-run-neural-network-back-propagation-for-programmers |title=Neural Network Back-Propagation for Programmers |first=James |last=McCaffrey |date=October 2012 |work={{Ill-wd|Q848985|3=MSDN Magazine}} }} 
*{{cite book |chapter-url=https://page.mi.fu-berlin.de/rojas/neural/chapter/K7.pdf |chapter=The Backpropagation Algorithm |title=Neural Networks : A Systematic Introduction |first=Raúl |last=Rojas |author-link=Raúl Rojas |location=Berlin |publisher=Springer |year=1996 |isbn=3-540-60505-3 }}

==Legături externe==
* [[Wikiversity:en:Learning and Neural Networks|Tutorial de rețele neurale cu backpropagation la Wikiversity]]
* {{cite web |url=http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html |title=Principles of training multi-layer neural network using backpropagation |first1=Mariusz |last1=Bernacki |first2=Przemysław |last2=Włodarczyk |date=2004 }}
* {{cite web |work=CS231n |date=2016 |publisher=Stanford University |first=Andrej |last=Karpathy |author-link=Andrej Karpathy |title=Lecture 4: Backpropagation, Neural Networks 1 |url=https://www.youtube.com/watch?v=i94OvYb6noo&list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC&index=4 |archive-url=https://ghostarchive.org/varchive/youtube/20211212/i94OvYb6noo| archive-date=2021-12-12 |url-status=live|via=[[YouTube]] }}{{cbignore}}
* {{cite web |work=3Blue1Brown |title=What is Backpropagation Really Doing? |date=November 3, 2017 |url=https://www.youtube.com/watch?v=Ilg3gGewQ5U&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=3 |archive-url=https://ghostarchive.org/varchive/youtube/20211212/Ilg3gGewQ5U| archive-date=2021-12-12 |url-status=live|via=[[YouTube]] }}{{cbignore}}
* {{cite web |url=https://sudeepraja.github.io/BackpropAdjoints/ |title=Yet Another Derivation of Backpropagation in Matrix Form |first1=Sudeep Raja |last1=Putta |date=2022 }}

[[Categorie:Rețele neurale]]