Redigerer Softmax-funksjonen (avsnitt)

== Softmax-normalisering ==
Sigmoidal- eller softmax-normalisering lar deg redusere påvirkningen av ekstreme verdier eller utliggere i data uten å fjerne dem fra datasettet. Det er nyttig når vi ønsker å ta med utliggere i datasettet mens vi fortsatt bevarer betydningen av data innenfor et standardavvik fra gjennomsnittet. Data blir ikke-lineært transformert ved hjelp av en av de følgende sigmoidal-funksjonene. 

Den logistiske sigmoid-funksjonen:<ref>{{Kilde bok|tittel=Artificial Neural Networks: An Introduction}}</ref>
:<math> x_i' \equiv \frac{1}{1+e^{-\frac{x_i - \mu_i}{\sigma_i}}} </math>

Den hyperbolske tangens-funksjonen, ''tanh'':<ref>{{Kilde bok|tittel=Artificial Neural Networks: An Introduction}}</ref>
:<math> x_i' \equiv \frac{1-e^{-\frac{x_i - \mu_i}{\sigma_i}}}{1+e^{-\frac{x_i - \mu_i}{\sigma_i}}} </math>

Sigmoid-funksjonen begrenser rekkevidden av normalisert data til verdier mellom 0 og 1. Sigmoid-funksjonen er nesten lineær nær gjennomsnittet og har [[Glatt funksjon|glatt]] [[Ulineær|ikke-linearitet]] på begge ytterpunktene, og sikrer at alle datapunkt er innenfor et begrenset område. Dette opprettholder oppløsningen for de fleste verdier innenfor et standardavvik over gjennomsnittet.

Den hyperbolske tangens-funksjonen, ''[[Hyperbolske funksjoner|tanh]]'', begrenser rekkevidden av normalisert data til verdier mellom -1 og 1. Den hyperbolske tangens-funksjonen er nesten lineær nær gjennomsnittet, men har en stigning på halvparten av sigmoid-funksjonen. Som sigmoid-funksjonen har den [[Glatt funksjon|glatt]], [[Monotoniegenskaper|monoton]] ikke-linearitet i begge ytterpunktene. Og, som sigmoid-funksjonen, er den fortsatt [[Derivasjon|deriverbar]] overalt og tegnet (+/-) på den deriverte (stigningen) er upåvirket av normalisering. Dette sikrer at algoritmer for optimalisering og numerisk integrasjon kan stole på derivat for å estimere endringer i output (normalisert verdi) produsert av endringer i input i regionen i nærheten av ethvert [[linearisering|lineærisering]]<nowiki/>spunkt.