🧠 Samenvatting

Recurrente Neurale Netwerken (RNN’s) zijn modellen die speciaal ontworpen zijn voor sequentiële data, zoals tijdreeksen en tekst. Ze kunnen patronen leren die zich over tijd ontwikkelen, maar lopen tegen twee grote problemen aan: onstabiele gradiënten en beperkt geheugen.

Om deze beperkingen te overwinnen, zijn geavanceerde varianten ontwikkeld zoals LSTM en GRU, die langere contexten kunnen onthouden, en WaveNet, dat convoluties gebruikt om zeer lange sequenties te verwerken.

📘 De Fundamenten van RNN’s

🔹 Waarom RNN’s?

Traditionele netwerken werken slecht met data waarbij de volgorde belangrijk is. RNN’s lossen dit op door eerdere informatie te hergebruiken via een terugkerende verbinding.

🧩 Kernconcepten

• Wat is een Recurrent Neural Network (RNN)?

  Een netwerk met memory: de output van een vorige tijdstap wordt gebruikt als input voor de volgende stap.

• Toepassingen:

  • Tijdreeksen: aandelen, weer, verkeer
  • Taal: zinnen, vertalingen
  • Audio: spraak, muziek

• Belangrijkste problemen:

  • Vanishing / Exploding Gradients – moeilijk te trainen bij lange reeksen
  • Beperkt kortetermijngeheugen – vergeet informatie uit eerdere stappen

⚙️ Werking van een RNN

Een RNN gebruikt de vorige hidden state $(h_{t-1})$ samen met de huidige input $(x_t)$ om een nieuwe toestand $(h_t)$ en output $(y_t)$ te berekenen.

Unrolling Through Time (Uitgerold door de tijd), Je hebt maar één neuron, maar verschillende tijden

Tijdens training wordt het netwerk unrolled through time, zodat elke tijdstap als een aparte laag wordt behandeld, maar met shared weights.