This thesis develops variational Bayesian methods for applications in continual learning, multi-source inference, and time-series forecasting. For continual learning, recursive approximation and adaptation methods are developed for Bayesian neural networks. Variational autoencoders are extended for multi-source learning using separate encoders and decoders for each source. For probabilistic forecasting, a Rao-Blackwellised particle filter with a variational proposal distribution is proposed. Diese Dissertation entwickelt variational Bayesian Methoden für Anwendungen im kontinuierlichen Lernen, Inferenz aus mehreren Informationsquellen und der Zeitreihenvorhersage. Rekursive Approximations- und Adaptionsmethoden für Bayesian neural networks ermöglichen kontinuierliches Lernen. Variational autoencoders werden mit separate Encodern und Decodern für mehrere Quellen erweitert. Für Forecasting wird ein effizienter Partikel-Filter mit einer variational proposal distribution vorgeschlagen.