jOas wEb Sci

Aller au contenu | Aller au menu | Aller à la recherche

dimanche, avril 11 2010

Latex est revenu !

J'ai trouvé un nouveau site qui heberge le script permettant de faire apparaître les formules latex !

Il suffit d'insérer :


<script type="text/javascript" src="http://mathcache.s3.amazonaws.com/replacemath.js"></script>
<script type="text/javascript">
replaceMath( document.body );
</script>

Je peux ainsi remettre en ligne tous mes billets !!!

vendredi, février 8 2008

Revue des méthodes d'assimilation : tout en un

La catastrophe !
Le script que j'utilisais pour faire apparaître mes formules mathématiques n'est plus hébergé.
Mes billets ne ressemblent plus à rien... Je les ai tous mis hors ligne.
Mais...
Mais tout ça est disponible en format postscript sur le site du CERFACS : revue_methodes_assimilation.ps.gz
Ou en format pdf  en pièce jointe.

jeudi, novembre 22 2007

L'assimilation de données

Chose promise, chose due. Alors, voici une vision générale de ce qui occupe les plus longues de mes heures : l'assimilation de données.

Ce billet regroupe les différents billets publiés sur le contexte général de l'assimilation de données sous forme d'une table des matières hiérarchisée. Peut-être verrez-vous d'ici quelques temps fleurir des billets sur le cadre plus particulier de mon travail : l'assimilation de données océanographique avec une méthode variationnelle. Qui sait ?

Bonne lecture...






Lire la suite...

vendredi, novembre 16 2007

Modèle de covariance d'erreur - Modélisation des erreurs

Comme il a été expliqué précédemment, la matrice de covariances d'erreur d'ébauche \[\mathbf{B}\] complète est trop grande pour être spécifiée explicitement. En général, les variances qui représentent les \[n\] termes de la diagonale de \[\mathbf{B}\] sont tous définis. Les termes non-diagonaux sont plus difficiles à définir. En effet, la matrice \[\mathbf{B}\] doit être définie positive. Les modélisations des termes non-diagonaux doivent donc conserver cette qualité.

Lire la suite...

Modèle de covariance d'erreur - Estimation des erreurs

Il est difficile d'estimer les erreurs car elles ne sont jamais observées directement. En effet, l'état vrai n'étant pas accessible, il est impossible d'obtenir des échantillons des erreurs d'ébauche et d'observation. Les données statistiques sont donc difficilement disponibles et très largement insuffisantes pour déterminer tous les éléments. Par ailleurs, les matrices de covariances d'erreur sont très grandes. Pour ces deux raisons, elles doivent être simplifiées et modélisées. De tailles réduites, ces matrices sont manipulables informatiquement parlant et nécessitent moins de d'informations statistiques pour les décrire.

La modélisation des covariances d'erreur est donc un problème difficile et il est nécessaire de faire des hypothèses d'homogénéités. La meilleure source d'information est clairement l'étude de l'innovation (\[\mathbf{d}=\mathbf{y}-H\mathbf{x}^b\]) et peut être utilisée de plusieurs manières différentes. D'autres informations peuvent être obtenues à partir du vecteur d'erreur d'analyse (\[\mathbf{y}-H\mathbf{x}^a\]) ou à partir de la valeur de la fonction coût pour les méthodes variationnelles. D'autres méthodes permettent d'estimer les covariances d'erreur d'ébauche avec des quantités dont les statistiques d'erreur sont équivalentes à celle de l'erreur d'ébauche. Parmi ce type de techniques, la méthode NMC est très connue mais ces bases théoriques sont friables. Une autre possibilité est d'utiliser une méthode d'ensemble de la même manière que pour le filtre de Kalman éponyme. Cette méthode est néanmoins applicable quelque soit la méthode d'assimilation utilisée.

Lire la suite...

Modèle de covariance d'erreur - Description des erreurs


Variances d'erreur d'observation

Les variances d'erreur d'observation sont le plus souvent estimées à l'aide des connaissances sur les caractéristiques techniques des instruments de mesures. Ces caractéristiques peuvent être, par exemple, déterminées par des observations positionnées au même endroit. Ces variances doivent aussi inclure les variances d'erreur de représentativité qui sont loin d'être négligeables tant qu'il existe des phénomènes physiques qui ne sont pas bien représentés dans l'espace du modèle.

D'autre part, il ne faut absolument pas considérer qu'un biais puisse être considéré comme une contribution aux variances d'erreur d'observation. En effet, il occasionnerait un biais dans l'incrément d'analyse. Ainsi, à chaque fois qu'un biais est mis en évidence, il doit être retiré des observations ou de l'état d'ébauche en fonction de son origine supposée. Il est cependant souvent difficile de déterminer son origine.

Lire la suite...

Modèle de covariance d'erreur

Une spécification correcte et adaptée des covariances d'erreur d'observation et d'ébauche est primordiale pour la qualité de l'analyse. En effet, ces covariances déterminent comment et à quel point les observations corrigeront l'état d'ébauche. Les variances d'erreur sont les paramètres essentiels. Pour autant, les corrélations sont aussi très importantes car elles déterminent comment les informations apportées par les observations seront lissées dans l'espace du modèle s'il y a un décalage entre la résolution du modèle et la densité d'observations. Dans le cadre des filtres de Kalman ou du 4D-Var à contrainte faible, les covariances d'erreur modèle sont aussi à spécifier.

Méthode d'assimilation - 4DVar

Le 4D-Var est l'extension temporelle du 3D-Var. Cette méthode ne vise pas à obtenir l'état optimal à un instant donné, mais la trajectoire optimale sur une fenêtre de temps donné. Les observations sont donc prises en compte aussi bien dans leur distribution spatiale que temporelle. Cet aspect est déjà pris en compte par le 3D-Var FGAT présenté dans la section ad-hoc. Néanmoins, le 4D-Var apporte un aspect temporel en plus car il propage l'information apportée par les observations à l'instant initial de la fenêtre d'assimilation. De ce fait, l'analyse obtenue doit permettre au modèle d'évolution d'avoir la trajectoire la plus proche possible de l'ensemble des observations utilisées.

Cette amélioration du 3D-Var permet d'ajouter la connaissance de l'évolution du système comme information pour l'analyse.

De nombreuses applications à des modèles réalistes météorologiques (Thépaut et Courtier, 1991 et Zupanski, 1993) et océanographiques (Moore, 1986 ; Shröter etal., 1993 ; Luong etal., 1998 et Greiner etal., 1998) ont depuis longtemps été effectuées.

L'amélioration ainsi apportée, conjuguée au fort développement des moyens de calculs, font que le 4D-Var est venu remplacer le 3D-Var dans les systèmes de prévision opérationnels atmosphériques du CEPMMT en 1997 et de Météo-France en 2000.

Lire la suite...

jeudi, novembre 15 2007

Méthode d'assimilation - 3DVar


3D-Var

La méthode d'assimilation variationnelle tri-dimensionnelle, notée 3D-Var pour "3Dimensional VARiational assimilation", consiste à chercher l'état le plus vraisemblable à partir des connaissances disponibles sur les lois de probabilités des erreurs d'observation et d'ébauche.

Comme sont nom l'indique clairement, le 3D-Var traite de problèmes tri-dimensionels. Par abus de langage, cette appellation est aussi utilisée pour des problèmes à une ou deux dimensions afin d'éviter les risques de confusions avec l'extension temporelle de cette méthode. En effet, sur un problème bi-dimensionnel, le 3D-Var s'appellerait 2D-Var, tandis que le 4D-Var se nommerait 3D-Var. Ce qui serait particulièrement ambigu. De ce fait, tous les problèmes ne prenant pas en compte l'aspect temporel sont appelés 3D-Var.

Comme pour le filtre de Kalman, le 3D-Var consiste à minimiser la distance au sens des moindres carrés entre l'état estimé et les différentes sources d'informations telles que la prévision précédente et les observations. Le nouvel état analysé est, en général, utilisé comme point de départ de la prévision suivante.

Lire la suite...

Méthode d'assimilation - Méthodes variationnelles

Introduites au début des années cinquante par Sasaki (Sasaki, 1955 et Sasaki, 1958), les méthodes variationnelles sont devenues pendant les années 1990 très populaires. De grands centres de prévisions météorologiques, tels que le NMC (U.S. National Meteorological Center, maintenant appelé National Centers for Environmental Prediction) en 1991 (Parrish et Derber, 1992), le CEPMMT (Centre Européen pour les Prévisions Météorologiques à Moyen Terme, aussi appelé ECMWF) en 1996 (Courtier etal., 1998 et Anderson etal., 1998) ou Météo-France en 1997, ont adopté ce type de méthode.

Cette approche de l'assimilation de données n'est plus basée sur des théories statistiques, mais sur la théorie de l'optimisation. En opposition aux méthodes séquentielles qui ne traitent les observations qu'au fur et à mesure de leur disponibilité sans jamais utiliser des observations futures, l'approche variationnelle traite le problème globalement sous la forme de la minimisation d'une fonctionnelle (fonction objective) mesurant les caractéristiques indésirables de la solution du modèle. Ces caractéristiques peuvent être l'écart aux observations, la présence d'onde de gravité, le non respect de certains équilibres, ou d'autres. Dans la suite, seul l'écart aux observations et l'éloignement à l'ébauche de la condition initiale seront pris en compte.

Si les statistiques ne sont plus les bases de ces méthodes, elles restent indispensables pour les calibrer et définir la fonction à minimiser.

L'approche variationnelle a déjà été abordée dans la section sur le BLUE en mettant en évidence, entre autre, l'équivalence à l'optimalité avec le BLUE.

Méthode d'assimilation - Filtre de Kalman d'ensemble (EnKF)

Le filtre de Kalman d'ensemble a été proposé par Evensen en 1994, puis corrigé en 1998. Pour une description détaillée, il est possible de se référer à Evensen (2003). Cette méthode a d'abord été présentée comme une alternative stochastique au filtre de Kalman étendu qui est déterministe. L'utilisation d'une méthode de Monte Carlo a été imaginée pour résoudre les deux principaux problèmes du filtre de Kalman étendu dans le cadre de système de grande taille non linéaire qui sont son coût très important et sa mauvaise réponse en cas de forte non-linéarité.

Le filtre de Kalman d'ensemble est très populaire car il est conceptuellement très simple et sa mise en oeuvre est aisée. En effet, il ne nécessite ni dérivation des opérateurs tangent-linéaires et des équations adjointes, ni intégration rétrograde du modèle d'évolution.

Lire la suite...

Méthode d'assimilation - Coût de Calcul et filtres dégradés

Les différents filtres de Kalman à rang réduit représentent des approches réalistes permettant l'implémentation du filtre de Kalman à des problèmes complexes et de grandes tailles.

En effet, alors que l'utilisation des filtres de Kalman ou de Kalman étendu nécessitent des ressources informatiques hors de portée pour des problèmes de grandes tailles comme l'océanographie ou la météorologie, le passage à un sous-espace représentatif de taille beaucoup plus petite permet la mise en oeuvre réaliste des méthodes utilisant cette technique.

Lire la suite...

Méthode d'assimilation - Filtre SEIK

Le filtre de Kalman étendu peut présenter des instabilités en présence de fortes non-linéarités jusqu'à, parfois, diverger complètement (Evensen, 1992 ; Gauthier etal., 1994 et Kushner, 1967). Une possibilité pour tenter de résoudre cette difficulté est de remplacer la linéarisation dans le filtre de Kalman étendu par un développement de Taylor d'ordre supérieur. Malheureusement, cette approche n'est pas envisageable sur des systèmes de grandes dimensions comme l'océanographie. Une autre approche est possible en utilisant des méthodes stochastiques de type Monte Carlo pour estimer l'évolution de la matrice de covariance d'erreur par un nuage d'états centrés autour de l'état courant et donc la matrice de covariance empirique est celle de la matrice considérée. Cette approche, introduite par Evensen en 1994 avec son filtre de Kalman d'ensemble, est un très bon moyen pour traiter les modèles d'évolution fortement non-linéaires. Cette méthode sera présentée dans la section sur le filtre de Kalman d'ensemble. Néanmoins, cette méthode est limitée par la taille de l'échantillon à considérer.

En 2001, Pham etal. ont proposé une variante du filtre de SEEK, appelé filtre de Kalman Singulier Évolutif Interpolé (SEIK), dans lequel la taille de l'échantillon est, en un certain sens, minimale. En effet, il substitue à la linéarisation opérée dans le filtre de Kalman étendu et dans le SEEK une interpolation sur un échantillon d'états bien choisis propagés dans l'étape de prévision. L'idée du SEIK est donc de faire évoluer la matrice de covariance d'erreur à l'aide d'un nuage de points de taille raisonnable. Dans ce but, Pham a émit l'hypothèse de rang faible \[r\] de la matrice de covariance d'erreur pour réduire la taille du nuage de points à \[r+1\] points exactement. L'autre originalité de ce filtre réside dans le choix des états d'interpolation qui sont tirés "au hasard" à chaque pas de filtrage afin de ne pas privilégier une direction particulière de l'espace d'état. La Fig. 1 permet de mettre en évidence les différentes étapes nécessaire au filtre SEIK.

Filtre SEIK
Fig.1 : Représentation schématique des différentes étapes du filtre SEIK lors d'un cycle d'assimilation du temps \[t_i\] au temps \[t_{i+1}\]. L'indice \[k\] variant de \[1\] à \[r+1\] représente les différents membres du nuage de points.

Méthode d'assimilation - Filtre SEEK

Le filtre SEEK (Singular Evolutive Extended Kalman filter) a été introduit par Pham etal. en 1998. Il s'agit d'un filtre réduit déduit du filtre de Kalman étendu. Il repose sur la stagnation ou la décroissance du rang des matrices de covariances d'erreur, une propriété avérée ou forcée selon les cas.

Lire la suite...

Méthode d'assimilation - Filtre RRSQRT

Le filtre RRSQRT est une réponde à ce problème. Il permet d'éviter les différentes difficultés d'implémentation mise en évidence auparavant en représentant les directions principales des matrices d'erreur par des modes réduits. Ainsi, il possible d'utiliser exclusivement les modes au détriment des matrices.

Lire la suite...

Méthode d'assimilation - Les filtre de Kalman réduits

Depuis R. E. Kalman, les filtres ont été utilisés dans de nombreuses applications. Mais très vite, les aspects limitants de l'implémentation du filtre de Kalman sont apparus. Ainsi, l'assimilation de données n'était pas possible dans des domaines comme la météorologie, ou plus tard, l'océanographie car les dimensions du problème rendaient excessif le coût numérique et, de plus, les statistiques nécessaires au filtre de Kalman ne sont que rarement connues.

Pour résoudre ce problème, une hypothèse peut permettre de le contourner. L'idée est, qu'à un instant donné, la physique du modèle est contrôlée par un nombre ou une combinaison limitée de variables. L'hypothèse est alors que les statistiques d'erreurs significatives sont données par celles portant sur ces variables contrôlant la physique du modèle (les modes réduits). Il est alors nécessaire des les identifier. De plus, il faut aussi être capable d'enrichir stochastiquement le système afin que la base de modes réduits puisse évoluer sans contraintes trop fortes. En effet, le risque est que ces modes, s'ils dégénèrent, ne sous-tendent plus la fraction de l'espace des états dans lequel évolue le système.

Méthode d'assimilation - L'exemple du naufragé

Revenons aux mésaventures de notre naufragé introduites précédemment. Finalement, ne sachant comment atteindre le rivage, il se résout à évaluer la distance le séparant du rivage toutes les heures. Il dispose ainsi de \[i\] mesures de la distance du canot au rivage (\[v^o_i\]) entre l'instant de son naufrage \[t_0\] et la dernière mesure au temps \[t_i\]. Cette évaluation est supposée sans biais et sa variance, notée comme précédemment \[s^o\], est supposée stationnaire. Les coordonnées réelles du canot sont \[(u_i,v_i)\],tandis que celle issues de l'analyse \[(u_i^a,v_i^a)\] et celles de la prévision \[(u_i^f,v_i^f)\]. A l'instant du naufrage (\[t_0\]), la position du canot est \[(u_0^a,v_0^a)=(0,0)\]. Entre deux mesures aux instants \[t_i\] et \[t_{i+1}\],le canot dérive mais sa direction n'est pas connue. Le naufragé imagine donc un modèle d'évolution comme un modèle de diffusion autour de son point d'origine. Il peut donc écrire le modèle (linéaire en l'occurrence) tel que \[\mathbf{M}_{i \to i+1}=\mathbf{I}\]) et l'erreur modèle, qu'il suppose importante, telle que

\[ \mathbf{Q}_i=\left( \begin{array}{cc} s^m & 0 \\ 0 & s^m \end{array} \right)\],

où \[s^m\] est proportionnel au temps écoulé entre \[t_{k+1}\] et \[t_0\].

Lire la suite...

Méthode d'assimilation - Le coût de calcul

L'algorithme du filtre de Kalman complète le système d'équations lié à la détermination de l'état analysé et à sa propagation dans le temps avec deux équations de calcul et de propagation de la matrice de covariance d'erreur d'analyse. Le coût numérique du filtre de Kalman est donc la somme du coût du traitement du vecteur d'état et des covariances d'erreur. Pour les systèmes de grande taille tels que l'océan ou l'atmosphère, le coût de calcul principal provient du traitement des covariances d'erreur d'analyse. La première étape coûteuse est l'inversion de la matrice \[\left(\mathbf{H}_i\mathbf{P}^f_i\mathbf{H}_i^T+\mathbf{R}_i \right)\]. La propagation par les équations de la dynamique du modèle linéaire-tangent de \[\mathbf{P}^a\] requiert ensuite la multiplication par la matrice \[\mathbf{M}\] par chaque colonne (chaque ligne pour \[ \mathbf{M}^T \]) de \[ \mathbf{P}^a \] (autour de \[ 10^7 \times 10^7 \] opérations). Au delà du coup de calcul exorbitant de ces opérations, il est impossible de stocker entre chaque étape d'analyse de telles matrices malgré les capacités déjà importantes disponibles. Pour ces raisons, l'algorithme du filtre de Kalman ne peut être appliqué qu'à des systèmes de taille réduite.

Il doit donc être simplifié pour permettre son application aux systèmes océaniques et atmosphériques. Plusieurs études visent notamment à réduire le nombre d'intégration du modèle linéaire-tangent en ne propageant pas la matrice de covariance d'erreur que suivant certaines directions (Fukomori etal., 1995 ; Evensen, 1994 ; Fisher, 1998 et Evensen, 2003). Il faut tout d'abord identifier un sous-espace de dimension réduite. Ensuite, seule la projection de la matrice de covariance dans ce sous-espace, et non la matrice complète, est propagée. Divers de ces filtres seront présentés dans la section suivante.

Méthode d'assimilation - Filtre de Kalman étendu (EKF)

Dans le filtre de Kalman classique, le modèle d'évolution et l'opérateur d'observation sont supposés linéaires. Cependant, il arrive souvent que l'hypothèse de linéarité ne soit pas valide. Dans ce cas, il est possible de généraliser le filtre de Kalman en utilisant des formes linéarisées de l'opérateur d'observation et du modèle d'évolution pour les Eqs. (032), (034) et (036) et la forme non-linéaire pour les Eqs. (033) et (035). Ce filtre est appelé filtre de Kalman étendu (EKF).

Lire la suite...

Méthode d'assimilation - Le filtre de Kalman (KF)

Filtre de Kalman - KF

En 1960-61, Kalman et Bucy ont décrit une solution récursive pour des problèmes de filtrage linéaire de données discrète. Cette solution est depuis nommée filtre de Kalman. Ce filtre peut être appréhendé comme une extension du BLUE pour laquelle l'état analysé pour une étape donnée définit l'ébauche à l'étape d'analyse suivante. Outre ceci, le filtre de Kalman incorpore un modèle d'évolution de l'état du système entre deux instants \[t_i\] et \[t_{i+1\].

Lire la suite...

- page 1 de 2