verschenen in Meteorologica, dec 2004
Geert Jan van Oldenborgh (KNMI), Magdalena Balmaseda, Laura Ferranti, Tim Stockdale, David Anderson (ECMWF)
Al eeuwen lang proberen mensen het weer een paar maanden van te voren te voorspellen. Wordt het een warme zomer? Wat zijn de kansen op een strenge winter? Gewone weersverwachtingen - hoe ontwikkelt zich de huidige atmosferische situatie - gaan principieel niet verder dan een week of twee vooruit. Toch valt er soms wat zinvols te zeggen over het weer op langere termijn: als dit chaotische weer op een voorspelbare manier door langzaam variërerende randvoorwaarden beïnvloed wordt. Die randvoorwaarden zijn bijvoorbeeld de temperatuur van het zeewateroppervlakte (SST), de stratosfeer, sneeuw, ijsbedekking en bodemvocht. De belangrijkste daarvan voor seizoensverwachtingen is El Niño - Southern Oscillation (ENSO), grootschalige temperatuur- en circulatieveranderingen in de tropische Stille Oceaan die het weer over grote gedeeltes van de wereld verstoren. Toch is zelfs de invloed daarvan meestal maar zwak vergeleken met de interne chaotische dynamica en komen we niet verder dan kansverwachtingen.
De belangstelling voor seizoensverwachtingen is altijd al groot, maar bereikt in Nederland traditioneel zijn hoogtepunt voor de winter. Dit jaar was er ook in de zomer veel interesse: beleidsmaatregelen voor de bestrijding van de overlast van de droogte hingen af van de kansen op regen voorbij de 10-daagse limiet van de middellange-termijn verwachting. Voor het gebruik van seizoensverwachtingen is het van groot belang te weten waar en wanneer seizoensverwachtingen voorspellende waarde hebben. In tegenstelling tot gewone weersverwachtingen is dat lang niet overal, en de skill hangt vaak ook van het seizoen af. In dit artikel kijken we naar de waarde van verleden ECMWF seizoensverwachtingen, en bekijken we of die meerwaarde hebben boven een simpel statistisch model.
De verstoring van het gemiddelde weer door El Niño is verrassend vaak te beschrijven als een verschuiving van het gemiddelde plus onvoorspelbare ruis: het niet-lineaire, chaotische weer. Vooral in de tropen is de verandering in temperatuur of (de logaritme van) neerslag vaak evenredig aan de sterkte van El Niño of La Niña. Deze standaardeffecten van El Niño worden teleconnecties genoemd. Op veel plaatsen zijn ze zo sterk dat met statistische modellen seizoensverwachtingen gemaakt kunnen worden, bijvoorbeeld in India, Indonesië en op de Nederlandse Antillen.
Het ECMWF seizoensverwachtingenmodel is het andere uiterste: een ensemble van integraties van een gekoppeld oceaan-atmosfeer GCM (Anderson et al, 2003). Het ECMWF weermodel (IFS) wordt in een vrij lage resolutie (T95L40) een half jaar vooruit gedraaid, gekoppeld aan het oceaanmodel HOPE. Als het model perfect zou zijn zou dit betere verwachtingen opleveren, zowel voor El Niño zelf als voor de daaruit voortvloeiende seizoensverwachtingen, omdat alle relevante fysische processen gemodelleerd zijn. In de praktijk is het nog onduidelijk of dit voordeel al opweegt tegen de problemen, die vooral door modelfouten veroorzaakt worden. Gekoppelde atmosfeer-oceaan modellen hebben nog altijd last van systematische afwijkingen in het modelklimaat. Zo regent het in het ECMWF model in Nederland in de winter 100mm per maand en in de zomer maar 40mm - een heel verschil met de werkelijkheid. Voor dit soort fouten wordt deels gecompenseerd door de afwijkingen ten opzichte van het modelklimaat als verwachte afwijking in de werkelijkheid te nemen. Zo'n verkeerd klimaat zal echter ook anders reageren op de factoren die seizoensverwachtingen mogelijk maken.
Om te onderzoeken of een GCM betere seizoensverwachtingen maakt dan een simpel model hebben we een systematische vergelijking gemaakt van de ECMWF seizoensverwachtingen met die van een statistische model, zowel voor El Niño als voor het daaruit voortkomende gemiddelde weer. Het statistische model (STAT) gebruikt waargenomen persistentie en het effect van El Niño in de periode 1901-1986 om het weer over 1987-2001 te voorspellen. Als het effect van persistentie of El Niño te zwak is wordt alleen klimatologie verwacht: liever geen verwachting dan een die op drijfzand gebaseerd is. Voor temperatuurverwachtingen worden ook andere variaties in zeewatertemperatuur gebruikt.
Voor alleen El Niño verwachtingen beschouwen we ook een ander bekend statistisch model van Landsea en Knaff. Met dit model, ENSO-CLIPER genoemd, beargumenteerden ze in het Bulletin van de American Meteorological Society dat de grote gekoppelde klimaatmodellen de sterke El Niño van 1997/98 niet beter hadden voorspeld dan een simpel statistisch model dat kan.
Een probleem in de verificatie van seizoensverwachtingen is het gebrek aan data. De skill hangt sterk van het seizoen en het gebied af, zodat we voor de verificatieperiode 1987-2001 skillscores moeten zien uit te rekenen op basis van slechts 15 verwachtingen. We nemen daarom in eerste instantie de simpelste maat voor de skill: de correlatiecoëfficiënt van het ensemble gemiddelde. Dat betekent dat we aannemen dat systematische fouten in het gemiddelde en de variantie bekend zijn en dat daarvoor gecorrigeerd is. Zelfs de correlatiecoëfficiënt is slecht te bepalen met zo weinig gegevens. De statistiek leert dat als er in een bepaald punt en seizoen eigenlijk geen enkele skill is, je 5% kans hebt dat je een correlatie van r=0.44 of groter vindt, puur door toeval. Als je in veel verschillende gebieden en seizoenen naar skill zoekt is het dus onvermijdelijk dat een gedeelte daarvan hoge correlaties laat zien terwijl de verwachtingen in werkelijkheid geen enkele waarde hadden.
Het heeft dus weinig zin om op kaartjes van de hele wereld te zoeken naar gebieden waar de skill de afgelopen 15 jaar hoog was: een groot gedeelte daarvan zal puur toeval zijn. Om de kans op toevallig hoge correlaties klein te houden beperken we ons in dit artikel tot gebieden en seizoenen met bekende El Niño invloeden (teleconnecties). We negeren ook het feit dat de verwachtingen eigenlijk kansverwachtingen zijn. Meer informatie over voorspellende waarde van het ECMWF seizoensverwachtingensysteem, inclusief skill scores op basis van het volledige ensemble, zijn te vinden in de ECMWF Newsletter (Anderson 2003) en op de ECMWF website (http://www.ecmwf.int/products/forecasts/d/charts/seasonal/verification/). We kijken eerst naar de El Niño verwachingen, en dan naar de temperatuur- en neerslagverwachtingen.
Aangezien El Niño de belangrijkste voorspellende factor in seizoensverwachtingen is, kijken we eerst of de sterkte van El Niño en La Niña tot een half jaar vooruit goed voorspeld werd. Een goede maat voor de sterkte is de Niño3 index: SST anomalieën gemiddeld over het gebied 5°Z-5°N, 150°-90°W. Een positieve Niñ3 index geeft een El Niño aan, tijdens La Niña is de Niño3 index negatief.
Figuur 1. Verwachtingen van de Niño3 index die de sterkte van El Niño (positief) en La Niña (negatief) aangeeft over 1987-2001 van het huidige ECMWF model (boven) en een niet-lokaal statistisch model (onder). Hoewel het ECMWF model te sterk gedempt is, heeft het wel het begin van de meeste El Niño's en La Niña's goed voorspeld. Het statistische model holt telkens achter de feiten aan. Als El Niño eenmaal begonnen is zijn de modellen ongeveer even goed.
Het huidige ECMWF seizoensverwachtingenmodel (System-2) draait sinds augustus 2001 operationeel met 40 ensembleleden. Voor de periode januari 1987 tot juli 2001 zijn kleinere ensembles gedraaid om het model te kalibreren. Deze verwachtingen zijn in figuur 1 vergeleken met die van het STAT model voor de Niño3 index. De verschillen springen meteen in het oog. Hoewel System-2 te sterk gedempt is, zijn het begin en einde van de meeste El Niño's en La Niña's goed voorspeld. De uitzonderingen zijn de El Niño van 1987 en een neiging in 2001 om de El Niño van 2002 een jaar te vroeg te beginnen (zie ook van Oldenborgh, 2002). Het op SST gebaseerde statistische model miste daarentegen het begin van vrijwel alle El Niño's.
Figuur 2. De skill van de +3 maand verwachting van het 3-maands gemiddelde van de Niño3 index.
De ECMWF verwachting (System-2) wordt vergeleken met een aantal statistische modellen: (STAT, ENSO-CLIPER en persistentie). De lage skill van de statistische modellen voor zomerverwachtingen heet de spring barrier, het ECMWF model heeft daar veel minder last van.
Hetzelfde verschil is te zien in de skill per kalendermaand, bijvoorbeeld drie maanden vooruit (dus de verwachting voor april-juni vanaf analysedatum 1 januari, deze is 15 januari beschikbaar), zie figuur 2. De statistische modellen hebben grote moeite om door de lente heen goede voorspellingen te doen, dit effect heet de spring barrier. De skill is dan 0.4 of lager. Het ECMWF model doet het veel beter in deze moeilijke tijd en blijft boven de 0.7. In de makkelijke tijd, de winter, doen alle modellen het goed, r=0.9.
De verificatie van de seizoensverwachtingen voor temperatuur en neerslag presenteren we telkens op dezelfde manier. Links staan kaartjes met de correlatiecoëfficient per roosterpunt, boven het ECMWF model, onder het statistische model. Het statistische model heeft veel witte vlekken: gebieden waar te weinig waarnemingen zijn of het effect van El Niño en persistentie te klein is om een zinvolle verwachting te maken. in deze kaartjes geldt: hoe roder het gebied, des te beter waren de verwachtingen in 1987-2001. Een waarde van 0.6 komt ongeveer overeen met de skill in de temperatuur op dag 4 of 5 van de weersverwachting: een stuk beter dan gokken, maar niet betrouwbaar. Waardes van minder dan 0.4 (geel) zijn in de praktijk niet bruikbaar, en zijn ook vaak het gevolg van toeval in plaats van kunde.
Aan de rechterkant is de invloed van El Niño in 1987-2001 uitgezet, boven voor het ECMWF model, onder voor de waarnemingen, ook als correlatiecoëfficient. Het verschil tussen deze twee is het gevolg van modelfouten, hoewel ook hier door de korte periode de onzekerheden groot zijn. Als El Niño de enige bron van skill zou zijn, zou de skill van het model (links) gelijk zijn aan de absolute waarde van de sterkte van de teleconnectie (rechts).
Door deze kaartjes met elkaar te vergelijken kan je niet alleen zien hoe goed het model was, maar ook of dat door El Niño kwam of door andere effecten, en of de effecten van El Niño de afgelopen 15 jaar anders waren dan daarvoor.
Voor de temperatuur beschouwen we de daggemiddelde 2-meter temperatuur T2m. De NCEP/NCAR reanalysis wordt als beste schatting van de werkelijkheid genomen. Boven de oceanen is T2m goed gecorreleerd met SST. De resultaten van de 1 oktober verwachting voor december-februari staan in figuur 3. De SST verwachtingen voor de Stille, Indische en equatoriale Atlantische Oceaan van het ECMWF model waren een stuk beter dan die van het statistische model, vergelijk figuren 3a en 3c. In grote gebieden in de tropische Stille en Indische Oceaan haalt het ECMWF model r>0.8, in de rest van de Stille Oceaan en de tropische Atlantische Oceaan is het nog r~0.6. Het statistische model blijft hier overal onder, en wordt ook sterk beperkt door gebrek aan data.
Helaas zijn de verwachtingen voor de temperatuur boven land veel minder goed. In figuur 3d is te zien dat het tijdens El Niño in noordelijk Zuid-Amerika en langs de westkust van Noord-Amerika warmer was. Dit werd door het ECMWF model goed voorspeld. Het gebied met zachtere winters langs de grens tussen de V.S. en Canada ligt in het model echter te veel naar het noorden. De positieve skill in Europa is waarschijnlijk toeval: hij wordt negatief in de verwachting van 1 november. Het ECMWF model is dus (nog?) niet geschikt om de wintertemperatuur in Nederland te voorspellen.
a)
|
b)
|
c)
|
d)
|
Figuur 4. De skill van de neerslagverwachtingen (voornamelijk in de tropen) is het hoogst tijdens een El Niño (rechterkant) of La Niña (linkerkant). De getallen geven het jaar en de startmaand van de seizoenen aan.
Vooral voor de landbouw zijn neerslagverwachtingen erg belangrijk. Deze hebben we geverifieerd tegen de GPCP analyses (het Global Precipitation Climatology Project maakt analyses van regenval over de wereld door informatie van regenmeters en satellietwaarnemingen te combineren). Mondiaal gezien is de skill het hoogste tijdens een El Niño of La Niña. Dit is te zien in figuur 4. Als skillscore is de ruimtelijke correlatie van de +2 verwachting van 3-maandsgemiddelde neerslag met de waarnemingen gebruikt. Deze maat wordt gedomineerd door de hoge neerslag in de tropen. Als er geen El Niño of La Niña is ligt deze skill rond de 0.2, bij een middelsterke El Niño (rechterkant) of La Niña (linkerkant) is het 0.4 tot 0.5, en tijdens de extreem sterke El Niño van 1997/98 waren de verwachtingen heel goed, r=0.6 tot 0.8.
De sterkste effecten van El Niño op neerslag zijn in Oost-Indonesië en de westelijke Stille Oceaan in de droge tijd (augustus-november). In figuur 5 is te zien dat het ECMWF model een skill van r=0.8 haalt in deze gebieden, nog meer dan het statistische model. De waarde van de correlatiecoëfficiënt is ook hoger dan die van de model teleconnecties. Hieruit blijkt dat het model meer dan El Niño gebruikt om de goede verwachtingen te maken. In Australië waren de verwachtingen voor de oostkust redelijk (r=0.6), maar had het model de neiging om ook verder naar het westen El Niño invloeden te voorspellen die er niet zijn.
a)
|
b)
|
c)
|
d)
|
De sterkste El Niño teleconnecties buiten de tropen zijn in Noord- en Zuid-Amerika in december-februari. De skill van de verwachtingen van 1 oktober is te zien in figuur 6a. Het model heeft goede verwachtingen gemaakt voor de gebieden waar El Niño meestal invloed op de neerslag heeft: Florida (r=0.6 tot 0.8), noordelijk Zuid-Amerika (van Aruba tot Suriname is er skill 0.7) en Zuid-Brazilië (0.5). Ook de regen aan de kust van Ecuador en Peru die soms met grote El Niño's samengaat was goed voorspeld. Een lineair statistische verband is daar niet sterk genoeg om een statistische verwachting te rechtvaardigen. Aan de westkust van de V.S. voorspelde het ECMWF model geen effect van El Niño, net zoals dat het grootste deel van de twintigste eeuw het geval was. Tijdens de El Niño's in de periode 1987-2001 regende het hier ineens wel hard. Het is niet duidelijk of dit soort veranderingen voorspelbaar is, het is mogelijk dat de bijzonder goede verwachting die het NCEP voor de winter 1997/98 uitgaf (meer regen) op puur toeval berustte.
a)
|
b)
|
c)
|
d)
|
Vanwege het beperkte aantal jaren in de verificatieperiode zijn maar weinig van de verschillen tussen de ECMWF en statistische verwachtingen statistisch significant op 95%. We kunnen de vergelijking scherper maken door de verwachtingen van 40 gebieden en seizoenen waar op basis van El Niño skill te verwachten is op een grote hoop te gooien. De resultaten zijn in figuur 7 uitgezet voor verwachtingen 2 maanden vooruit. (De +1 en +3 maand verwachtingen geven hetzelfde resultaat.) In 32 van de 40 gevallen was de ECMWF verwachting beter dan de statistische verwachting. Het is heel onwaarschijnlijk dat dit toeval was, zodat we kunnen concluderen dat het ECMWF model het inderdaad beter doet dan dit statistische model.
Figuur 7. De skill, gemeten met een correlatiecoëfficiënt, van de +2 maand verwachtingen van het ECMWF seizoensverwachtingenmodel (System-2) tegen de skill van het statistische model (STAT) in 40 gebieden en seizoenen waar El Niño teleconnecties potentieel voorspelbaarheid opleveren. In 32 gevallen was de EMWF verwachting beter, in 8 gevallen slechter.
We hebben de seizoensverwachtingen van het ECMWF vergeleken met die van een simpel mondiaal statistisch model. Het ECMWF model maakte gemiddeld betere verwachtingen voor