o *jve@sbdZddlZddlZddlZddlZddlmZmZddlm Z ddl m Z m Z z ddl Z ddlmZddlmZddlmZddlmZd ZWney[d Zed ed YnwddlZddlZddlZd ZgdZddZe dZ!de"fddZ#ddZ$hdZ%dej&dej&fddZ'dej&dej&fddZ(dej&de)dej&fdd Z*  d?dej&d!e)d"e e+d#e,de)f d$d%Z- & d@dej&de)d'ed(e)d)e)d#e,d*e"de)fd+d,Z. dAd-e)de)d(e)d.e,d/e,de/f d0d1Z0 dBd-e)d2e)d.e,d/e,d#e,d3e,de+fd4d5Z1d6d7Z2  8 dCd-e)d2e)d9e/d.e,d:e"d/e,d#e,d3e,de+fd;d<Z3d!e)de,fd=d>Z4dS)Du: export_cog.py — Exportacao de campos do modelo Eta como Cloud Optimized GeoTIFF (COG) Cada campo e exportado como um arquivo .tif georeferenciado em WGS84 (EPSG:4326), com compressao DEFLATE, tiles 512x512 e overviews (piramides) para conformidade COG. Dependencia: rasterio >= 1.3 pip install rasterio Estrutura de saida: cog/ ├── TP2M/ │ ├── TP2M_2026060400.tif │ ├── TP2M_2026060401.tif │ └── ... ├── PREC/ │ ├── PREC_2026060406.tif │ └── acumulado_24h/ │ └── PREC_2026060500_acum24h.tif └── ... Valores: - Precipitacao (PREC, PRCV, PRGE, NEVE): convertidos de metros para mm - UNDEF do modelo substituido por NaN (nodata no GeoTIFF = -9999.0) - Arrays armazenados como float32 N)datetime timedelta)Optional)ProcessPoolExecutor as_completed) from_origin)CRS) ResamplingTFz,[export_cog] AVISO: rasterio nao encontrado.z0[export_cog] Instale com: pip install rasteriog) cCs,ttddttddttddttddfS) zERetorna (compress, zlevel, predictor, tile_size) do config carregado. COG_COMPRESSDEFLATE COG_ZLEVEL COG_PREDICTORr COG_TILE_SIZEi)getattrconfigrrA/dados/sismom/SisMOM/sismom_fig/Figuras_Eta/scripts/export_cog.py _cog_params=s    rireturncCsttddsdSttddrdStjtj}t|dtjkr!dStjtjdtj}|dkr2dStjttjtj}ttj |dd d tjS) zNumero de colunas a rolar para converter grade global 0-360 em -180..180. Retorna 0 quando cog.lon_180 esta desligado, a grade nao e global em lon, ou ja esta na convencao -180..180. k = indice do primeiro centro >= 180. COG_LON180Fr IRREGULAR_LONv@rgf@gf@left)side) rrNXDLONabsLON0nparangeint searchsorted)spanZ last_centerZlonsrrr _lon_roll_kIs   r)cCst}|rtj|tjdtjd}ntjtjd}ttddrSttjdkrSttjdtjd}ttjd|d}ttjdtjdtjd}ntj tjd tj }tj }t ||tj|S) ae Retorna o Affine transform rasterio para a grade atual. GrADS LON0/LAT0 sao centros de celula; from_origin espera o canto (corner) superior esquerdo do primeiro pixel. Correcao de meio pixel: ul_lon = LON0 - DLON/2 ul_lat = lat_max + dlat_top/2 Elimina o offset sistematico de ~DLON/2 visivel em grades esparsas (ex BESM). rg@ IRREGULAR_LATFrrg?) r)rr#r!rlenLATSfloatNYLAT0DLATr)kZul_lonZ top_spacingZul_latdlatrrr_get_transform]s  $r5>ZNEVEPRECPRGEPRCVarrc Cstj}t|d|dt|}zddlm}|||dddtjd}||tj WSt yWt |}t |j dD]}t|||dd|f|dd|f<q=|YSw) u Reamostrage de grade irregular (ex.: gaussiana) para grade regular. Interpola ao longo do eixo lat (eixo 0) usando os valores de config.LATS. Entrada / saída: (NY, NX) float32, S->N. rr+)interp1dlinearF)axiskindZ bounds_error fill_valuerN)rr.r$linspacer-Zscipy.interpolater:nanastypefloat32 ImportError empty_likerangeshapeinterp)r9Z lats_irregZlats_regr:foutjrrr_regrid_to_regulars    (rKc CsFt|}|r |r|Szddlm}||ddd}|t|WStyddl}| }t|rt|}tj |dtj d}t |dd dd f|d ddd f|dd dd f|dd d dfg}| |d ttj|dd } Wdn1swY| |||<t|s9|YSw)zPreenche NaN com o valor valido mais proximo (para visualizacao continua). Usa scipy.ndimage.distance_transform_edt quando disponivel; senao, dilata iterativamente com a media dos vizinhos validos (grades pequenas). r)distance_transform_edtFT)Zreturn_distancesreturn_indicesNr)constant_valuesr,r+r ignorer<)r$isnananyallZ scipy.ndimagerLtuplerCwarningscopypadr@stackcatch_warnings simplefilterRuntimeWarningnanmean) r9maskrLidxrUrImprXnbrrr_fill_undef_nearests,    R   rbdatavar_namecCs|tj}|tvr%tjddd |d}Wdn1s wYttddr/t|}ttddr9t|}t |}t }|rLtj || dd }t t |tt|}|S) u2 - Converte m->mm para precipitacao - Reamostrage para grade regular quando grade Y é irregular (gaussiana) - cog.fill_undef: preenche undef com vizinho mais proximo (sem mascara) - Flipa verticalmente (GrADS: S->N; rasterio: N->S) - Substitui NaN por NODATA - Retorna float32 rO)overinvalidg@@Nr*FCOG_FILL_UNDEFrrP)rAr$rB _PRECIP_VARSerrstaterrrKrbflipudr)rollwhererQNODATA)rcrdr9r3rrr_prepare_arrays     rnfpathmetadata overviewsc Cststdtjtjtj|ddtj|tj d}t \}}}}ddt j t j dttt|||d||dd }|sptj|d fi|!} | |d|r^| jdi|Wd |SWd |S1siwY|Stjd d d } | j} Wd n1swYzjtj| d fi|} | |d|r| jdi|Wd n1swYt| d} | ttj| jdddWd n1swYtj| |dttdt t dd Wtj!| rt"| |Stj!| rt"| ww)a? Escreve arr (NY, NX) float32 como GeoTIFF tiled georeferenciado. Parameters ---------- arr : array (NY, NX) float32, preparado por _prepare_array fpath : caminho do arquivo .tif de saida metadata : tags GDAL a gravar nos metadados overviews : se True, embute overviews (piramides) no arquivo via rasterio.shutil.copy. ATENCAO: alguns visualizadores (ex: SisMOM) exibem cada nivel de overview como uma camada separada. Use False (padrao) para compatibilidade maxima. zrasterio e necessario.Texist_ok)dtypeZGTiffrBrZIF_SAFER)driverrtwidthZheightcountcrsZ transformnodatacompresszlevel predictortiled blockxsize blockysizeZBIGTIFFwN.tifF)suffixdeletezr+Z rio_overviewaverage)nsZ resampling)Zcopy_src_overviewsrzr|r}r~rrur)# HAS_RASTERIOrCosmakedirspathdirnameabspathr$ascontiguousarrayrBrrr r0 CRS_WGS84r5rmrasterioopenwriteZ update_tagstempfileNamedTemporaryFilenameZbuild_overviewsOVERVIEW_LEVELSr r rio_shutilrVZCOMPRESSZ PREDICTORZ TILE_SIZEexistsremove) r9rorprqZ _compressZ_zlevelZ _predictorZ_tileprofiledsttmpZtmp_pathrrr write_cogs~      r timestampcog_dir title_extra level_hpacCst||}tj|d}|tvrd}|tj||||ddtjtt dd} |r0|| d<|dur:t|| d <|durDd |d nd} |rSd | d d  nd} || d |d | d} t j || } t|| | |dS)a` Exporta um campo 2D como COG GeoTIFF. Parameters ---------- data : array (NY, NX) lido pelo reader var_name : nome da variavel timestamp : datetime do campo cog_dir : diretorio de saida title_extra: sufixo no nome do arquivo (ex: "acum24h") Returns ------- Caminho do arquivo .tif criado. rmmz%Y-%m-%dT%H:%M:%SZzEta03/BESM run z EPSG:4326)variable descriptionunitsrmodelryrxrNr_ZhPa %Y%m%d%Hr)rprq)rnr VAR_UNITSgetrhVAR_DESCstrftimeRUN_TAGstrrmreplacelowerrrjoinr)rcrdrrrrqrr9rmetaZlev_strZ extra_tagfnamerorrrexport_field_as_cog4s*     rdata_dir sequentialverbosec Cst|}tj|ddg}|D]O}z)tj||||d}t||||} || |r:td|d|dd| Wqt y_} z|rUtd|d|dd | WYd } ~ qd } ~ ww|S) z Exporta todos os timesteps disponiveis de uma variavel como COG GeoTIFF. Returns ------- Lista de caminhos criados. Trrrz [COG] rrz -> z [COG] ERRO : N) readerlist_available_timestampsrr read_fieldrappendprintr Exception) rrdrrr timestampssavedtrcroerrrexport_var_all_timestepshs"    r cog_base_dir skip_existingcCstj||||||dS)z Wrapper de compatibilidade -- delega para accumulate.export_all_accumulations_as_cog(). Nomenclatura atual: PREC_ACUM24h_2026060500.tif Janelas ACUM00Z e ACUM12Z calculadas a partir do horario do run (config.T0). )rrrrqrr) accumulateexport_all_accumulations_as_cog)rrrrrqrrrr#export_all_24h_accumulations_as_cogsrc s|\}}}}}g}dfddttdi}ttdi}ttdi} g} |D]p|d} | dkrv| g} |rp| rptfdd | Drp| D]} tjd | d d }||d fqQq,| q,tjd d }|rtj |r||d fq,| q,| s|Si}i}| D]D|d} | dkr|g}| g} g}i}| D]} | |vr| | }||||| <q|r|nd |<||<qd |<qz t j |||d}Wnt yz|fdd| DWYd Sd ww| D]z|d} | dkr|i}| g} |g}|i}| D]E} | |vr]|d dt| dt|fqA|| }|d usl||vrnqAt||| |d}||d fqAnt||d}||d fWqt yz|d tfWYd qd ww|S)a Worker por TIMESTEP: le o arquivo .bin UMA vez e gera TODOS os COGs das variaveis solicitadas (2D e 3D). Paralelismo correto = 1 task por arquivo. - Variaveis 2D: 1 COG por timestep ({VAR}_{YYYYMMDDHH}.tif) - Variaveis 3D: 1 COG por nivel em plot_levels ({VAR}_{N}hPa_{YYYYMMDDHH}.tif) args: (data_dir, timestamp, vars_list, cog_dir, sequential, overviews, skip_existing) returns: list of (var, timestamp, fpath_or_None, error_or_None) rcsttr |SS)N) isinstancedict)var)_out_dirrr_var_dirsz&_worker_cog_timestep.._var_dirVAR_NLEV VAR_LEVELSVAR_PLOT_LEVELSrc 3s<|]}tjtjd|ddVqdS)rhPa_rN)rrrr).0lev)rts_strrrr s" z'_worker_cog_timestep..rrrNrcs g|] }|ddtfqS)Nz leitura: )rrv)_trrr s z(_worker_cog_timestep..znivel zhPa ausente em levels )rrq)rq)rrrrrSrrrrrindexrread_fields_selectiverrr)argsZ _data_dirZ_varsZ_seqZ_ovrZ_skipresultsZ _var_nlevZ _var_levelsZ_var_plot_levelsZ vars_needednlevZ plot_lvlsrfpro var_level_mapZ level_k_mapZall_lvlsksZlkr3fieldsZlev_datar)rrrrrrr_worker_cog_timesteps        $          $         $rrvars_to_exportworkersc s ptj t}|stddiSrttdi} ttdi} d} D]!} | | d} | dkrE| | g}| |rAt|n| 7} q(| d7} q(t|| }tdt|d| d |d | D]'} | | d} | dkr| | g}td | d | d |qdtd| qdtj |ddi D]}tj ||}tj |dd| |<q fdd|D dd Dddddt  fdd}|dkr t |dfdd D}t|D]}||qWdn 1swYn D] }|t|qt }|dkr'|nd}r?tddd|dd|dd S) a  Exporta todos os campos de todas as variaveis como COG GeoTIFF. Parameters ---------- data_dir : diretorio com os .bin cog_base_dir : diretorio raiz de saida dos COGs vars_to_export: lista de variaveis (None = todas) sequential : True se arquivos .bin usam marcadores Fortran workers : processos paralelos (1 = serial) verbose : exibir progresso skip_existing : pula arquivos ja existentes Returns ------- dict {var_name: [lista de caminhos]} z+[export_cog] Nenhum arquivo encontrado em ''rrrrz [export_cog] z timesteps x z campos/ts = z COGs a gerar | workers=z [3D] z: nlev=z | plot_levels=z [2D] Trrc sg|] }|fqSrr)rr)rrqrrvar_dirsrrrr\sz,export_all_fields_as_cog..cSsi|]}|gqSrrrrrr asz,export_all_fields_as_cog..csd7td}|D]*\}}}}|r-d7r,td|d|dd|q||d7qrst}rM|tnd}tdd d td |d d dd |dd|dddddSdS)Nrdz [ERRO] rrrrz [3d/z z5.1fz%] ok=z err=z.0fzs ETA=sT)flush)r-rrrtime)res_listpctrtsroerrelapsedeta)donen_errn_okn_skiprt0tasksrrr_processhs4    z*export_all_fields_as_cog.._process) max_workerscsi|] }t||qSr)submitr)rtask)poolrrrsNz [export_cog] z COGs gerados, z erros | z.1fzs (z COG/s))r VAR_NAMESrrrrrr-rrrrrrrresultr)rrrrrrrqrrZ _var_nlev_gZ_var_plot_levels_gZn_per_ts_vZ_nlZ_plZ n_cogs_totalrdrfutsfutrrspeedr)rrrrrrqrrrrrrrrrrexport_all_fields_as_cogs               rcCsxtsdSz-t|}t|ddk}|jdd}|o|WdWS1s*wYWdSty;YdSw)z Verificacao basica: abre o arquivo e confirma que tem overviews e tiles. Para validacao completa use: python -m cogdumper ou rio cogeo validate. Frrr}N)rrrr-rqrrr)rosrcZ has_overviewsZis_tiledrrr validate_cogs ( r )NF)rFN)FT)FTFF)NFrTFF)5__doc__rrrnumpyr$rrtypingrconcurrent.futuresrrrZrasterio.shutilshutilrZrasterio.transformrZ rasterio.crsrZrasterio.enumsr rrCrrrrrmrrZ from_epsgrr&r)r5rhndarrayrKrbrrnrboolrrlistrrrrr rrrrs        * b 8 ) p