ENEA - Agenzia Nazionale per le Nuove Tecnologie
Giovanni Bracco, Silvio Migliori
Dicembre 2022
ENEA [1], l’Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo economico sostenibile è nata nel 2009 ed è erede di competenze, risorse ed esperienza degli Enti che l’hanno preceduta.
Nel 1952 viene creato, presso il CNR, il CNRN (Comitato Nazionale per le Ricerche Nucleari) il cui scopo è acquisire e diffondere conoscenze scientifiche sulle applicazioni pacifiche dell’energia nucleare alle scienze biologiche, agricole, alla fisica dei materiali e all’elettronica. Nel 1960 il Governo italiano cede all’EURATOM il Centro Ricerche di Ispra e, sull’onda dell’entusiasmo seguito alla prima Conferenza sull’uso pacifico dell’energia nucleare, organizzata a Ginevra nel 1955 dall’ONU, il Parlamento trasforma il CNRN in CNEN (Comitato Nazionale per l’Energia Nucleare). Il CNEN si organizza come struttura di sviluppo tecnologico, in stretto collegamento con l’industria, per la progettazione e realizzazione di impianti nucleari e impianti per il ciclo del combustibile.
Nel 1982 il CNEN si trasforma in ENEA (Comitato nazionale per la ricerca e lo sviluppo dell’Energia Nucleare e delle Energie Alternative) e si occupa, da quel momento, non più soltanto di energia nucleare ma anche di fonti rinnovabili, uso razionale dell’energia e impatto ambientale.
A seguito dei risultati dei tre referendum popolari del 1987 nel 1991 l’Ente diventa Ente per le Nuove tecnologie l’Energia e l’Ambiente, mantenendo lo stesso acronimo ENEA e con una nuova missione: la ricerca nel campo delle energie alternative, delle nuove tecnologie e dell’ambiente.
Il ruolo di ente pubblico che opera nei settori dell'energia, dell'ambiente e delle nuove tecnologie viene confermato nelle successive leggi di riforma che hanno infine portato nel 2009 alla nascita dell’Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo economico sostenibile (ENEA), finalizzata “alla ricerca e all’innovazione tecnologica nonché alla prestazione di servizi avanzati nei settori dell’energia, con particolare riguardo al settore nucleare, e dello sviluppo economico sostenibile”.
Le attività di ricerca e sviluppo portate avanti nel corso del tempo hanno richiesto sin dall'inizio degli anni '60 la disponibilità di sistemi di calcolo di taglia significativa [2] come supporto alla modellistica e alla simulazione innanzi tutto nel campo nucleare ma, con l'evoluzione dei compiti assegnati, l'ambito si è esteso al settore energetico in senso più ampio e a quello ambientale.
Una specificità poi delle infrastrutture per il calcolo scientifico e tecnologico di CNEN prima e di ENEA è stata quella di essere distribuita sul territorio nazionale tra molti dei centri di ricerca dell'Ente stimolando quindi già dalla fine degli anni '60 la realizzazione di una rete efficace di interconnessione tra i sistemi disponibili e successivamente, a partire dagli anni '90, di una integrazione complessiva delle risorse di calcolo in una infrastruttura unitaria delle risorse disponibili.
Nei prossimi paragrafi verrà descritto lo sviluppo dei sistemi di calcolo dall'inizio degli anni '60 fino ad oggi, fine 2022, partendo dalla descrizione dei primi sistemi [1-5], procedendo con l'adozione dei mainframe, epoca conclusasi per ENEA nei primi anni 2000, descrivendo la situazione molto varia e diversificata degli anni '90 fino allo sviluppo di una infrastruttura organica ed integrata ENEAGRID [6,7] tuttora in produzione e che include i sistemi più recenti [14,16]. I dati specifici dei singoli sistemi sono stati raccolti nella Tabella 1.
ENEA
INDICE- I primi sistemi, anni '60
- L'epoca dei mainframe 1968 - 2003
- Adozione di tecnologie diversificate e attività di sviluppo 1990 - 2005
- Il sistema integrato per il calcolo scientifico ENEAGRID
- Focalizzazione delle architetture e progetti PON 2005 - 2014
- Anni 2015-2022, accordo ENEA-CINECA e l’ambito EUROFUSION
- L’utilizzo complessivo dei sistemi HPC in ENEA
- Le prospettive
- Tabella 1. Risorse per il calcolo scientifico di CNEN/ENEA dal 1960
- Riferimenti
Per la realizzazione dei programmi di ricerca del CNEN era necessario disporre di un mezzo di calcolo di elevate capacità comparabile con quelli esistenti nei centri di ricerca di altri Paesi; nel 1960 venne deciso quindi l'acquisto per la sede di Bologna di un calcolatore IBM-704 [2] che costituì al momento il sistema di calcolo più potente installato in Italia. Il gruppo numerico della sede CNEN di Bologna aveva già lavorato sul sistema IBM-650 della Facoltà di Ingegneria della Università di Bologna collaborando anche alla organizzazione della sua acquisizione, con fondi MIUR ed del Comune di Bologna. Il sistema CNEN IBM-704 fu installato nel 1961 [3] e poi affiancato da un sistema IBM-1401 dedicato alle operazioni di I/O. Nel 1964 venne poi acquistato un sistema IBM-7094 , Fig. 1, corredato di due sistemi IBM-1401 per l'I/O sostituiti per i servizi di I/O nel 1966 da un sistema IBM-7040, realizzando così un sistema accoppiato IBM-7094/7040. Nel 1961 nel Centro di Ricerche di Frascati veniva installato un sistema IBM-1620/1 [4] e successivamente un simile sistema IBM 1620 venne istallato pure nel Centro Ricerche Casaccia. Nel 1968 sempre nel Centro di Ricerche di Casaccia veniva acquisito un sistema ibrido digitale/analogico EAI 8800/640 [5]. Tale installazione costituiva lo sviluppo delle attività pregresse nel campo del calcolo analogico che avevano portato anche allo sviluppo negli anni precedenti di un sistema realizzato all'interno del CNEN. L'attività intensa del CNEN nel campo del calcolo elettronico era supportata in quegli anni da un folto gruppo di personale che tra i soli Centri di Bologna e Frascati ammontava complessivamente a circa 60 unità tra ricercatori e tecnici, dedicate esclusivamente al calcolo scientifico, la cui attività spaziava dalla gestione dei sistemi allo sviluppo numerico fino alla gestione delle banche dati nucleari.
Sala calcolatori elettronici: Console del sistema IBM-7094 ed unità nastro [3]
L'epoca dei mainframe 1968 - 2003
Seguendo lo sviluppo tecnologico, dalla fine degli anni '60 le risorse per il calcolo scientifico del CNEN, ENEA dal 1982, diventano basate sui sistemi mainframe IBM, inizialmente della serie IBM 360, IBM 370, IBM 390 e infine a sistemi della serie 9000. A partire dal 1968 i mainframe IBM vengono installati su 4 sedi, Bologna, Frascati, Casaccia e la sede centrale di Roma, Fig.2. A partire del 1988 i mainframe iniziano a supportare la Vector Facility di cui vengono progressivamente dotati tutti i centri. I sistemi operativi utilizzatoti sono le varie versione di MVS/OS390 ma anche in qualche caso VM. Vengono anche acquisiti mainframe IBM compatibili, prodotti da Olivetti-Hitachi. Alla metà degli anni '90 il trasferimenti logistici sia della Sede Centrale a Roma che della sede di Bologna Via Mazzini coincidono con la dismissione dei relativi mainframe. Pure il sistema di Casaccia viene trasferito negli stessi anni a Frascati, sito che era stato identificato come la localizzazione di questo tipo di tecnologia. Per quanto riguarda il calcolo scientifico un sistema mainframe viene mantenuto in ENEA fino al 2003, quando viene dismesso il modello IBM 9672/R3 che era stato installato a Frascati nel 1999. In Casaccia a partire dall'inizio degli anni '80 vengono installati anche sistemi VAX, sistema operativo MVS, che col tipo VAX 9000 del 1992 possono anch'essi inclusi nella categoria mainframe e che al livello invece di minicomputer sono ampiamente diffusi negli stessi anni nei laboratori sperimentali dell'Ente.
Centro di Calcolo. Sede Centrale Roma, 1980
Adozione di tecnologie diversificate e attività di sviluppo 1990 - 2005
Dall'inizio degli anni '90 l'alto costo delle tecnologie mainframe promuove la diffusione di sistemi basati su minicomputer e workstation UNIX. Tale tendenza si sviluppa in ENEA dapprima con l'introduzione di sistemi IBM RISC/6000 per proseguire poi con sistemi paralleli SP2 dotati di rete di connessione dedicata al calcolo. Sistemi SP2 vengono installati a Frascati e Bologna mentre su Casaccia ai già citati sistemi VAX si aggiungono macchine dedicate specificamente a due linee di ricerca e sviluppo.
La prima riguarda le attività di calcolo del gruppo di simulazioni di clima che spinse all'installazione prima di un modello Cray Y-MP EL entry level e poi ad un sistema vettoriale SV1/1A.
La seconda invece è frutto del coinvolgimento di ENEA in una attività di sviluppo di una piattaforma dedicata al calcolo largamente parallelo, nata in INFN con il progetto APE100 ed evoluta poi anche in un quadro industriale da Alenia Spazio e dalla sua controllata inglese Quadrics Supercomputer World, che aveva incorporato Meiko Scientific, la società che aveva sviluppato negli anni '80 i transputer. Si tratta di sistemi SIMD (Single Instruction on Multiple Data) di cui fu acquisito da ENEA un certo numero in varie versioni da 8 fino a 512 processori, da Quadrics-Q1 a QH4. Nel 1995 viene poi varato il progetto PQE-2000 che coinvolgeva oltre ad ENEA anche CNR, INFN ed Alenia Spazio per la realizzazione di una piattaforma che integrasse le potenzialità MIMD (Multiple Instruction on Multiple Data) con quelle di un sistema puramente SIMD. Tale progetto portò alla realizzazione di un prototipo che accoppiava un sistema Quadrics QSW-CS2 di tipo MIMD con i sistemi SIMD Quadrics. La componente MIMD era dotata di una rete di comunicazione veloce Meiko la cui evoluzione portò poi successivamente alla implementazione della rete QsNet, concorrente nei primi anni 2000 di Infiniband e Myrinet.
In Casaccia nel 2000 viene acquisto un sistema, FERONIA, formato da un cluster di nodi con processori DIgital Alpha e dotato di rete QsNet. Dopo la chiusura della linea di processori Alpha l'infrastruttura QsNet venne riusata con il cluster FERONIX, con precessore Intel Xeon.
Tornando alla seconda metà degli anni '90 sistemi Quadrics furono anche installati a Bologna, Frascati e Trisaia formando il primo nucleo di una infrastruttura di risorse di calcolo omogenee distribuite sul territorio nazionale.
Il sistema integrato per il calcolo scientifico ENEAGRID
Come si è visto nella sezione precedente dalla seconda metà degli anni '90 il quadro generale dei sistemi per il calcolo scientifico di ENEA mostra una situazione molto variegata che include ancora qualche mainframe ma nello stesso tempo anche molteplici piattaforme di calcolo con hardware e sistemi operativi molto diversi. Negli stessi anni in un contesto molto più ampio la disponibilità di sistemi di calcolo potenti, distribuiti su vaste aree geografiche ma connessi tra loro da reti ad alta velocità, portava allo sviluppo del concetto di griglia computazionale. Grazie allo sviluppo della rete GARR anche i sistemi di calcolo ENEA erano connessi con una rete di buone prestazioni e quindi era naturale pensare di integrare tali risorse in una infrastruttura comune per fornire all'utenza un servizio meno frammentato ed omogeneo nei metodi di accesso. Si trattava quindi di realizzare una griglia (GRID) computazionale, ENEAGRID.
Il concetto di GRID scaturisce dal tentativo di fornire una visione unitaria su di un insieme eterogeneo di risorse informatiche sparse tra siti distanti appartenenti e si adatta poi particolarmente bene al caso di una singola istituzione distribuita tra molte sedi, come il caso di ENEA. La realizzazione concreta di una griglia computazionale richiede la definizione di un insieme di strumenti software capaci di realizzare in modo uniforme l'accesso alle risorse informatiche disponibili, sia in termini di sistemi di calcolo che di archiviazione di dati. Inoltre tali strumenti devono essere in grado di garantire la sicurezza di operazione della griglia e fornire la possibilità di monitorare in ogni istante il suo funzionamento.
I componenti software scelti al cuore della implementazione iniziale di ENEAGRID [6,7] sono stati LSF Multicluster, un prodotto Platform (acquisito nel 2012 da IBM) per la gestione delle risorse, e AFS, il file system allora distribuito da IBM Transarc ed poi diventato Open Source. Tali componenti si sono dimostrati prodotti affidabili e tuttora ben utilizzabili anche a più di 30 anni dalla prima messa in servizio. Tali prodotti si caratterizzavano per un buon supporto multi-piattaforma ed una natura intrinsecamente distribuita. Per le altre funzionalità di base, ovvero la gestione della grafica remota e il monitoraggio, i prodotti usati inizialmente erano CITRIX Metaframe e Patrol per il monitoring dell'intera infrastruttura. Il sistema di monitoraggio è stato poi migrato alla piattaforma Open Source Zabbix. Per quanto riguarda l’accesso grafico remoto ENEAGRID è stata l’infrastruttura dove il prodotto Enginframe di Nice (società ora acquisita da Amazon/AWS con il nome di Nice-Software) venne inizialmente sviluppato, mentre con l’avvio dei cluster CRESCO nel 2008 venne creata l’applicazione FARO [8] tuttora in produzione. FARO era inizialmente supportato dal desktop remoto FreeNX mentre dal 2016 è stata adottata la soluzione Open Source Thinlinc, di Cendio. Il sistema di autenticazione inizialmente basato sul Kerberos 4, nella versione integrata in AFS, venne migrato nel 2007 all'utilizzo di Kerberos 5 MIT nativo. L'insieme di questi software, ai quali si è aggiunto negli anni 2000 anche il file system parallelo GPFS (dal 2016 chiamato Spectrum Scale) di IBM, costituisce il così detto “middleware” di ENEAGRID ed ha permesso di integrare negli ultimi 30 anni gran parte delle risorse di calcolo in un unico ambiente di facile accesso per l'utente e di facile amministrazione per la gestione.
Sin dall'inizio ENEAGRID venne concepita come un insieme di risorse, servizi ed applicazioni usufruibili dall'utente attraverso delle interfacce standard e unificate con un alto livello di astrazione rispetto a quello dei sistemi hardware che lo supportava. Tale modalità di operazione prefigurava per l'utente quello che in anni recenti viene fornito dai servizi di tipo Cloud, anche se all'epoca il concetto di sistemi virtualizzati era ancora ai suoi stati iniziali. L’infrastruttura ENEAGRID ha permesso anche ad ENEA di partecipare ai progetti europei della linea DATAGRID-EGEE, fornendo l’esempio di una possibile integrazione di risorse multi-piattaforma, attraverso lo sviluppo originale della metodologia SPAGO [9].
L'infrastruttura appena illustrata, sviluppata alla fine degli anni '90 ed implementata inizialmente sul sistema di Quadrics distribuite sui vari centri ENEA, ha incorporato progressivamente i sistemi già descritti ed ad essi si sono poi aggiunti quelli acquisiti nella prima metà degli anni 2000 e caratterizzati ancora da una certa varietà.
A Frascati vennero installati sistemi IBM AIX SP3 (64 cpu), SP4 (128 cpu) ed infine SP5 (256 cores) , tre generazioni di cluster Linux 32 bit composti rispettivamente da 6, 10 e 16 nodi ed un cluster AMD x86_64, di 20 nodi biprocessore. A Casaccia un cluster linux di 7 nodi con processori Pentium4, il sistema SGI Altix 350 con 32 cpu IA64, un sistema CRAY XD1, un cluster linux con processore AMD x86_64 e dotato di schede FPGA. Tutti questi sistemi erano integrati in ENEAGRID [7] e accessibili in modalità unificata per l'utenza. Dal punto di vista della potenza di calcolo il sistema più significativo era il cluster SP5 di 1.6 TFlops.
Focalizzazione delle architetture e progetti PON 2005 - 2014
Nel corso degli anni 2000 è avvenuto poi un cambiamento importante nella modalità di finanziamento delle nuove risorse di calcolo con l'arrivo dei progetti infrastrutturali cofinanziati dal MIUR nel quadro dei Piani Operativi Nazionali, mirati allo sviluppo delle regioni le regioni dell’Unione Europea con un prodotto interno lordo (PIL) pro capite inferiore al 75% della media comunitaria. L'aggiudicazione di alcuni progetti ENEA in risposta a bandi PON di carattere infrastrutturale ha fatto fare un salto di qualità nella dimensione delle risorse di calcolo disponibili. Le condizioni specifiche dei Bandi PON hanno così portato allo sviluppo dei centri di calcolo dei siti ENEA del meridione, innanzitutto Portici, quello meglio collegato dato la vicinanza di Napoli, ma anche Brindisi e Trisaia.
Nel campo ICT i due primi progetti portati a termine da ENEA nell'ambito del PON Ricerca 2000-2006 del MIUR sono stati i progetti TELEGRID e CAMPUS [8]. Con questi due progetti è stato possibile potenziare i Centri di Calcolo di Portici, Brindisi e Trisaia, con l'installazione di risorse di calcolo (Linux x86, AIX, IRIX e anche MacOS), di sistemi storage significativi e di tutti i servizi necessari ad integrare tali risorse in ENEAGRID. Quanto realizzato con tali progetti ha costituito poi la base sulla quale ENEA si aggiudicò nel 2006 il progetto CRESCO, sempre nel quadro PON Ricerca 2000-2006.
Con il progetto CRESCO [10] la strategia di sviluppo delle risorse calcolo di ENEA ha avuto una evoluzione importante concentrando l'azione sulla acquisizione di un sistema di calcolo allo stato dell'arte che ottimizzasse il rapporto potenza di calcolo e costi, in armonia con quanto avveniva all'epoca nel quadro internazionale. E’ stato prescelto così un sistema basato su Linux X86_64 e rete Infiniband DDR. Per venire incontro ad esigenze specifiche dell'utenza il sistema, di produzione IBM, è stato comunque strutturato in tre sezioni aventi in condivisione la stessa rete Infiniband [11]: una sezione a grande memoria, con nodi a 4 socket e 64 GB RAM (CRESCO1), una sezione principale di 256 nodi blade dual socket e 16 GB di RAM (CRESCO2) ed infine una terza sezione speciale (di nodi con schede video di alte prestazioni, nodi con scheda FPGA, 4 nodi Cell) dedicata ad attività di sperimentazione. Il sistema, entrato in produzione nel 2008, appare nelle liste Top 500 dalla fine del 2007 alla fine del 2009, con Rmax da 9.2 a 24.5 TFlops (Rmax è numero di operazioni in virgola mobile al secondo misurato dalla applicazione HPL specifica della lista Top 500) , occupando la posizione più significativa (#126) al giugno 2008 con 17.1 TFlops. Sul sito di Portici la realizzazione del progetto CRESCO ha richiesto la creazione di una nuova sala calcolo Fig.3, il potenziamento dei sistemi di alimentazione elettrica (300 KW sotto UPS), la realizzazione dei sistemi di condizionamento (per 250 KW di capacità refrigerante), l'acquisizione di un sistema storage DDN 9550 180 TB ed di una libreria nastro IBM serie TS3500. Nel quadro del progetto CRESCO sono state anche installate risorse di calcolo più limitate a Brindisi, cluster CRESCOB, e Trisaia.
Portici Centro di Calcolo CRESCO, 2008
Negli anni successivi il cluster CRESCO2 fu poi espanso fino a 340 blades raggiungendo così 2720 cores ai quali si aggiungevano i 672 cores della sezione CRESCO1, per un totale di 3392.
Negli stessi anni è stato portato avanti un rinnovamento delle risorse di calcolo nelle regioni fuori progetti PON e data la progressiva riduzione dei finanziamenti provenienti del Contributo Ordinario dello Stato l'aggiornamento è stato fatto su dimensione limitata ma con la stessa strategia di focalizzazione sulla piattaforma Linux X86_64, con l'acquisizione di un cluster su Casaccia, CRESCOC, di 16 nodi dual processor AMD 6 core, rete Infiniband DDR, e di uno su Frascati, CRESCOF, 20 nodi dual processor AMD 12 core, rete Infiniband QDR.
Sempre a Portici nel periodo 2008-2012 è stato ospitato il sistema il Gateway Eurofusion, un piccolo cluster di sviluppo (1 Tflop), dedicato alle attività di simulazione dei ricercatori europei nel campo della fusione nucleare controllata, per il quale ENEA si aggiudicò la relativa gara emessa dal consorzio europeo Eurofusion [12].
Con l'arrivo dei bandi inquadrati nel successivo PON 2007-2013 l'infrastruttura realizzata con il progetto CRESCO è stata la base sia per il successo nella aggiudicazione di vari progetti di ricerca (LAMRECOR, VIS4FACTORY, DIRECTFOOD, ITA@CHA [13]), con dotazioni contenute per quanto riguardava fondi infrastrutturali, che in quella del progetto infrastrutturale TEDAT [13] più rilevante in termini quantitativi. L'insieme di questi progetti ha valorizzato gli investimenti della tornata precedente dei progetti PON, sfruttando anche il gruppo di competenza che era stato creato soprattutto a Portici nel corso degli anni del loro sviluppo.
Per quel che riguarda i progetti PON 2007-2013 le risorse infrastrutturali limitate dei progetti di ricerca sono state concentrate su due linee: l'acquisizione in varie frazioni di un singolo cluster CRESCO3 (al suo completamento formato da 84 nodi da 24 cores ognuno per un totale di 2016 cores, rete Infiniband QDR), il potenziamento della infrastruttura storage basata su un sistema DDN9900. CRESCO3 è entrato in produzione nel 2013 ed è installato nelle stessa sala calcolo che ospitava i cluster CRESCO precedenti.
Il progetto infrastrutturale TEDAT ha prodotto un aggiornamento significativo delle risorse complessive permettendo di mettere in funzione ad inizio 2014 il cluster CRESCO4 [14], dotato di 304 nodi dual 8 cores (4864 in totale) con Rpeak=100 TFlops (Rpeak è il numero teorico di operazioni in virgola mobile al secondo) e rete Infiniband QDR. La messa in servizio di CRESCO4 ha richiesto la creazione di una seconda sala del Centro di Calcolo di Portici, Fig. 4a,b, con il relativo sistema di condizionamento per 200 kW di capacità refrigerante.
Nelle figure qui sotto vengono mostrate i portici 2013 CED CRESCO4 e Portici Cluster CRESCO4 [12] rispettivamente
. 
Anche nel caso del progetto TEDAT al cluster principale furono aggiunti un numero limitato di nodi speciali, dotati di grande memoria (768GB), di coprocessori PHI e di schede GPU NVIDIA K40M. Queste ultime potenziarono le risorse GPU aggiungendosi ad un piccolo sistema acquisito precedentemente e dotato di 4 schede NVIDIA S2050. Il sistema di storage GPFS/Spectrum Scale venne potenziato con l’aggiunta di sistemi DDN 7700 e 7700X su connessione Infiniband FDR.
Con l'entrata in funzione del cluster CRESCO4 l'insieme delle risorse di calcolo di ENEAGRID fu aggiornato mantenendo un livello di potenza di calcolo significativo su scala nazionale. Infatti nel 2014 a livello italiano tra le istituzioni di ricerca pubbliche solo CINECA, SISSA e CMCC potevano vantare sistemi HPC comparabili a quelli di ENEA.
Nel corso del 2015 si portò poi in servizio un cluster più piccolo, CRESCO5, dotato di 22 nodi dual 8 core con processori di ultima generazione, le cui migliori prestazioni erano dedicate specificatamente alle applicazioni licenziate di costo rilevante.
Anni 2015-2022, accordo ENEA-CINECA e l'ambito EUROFUSION
Nel 2015 venne siglato un accordo ENEA-CINECA, per il quale all'interno del sistema HPC italiano veniva riconosciuto il ruolo di ENEA come livello TIER1 rispetto a quello di TIER0 giocato istituzionalmente da CINECA. Nell'ambito di tale accordo, ENEA e CINECA si sono aggiudicati nel 2015 la realizzazione di un sistema multi PetaFlops, MARCONI-FUSION, dedicato ai ricercatori della Fusione Europea, entrato in funzione a Bologna nell'estate 2016 [15] e finanziato dal consorzio europeo Eurofusion, che aveva già finanziato il piccolo sistema Gateway nel 2008 [12]. Nell'ambito dello stesso accordo ENEA ha installato su Portici il cluster CRESCO6 [16], entrato in produzione nella seconda metà del 2018 con un a potenza di calcolo Rpeak=1.4 PFlops. Con un valore di Rmax=1.01 Pflops il sistema è stato registrato alla posizione #420 della Top 500 del novembre 2018.
 |  | |
| Fig5(a) CRESCO6 corridoio caldo | Fig5(b) CRESCO6 corridoio freddo |
L’installazione di CRESCO6 ha richiesto la riorganizzazione della sala calcolo che originariamente aveva ospitato CRESCO1, CRESCO2 e CRESCO3, con un nuovo sistema di condizionamento da 240 kW, in una configurazione dove il corridoio freddo viene confinato in cabina in modo da ottimizzare l’efficienza di raffreddamento Fig.5 a,b.
CRESCO6 consta di 434 nodi dual socket Xeon Platinum 8160 (24 core, 2.1GHz), per un totale di 20832 core. La rete di connessione a bassa latenza è Intel Omni-Path (OPA) a 100 Gbps. Il sistema storage è stato progressivamente potenziato con sistemi DDN 7900 e 7900X, fornendo lo spazio dati sia al preesistente cluster CRESCO4 che al nuovo CRESCO6. Da notare che avendo tali cluster differenti fabric (QDR per CRESCO4 e OPA per CRESCO6) la condivisione dello spazio dati ha fatto uso di una delle caratteristiche di Spectrum Scale che, se opportunamente configurato, può operare in ambiente multifabric [16].
Nel corso degli anni 2018-2022 il cluster CRESCO4 ha continuato la sua operazione ma il numero di nodi è stato progressivamente ridotto, sia per rinnovare le risorse di calcolo di Frascati e Casaccia (a Frascati 64 nodi per cluster CRESCO4F; a Casaccia 32 nodi per cluster CRESCO4C) che per popolare le farm dedicate ai servizi cloud dell’Agenzia, distribuiti tra i vari centri ENEA. Tale era stato il destino in precedenza anche di parte dei nodi dei cluster CRESCO1, CRESCO2, CRESCO3 e CRESCO5, in un’ottica di riuso non HPC di hardware ancora di prestazioni significative per altri scopi, senza la necessità di costosi contratti di manutenzione data l’abbondanza di nodi disponibili. Una curiosità è il piccolo sistema di 4 nodi proveniente da CRESCO3 installato presso la Stazione Mario Zucchelli in Antartide [16].
Le risorse dei cluster fuori Portici, ovvero CRESCO4F e CRESCO4C, oltre a fornire risorse locali ai ricercatori di Frascati e Casaccia, permettono anche di garantire alta affidabilità per applicazioni specifiche configurate opportunamente. Infatti nel caso di progetti di calcolo in cui sia necessario fornire simulazioni di rilevanza giornaliera, il workflow viene replicato in parallelo tra diversi centri ENEA in modo di avere una ragionevole certezza che almeno una versione di risultati sia sempre disponibile, anche nel caso di problemi infrastrutturali che si possano verificare su di uno dei centri.
Nel corso del 2022 è stato installato a Frascati il piccolo cluster CRESCO5F dotato di GPU Nvidia A100 e composto da 10 nodi con complessivamente al momento 6 GPU, interconnessi con Infiniband EDR a 100Gbps e dedicato ad applicazioni di intelligenza artificiale.
L'utilizzo complessivo dei sistemi HPC in ENEA
I cluster HPC del sistema ENEAGRID/CRESCO sono acceduti annualmente da più di 100 utenti interni ed esterni all’ENEA. La frazione di utenti esterni, che dipende anche dallo sviluppo dei progetti nazionali ed internazionali che coinvolgono ricercatori esterni ad ENEA, oscilla di anno in anno tipicamente tra il 15% ed il 35% del totale tempo di calcolo utilizzato.
La varietà dei campi applicativi in cui le risorse di supercalcolo di ENEA sono utilizzate è testimoniata dai Report Annuali CRESCO, disponibili sin dal 2008 [18], che illustrano come la ricerca e lo sviluppo nel campo energetico, nucleare, ambientale si concretizzino in applicazioni specifiche, dalla scienza dei materiali, alla fluidodinamica applicata anche alla combustione o all'aerospazio, alle tecnologie nucleari, alle biotecnologie, alle simulazioni climatiche piuttosto che allo studio della diffusione degli inquinanti nell'atmosfera fino alla fisica dei sistemi complessi. Negli anni della pandemia COVID si sono poi aggiunte attività di simulazione specifiche, descritte nel rapporto ad esse dedicato [19]. Complessivamente ad oggi (2022) ci sono più di 200 pubblicazioni di ricerca che citano i sistemi CRESCO come lo strumento HPC utilizzato per il raggiungimento dei risultati pubblicati.
Attualmente è previsto che il sistema MARCONI di EUROFUSION concluderà la sua attività nella forma attuale con l’anno 2023 e nel frattempo, nel quadro del già citato accordo ENEA-CINECA, il centro ENEA di Portici verrà dotato di un sistema di calcolo da circa 1 PFlops, il cui nome è previsto essere CRESCO7 e che verrà installato nella seconda sala calcolo che ospita quanto resta del cluster CRESCO4.
Ma il grosso dello scenario di sviluppo delle future risorse di calcolo ENEA ad oggi si inquadra in una situazione dominata dal Programma Nazionale di Ripresa e Resilienza (PNRR) che tra le varie linee di intervento prevede il potenziamento dell'infrastruttura CRESCO, in quanto infrastruttura di ricerca riconosciuta nel Programma Nazionale per la Ricerca 2021-2027.
L’intervento PNRR su CRESCO nei centri ENEA di Portici e Brindisi è inserito nell’ambito del potenziamento delle risorse di calcolo necessarie al progetto DTT (Divertor Tokamak Test) nel campo degli studi per la fusione nucleare controllata. In particolare è stato approvato, nell’ambito del “Fondo per la realizzazione di un sistema di infrastrutture di ricerca e innovazione”, il progetto DDTU (Divertor Tokamak Test Upgrade) prevede tra l’altro la realizzazione di un sistema HPC da circa 10 PFlops di cui una frazione minoritaria consiste di sistemi con GPU. Il grosso del sistema è previsto per Portici, mentre una parte dei sistemi con GPU sono previsti per ENEA Brindisi. Il nuovo sistema a Portici si prevede avrà nome CRESCO8 e verrà installato in una terza sala calcolo attualmente nella fase iniziale di allestimento. Anche il nuovo Centro Nazionale HPC, Big Data & Quantum Computing [20], nato pure nell’ambito PNRR con la partecipazione di ENEA, prevede il potenziamento delle risorse HPC su Portici, in particolare nello sviluppo dello “Spoke 1” dedicato a “Future HPC & Big-Data”.
Ulteriori risorse HPC di taglia rilevante sono inoltre previste nel progetto DATACLEEN (Data Cloud for Energy and ENvironment) sviluppato nel quadro delle attività IPCEI (Important Projects of Common European Interest) e previste per il sito ENEA di Frascati.
Tabella 1. Risorse per il calcolo scientifico di CNEN/ENEA dal 1960
Nella tabella seguente sono riportati i principali sistemi di calcolo CNEN/ENEA con riferimento alla sede di installazione, l'anno di inizio e fine dell'operazione, il nome con cui il sistema è stato citato, (spesso coincidente con il modello) ed il modello stesso della macchina o del processore. Quando i dati sono disponibili sono stati riportati anche il numero di core, il valore di Rpeak, come il massimo numero di istruzioni in virgola mobile eseguibili al secondo e una sigla per indicare la tipologia di rete di interconnessione ad alta banda e basta latenza. I dati sono da ritenere indicativi soprattutto per i sistemi meno recenti. In questa versione della tabella non sono riportati in generale i dati di prestazione dei sistemi mainframe, fa eccezione qualche caso isolato. I sistemi ancora in produzione non hanno ovviamente data di fine operazione.
| Sito | da anno | fino a anno | Nome o tipo | Modello o cpu | #cores | Rpeak (Gflops) | HPC Network |
|---|---|---|---|---|---|---|---|
| Bologna | 1961 | 1965 | IBM 704 | IBM 704 |
|
|
|
| Frascati | 1961 | 1968 | IBM 1620 | IBM620/1 |
|
|
|
| Bologna | 1964 | 1966 | IBM 7094 | IBM 7094+2*1401 |
|
|
|
| Bologna | 1966 | 1970 | IBM 7094+7040 | IBM 7094+7040 |
|
|
|
| Bologna | 1968 | 1971 | Mainframe | IBM 360/65 |
|
|
|
| Casaccia | 1968 | 1971 | Calcolatrice Ibrida | EAI-640 |
|
|
|
| Frascati | 1968 | 1977 | Mainframe | IBM 360/44 |
|
|
|
| Casaccia | 1970 | 1980 | Mainframe | IBM 360/44 |
|
|
|
| Bologna | 1971 | 1976 | Mainframe | IBM 360/75 |
|
|
|
| Casaccia | 1971 | 1985 | Calcolatrice Ibrida | EAI-640/EAI-8945 |
|
|
|
| Bologna | 1976 | 1986 | Mainframe | IBM370/168 |
|
|
|
| Frascati | 1977 | 1980 | Mainframe | IBM 370/135 |
|
|
|
| RomaSede | 1978 | 1985 | Mainframe | Mainframe IBM |
|
|
|
| Casaccia | 1980 | 1986 | Mainframe | IBM4341 |
|
|
|
| Frascati | 1980 | 1983 | Mainframe | IBM 3031 |
|
|
|
| Casaccia | 1981 | 1986 | Supermini | VAX 11/785 |
|
|
|
| Bologna | 1983 | 1986 | Mainframe | OH5480-4H |
|
|
|
| Frascati | 1983 | 1987 | Mainframe | IBM4341/N12 |
|
|
|
| RomaSede | 1985 | 1988 | Mainframe | IBM 4381 |
|
|
|
| Bologna | 1986 | 1987 | Mainframe | IBM3090/180 |
| 0.108 |
|
| Casaccia | 1986 | 1989 | Mainframe | OH5480/8 |
|
|
|
| Casaccia | 1986 | 1992 | Supermini | VAX 8800 |
|
|
|
| Bologna | 1987 | 1988 | Mainframe | IBM3090/180 VF |
|
|
|
| Frascati | 1987 | 1988 | Mainframe | IBM 3090/180 |
| 0.108 |
|
| Bologna | 1988 | 2000 | Mainframe | IBM3090/300e VF |
|
|
|
| Frascati | 1988 | 1989 | Mainframe | IBM 3090/300E |
| 0.348 |
|
| RomaSede | 1988 | 1992 | Mainframe | IBM 9221 |
|
|
|
| Casaccia | 1989 | 1994 | Mainframe | IBM9121/440 VF |
|
|
|
| Frascati | 1989 | 1990 | Mainframe | IBM 3090/300E VF |
|
|
|
| Frascati | 1990 | 1992 | Mainframe | IBM3090/250J VF |
|
|
|
| Casaccia | 1992 | 2000 | Mainframe | VAX 9000 |
|
|
|
| Frascati | 1992 | 1994 | Mainframe | IBM3090/280T VF |
|
|
|
| RomaSede | 1992 | 1995 | Mainframe | IBM 3031 |
|
|
|
| Casaccia | 1994 | 1999 | Cray | CRAY Y-MP EL |
| 0.5 |
|
| Frascati | 1994 | 1996 | Mainframe | IBM9121/440 VF |
|
|
|
| Frascati | 1994 | 1998 | Risc6000 | Risc6000 990 |
| 0.1 |
|
| Frascati | 1994 | 1998 | SP2 THIN | IBM-SP2 9076 THIN | 16 | 4.3 | HPS |
| Bologna | 1996 | 2000 | QUADRICS-Q1 | QUADRICS SIMD | 8 | 0.4 | meiko |
| Frascati | 1996 | 1998 | Mainframe | IBM 9672/R21 |
|
|
|
| Frascati | 1996 | 2002 | QUADRICS-Q1 | QUADRICS SIMD | 16 | 0.8 | meiko |
| Frascati | 1997 | 2002 | IBM P2SC | Risc6000 595 | 1 | 1.8 | 0.0 |
| Bologna | 1998 | 2004 | SP2 | IBM SP | 4 | 1.1 | HPS |
| Frascati | 1998 | 2002 | SP R50 | IBM | 16 | 3.2 | HPS |
| Frascati | 1998 | 2002 | SP2 THIN2 | IBM SP2 THIN2 | 16 | 10.2 | HPS |
| Frascati | 1998 | 1999 | Mainframe | IBM 9672/R14 |
|
|
|
| Bologna | 1999 | 2000 | QH1 | QUADRICS SIMD | 128 | 6.4 | meiko |
| Casaccia | 1999 | 2010 | DAFNE | CRAY-SV1/1A | 16 | 19.2 | SMP |
| Casaccia | 1999 | 2000 | PQE1/SIMD | QUADRICS SIMD | 1664 | 83.2 | meiko |
| Casaccia | 1999 | 2000 | PQE1/MIMD | QSW-CS2 | 16 | 2.0 | meiko |
| Frascati | 1999 | 2003 | OS390 | IBM 9672-R*3 /RC3 |
|
|
|
| Trisaia | 1999 | 2004 | QUADRICS-Q1 | QUADRICS SIMD | 24 | 1.2 | meiko |
| Bologna | 2000 | 2006 | QH1/MC | QUADRICS SIMD | 64 | 10.0 | meiko |
| Casaccia | 2000 | 2010 | PROMETEO | Pentium4 | 7 | 16.8 | QsNet |
| Casaccia | 2000 | 2005 | FERONIA | Alpha 21264 | 160 | 106.7 | QsNet |
| Frascati | 2000 | 2003 | SP2 PWR3 | IBM-SP2 | 8 | 6.4 | HPS |
| Frascati | 2000 | 2002 | FARM Linux NF | Pentium3 | 6 | 3.6 | Eth-1GE |
| Frascati | 2001 | 2002 | FARM Linux | Pentium4 | 10 | 18.0 | Eth-1GE |
| Frascati | 2001 | 2008 | SP3 | SP RS/6000 | 32 | 48.0 | HPS |
| Frascati | 2002 | 2010 | ONYX2CED | MIPS R12000 | 8 | 3.2 | SMP |
| Bologna | 2003 | 2010 | PACE | P4 690 | 8 | 38.4 | HPS |
| Casaccia | 2003 | 2010 | FERONIX | Xeon | 12 | 28.8 | QsNet |
| Frascati | 2003 | 2011 | BW305 | Pentium4 | 16 | 38.4 | Eth1-GE |
| Frascati | 2003 | 2012 | SP4 | P4 690 | 128 | 768.0 | HPS |
| Casaccia | 2005 | 2010 | TURAN | SGI Altix 350 IA64 | 32 | 70.4 | SMP |
| Frascati | 2005 | 2011 | EUROFEL | AMD 265 | 40 | 144.0 | Eth-1GE |
| Frascati | 2005 | 2013 | SP5 | P5 575 | 384 | 1152.0 | HPS |
| Frascati | 2005 | 2013 | SP5-13 | P5 595 | 64 | 243.2 | SMP |
| Portici | 2005 | 2009 | OSTRO | P4 690 | 16 | 76.8 | HPS |
| Trisaia | 2005 | 2009 | CLUAPPLE | PowerMac G5 | 24 | 60.0 | Eth-1GE |
| Casaccia | 2006 | 2010 | LARAN | AMD 2.2 Opteron | 48 | 211.2 | HypTrans |
| Portici | 2008 | 2015 | CRESCO1 | E7330 | 672 | 6451.2 | DDR |
| Portici | 2008 | 2014 | CRESCO2 | E5345 | 2048 | 18841.6 | DDR |
| Brindisi | 2009 | 2015 | CRESCOB | E7330 | 80 | 768.0 | ETH |
| Casaccia | 2009 | 2020 | CRESCOC | AMD2427 | 192 | 1689.6 | DDR |
| Frascati | 2011 | 2019 | CRESCOF | AMD6174 | 480 | 4224.0 | QDR |
| Portici | 2011 | 2016 | CRESCO2+ | E5345+E5530+E5620 | 2720 | 25024.0 | DDR |
| Portici | 2012 | 2018 | CRESCO3 | AMD6234 | 2016 | 19353.6 | QDR |
| Portici | 2013 |
| CRESCO4 | E5-2670 | 4864 | 101171.2 | QDR |
| Portici | 2014 |
| CRESCO4M | E5-2643v2 | 60 | 5680.0 | QDR |
| Portici | 2014 |
| CRESCO4S | E5-2680v2+PHI+K40 | 64 | 14633.6 | QDR |
| Portici | 2015 | 2019 | CRESCO5 | E5-2630v3 | 672 | 25804.8 | QDR |
| Portici | 2018 | CRESCO6 | Intel Skylake 8160 | 20832 | 1399910 | OPA | |
| Frascati | 2019 | CRESCO4F | E5-2670 | 1024 | 21299 | QDR | |
| Casaccia | 2020 | CRESCO4C | E5-2670 | 512 | 10649 | QDR | |
| Frascati | 2022 | CRESCO5F | AMD 7313+A100 | 320 | 15360 | EDR |
[2] F. Pierantoni, “Gianni Puppi e l'IBM 650”, Bollettino della Società Italiana di Fisica, Supplemento, 5-6, 2007, pp. 34-35
[3] A.V. Notiziario CNEN 1967, “Il Centro di Calcolo di Bologna”, vol.2, 31.
[4] A.V. Notiziario CNEN 1967, “Il Laboratori Nazionali di Frascati del CNEN”, vol.8, 47.
[5] A. Mathis Notiziario CNEN 1968,” La nuova calcolatrice ibrida del centro della Casaccia”, vol.6,28
[6] S. Migliori, et al. “ENEA Computing Factory”, Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications, PDPTA 1999, June 28 July 1999, Las Vegas, Nevada, USA. Vol.6, 3037-3040
[7] S. Migliori, G. Bracco, P. D’Angelo "L’architettura di ENEA GRID, infrastruttura distribuita per la condivisione di risorse informatiche per il calcolo scientifico" Conferenza GARR 2005 "La rete daPERtutto", Pisa, 1013/5/2005
[8] "User-friendly access to computational services with FARO portal for EGEE and ENEAGRID” A.Santoro, A.Rocchi,G.Bracco, S.Migliori,C. Sciò, A.Quintiliani, F.Beone, S.Pierattini, S.Podda EGEE'10 User Forum Upsala (Sweden) 12-15/4/2010 Demo Session
[9] "SPAGO, a flexible approach to open HPC resources to the GRID: the example of CRESCO HPC system" A. Santoro, G. Bracco , S. Migliori, S. Podda, A. Quintiliani, A. Rocchi, C. Sciò EGEE'09 Conference Barcelona (Spain) 21-25/9/2009
[10] Progetti PON 2000-2006: TELEGRID, CAMPUS e CRESCO http://www.telegrid.enea.it, http://www.afs.enea.it/project/campus, http://www.cresco.enea.it
in archivio:
https://web.archive.org/web/20071124090100/ http://www.telegrid.enea.it/ https://web.archive.org/web/20070729094034/ http://www.campus.enea.it/ https://web.archive.org/web/20090308072521/ http://www.cresco.enea.it/
[11] S. Migliori, G. Bracco, P. D'Angelo, D. Gianmattei, M. De Rosa, S. Pierattini, S. Podda, A. Quintiliani,S. Raia,A. Funel, G.Richelli, "Architecture and performances of the CRESCO HPC system" International Supercomputing Conference ISC Dresden 17-19/6/2008, Research Poster #7 e anche http://www.cresco.enea.it
[12] Fusion News 2008 https://www.euro-fusion.org in archivio https://web.archive.org/web/20221125150428/ https://www.euro-fusion.org/fileadmin/user_upload/Archive/wp-content/uploads/2014/01/Fusion-News-July-2008.pdf
[13] Progetti ICT ENEA PON 2007-2013 https://web.archive.org/web/20180101012733/ http://www.ict.enea.it/it/progetti/utict-e-i-progetti
[14] G. Ponti et al., "The role of medium size facilities in the HPC ecosystem: the case of the new CRESCO4 cluster integrated in the ENEAGRID infrastructure", Proceedings of the 2014 International Conference on High Performance Computing and Simulation, HPCS 2014, art. no. 6903807, 1030-1033
[15] F.Iannone et al., "MARCONI-FUSION: the new high performance computing facility for European nuclear fusion modelling",Fusion Engineering and Design. DOI10.1016/j.fusengdes.2017.11.004. (2017)
[16] F. Iannone et al., "CRESCO ENEA HPC clusters: a working example of a multifabric GPFS Spectrum Scale layout," 2019 International Conference on High Performance Computing & Simulation (HPCS), Dublin, Ireland, 2019, pp. 1051-1052, doi: 10.1109/HPCS48598.2019.9188135
[17] https://www.eneagrid.enea.it/Resources_en/CRESCO_documents/CRESCO/CRESCO3inAntartide.html
[18] http://www.cresco.enea.it/CRESCO_reports
[19] AA.VV “ENEA CRESCO IN THE FIGHT AGAINST COVID 19” ISBN: 978-88-8286-415-6 anche in CRESCO Reports
[20] https://researchitaly.mur.gov.it/2022/08/24/nasce-il-centro-nazionale-di-supercalcolo-con-sede-al-tecnopolo-di-bologna/ in archivio https://web.archive.org/web/20221128103421/ https://researchitaly.mur.gov.it/2022/08/24/nasce-il-centro-nazionale-di-supercalcolo-con-sede-al-tecnopolo-di-bologna/