5/6 marzo orario 9:00-18:00 in presenza presso BI-REX, Via Paolo Nanni Costa, 20, 40133 Bologna BO
Un Large Language Models (LLM) è un modello di intelligenza artificiale generativa in grado di comprendere e generare testo e/o altri contenuti in modo simile a una persona. Può essere utilizzato per una vasta gamma di applicazioni aziendali, come l’analisi dei dati, l’automazione del servizio clienti e la creazione di contenuti personalizzati.
Il corso intende esplorare il mondo degli LLM, offrendo una panoramica completa per le aziende che desiderano sfruttare questa tecnologia all’avanguardia.
Partendo dalle basi, il corso introduce i principali concetti legati ai modelli di linguaggio e le loro applicazioni nel contesto aziendale.
Successivamente, si approfondirà come integrare fonti di conoscenza esterne per migliorare le prestazioni dei modelli con la tecnica Retrieval-Augmented Generation (RAG).
Infine, il corso si concentra sul fine-tuning parallelo su infrastrutture High-Performance Computing (HPC), fornendo competenze pratiche per ottimizzare i modelli su larga scala. Attraverso una combinazione di teoria e applicazioni pratiche, si acquisiranno le competenze necessarie per implementare e sfruttare gli LLM nelle loro organizzazioni, aprendo nuove opportunità di innovazione e efficienza operativa.
Topics
- Struttura e caratteristiche di LLMs
- Concetti base di HPC
- Parmeter Efficient Fine Tuning (PEFT)
- Parallelizzazione di LLMs
- RAG
- Inferenza di LLMs
Destinatari del corso
Persone con background tecnico-scientifico con competenze base di python e AI, familiarità con sistema operativo Linux e interessate a capire il funzionamento di LLM utilizzando HPC
Docenti
Ha conseguito una Laurea Magistrale in Matematica in Stochastics and Data Science. Attualmente lavora nel dipartimento HPC in progetti che sfruttano le metodologie di Machine Learning e Deep Learning all’interno dell’infrastruttura HPC.
Ha conseguito un dottorato di ricerca in matematica con una tesi sulle decomposizioni tensoriali e matriciali per la classificazione delle immagini. Attualmente lavora nel Dipartimento HPC di CINECA, concentrandosi sull’utilizzo delle tecnologie HPC in progetti di intelligenza artificiale.
Ha conseguito la Laurea magistrale in Matematica presso l’Università di Bologna nel 2023 con una tesi sviluppata durante un tirocinio presso CINECA su tecniche di compressione dati applicate all’ambito dei Digital Twin. Attualmente lavora come HPC Technology Specialist presso il Dipartimento HPC di CINECA, concentrandosi sull’utilizzo delle tecnologie HPC in progetti di Intelligenza Artificiale.
Dopo aver conseguito una laurea in Informatica per il Management, ha proseguito la sua formazione con la laurea magistrale in Computer Science e un Master in Data Science e Business Analytics. Durante i suoi studi ha realizzato diversi progetti nel campo della Data Analytics, concentrandosi ad esempio sull’analisi di mercato con algoritmi di clustering. Attualmente lavora come data scientist nel dipartimento HPC del CINECA.
Ha conseguito il master in High Performance Computing alla SISSA di Trieste e ha lavorato come ricercatore HPC presso OGS nel campo dell’oceanografia. Successivamente ha iniziato a lavorare in CINECA, dove oggi ricopre il ruolo di consulente per le applicazioni industriali e project manager tecnico per i progetti di trasferimento tecnologico verso le industrie e in particolare le SME.
È un Senior Data Scientist e Machine Learning Engineer presso CINECA, dove si occupa di adattamento e fine-tuning di modelli linguistici di grandi dimensioni e sviluppo di sistemi di generazione aumentata da retrieval (RAG) per applicazioni in ambito legale, sanitario e ambientale. Dottoratosi in Chimica Computazinale alla Scuola Normale Superiore di Pisa, ha precedentemente lavorato come ricercatore in nanoscienze presso l’Università di Bologna e il KTH di Stoccolma, per poi passare in Ericsson, lavorando su modelli di demand forecast globale.
Ha conseguito la Laurea Magistrale in Fisica presso l’Università di Bologna nel 2020. Successivamente, ha conseguito il Dottorato di Ricerca in Ingegneria Biomedica presso l’Università di Bologna, con focus sull’intelligenza artificiale applicata alla medicina.
Successivamente ha ricoperto il ruolo di assegnista di ricerca presso l’Università di Verona, dove si è dedicato allo studio e allo sviluppo di tecniche di apprendimento distribuito (swarm learning). Ora ha iniziato a lavorare al Cineca come HPC Data Engineer nell’unità soluzioni PoC.
Programma
Mercoledì 5 marzo 2025, ore 9-18
Nella prima par te, verranno introdotti i concetti fondamentali dell’High Performance Computing (HPC) e la sua importanza per l’addestramento di modelli di linguaggio di grandi dimensioni. Attraverso una sessione pratica, verrà mostrato come interagire con un supercomputer (login, caricamento dati, esecuzione del
codice), evidenziando le potenzialità dell’HPC per le aziende. Nella seconda parte verrà spiegato il funzionamento dei modelli di linguaggio (tokenizzazione, embedding, meccanismo di attenzione, etc.) e verrà mostrato come usare un modello già allenato in inferenza.
Contenuti
- Introduzione HPC
- Introduzione LLM
Giovedì 6 marzo 2025, ore 9-18
Nella prima parte del corso verranno introdotti i concetti fondamentali della Retrieval Augmented Generation (RAG), illustrandone il funzionamento generale e le applicazioni principali. Nella seconda parte, ci si concentrerà su metodologie avanzate di RAG, includendo tecniche come la raffinazione delle query per migliorare la qualità del recupero, l’integrazione di large language models con sistemi di recupero attivi e
l’implementazione di strategie per la personalizzazione delle risposte. Nell’ultima parte verranno mostrate le principali tecniche e i principali tool di parallelizzazione dei modelli di linguaggio (es. accelerate, deepspeed, megatron). In una sessione pratica verrà testata la scalabilità di un fine- tuning su Leonardo.
Contenuti
- RAG
- Data parallelism e model parallelism per allenamento e fine-tuning di LLM