Networking con EuroCC Cyprus: un corso “intermediate” per aumentare l’efficienza dei LLM con PyTorch

Il 19 aprile 2024 prenderemo parte all’evento di training “Accelerating Generative Ai with Pytorch”, organizzato dal Competence Centre di Cypro, con la partecipazione di Ivan Gentile, data scientist di IFAB (International Foundation Big Data and Artificial Intelligence for Human Development). 

L’evento si terrà presso il Cyprus Institute, dalle ore 10 alle ore 13.

Di seguito il programma.

Relatori:

  • Mr. Christodoulos Stylianou, Research Engineer (CaSToRC, The Cyprus Institute)
  • Mr Ivan Gentile, Data Scientist (IFAB – NCC Italy)
  • Dr Charalambos Chrysostomou, Associate Research Scientist (CaSToRC, The Cyprus Institute)

Il tutorial mira a fornire tecniche di ottimizzazione per Llama, un Large Language Model (LLM) basato sull’architettura Transformer, analogo alla serie GPT. Noti per la loro capacità di generare testo simile a quello umano, questi modelli incontrano sfide relative all’efficienza e alla scalabilità a causa della loro complessità e delle esigenze computazionali. Il corso indaga come aumentare l’efficienza operativa di questi modelli attraverso strategie di ottimizzazione native di PyTorch, come la compilazione del modello, la quantizzazione GPU, la decodifica speculativa e il parallelismo tensoriale. I partecipanti avranno l’opportunità di valutare le ottimizzazioni proposte in tempo reale su un vero supercomputer.

Pre requisiti:

  • Competenze base di Deep Learning e programmazione in Python
  • Utile, ma non obbligatoria, qualche esperienza nell’uso di sistemi HPC (Linux shell, Slurm)

I partecipanti devono portare un laptop personale per accedere al sistema HPC.

Vai alla pagina dell’evento >