Inglese

• Problemi inversi
e Regolarizzazione con applicazione a problemi di elaborazione di segnali 1D e 2D sia nel dominio spaziale che in quello delle frequenze
• Regolarizzazione di tipo Lasso e applicazione alla teoria del portafoglio su dati di Yahoo finanza
• Metodi di ottimizzazione per l'apprendimento automatico: gradiente stocastico e sue varianti


Attività di laboratorio:
Tutte le attività di laboratorio saranno sviluppate utilizzando l'ambiente MATLAB

- An Introduction to the Mathematical Theory of Inverse Problems, Author: Andreas Kirsch, Springer.

Deblurring Images
Author(s): Per Christian Hansen, James G. Nagy, and Dianne P. O'Leary

Mathematics of Data Science: A Computational Approach to Clustering and Classification
Author(s): Daniela Calvetti, Erkki Somersalo

-note del corso

Conoscenze: gli studenti devono acquisire conoscenze di base su metodi numerici e algoritmi per l'analisi dei dati e di immagini.

Applicazioni delle conoscenze e competenze: gli studenti dovrebbero essere in grado di selezionare e applicare correttamente i metodi numerici di base e gli strumenti software per l'analisi dei dati, in particolare di immagini.

Abilità comunicative: gli studenti dovrebbero essere in grado di illustrare i metodi e gli strumenti appresi durante il corso e di comunicare i risultati ottenuti, utilizzando un linguaggio tecnico e scientifico adeguato.

Non sono previste propedeuticità, gli studenti non sono obbligati a superare gli esami di altri corsi prima di frequentare questo.

Il corso prevede lezioni frontali e sessioni di laboratorio.

La frequenza ai corsi non è obbligatoria, ma è fortemente consigliata.

Gli studenti vengono valutati attraverso una prova orale, volta a verificare il raggiungimento degli obiettivi del corso. Durante l'esame gli studenti devono presentare lo sviluppo di codici che implementino i metodi studiati.

Per ciascuno degli algoritmi implementati, è necessaria l'esecuzione su una serie di problemi test, che evidenzino gli aspetti implementativi, le prestazioni dei codici implementati e l'analisi dei risultati ottenuti.

A tale scopo, gli studenti possono utilizzare i programmi sviluppati da loro stessi o resi disponibili dal docente durante il corso.
L'uso di altro materiale didattico non è consentito.

I voti sono espressi in trentesimi. Il punteggio minimo richiesto è 18/30. Il voto massimo è 30/30 con lode.

Per essere ammessi alla valutazione, gli studenti devono presentare un documento d'identità valido.

Le attività di laboratorio sono parte integrante del programma.

• Problemi inversi. Definizione di problema al posto. esempi. teorema di mal posizione per
operatori compatti. Concetto di Regolarizzazione. SVD ed SVD trovata (TSVD).
Metodo di Tikhonov. Formulazione in termini variazioni. Analisi dell'errore di regolarizzazione.
Metodi per la scelta del parametro di regolarizzazione: principio della discrepanza, GCV e L_curve.

Trasformazione di Fourier. Dominio delle frequenze. DFT: definizione e proprietà. Algoritmi FFT. iltri nel dominio delle frequenze: low-pass e
high-pass filter
modello di degradazione di immagini. Teorema di Convoluzione. Filtro inverso. Filtro di weiner.
Teorema di Perseval. Formulazione di weiner come soluzione del problema di minimi quadrati nel
dominio delle frequenze.
• Regolarizzaione di tipo Lasso: norma L1 e sue proprietà. Regolarizzatore che promuove la sparsità. Nonregolarità della
norma L1. Nozioni di ottimizzazione non-smooth. Concetto di operatore di prossimità.
Definizione dell'operatore di Soft-thresholding. Algoritmo ADMM. Applicazione di lasso al modello di Markowitz.

• Metodi di ottimizzazione per l'apprendimento automatico su larga scala.Gradiente Stocastico (SGD).
Idea di base di
SGD. Motivazioni. Formulazione del SGD puro e confronto con GD classico.
Differenti scelte del learning rate. Principali risultati di convergenza nel caso convesso. Varianti di SGD: momento e algoritmi di Adams.

Attività di laboratorio:
- Applicazione del filtro di TSVD per denoising in Matlab
-Analisi dei segnali nel dominio delle frequenze in ambiente matlab. Studio di un segnale reale di
un elettrocardiogramma. Utilizzo del filtro di Wiener per analisi di segnali audio
-Appliacazione di ridge e lasso al modello di Markoviz su dati di yahoo finanza
- classificazione supervisionata usando la regressione logistica con SGD

English

•Inverse Problems and Regularization with applications to 1D and 2D signal processing, both in the spatial and frequency domains
•Lasso-type Regularization and application to portfolio theory using data from Yahoo Finance
•Optimization methods for machine learning: stochastic gradient descent and its variants

Laboratory activities:
All laboratory activities will be developed using the MATLAB environment

- An Introduction to the Mathematical Theory of Inverse Problems, Author: Andreas Kirsch, Springer.

Deblurring Images
Author(s): Per Christian Hansen, James G. Nagy, and Dianne P. O'Leary

Mathematics of Data Science: A Computational Approach to Clustering and Classification
Author(s): Daniela Calvetti, Erkki Somersalo

- Course notes

Knowledge and understanding: students are expected to acquire basic knowledge of numerical methods and algorithms for data (image) analysis.

Applying knowledge and understanding: students should be able to select and properly apply basic numerical methods and software tools for data and image analysis.

Communication skills: students should be able to illustrate the methods and tools learned during the course and to communicate the results obtained with them, using a suitable technical and scientific language

Students are not required to pass the exams of other courses before taking this one.

The course consists of lectures and laboratory sessions.

Course attendance is not mandatory, but it is strongly recommended.

Students are evaluated through an oral assessment, aimed at verifying if they matched the objectives of the course. During the assessment, students are also asked to provide a computer-based illustration of methods and tools studied in the course, through the execution is required on a set of test problems, which highlight the implementation aspects and the performance of the implemented codes, and the analysis of the results obtained.

To this aim, students can use computer programs developed by themselves or made available by the teacher during the course.
The use of other course material is not allowed.

Marks are expressed in the thirtieths. The minimum passing mark is 18/30. Outstanding performance is marked 30/30 cum laude.

In order to be admitted to the evaluation, students must show a valid id card.

The laboratory activities are an integral part of the program.

• Inverse Problems. Definition of well-posed problems. Examples. Ill-posedness theorem for compact operators. Concept of Regularization. SVD and truncated SVD (TSVD). Tikhonov method. Formulation in terms of variational problems. Error analysis of regularization.
Methods for choosing the regularization parameter: discrepancy principle, GCV, and L-curve.

Fourier Transform. Frequency domain. DFT: definition and properties. FFT algorithms.
Filters in the frequency domain: low-pass and high-pass filters.
Image degradation model. Convolution theorem. Inverse filter. Wiener filter.
Parseval's theorem. Wiener formulation as the solution of a least-squares problem in the frequency domain.

• Lasso-type Regularization: L1 norm and its properties. Regularizer that promotes sparsity.
Non-regularity of the L1 norm. Concepts of non-smooth optimization.
Concept of proximity operator. Definition of the soft-thresholding operator. ADMM algorithm.
Application of Lasso to the Markowitz model.

• Optimization methods for large-scale machine learning. Stochastic Gradient Descent (SGD).
Basic idea of SGD. Motivation. Pure SGD formulation and comparison with classical GD.
Different learning rate choices. Main convergence results in the convex case.
SGD variants: momentum and Adam algorithms.

Lab activities:

-Application of the TSVD filter for image denoising in Matlab
-Frequency domain signal analysis in Matlab. Study of a real electrocardiogram signal. Use of the Wiener filter for audio signal analysis
-Application of ridge and Lasso to the Markowitz model using Yahoo Finance data
-Supervised classification using logistic regression with SGD