Apprendimento debolmente supervisionato

L'apprendimento debolmente supervisionato (in inglese weak supervision) è un paradigma dell'apprendimento automatico che mira a risolvere il collo di bottiglia rappresentato dalla disponibilità dei dati . Nei tradizionali approcci di apprendimento supervisionato, l'addestramento di modelli predittivi accurati come, ad esempio, le reti neurali artificiali, richiede grandi quantità di dati annotati da esperti di dominio, un processo spesso costoso, lento e non scalabile.

La weak supervision ovvia a questo problema permettendo l'utilizzo di fonti di annotazione "deboli", ovvero rumorose, imprecise o di alto livello, per generare automaticamente (per via programmatica) etichette probabilistiche con cui addestrare i modelli di apprendimento.

Definizione e contesto

Formalmente, dato un insieme di dati non etichettati $X=\{x_{1},x_{2},\dots ,x_{n}\}$, l'obiettivo è stimare la vera etichetta latente (non osservata) $Y\in {\mathcal {Y}}$ per ciascun punto. Invece di affidarsi a un annotatore umano per etichettare i dati in $X$, nell'apprendimento debolmente supervisionato si utilizza un insieme di $m$ funzioni di etichettatura (labeling function) $\lambda _{j}:{\mathcal {X}}\to {\mathcal {Y}}\cup \{\emptyset \}$, dove $\emptyset$ rappresenta una forma di astensione ossia il caso in cui la funzione non si esprime sulla classe.

Queste funzioni possono includere:

• Euristiche e pattern espliciti: espressioni regolari o regole basate su dizionari.
• Distant supervision: uso di basi di conoscenza esterne (ad es. Wikidata) per allineare fatti noti ai dati non strutturati ;
• Modelli deboli pre-esistenti: classificatori con scarsa accuratezza o addestrati su domini differenti (transfer learning debole);
• Vincoli fisici o logici: regole che definiscono relazioni spaziali, temporali o strutturali che i dati devono rispettare.

Modelli generativi

Poiché le funzioni di etichettatura $\lambda _{j}$ possono essere tra loro correlate, incomplete o in contraddizione, non è possibile utilizzarle direttamente in modo ingenuo (ad esempio tramite voto di maggioranza).

Framework moderni come Snorkel utilizzano un modello generativo per stimare l'accuratezza e le correlazioni delle funzioni di etichettatura senza conoscere la vera etichetta $Y$. Il comportamento delle funzioni viene modellato attraverso una matrice di etichette $\Lambda \in ({\mathcal {Y}}\cup \{\emptyset \})^{n\times m}$.

Si assume che la distribuzione congiunta delle funzioni di etichettatura e della variabile latente $Y$ possa essere modellata tramite un modello grafico probabilistico (come ad es., un fattore di un campo casuale di Markov):

$P_{\theta }(\Lambda ,Y)={\frac {1}{Z_{\theta }}}\exp \left(\sum _{i=1}^{n}\sum _{j=1}^{m}\theta _{j}\phi (\lambda _{j}(x_{i}),y_{i})\right)$

dove:

• $\theta _{j}$ rappresenta il peso della funzione $j$-esima (parametro correlato all'accuratezza);
• $\phi$ è una funzione di potenziale (ad esempio, $\phi (\lambda ,y)=1$ se $\lambda =y$ e $0$ altrimenti);
• $Z_{\theta }$ è la funzione di partizione per la normalizzazione.

I parametri $\theta$ vengono appresi massimizzando la log-verosimiglianza marginale dei dati osservati $\Lambda$, sommando rispetto alla variabile latente $Y$ discreta:

${\hat {\theta }}=\arg \max _{\theta }\sum _{i=1}^{n}\log \sum _{y\in {\mathcal {Y}}}P_{\theta }(\Lambda _{i},y)$

Diversi metodi sono disponibili per velocizzare l'apprendimento del modello generativo .

Una volta appreso il modello, si ottiene una distribuzione di probabilità per la vera etichetta, definita come etichetta probabilistica (o noise-aware train label):

${\tilde {y}}_{i}=P_{\hat {\theta }}(Y=1\mid \Lambda _{i})$

Addestramento del modello finale

Le etichette probabilistiche ${\tilde {y}}_{i}$ vengono infine utilizzate per addestrare un modello discriminativo end-to-end (come una rete neurale profonda) minimizzando una funzione di perdita pesata (generalmente l'entropia incrociata generalizzata):

${\mathcal {L}}(w)=-{\frac {1}{n}}\sum _{i=1}^{n}\sum _{y\in {\mathcal {Y}}}P_{\hat {\theta }}(Y=y\mid \Lambda _{i})\log P_{w}(Y=y\mid x_{i})$

dove $P_{w}(Y=y\mid x_{i})$ è la predizione del modello con parametri $w$. Questo passaggio consente al modello finale di generalizzare al di là delle euristiche rigide fornite dalle funzioni di etichettatura, sfruttando le caratteristiche intrinseche dei dati $X$.

Fonti di debolezza

La letteratura scientifica classifica la weak supervision in tre macro-categorie principali, a seconda della natura del "rumore" inserito nel sistema:

1. Supervisione incompleta: solo una piccola frazione di dati è etichettata, mentre il resto è non etichettato (collegandosi all'apprendimento semi-supervisionato e all'active learning);
2. Supervisione imprecisa: le etichette fornite contengono rumore strutturale o casuale (ad es. crowdsourcing di bassa qualità);
3. Supervisione inesatta: le etichette fornite sono grossolane o multi-istanza (ad es., sapere che in un'immagine medica è presente un tumore, ma non conoscere i pixel esatti della segmentazione).

Vantaggi e limitazioni

Vantaggi

• Scalabilità: permette di etichettare milioni di record in pochi minuti modificando poche righe di codice (le funzioni di etichettatura);
• Privacy e governance: gli esperti di dominio scrivono regole senza dover esporre direttamente i dati sensibili a terze parti per la cifratura manuale;
• Flessibilità: se cambiano i termini del problema, è sufficiente aggiornare le funzioni di etichettatura e rigenerare il dataset.

Limitazioni

• Soglia di astensione: se le funzioni di etichettatura sono troppo specifiche, ampie porzioni del dataset rimangono prive di copertura ($\emptyset$);
• Dipendenza dal dominio: la scrittura di buone euristiche richiede comunque una profonda conoscenza ingegneristica del problema trattato.

Collegamenti esterni

• (EN) Towards Interactive Weak Supervision with FlyingSquid, su hazyresearch.stanford.edu. URL consultato il 27 giugno 2026.

Bibliografia

• Alexander Ratner, Christopher De Sa e Sen Wu, Data Programming: Creating Large Training Sets, Quickly, 2016, DOI:10.48550/ARXIV.1605.07723.
• Jieyu Zhang, Cheng-Yu Hsieh e Yue Yu, A Survey on Programmatic Weak Supervision, 2022, DOI:10.48550/arXiv.2202.05433.
• Hwanjun Song, Minseok Kim e Dongmin Park, Learning From Noisy Labels With Deep Neural Networks: A Survey, in IEEE Transactions on Neural Networks and Learning Systems, vol. 34, n. 11, 2023, pp. 8135–8153, DOI:10.1109/TNNLS.2022.3152527.

Voci correlate

• Apprendimento semi-supervisionato
• Apprendimento supervisionato
• Classificazione a singola classe
• Data programming
• Modello grafico