Le nostre news
PseCo una tecnica di conteggio degli oggetti
3 febbraio 2024
PseCo, di cosa si tratta?
PseCo (Point, Segment and Count) è una metodologia pionieristica e affronta le sfide del conteggio oggetti senza l'uso di classi specifiche, un'area di ricerca cruciale per il riconoscimento oggetti in immagini. Questo approccio rivoluzionario integra due modelli fondamentali di visione artificiale: CLIP, noto per la sua capacità di classificare immagini in base a prompt di testo, e il Segment Anything Model (SAM), specializzato nella segmentazione degli oggetti. La combinazione di questi modelli nell'ambito del conteggio oggetti few-shot e zero-shot introduce un nuovo paradigma che supera le limitazioni delle metodologie esistenti basate su mappe di densità.
Il framework proposto, delineato nel paper "Point, Segment and Count: A Generalized Framework for Object Counting," introduce una sequenza di passaggi chiave: identificazione di punti oggetto, segmentazione mediante SAM, e conteggio tramite l'utilizzo di CLIP per classificare le proposte di maschere. Inoltre, PseCo affronta le sfide di efficienza e la localizzazione di oggetti più piccoli mediante una strategia di localizzazione oggetti senza classi, riducendo i costi computazionali e migliorando la precisione.
La metodologia
La metodologia include anche una classificazione oggetti generalizzata basata sugli embedding immagine/testo di CLIP, con un approccio di distillazione di conoscenza gerarchica per ottenere classificazioni discriminanti tra proposte di maschere gerarchiche. I risultati sperimentali su dataset come FSC-147 dimostrano l'eccellenza di PseCo nel conteggio e nella rilevazione oggetti, non solo in contesti few-shot/zero-shot, ma anche su dataset di scala più ampia come COCO e LVIS.
Si basa su due tecniche chiave:
1. Etichettatura pseudo-automatica:
In questa fase, un modello di apprendimento automatico già allenato viene utilizzato per predire le etichette di classe (ad esempio, "cane", "gatto", "persona") per le immagini non etichettate.
Le predizioni con un punteggio di confidenza elevato vengono utilizzate come etichette "pseudo" per le immagini non etichettate.
Questo aumenta il set di dati di addestramento con immagini etichettate artificialmente, che possono essere utilizzate per migliorare le prestazioni del modello.
2. Apprendimento basato sulla coerenza:
Questa tecnica incoraggia il modello a produrre predizioni coerenti per diverse trasformazioni di un'immagine.
Ad esempio, se il modello predice "cane" per un'immagine originale, dovrebbe predire "cane" anche per la stessa immagine ruotata di 90 gradi.
Questo aiuta il modello a imparare caratteristiche più robuste e discriminanti per il rilevamento di oggetti.
Vantaggi
Migliora le prestazioni del rilevamento di oggetti rispetto all'apprendimento supervisionato con un numero limitato di immagini etichettate.
Può essere utilizzato per sfruttare grandi quantità di dati non etichettati.
È un metodo efficiente e scalabile per l'addestramento di modelli di rilevamento di oggetti.
Limiti
Le prestazioni dipendono dalla qualità delle pseudo-etichette generate.
Può essere sensibile a errori di etichettatura.
Richiede un modello di apprendimento automatico pre-addestrato per l'etichettatura pseudo-automatica.
In sintesi, PseCo rappresenta un passo avanti significativo nell'avanzamento delle tecniche di conteggio oggetti, offrendo una soluzione versatile, interpretabile e all'avanguardia per le sfide presenti in questo campo di ricerca.
Non ci sono prodotti o software preconfezionati da acquistare. C’è solo la voglia di conoscerci per creare la soluzione digitale unica per la tua impresa.