Cos'è la ricerca vettoriale? Tutto quello che c'è da sapere

Vector Search è una potente tecnica di recupero delle informazioni che utilizza rappresentazioni matematiche dei dati chiamate vettori. I vettori trovano elementi simili in base al significato semantico piuttosto che alle corrispondenze esatte.

Il campo del Recupero delle informazioniè antico quanto la storia dei computer e la ricerca vettoriale viene utilizzata da oltre 20 anni. Tuttavia, ultimamente sta registrando un'impennata nell'utilizzo. Nell'era dell' intelligenza artificiale generativa e dei big data, la ricerca vettoriale è diventata fondamentale per diverse applicazioni. Questi includono (ma non si limitano a):

• Sistemi di raccomandazione
• Modelli di apprendimento automatico
• Riconoscimento dell'immagine
• Natural Language Processing (NLP)
• Rilevamento delle anomalie
• Intelligenza Artificiale generativa

Ciò che rende la ricerca vettoriale così efficace è la sua intrinseca capacità di catturare il contesto e il significato e di trovare corrispondenze approssimative piuttosto che solo corrispondenze esatte. Ciò consente agli utenti di trovare informazioni rilevanti anche quando la loro richiesta non corrisponde esattamente ai dati memorizzati. Un altro enorme vantaggio è che la ricerca vettoriale può essere utilizzata su molti tipi di dati, tra cui testo, immagini, audio, dati strutturati e persino genomi.

Se siete curiosi di sapere come funziona la ricerca vettoriale e come può aiutare la vostra azienda, siete nel posto giusto.

Come funziona il motore di ricerca vettoriale? La comprensione dei suoi meccanismi interni vi aiuterà a ottenere il massimo valore dallo spazio vettoriale.

Potreste ricordare i vettori dalle lezioni di algebra del liceo. In informatica, i vettori sono semplicemente elenchi di numeri, dove ogni numero rappresenta una caratteristica o una dimensione diversa.

Mentre i vettori studiati a scuola avevano probabilmente due o tre dimensioni, i moderni sistemi basati sui vettori utilizzano spesso centinaia o migliaia di dimensioni. Potrebbe sembrare complesso, ma si può pensare che sia un'estensione del mondo tridimensionale con cui abbiamo familiarità. Immaginate di aggiungere sempre più caratteristiche per descrivere qualcosa, e ognuna di queste diventa una nuova dimensione del vostro vettore.

Per esempio, un vettore che rappresenta la parola "gatto" potrebbe avere un aspetto simile a questo:

[0.2, -0.5, 0.8, 0.1, -0.3, ...]

Anche se questi numeri possono sembrare astratti, catturano vari aspetti semantici del concetto di "gatto" che consentono un confronto matematico con altri vettori. La parola "felino" finisce per avere un vettore molto simile alla parola "gatto", perché le parole usate vicino a loro saranno molto simili.

La ricerca vettoriale, nella sua essenza, è un metodo per trovare elementi simili in un grande insieme di dati confrontando le loro rappresentazioni vettoriali. A differenza della ricerca tradizionale basata su parole chiave - che cerca corrispondenze esatte di parole o frasi - i vettori cercano di capirne il significato o il contesto sottostante.

È emerso che, convertendo il testo in vettori, i vettori includono più significato rispetto ad altre rappresentazioni, perché le parole usate in combinazione con altre parole forniscono il contesto che può trovare il significato dietro le parole.

La conversione dei dati in vettori è il primo passo della ricerca vettoriale. Questo accade di solito ogni volta che si aggiungono nuovi dati a un sistema. Quando un utente effettua una richiesta, anche questa viene convertita in un vettore. La ricerca consiste quindi nel trovare gli elementi del set di dati i cui vettori sono più simili al vettore dell'interrogazione.

Questo approccio consente una ricerca più articolata. Ad esempio, in una ricerca vettoriale basata sul testo:

• Una ricerca di "auto" potrebbe restituire anche risultati relativi a "automobile" o "veicolo", anche se queste parole esatte non vengono utilizzate.
• Una query su "tecniche di analisi dei dati" potrebbe restituire risultati pertinenti su "metodi statistici nei big data"

La ricerca vettoriale è una tecnologia chiave per le architetture smart data fabric.

La ricerca tradizionale basata su parole chiave e la ricerca vettoriale differiscono nell'approccio e nelle capacità:

1. Metodo di ricerca: la ricerca per parole chiave cerca le corrispondenze esatte di parole o frasi. La ricerca vettoriale cerca significati o concetti simili confrontando la direzione e la grandezza di vettori diversi, ed è sempre approssimativa piuttosto che esatta.
2. Comprensione del contesto: la ricerca per parole chiave spesso si scontra con il contesto e i sinonimi. La ricerca vettoriale è in grado di comprendere il contesto e di trovare contenuti semanticamente correlati.
3. Gestione dell'ambiguità: la ricerca per parole chiave può restituire risultati irrilevanti quando le parole hanno più significati. La ricerca vettoriale può spesso disambiguare in base al contesto generale della query.  
4. Funzionalità multilingue: la ricerca per parole chiave richiede in genere indici separati per le diverse lingue. La ricerca vettoriale può spesso trovare risultati rilevanti in tutte le lingue, se addestrata su dati multilingue.
5. Gestione di errori ortografici e variazioni: la ricerca di parole chiave potrebbe perdere risultati a causa di lievi errori ortografici. La ricerca vettoriale è più resistente alle variazioni e può spesso trovare risultati rilevanti nonostante piccoli errori.

La generazione del vettore, nota anche come embedding, è una fase cruciale della ricerca vettoriale. Si utilizzano tecniche diverse a seconda del tipo di dati:

1. Dati di testo: le incorporazioni di parole (ad esempio, Word2Vec, GloVe) convertono le singole parole in vettori, mentre le incorporazioni di frasi o documenti (ad esempio, BERT, Universal Sentence Encoder) creano vettori per pezzi di testo più grandi. Questi modelli sono in genere pre-addestrati su grandi volumi di testo e possono essere messi a punto per domini specifici.
2. Dati immagine: le reti neurali convoluzionali (Convolutional Neural Networks, CNN) sono spesso utilizzate per generare rappresentazioni vettoriali delle immagini. Queste reti imparano a estrarre le caratteristiche rilevanti dalle immagini durante l'addestramento.
3. Dati audio: tecniche come i Mel-frequency cepstral coefficients (MFCC) o i modelli di deep learning possono convertire l'audio in rappresentazioni vettoriali.
4. Dati multimodali: alcuni modelli avanzati possono creare vettori che rappresentano combinazioni di diversi tipi di dati, come immagini con didascalie.

Esistono anche tipi di dati più avanzati e specializzati che possono essere rappresentati come vettori. Questo include informazioni genomiche e proteomiche in biologia, strutture chimiche e relazioni grafiche.

Le dimensioni di un vettore nel contesto della ricerca rappresentano diverse caratteristiche dei dati:

1. Caratteristiche semantiche: ogni dimensione può corrispondere a un particolare concetto semantico o attributo dei dati.
2. Rappresentazioni apprese: in molti casi, soprattutto nei modelli di deep learning, il significato esatto di ogni dimensione non è definito esplicitamente, ma viene appreso dal modello durante l'addestramento. Un tempo era in voga il termine "latent semantic model", che è essenzialmente una rappresentazione appresa.
3. Informazioni contestuali: per i dati testuali, le dimensioni spesso catturano i modelli di utilizzo contestuale di parole o frasi.
4. Concetti astratti: alcune dimensioni possono rappresentare concetti astratti non facilmente interpretabili dall'uomo, ma utili per la comprensione dei dati da parte del modello.questi potrebbero non essere concetti nel senso a cui siete abituati, ad esempio un insieme comune di strutture sottostanti in immagini diverse è un concetto che una macchina può vedere e l'uomo no.

Sebbene un numero maggiore di dimensioni possa in genere catturare più informazioni e consentire distinzioni più fini, aumenta anche i requisiti computazionali.

Pertanto, è spesso necessario trovare un equilibrio tra il numero di dimensioni e considerazioni pratiche come la velocità di ricerca o i requisiti di archiviazione.

Un motore di ricerca vettoriale converte i dati (come testo, immagini o audio) in vettori numerici e trova elementi simili misurando la distanza tra questi vettori nello spazio ad alta dimensione.

A differenza della ricerca semantica tradizionale, che si basa sulla corrispondenza delle parole chiave e su tecniche statistiche, la ricerca vettoriale è in grado di cogliere relazioni e somiglianze più sfumate tra gli elementi, consentendo di ottenere risultati più accurati e contestualmente rilevanti, soprattutto per le query complesse o i contenuti multimediali.

La ricerca vettoriale si basa su vari algoritmi per trovare vettori simili in spazi ad alta dimensione. Alcuni degli approcci più comuni includono:

1. Exact Nearest Neighbor (NN): questo metodo trova i vettori esattamente più vicini a un vettore di interrogazione. Pur essendo accurata, può essere computazionalmente costosa per grandi insiemi di dati.

2. Approximate Nearest Neighbor (ANN): gli algoritmi ANN rinunciano a una certa accuratezza per ottenere miglioramenti significativi in termini di velocità. Gli algoritmi di ANN più diffusi includono:

   • Locality-Sensitive Hashing (LSH)
   • Hierarchical Navigable Small World (HNSW) graphs
   • Product Quantization (PQ)
3. Metodi ad albero: algoritmi come i KD-trees o i Ball trees organizzano i vettori in una struttura ad albero per una ricerca più rapida. Questi possono essere efficaci per i dati a bassa dimensionalità, ma possono avere difficoltà con i vettori ad alta dimensionalità.
4. Metodi basati sui grafi: questi algoritmi costruiscono un grafo in cui i nodi sono vettori e i bordi collegano elementi simili. Ne sono un esempio i grafici HNSW (già citato) e Navigable Small World (NSW).

La similarità del coseno, è fondamentale nella ricerca vettoriale perché misura in modo efficiente la somiglianza tra vettori in base all'orientamento piuttosto che alla grandezza, consentendo confronti accurati in spazi ad alta densità.

Questo la rende particolarmente efficace per compiti come la ricerca semantica, i sistemi di raccomandazione e il clustering di documenti, dove la relazione tra gli elementi è più importante dei loro valori assoluti.

Punti chiave sulla somiglianza coseno:

1. Intervallo: i valori di somiglianza del coseno vanno da -1 a 1, dove:

   • 1 indica vettori che puntano nella stessa direzione (più simili)
   • 0 indica vettori ortogonali (non correlati)
   • -1 indica vettori che puntano in direzioni opposte (più dissimili)
2. Indipendenza dalla grandezza: la somiglianza coseno si concentra sulla direzione dei vettori, non sulla loro grandezza, rendendola utile per confrontare documenti di lunghezza diversa.
3. Calcolo: la formula per la somiglianza del coseno è: cos(θ) = (A - B) / (||A|| * ||B||)Dove A - B è il prodotto di punti dei vettori A e B e ||A| e ||B| sono le loro grandezze.
4. Efficienza: la somiglianza del coseno può essere calcolata in modo efficiente, soprattutto quando i vettori sono normalizzati.

La somiglianza del coseno è particolarmente importante perché:

• Cattura bene la somiglianza semantica, soprattutto per i dati testuali.
• È efficiente dal punto di vista computazionale e consente di calcolare rapidamente la somiglianza in spazi ad alta dimensione.
• È intuitivo da capire e interpretare.

Immaginate di essere uno chef in una cucina affollata e che ogni ricetta sia un vettore in un vasto "spazio dei sapori". Le dimensioni di questo spazio comprendono la dolcezza, la salinità, la piccantezza, l'umami e così via. Il vostro piatto forte è come un punto particolare in questo spazio di sapori e voi volete trovare ricette simili o creare piatti fusion che completino il vostro stile.

La somiglianza del coseno è come una speciale "bussola dei sapori" che misura quanto le altre ricette si allineino al profilo di sapori del vostro piatto forte. Una ricetta molto simile alla vostra punterebbe quasi nella stessa direzione sulla bussola dei sapori (somiglianza coseno alta, vicina a 1).

Un piatto un po' simile potrebbe puntare in una direzione affine, ma non identica (somiglianza coseno moderata, circa 0,7). Un tipo di cucina completamente diverso punterebbe in direzione perpendicolare sulla bussola del sapore (somiglianza del coseno pari a 0, che indica l'assenza di relazioni di sapore). È importante notare che l'intensità dei sapori (grandezza del vettore) non ha importanza: un curry delicato e uno intenso potrebbero essere molto simili in termini di direzione del sapore.

In questa analogia culinaria, un motore di ricerca vettoriale agisce come un sous chef incredibilmente efficiente. È in grado di consultare istantaneamente questa bussola dei sapori per ogni ricetta di un vasto ricettario globale, trovando rapidamente i piatti che si armonizzano con il vostro profilo di sapori caratteristici, indipendentemente dalla loro origine o intensità.

Sebbene la somiglianza del coseno sia ampiamente utilizzata, nella ricerca vettoriale si possono impiegare diverse altre metriche di distanza:

1. Distanza euclidea: misura la distanza in linea retta tra due punti nello spazio euclideo. È utile quando la grandezza dei vettori è importante.
2. Manhattan Distance: nota anche come distanza L1 o distanza dell'isolato. Calcola la somma delle differenze assolute delle coordinate ed è utile in alcuni problemi di tipo reticolare o quando si ha a che fare con dati radi.
3. Dot Product: semplice moltiplicazione degli elementi corrispondenti in due vettori, spesso utilizzata quando i vettori sono normalizzati.
4. Similitudine di Jaccard: misura la somiglianza tra insiemi finiti di campioni, utile per dati binari o categorici.
5. Distanza di Hamming: misura il numero di posizioni in cui i simboli corrispondenti in due vettori sono diversi, spesso utilizzata con dati binari o per il rilevamento di errori.

La ricerca vettoriale è diventata sempre più importante in diversi settori grazie alla sua capacità di comprendere il contesto e di trovare informazioni rilevanti al di là della semplice corrispondenza con le parole chiave.

• Ricerca nella letteratura medica: i ricercatori possono trovare studi rilevanti anche se la terminologia varia.
• Corrispondenza delle cartelle cliniche: identificazione di casi simili di pazienti per piani di trattamento personalizzati.
• Scoperta di farmaci: trovare composti chimici con proprietà o effetti simili.

Per saperne di più su sanità e scienze della vita

• Raccomandazioni sui prodotti: suggerire articoli basati sulla somiglianza semantica piuttosto che sulla semplice corrispondenza di categoria.
• Ricerca visiva: consente ai clienti di trovare prodotti simili a un'immagine caricata.
• Rilevamento delle frodi: identificazione di modelli insoliti nei dati delle transazioni.

Per saperne di più su e-commerce e vendita al dettaglio

• Valutazione del rischio: analisi dei documenti finanziari per identificare i rischi potenziali.
• Analisi delle tendenze di mercato: trovare correlazioni tra diversi indicatori economici.
• Segmentazione dei clienti: raggruppare i clienti in base a modelli comportamentali complessi.

Per saperne di più sui servizi finanziari

• Raccomandazione di contenuti: suggerimento di film, musica o articoli in base alle preferenze dell'utente.
• Rilevamento del plagio: identificazione di contenuti simili in grandi database.
• Ricerca audio e video: ricerca di momenti specifici nei media in base a trascrizioni o caratteristiche visive.

• Controllo qualità: rilevamento di anomalie nei dati di produzione.
• Gestione delle scorte: ottimizzazione dei livelli di scorte in base a modelli di domanda complessi.
• Manutenzione predittiva: identificazione delle apparecchiature suscettibili di guastarsi in base agli schemi dei dati dei sensori.

Per saperne di più su industria manifatturiera e supply chain

• Analisi dei log: rilevamento di schemi insoliti nei log di sistema per individuare minacce alla sicurezza.
• Ricerca della somiglianza del codice: ricerca di frammenti di codice simili per il debug o l'ottimizzazione.
• Analisi del traffico di rete: identificazione di potenziali violazioni della sicurezza in base ai modelli di traffico.

Con l'affermarsi della ricerca vettoriale in vari settori, sono emerse diverse tecnologie e piattaforme per supportarne l'implementazione.

Database vettoriali: un database vettoriale è progettato per memorizzare e interrogare i dati vettoriali in modo efficiente. EAlcuni esempi sono Faiss (Facebook AI Similarity Search) e Annoy (Approximate Nearest Neighbors Oh Yeah).

Machine Learning framework: TensorFlow e PyTorch offrono librerie per la creazione e la manipolazione di incorporazioni vettoriali. Questi framework possono essere utilizzati per addestrare modelli di incorporazione personalizzati per domini specifici.

Librerie NLP: Librerie come spaCy e Hugging Face's Transformers forniscono modelli pre-addestrati per l'incorporazione del testo. Questi possono essere utilizzati per generare rappresentazioni vettoriali dei dati di testo per le applicazioni di ricerca.

Servizi di ricerca vettoriale basati sul cloud: i principali fornitori di cloud offrono servizi di ricerca vettoriale gestiti che possono essere integrati nelle applicazioni. Questi servizi spesso forniscono un'infrastruttura scalabile per operazioni di ricerca vettoriale su larga scala.

Motori di ricerca open-source: alcuni motori di ricerca tradizionali offrono ora funzionalità di ricerca vettoriale. Possono essere utili per le organizzazioni che vogliono aggiungere la ricerca vettoriale all'infrastruttura di ricerca esistente.

Motori di ricerca web: i principali motori di ricerca come Google hanno incorporato tecniche di ricerca vettoriale per migliorare la comprensione semantica delle query. Utilizzano modelli di reti neurali per generare rappresentazioni vettoriali sia delle query che delle pagine web.

Ricerca nell'e-commerce: le piattaforme di vendita al dettaglio online utilizzano la ricerca vettoriale per migliorare la scoperta dei prodotti, spesso combinandola con la tradizionale ricerca per parole chiave per ottenere risultati ottimali.

Soluzioni di ricerca aziendale: molte piattaforme di ricerca aziendale offrono oggi funzionalità di ricerca vettoriale. Queste soluzioni utilizzano spesso approcci ibridi, combinando la ricerca vettoriale con i metodi di ricerca tradizionali.

Sistemi di gestione di database: alcuni sistemi di database relazionali hanno iniziato a incorporare funzionalità di ricerca vettoriale, consentendo ricerche di similarità accanto alle tradizionali query SQL. Questa integrazione consente di interrogare in modo flessibile i dati strutturati e non strutturati all'interno dello stesso sistema.

Piattaforme di dati cloud: i provider cloud offrono sempre più spesso la ricerca vettoriale come parte dei loro servizi. Ciò consente una perfetta integrazione delle funzionalità di ricerca vettoriale nelle applicazioni basate su cloud e nei flussi di lavoro dei dati.

La ricerca vettoriale e la rappresentazione vettoriale sono emerse come una tecnologia rivoluzionaria nel mondo del reperimento delle informazioni e dell'analisi dei dati. Rappresentando i dati come vettori ad alta dimensione, la ricerca vettoriale consente esperienze di ricerca più intuitive, consapevoli del contesto e ricche di semantica.

Nel corso di questo articolo, abbiamo scoperto i concetti fondamentali della ricerca vettoriale e le sue applicazioni in vari settori. Abbiamo visto come la ricerca vettoriale eccelle nella comprensione del contesto, nella gestione delle query multilingue e nella ricerca di risultati pertinenti anche quando non sono presenti le corrispondenze esatte delle parole chiave.

Tuttavia, abbiamo anche riconosciuto i requisiti computazionali e le complessità della gestione di dati ad alta dimensionalità su scala. È qui che InterSystems IRIS si distingue come una soluzione potente. InterSystems IRIS offre una piattaforma completa e unificata che integra perfettamente le funzionalità di ricerca vettoriale con le tradizionali funzioni di gestione dei dati.

I vantaggi principali includono:

1. Integrazione perfetta: le funzionalità di ricerca vettoriale sono completamente integrate nella piattaforma InterSystems IRIS, consentendo una facile combinazione con le query SQL e altre attività di elaborazione dei dati.
2. Scalabilità: InterSystems IRIS è progettato per gestire operazioni di ricerca vettoriale su larga scala, supportando l'elaborazione distribuita per migliorare le prestazioni.
3. Flessibilità: il supporto di varie tecniche di incorporazione e metriche di distanza rende InterSystems IRIS versatile per diverse applicazioni di ricerca vettoriale.
4. Integrazione NLP avanzata: InterSystems IRIS può essere combinato con sofisticate tecniche di elaborazione del linguaggio naturale per migliorare la comprensione delle query e la rilevanza dei risultati.
5. Personalizzazione specifica del settore: la piattaforma supporta modelli di incorporazione personalizzati, consentendo soluzioni su misura in settori specializzati come la sanità o la finanza.
6. Gestione unificata dei dati: InterSystems IRIS elimina la necessità di più sistemi separati, riducendo la complessità e le potenziali incongruenze dei dati.