Qu'est-ce que la recherche vectorielle ? Tout ce qu'il faut savoir

La recherche vectorielle est une technique puissante de recherche d'informations qui utilise des représentations mathématiques de données appelées vecteurs. Les vecteurs trouvent des éléments similaires sur la base de la signification sémantique plutôt que des correspondances exactes.

Le domaine de la recherche d'informations est aussi ancien que l'histoire des ordinateurs, et la recherche vectorielle est utilisée depuis plus de 20 ans. Cependant, il connaît depuis peu une forte augmentation de son utilisation. À l'ère de l' IA générative et du big data, la recherche vectorielle est devenue cruciale pour plusieurs applications. Il s'agit notamment (mais pas exclusivement) des éléments suivants

• Systèmes de recommandation
• Modèles d'apprentissage automatique
• Reconnaissance d'images
• Traitement du langage naturel (NLP)
• Détection des anomalies
• IA générative

Ce qui rend la recherche vectorielle si efficace, c'est sa capacité à saisir le contexte et le sens, et à trouver des correspondances approximatives plutôt que des correspondances exactes. Cela permet aux utilisateurs de trouver des informations pertinentes même si leur requête ne correspond pas exactement aux données stockées. Un autre avantage considérable est que la recherche vectorielle peut être utilisée sur de nombreux types de données, y compris le texte, les images, l'audio, les données structurées, et même les génomes.

Si vous êtes curieux de savoir comment fonctionne la recherche vectorielle et comment elle peut aider votre entreprise, vous êtes au bon endroit.

Comment fonctionne le moteur de recherche vectoriel ? Comprendre ses mécanismes internes vous aidera à tirer le meilleur parti de l'espace vectoriel.

Vous vous souvenez peut-être des vecteurs lors de vos cours d'algèbre au lycée. En informatique, les vecteurs sont simplement des listes de nombres, où chaque nombre représente une caractéristique ou une dimension différente.

Alors que les vecteurs que vous avez étudiés à l'école avaient probablement deux ou trois dimensions, les systèmes vectoriels modernes utilisent souvent des centaines ou des milliers de dimensions. Cela peut sembler complexe, mais il s'agit d'une extension du monde tridimensionnel qui nous est familier. Imaginez que vous ajoutiez de plus en plus de caractéristiques pour décrire quelque chose, et chacune d'entre elles devient une nouvelle dimension de votre vecteur.

Par exemple, un vecteur représentant le mot "chat" pourrait ressembler à ceci :

[0.2, -0.5, 0.8, 0.1, -0.3, ...]

Bien que ces nombres puissent sembler abstraits, ils capturent divers aspects sémantiques du concept "chat" qui permettent une comparaison mathématique avec d'autres vecteurs. Le mot "félin" se retrouve avec un vecteur très proche du mot "chat", car les mots utilisés à proximité seront très proches.

La recherche vectorielle, à la base, est une méthode permettant de trouver des éléments similaires dans un grand ensemble de données en comparant leurs représentations vectorielles. Contrairement à la recherche traditionnelle basée sur des mots-clés - qui recherche des correspondances exactes de mots ou de phrases - les vecteurs cherchent à comprendre le sens ou le contexte sous-jacent.

Il s'avère qu'en convertissant le texte en vecteurs, les vecteurs incluent plus de sens que d'autres représentations, car les mots utilisés en combinaison avec d'autres mots fournissent le contexte qui permet de trouver le sens derrière les mots.

La conversion des données en vecteurs est la première étape de la recherche vectorielle. Cela se produit généralement lorsque vous ajoutez de nouvelles données à un système. Lorsqu'un utilisateur fait une requête, celle-ci est également convertie en vecteur . La recherche consiste alors à trouver les éléments de l'ensemble de données dont les vecteurs sont les plus similaires au vecteur de la requête.

Cette approche permet une recherche plus nuancée. Par exemple, dans une recherche vectorielle basée sur le texte :

• Une recherche portant sur "voiture" peut également donner des résultats concernant "automobile" ou "véhicule", même si ces mots exacts ne sont pas utilisés.
• Une requête portant sur les "techniques d'analyse des données" peut renvoyer des résultats pertinents sur les "méthodes statistiques dans le domaine du big data"

La recherche vectorielle est une technologie clé pour les architectures de données intelligentes.

La recherche traditionnelle par mots-clés et la recherche vectorielle diffèrent dans leur approche et leurs capacités :

1. Méthode de correspondance: la recherche par mot-clé recherche des correspondances exactes de mots ou d'expressions. La recherche vectorielle vise à trouver des significations ou des concepts similaires en comparant la direction et la magnitude de différents vecteurs. Elle est toujours approximative plutôt qu'exacte.
2. Comprendre le contexte: la recherche par mot-clé est souvent confrontée à des problèmes de contexte et de synonymes. La recherche vectorielle peut comprendre le contexte et trouver des contenus sémantiquement liés.
3. Traitement de l'ambiguïté: la recherche par mot-clé peut renvoyer des résultats non pertinents lorsque les mots ont plusieurs significations. La recherche vectorielle permet souvent de désambiguïser en fonction du contexte général de la requête.  
4. Capacités multilingues: la recherche par mots-clés nécessite généralement des index distincts pour les différentes langues. La recherche vectorielle peut souvent trouver des résultats pertinents dans plusieurs langues si elle est formée sur des données multilingues.
5. Traitement des fautes d'orthographe et des variations: la recherche par mot-clé peut manquer des résultats en raison de fautes d'orthographe légères. La recherche vectorielle est plus résistante aux variations et permet souvent de trouver des résultats pertinents malgré des erreurs mineures.

La génération de vecteurs, également connue sous le nom d'intégration, est une étape cruciale de la recherche de vecteurs. Différentes techniques sont utilisées en fonction du type de données :

1. Données textuelles: les ancrages de mots (par exemple, Word2Vec, GloVe) convertissent des mots individuels en vecteurs, tandis que les ancrages de phrases ou de documents (par exemple, BERT, Universal Sentence Encoder) créent des vecteurs pour des parties de texte plus importantes. Ces modèles sont généralement pré-entraînés sur de grands volumes de texte et peuvent être affinés pour des domaines spécifiques.
2. Données d'image: les réseaux neuronaux convolutifs (CNN) sont souvent utilisés pour générer des représentations vectorielles d'images. Ces réseaux apprennent à extraire les caractéristiques pertinentes des images au cours de la formation.
3. Données audio: des techniques telles que les coefficients cepstrals de fréquence Mel (MFCC) ou les modèles d'apprentissage profond peuvent convertir les données audio en représentations vectorielles.
4. Données multimodales: certains modèles avancés peuvent créer des vecteurs qui représentent des combinaisons de différents types de données, comme des images avec des légendes.

Il existe également des types de données plus avancés et spécialisés qui peuvent être représentés sous forme de vecteurs. Il s'agit notamment d'informations génomiques et protéomiques en biologie, de structures chimiques et de relations graphiques.

Dans le contexte de la recherche, les dimensions d'un vecteur représentent différentes caractéristiques des données :

1. Caractéristiques sémantiques: chaque dimension peut correspondre à un concept sémantique particulier ou à un attribut des données.
2. Représentations apprises: dans de nombreux cas, en particulier avec les modèles d'apprentissage profond, la signification exacte de chaque dimension n'est pas explicitement définie, mais est apprise par le modèle au cours de la formation. Le terme "latent semantic model" était autrefois en vogue et il s'agit essentiellement d'une représentation apprise.
3. Informations contextuelles: pour les données textuelles, les dimensions permettent souvent de saisir les schémas d'utilisation contextuelle des mots ou des phrases.
4. Concepts abstraits: certaines dimensions peuvent représenter des concepts abstraits qui ne sont pas facilement interprétables par l'homme, mais qui sont utiles à la compréhension des données par le modèle.il ne s'agit pas nécessairement de concepts au sens où vous l'entendez. Par exemple, un ensemble commun de structures sous-jacentes dans différentes images est un concept qu'une machine verra et que les humains ne verront pas.

Si le fait d'avoir plus de dimensions permet généralement de capturer plus d'informations et de faire des distinctions plus fines, cela augmente également les besoins de calcul.

Par conséquent, il faut souvent trouver un équilibre entre le nombre de dimensions et des considérations pratiques telles que la vitesse de recherche ou les besoins en matière de stockage.

Un moteur de recherche vectorielle convertit des données (telles que du texte, des images ou du son) en vecteurs numériques et trouve des éléments similaires en mesurant la distance entre ces vecteurs dans un espace à haute dimension.

Contrairement à la recherche sémantique traditionnelle, qui repose sur la correspondance des mots clés et des techniques statistiques, la recherche vectorielle peut saisir des relations et des similitudes plus nuancées entre les éléments, ce qui permet d'obtenir des résultats plus précis et plus pertinents sur le plan contextuel, en particulier pour les requêtes complexes ou les contenus multimédias.

La recherche vectorielle s'appuie sur divers algorithmes pour trouver des vecteurs similaires dans des espaces à haute dimension. Parmi les approches les plus courantes, on peut citer

1. Recherche des plus proches voisins (NN): cette méthode permet de trouver les vecteurs les plus proches d'un vecteur d'interrogation. Bien que précise, cette méthode peut s'avérer coûteuse en termes de calculs pour les grands ensembles de données.

2. Recherche par approximation des plus proches voisins (ANN): les algorithmes ANN sacrifient une partie de la précision à des améliorations significatives de la vitesse. Les algorithmes ANN les plus répandus sont les suivants

   • Hachage sensible à la localité (LSH)
   • Graphiques hiérarchiques du petit monde navigable (HNSW)
   • Quantification du produit (PQ)
3. Méthodes arborescentes: des algorithmes tels que les arbres KD ou les arbres Ball organisent les vecteurs dans une structure arborescente pour une recherche plus rapide. Ces méthodes peuvent être efficaces pour les données de faible dimension, mais peuvent s'avérer difficiles pour les vecteurs de haute dimension.
4. Méthodes basées sur les graphes: ces algorithmes construisent un graphe dans lequel les nœuds sont des vecteurs et les arêtes relient des éléments similaires. Il s'agit par exemple des graphiques HNSW (mentionnés ci-dessus) et Navigable Small World (NSW).

La similarité cosinus est essentielle dans la recherche vectorielle car elle mesure efficacement la similarité entre les vecteurs en fonction de leur orientation plutôt que de leur magnitude, ce qui permet des comparaisons précises dans des espaces à haute dimension.

Cela la rend particulièrement efficace pour des tâches telles que la recherche sémantique, les systèmes de recommandation et le regroupement de documents, où la relation entre les éléments est plus importante que leurs valeurs absolues.

Points clés sur la similarité cosinus :

1. Portée: Les valeurs de similarité cosinusoïdale sont comprises entre -1 et 1, où :

   • 1 indique des vecteurs pointant dans la même direction (les plus similaires)
   • 0 indique des vecteurs orthogonaux (non liés)
   • -1 indique des vecteurs pointant dans des directions opposées (les plus dissemblables)
2. Indépendance de la magnitude: la similarité cosinus se concentre sur la direction des vecteurs, et non sur leur magnitude, ce qui la rend utile pour comparer des documents de longueurs différentes.
3. Calcul: la formule de la similarité en cosinus est la suivante : cos(θ) = (A - B) / (||A|| * ||B||) où A - B est le produit en points des vecteurs A et B, et ||A||| et ||B|| sont leurs magnitudes.
4. Efficacité: la similarité cosinus peut être calculée efficacement, en particulier lorsque les vecteurs sont normalisés.

La similitude de cosinus est particulièrement importante parce que

• Il capture bien la similarité sémantique, en particulier pour les données textuelles.
• Il est efficace sur le plan informatique et permet des calculs de similarité rapides dans des espaces à haute dimension.
• Il est intuitif à comprendre et à interpréter.

Imaginez que vous êtes un chef dans une cuisine animée et que chaque recette est un vecteur dans un vaste "espace de saveurs". Les dimensions de cet espace comprennent le sucré, le salé, le piquant, l'umami, etc. Votre plat signature est comme un point particulier dans cet espace de saveurs, et vous souhaitez trouver des recettes similaires ou créer des plats de fusion qui complètent votre style.

La similarité cosinusienne est comme une "boussole de saveurs" spéciale qui mesure à quel point les autres recettes s'alignent sur le profil de saveurs de votre plat signature. Une recette très similaire à la vôtre pointerait presque dans la même direction sur la boussole des saveurs (forte similarité cosinusoïdale, proche de 1).

Un plat quelque peu similaire pourrait pointer dans une direction proche, mais pas identique (similarité cosinusoïdale modérée, autour de 0,7). Un type de cuisine complètement différent pointerait dans une direction perpendiculaire sur votre boussole des saveurs (cosinus de similarité de 0, indiquant l'absence de relation entre les saveurs). Il est important de noter que l'intensité des saveurs (ampleur du vecteur) n'a pas d'importance - un curry doux et un curry intense peuvent être très similaires en termes de direction de la saveur.

Dans cette analogie culinaire, un moteur de recherche vectoriel agit comme un sous-chef incroyablement efficace. Il peut consulter instantanément cette boussole des saveurs pour chaque recette d'un vaste livre de cuisine mondial, trouvant rapidement des plats qui s'harmonisent avec votre profil de saveurs caractéristique, indépendamment de leur origine ou de leur intensité.

Bien que la similarité cosinus soit largement utilisée, plusieurs autres mesures de distance peuvent être employées dans la recherche de vecteurs :

1. Distance euclidienne: mesure la distance en ligne droite entre deux points dans l'espace euclidien. Ceci est utile lorsque la magnitude des vecteurs est importante.
2. Distance de Manhattan: également connue sous le nom de distance L1 ou distance entre les pâtés de maisons. Cette méthode calcule la somme des différences absolues des coordonnées et est utile dans certains problèmes de type grille ou lorsque l'on traite des données éparses.
3. Produit de point: multiplication simple des éléments correspondants de deux vecteurs, souvent utilisée lorsque les vecteurs sont normalisés.
4. Similitude de Jaccard: mesure la similitude entre des ensembles d'échantillons finis, ce qui est utile pour les données binaires ou catégorielles.
5. Distance de Hamming: mesure le nombre de positions où les symboles correspondants dans deux vecteurs sont différents, souvent utilisée avec des données binaires ou pour la détection d'erreurs.

La recherche vectorielle est devenue de plus en plus importante dans divers secteurs en raison de sa capacité à comprendre le contexte et à trouver des informations pertinentes au-delà de la simple correspondance de mots-clés.

• Recherche dans la littérature médicale : les chercheurs peuvent trouver des études pertinentes même si la terminologie varie.
• Correspondance des dossiers des patients : identification des cas de patients similaires pour des plans de traitement personnalisés.
• Découverte de médicaments : recherche de composés chimiques ayant des propriétés ou des effets similaires.

En savoir plus sur les soins de santé et les sciences de la vie

• Recommandations de produits : suggestion d'articles basée sur la similarité sémantique plutôt que sur la simple correspondance des catégories.
• Recherche visuelle : permet aux clients de trouver des produits similaires à une image téléchargée.
• Détection de la fraude : identification de schémas inhabituels dans les données de transaction.

En savoir plus sur le commerce électronique et la vente au détail

• Évaluation des risques : analyse des documents financiers afin d'identifier les risques potentiels.
• Analyse des tendances du marché : recherche de corrélations entre divers indicateurs économiques.
• Segmentation de la clientèle : regroupement de clients sur la base de modèles comportementaux complexes.

En savoir plus sur les services financiers

• Recommandation de contenu : suggestion de films, de musique ou d'articles en fonction des préférences de l'utilisateur.
• Détection du plagiat : identification de contenus similaires dans de grandes bases de données.
• Recherche audio et vidéo : recherche de moments spécifiques dans les médias sur la base de transcriptions ou de caractéristiques visuelles.

• Contrôle de la qualité : détection des anomalies dans les données de production.
• Gestion des stocks : optimisation des niveaux de stock en fonction de modèles de demande complexes.
• Maintenance prédictive : identification des équipements susceptibles de tomber en panne sur la base de modèles de données de capteurs.

En savoir plus sur la fabrication et la chaîne d'approvisionnement

• Analyse des journaux : détection de schémas inhabituels dans les journaux du système pour détecter les menaces de sécurité.
• Recherche de similitudes dans le code : recherche d'extraits de code similaires à des fins de débogage ou d'optimisation.
• Analyse du trafic réseau : identification des failles de sécurité potentielles sur la base des schémas de trafic.

Les bases de données vectorielles: une base de données vectorielles est conçue pour

stocker et interroger efficacement des données vectorielles. Les exemples incluent Faiss (Facebook AI Similarity Search) et Annoy (Approximate Nearest Neighbors Oh Yeah)

.Machine Learning Frameworks: TensorFlow et PyTorch offrent des bibliothèques pour la création et la manipulation de vector embeddings.

Bibliothèques NLP: des bibliothèques comme spaCy et Hugging Face's Transformers fournissent des modèles pré-entraînés pour l'intégration de texte. Services de recherche vectorielle dans le nuage: les principaux fournisseurs de s

ervices dans le nuage proposent des services de recherche vectorielle gérés qui peuvent être intégrés dans des applications. Ces services fournissent souvent une infrastructure évolutive pour les opérations de recherche vectorielle à grande échelle.Mot

eurs de recherche open-source: certains moteurs de recherche traditionnels offrent désormais des capacités de recherche vectorielle. Ils peuvent être utiles aux organisations qui souhaitent ajouter la recherche vectorielle à leur infrastructure de recherche existante.

Moteurs de recherche web: les principaux moteurs de recherche comme Google ont intégré des techniques de recherche vectorielle pour améliorer la compréhension sémantique des requêtes. Elles utilisent des modèles de réseaux neuronaux pour générer des représentations vectorielles des requêtes et des pages web

.Recherche dans le domaine du commerce électronique: les plateformes de vente au détail en ligne utilisent la recherche vectorielle pour améliorer la découverte de produits, en la combinant souvent avec la recherche traditionnelle par mots clés pour obtenir des résultats optimaux

.Solutions de recherche pour les entreprises: de nombreuses plateformes de recherche pour les entreprises offrent désormais des capacités de recherche vectorielle. Ces solutions utilisent souvent des approches hybrides, combinant la recherche vectorielle avec des méthodes de recherche traditionnelles. Systèmes degestion de bases dedonnées: certa

ins systèmes de bases de données relationnelles ont commencé à incorporer des capacités de recherche vectorielle, permettant des recherches de similarité en même temps que les requêtes SQL traditionnelles. Cette intégration permet d'interroger de manière flexible des données structurées et non structurées au sein d'un même système

.Plateformes de données en nuage: les fournisseurs de nuage proposent de plus en plus de recherches vectorielles dans le cadre de leurs services. Cela permet une intégration transparente des capacités de recherche vectorielle dans les applications basées sur le cloud et les flux de données.

La recherche et la représentation vectorielles sont apparues comme une technologie qui change la donne dans le monde de la recherche d'informations et de l'analyse de données. En représentant les données sous forme de vecteurs à haute dimension, la recherche vectorielle permet des expériences de recherche plus intuitives, plus contextuelles et plus riches sur le plan sémantique.

Tout au long de cet article, nous avons découvert les concepts fondamentaux de la recherche vectorielle et ses applications dans divers secteurs d'activité. Nous avons vu comment la recherche vectorielle excelle dans la compréhension du contexte, la gestion des requêtes multilingues et la recherche de résultats pertinents même en l'absence de correspondance exacte des mots clés.

Cependant, nous avons également reconnu les exigences en matière de calcul et les complexités de la gestion de données à haute dimension à l'échelle. C'est là qu' InterSystems IRIS s'impose comme une solution puissante. InterSystems IRIS offre une plate-forme complète et unifiée qui intègre de manière transparente les capacités de recherche vectorielle avec les fonctions traditionnelles de gestion des données.

Les principaux avantages sont les suivants :

1. Intégration transparente: les fonctions de recherche vectorielle sont entièrement intégrées à la plate-forme IRIS d'InterSystems, ce qui permet de les combiner facilement avec des requêtes SQL et d'autres tâches de traitement des données.
2. Évolutivité: InterSystems IRIS est conçu pour gérer des opérations de recherche vectorielle à grande échelle, en prenant en charge le calcul distribué pour améliorer les performances.
3. Flexibilité: La prise en charge de différentes techniques d'intégration et de mesures de distance rend InterSystems IRIS polyvalent pour différentes applications de recherche vectorielle.
4. Intégration NLP avancée: InterSystems IRIS peut être combiné avec des techniques sophistiquées de traitement du langage naturel pour améliorer la compréhension des requêtes et la pertinence des résultats.
5. Personnalisation en fonction du domaine: la plateforme prend en charge des modèles d'intégration personnalisés, ce qui permet d'élaborer des solutions sur mesure dans des domaines spécialisés tels que les soins de santé ou la finance.
6. Gestion unifiée des données: InterSystems IRIS élimine le besoin de plusieurs systèmes distincts, réduisant ainsi la complexité et les incohérences potentielles des données.