Was ist Vector Search (Vektorsuche)? Alles, was Sie wissen müssen

Vector Search ist eine leistungsstarke Technik zur Informationsgewinnung, die eine mathematische Repräsentation von Daten, sogenannte Vektoren, verwendet. Vektoren finden ähnliche Elemente auf der Grundlage der semantischen Bedeutung und nicht aufgrund exakter Übereinstimmungen.

Das Gebiet der Informationsbeschaffungist so alt wie die Geschichte der Computer, und Vector Search wird seit über 20 Jahren eingesetzt. In letzter Zeit hat sie jedoch einen enormen Anstieg der Nutzung erfahren. Im Zeitalter der generativen KI und Big Data ist Vector Search für verschiedene Anwendungen von entscheidender Bedeutung. Dazu gehören (aber nicht ausschließlich)

• Empfehlungssysteme
• Modelle für maschinelles Lernen
• Bilderkennung
• Natural Language Processing (NLP)
• Erkennung von Anomalien
• Generative KI

Was Vector Search so gut macht, ist die ihr innewohnende Erfassung von Kontext und Bedeutung sowie die Fähigkeit, nicht nur exakte, sondern auch ungefähre Übereinstimmungen zu finden. So können Nutzer relevante Informationen auch dann finden, wenn ihre Anfrage nicht exakt mit den gespeicherten Daten übereinstimmt. Ein weiterer großer Vorteil ist, dass Vector Search auf viele Arten von Daten angewendet werden kann, einschließlich Text, Bilder, Audio, strukturierte Daten und sogar Genome.

Wenn Sie wissen möchten, wie Vector Search funktioniert und wie sie Ihrem Unternehmen helfen kann, sind Sie hier genau richtig.

Wie funktioniert eine Engine für Vector Search? Wenn Sie seine inneren Mechanismen verstehen, können Sie den größten Nutzen aus dem Vektorraum ziehen.

Vielleicht erinnern Sie sich noch an Vektoren aus Ihrem Algebra-Unterricht in der Schule. In der Informatik sind Vektoren einfach Listen von Zahlen, wobei jede Zahl ein anderes Merkmal oder eine andere Dimension darstellt.

Während die Vektoren, die Sie in der Schule kennengelernt haben, wahrscheinlich zwei oder drei Dimensionen hatten, verwenden moderne vektorbasierte Systeme oft Hunderte oder Tausende von Dimensionen. Das hört sich vielleicht kompliziert an, aber man kann es sich als eine Erweiterung der dreidimensionalen Welt vorstellen, mit der wir vertraut sind. Stellen Sie sich vor, Sie fügen immer mehr Merkmale hinzu, um etwas zu beschreiben, und jedes dieser Merkmale wird zu einer neuen Dimension in Ihrem Vektor.

Ein Vektor, der das Wort "Katze" repräsentiert, könnte zum Beispiel so aussehen:

[0.2, -0.5, 0.8, 0.1, -0.3, ...]

Diese Zahlen mögen zwar abstrakt erscheinen, aber sie erfassen verschiedene semantische Aspekte des Konzepts "Katze", die einen mathematischen Vergleich mit anderen Vektoren ermöglichen. Das Wort "katzenartig" erhält einen Vektor, der dem Wort "Katze" sehr ähnlich ist, da die Wörter, die in ihrer Nähe verwendet werden, sehr ähnlich sein werden.

Die Vector Search ist im Kern eine Methode zum Auffinden ähnlicher Elemente in einem großen Datenbestand durch den Vergleich ihrer Repräsentationen als Vektoren. Im Gegensatz zur herkömmlichen schlagwortbasierten Suche, bei der nach exakten Übereinstimmungen von Wörtern oder Sätzen gesucht wird, versuchen Vektoren, die zugrundeliegende Bedeutung oder den Kontext zu verstehen.

Es zeigt sich, dass bei der Umwandlung von Text in Vektoren die Vektoren mehr Informationen über die eigentliche Bedeutung enthalten als andere Darstellungsformen, da Wörter in Kombination mit anderen Wörtern den Kontext liefern, der die Bedeutung hinter den Wörtern finden kann.

Die Umwandlung von Daten in Vektoren ist der erste Schritt für Vector Search. Dies ist in der Regel der Fall, wenn Sie einem System neue Daten hinzufügen. Wenn ein Nutzer eine Anfrage stellt, wird diese ebenfalls in einen Vektor umgewandelt. Die Suche besteht dann darin, die Elemente im Datensatz zu finden, deren Vektoren dem Abfragevektor am ähnlichsten sind.

Dieser Ansatz ermöglicht eine differenziertere Suche. Zum Beispiel bei einer textbasierten Vektorsuche:

• Eine Suche nach "Sportwagen" kann auch Ergebnisse zu "Automobil" oder "Fahrzeug" liefern, selbst wenn diese Begriffe nicht verwendet werden.
• Eine Abfrage zu "Datenanalysetechniken" könnte relevante Ergebnisse zu "statistischen Methoden in Big Data" liefern

Vector Search ist eine Schlüsseltechnologie für Smart-Data-Fabric-Architekturen.

Die herkömmliche stichwortbasierte Suche und Vector Search unterscheiden sich in ihrem Ansatz und ihren Möglichkeiten:

1. Matching-Methode: Die Stichwortsuche sucht nach exakten Übereinstimmungen von Wörtern oder Sätzen. Vector Search sucht nach ähnlichen Bedeutungen oder Konzepten, indem sie die Richtung und den Betrag verschiedener Vektoren vergleicht, und ist immer eher approximativ als exakt.
2. Verstehen des Kontexts: Die Stichwortsuche hat oft Probleme mit dem Kontext und den Synonymen. Vector Search kann den Kontext verstehen und semantisch verwandte Inhalte finden.
3. Umgang mit Mehrdeutigkeit: Die Schlagwortsuche kann irrelevante Ergebnisse liefern, wenn Wörter mehrere Bedeutungen haben. Vector Search kann oft auf der Grundlage des Gesamtkontextes der Abfrage eine Eindeutigkeit feststellen.  
4. Mehrsprachigkeit: Die Stichwortsuche erfordert in der Regel separate Indizes für verschiedene Sprachen. Vector Search kann oft relevante Ergebnisse in mehreren Sprachen finden, wenn sie auf mehrsprachigen Daten trainiert wurde.
5. Umgang mit Rechtschreibfehlern und Variationen: Bei der Suche nach Schlüsselwörtern kann es vorkommen, dass Ergebnisse aufgrund von leichten Rechtschreibfehlern nicht gefunden werden. Vector Search ist robuster gegenüber Abweichungen und kann trotz kleinerer Fehler oft relevante Ergebnisse finden.

Die Vektorgenerierung, auch als Einbettung bezeichnet, ist ein entscheidender Schritt für die Umsetzung von Vector Search. Je nach Art der Daten werden unterschiedliche Techniken verwendet:

1. Textdaten: Worteinbettungen (z. B. Word2Vec, GloVe) wandeln einzelne Wörter in Vektoren um, während Satz- oder Dokumenteneinbettungen (z. B. BERT, Universal Sentence Encoder) Vektoren für größere Textstücke erstellen. Diese Modelle werden in der Regel anhand großer Textmengen trainiert und können für bestimmte Bereiche fein abgestimmt werden.
2. Bilddaten: Faltungsneuronale Netze (Convolutional Neural Networks, CNN) werden häufig zur Erzeugung von Vektordarstellungen von Bildern verwendet. Diese Netze lernen beim Training, relevante Merkmale aus Bildern zu extrahieren.
3. Audiodaten: Techniken wie Mel-Frequenz-Cepstral-Koeffizienten (MFCCs) oder Deep-Learning-Modelle können Audiodaten in Vektordarstellungen umwandeln.
4. Multimodale Daten: Einige fortgeschrittene Modelle können Vektoren erstellen, die Kombinationen verschiedener Datentypen darstellen, z. B. Bilder mit Beschriftungen.

Es gibt auch fortgeschrittenere und spezialisierte Arten von Daten, die als Vektoren dargestellt werden können. Dazu gehören genomische und proteomische Informationen in der Biologie, chemische Strukturen und grafische Beziehungen.

Die Dimensionen eines Vektors stehen im Zusammenhang mit der Suche für verschiedene Merkmale der Daten:

1. Semantische Merkmale: Jede Dimension kann einem bestimmten semantischen Konzept oder Attribut der Daten entsprechen.
2. Gelernte Repräsentationen: In vielen Fällen, insbesondere bei Deep-Learning-Modellen, ist die genaue Bedeutung der einzelnen Dimensionen nicht explizit definiert, sondern wird vom Modell während des Trainings gelernt. Der Begriff "latent semantic model" war früher in Mode und ist im Wesentlichen eine erlernte Darstellung.
3. Kontextinformationen: Bei Textdaten erfassen die Dimensionen häufig kontextbezogene Verwendungsmuster von Wörtern oder Sätzen.
4. Abstrakte Konzepte: Einige Dimensionen können abstrakte Konzepte darstellen, die von Menschen nicht leicht zu interpretieren sind, aber für das Verständnis der Daten durch das Modell nützlich sind.Dabei handelt es sich nicht unbedingt um Konzepte in dem Sinne, wie Sie es gewohnt sind, z. B. ist eine gemeinsame zugrunde liegende Struktur in verschiedenen Bildern ein Konzept, das eine Maschine erkennen kann, ein Mensch aber nicht.

Mit mehr Dimensionen lassen sich zwar in der Regel mehr Informationen erfassen und feinere Unterscheidungen treffen, es steigen aber auch die Rechenanforderungen.

Daher muss oft ein Gleichgewicht zwischen der Anzahl der Dimensionen und praktischen Erwägungen wie Suchgeschwindigkeit oder Speicherbedarf gefunden werden.

Eine Vector Search Engine wandelt Daten (z. B. Texte, Bilder oder Audiodaten) in numerische Vektoren um und findet ähnliche Elemente, indem sie den Abstand zwischen diesen Vektoren im hochdimensionalen Raum misst.

Im Gegensatz zur herkömmlichen semantischen Suche, die sich auf den Abgleich von Schlüsselwörtern und statistische Verfahren stützt, kann Vector Search nuanciertere Beziehungen und Ähnlichkeiten zwischen Elementen erfassen, was genauere und kontextrelevante Ergebnisse ermöglicht, insbesondere bei komplexen Abfragen oder multimedialen Inhalten.

Die Vektorsuche stützt sich auf verschiedene Algorithmen, um ähnliche Vektoren in hochdimensionalen Räumen zu finden. Einige der gängigsten Ansätze sind:

1. Exact Nearest Neighbor (NN)-Suche: Diese Methode findet die exakt nächstgelegenen Vektoren zu einem Abfragevektor. Diese Methode ist zwar genau, kann aber bei großen Datensätzen sehr rechenintensiv sein.

2. Approximate Nearest Neighbor (ANN)-Suche: ANN-Algorithmen gehen zu Lasten der Genauigkeit, um die Geschwindigkeit zu erhöhen. Beliebte ANN-Algorithmen sind:

   • Lokalitätssensitives Hashing (LSH)
   • Hierarchische navigierbare kleine Welt (HNSW) Diagramme
   • Produktquantisierung (PQ)
3. Baumbasierte Methoden: Algorithmen wie KD-Bäume oder Ballbäume organisieren Vektoren in einer Baumstruktur, um die Suche zu beschleunigen. Diese können für niedrigdimensionale Daten effektiv sein, haben aber bei hochdimensionalen Vektoren Probleme.
4. Graphenbasierte Methoden: Diese Algorithmen konstruieren einen Graphen, in dem Knoten Vektoren sind und Kanten ähnliche Elemente verbinden. Beispiele hierfür sind HNSW (siehe oben) und Navigable Small World (NSW) Diagramme.

Die Kosinusähnlichkeit ist bei Vector Search von entscheidender Bedeutung, da sie die Ähnlichkeit zwischen Vektoren effizient auf der Grundlage ihrer Ausrichtung und nicht auf der Grundlage ihrer Größe misst, was genaue Vergleiche in hochdimensionalen Räumen ermöglicht.

Dies macht sie besonders effektiv für Aufgaben wie die semantische Suche, Empfehlungssysteme und das Clustering von Dokumenten, bei denen die Beziehung zwischen Elementen wichtiger ist als ihre absoluten Werte.

Wichtige Punkte zur Kosinusähnlichkeit:

1. Bereich: Die Werte für die Cosinus-Ähnlichkeit reichen von -1 bis 1, wobei:

   • 1 bedeutet, dass die Vektoren in dieselbe Richtung zeigen (am ähnlichsten)
   • 0 bedeutet orthogonale (nicht zusammenhängende) Vektoren
   • -1 zeigt Vektoren an, die in entgegengesetzte Richtungen zeigen (am unähnlichsten)
2. Größenunabhängigkeit: Die Kosinusähnlichkeit konzentriert sich auf die Richtung der Vektoren, nicht auf ihre Größe, was sie für den Vergleich von Dokumenten unterschiedlicher Länge nützlich macht.
3. Berechnung: Die Formel für die Kosinusähnlichkeit lautet: cos(θ) = (A - B) / (||A|| * ||B||) Dabei ist A - B das Punktprodukt der Vektoren A und B, und ||A|| und ||B| sind ihre Beträge.
4. Effizienz: Die Kosinusähnlichkeit kann effizient berechnet werden, insbesondere wenn die Vektoren normalisiert sind.

Die Kosinusähnlichkeit ist besonders wichtig, weil:

• Sie erfasst die semantische Ähnlichkeit gut, insbesondere bei Textdaten.
• Sie ist rechnerisch effizient und ermöglicht schnelle Ähnlichkeitsberechnungen in hochdimensionalen Räumen.
• Es ist intuitiv zu verstehen und zu interpretieren.

Stellen Sie sich vor, Sie sind ein Küchenchef in einer geschäftigen Küche, und jedes Rezept ist ein Vektor in einem riesigen "Geschmacksraum". Zu den Dimensionen dieses Raums gehören Süße, Salzigkeit, Schärfe, Umami und so weiter. Die Spezialität des Hauses ist wie ein bestimmter Punkt in diesem Geschmacksraum, und Sie möchten ähnliche Rezepte finden oder Fusionsgerichte kreieren, die Ihren Stil ergänzen.

Die Kosinusähnlichkeit ist wie ein spezieller "Geschmackskompass", der misst, wie eng andere Rezepte mit dem Geschmacksprofil Ihrer Spezialität übereinstimmen. Ein Rezept, das dem Ihren sehr ähnlich ist, würde auf dem Geschmackskompass in fast dieselbe Richtung zeigen (hohe Kosinusähnlichkeit, nahe 1).

Ein etwas ähnliches Gericht könnte in eine verwandte, aber nicht identische Richtung zeigen (mittlere Kosinusähnlichkeit, etwa 0,7). Eine völlig andere Art von Küche würde auf Ihrem Geschmackskompass in eine senkrechte Richtung zeigen (Kosinusähnlichkeit von 0, was keine Geschmacksbeziehung anzeigt). Wichtig ist, dass die Intensität der Aromen (Vektorgröße) keine Rolle spielt - ein mildes und ein intensives Curry können in Bezug auf ihre Geschmacksrichtung sehr ähnlich sein.

In dieser kulinarischen Analogie agiert eine Vector Search Engine wie ein unglaublich effizienter Sous-Chef. Es kann diesen Geschmackskompass sofort für jedes Rezept in einem umfangreichen globalen Kochbuch konsultieren und so schnell Gerichte finden, die mit Ihrem charakteristischen Geschmacksprofil harmonieren, unabhängig von deren Herkunft oder Intensität.

Während die Kosinusähnlichkeit weit verbreitet ist, können für Vektorsuche Vector Search auch andere Abstandsmetriken verwendet werden:

1. Euklidischer Abstand: Misst den geradlinigen Abstand zwischen zwei Punkten im euklidischen Raum. Dies ist nützlich, wenn die Größe der Vektoren wichtig ist.
2. Manhattan-Distanz: Auch bekannt als L1-Distanz oder Stadtblockdistanz. Damit wird die Summe der absoluten Differenzen der Koordinaten berechnet, was bei bestimmten gitterartigen Problemen oder bei spärlichen Daten nützlich ist.
3. Punktprodukt: Einfache Multiplikation der entsprechenden Elemente in zwei Vektoren, die häufig verwendet wird, wenn Vektoren normalisiert werden.
4. Jaccard-Ähnlichkeit: Misst die Ähnlichkeit zwischen endlichen Stichprobenmengen, was für binäre oder kategoriale Daten nützlich ist.
5. Hamming-Distanz: Misst die Anzahl der Positionen, an denen sich korrespondierende Symbole in zwei Vektoren unterscheiden; wird häufig bei binären Daten oder zur Fehlererkennung verwendet.

Vector Search hat in verschiedenen Branchen an Bedeutung gewonnen, da sie in der Lage ist, den Kontext zu verstehen und relevante Informationen zu finden, die über einen einfachen Schlüsselwortabgleich hinausgehen.

• Medizinische Literatursuche: Forscher können relevante Studien finden, auch wenn die Terminologie variiert.
• Abgleich von Patientenakten: Identifizierung ähnlicher Patientenfälle für personalisierte Behandlungspläne.
• Entdeckung von Arzneimitteln: Suche nach chemischen Verbindungen mit ähnlichen Eigenschaften oder Wirkungen.

Erfahren Sie mehr über Gesundheitswesen und Biowissenschaften

• Produktempfehlungen: Vorschlagen von Artikeln auf der Grundlage semantischer Ähnlichkeit und nicht nur auf der Basis von Kategorien.
• Visuelle Suche: Ermöglicht es Kunden, Produkte zu finden, die einem hochgeladenen Bild ähnlich sind.
• Betrugserkennung: Erkennung ungewöhnlicher Muster in Transaktionsdaten.

Erfahren Sie mehr über E-Commerce und Einzelhandel

• Risikobewertung: Analyse von Finanzunterlagen zur Ermittlung potenzieller Risiken.
• Markttrendanalyse: Auffinden von Korrelationen zwischen verschiedenen Wirtschaftsindikatoren.
• Kundensegmentierung: Gruppierung von Kunden auf der Grundlage komplexer Verhaltensmuster.

Erfahren Sie mehr über Finanzdienstleistungen

• Inhaltsempfehlungen: Vorschlagen von Filmen, Musik oder Artikeln auf der Grundlage von Benutzerpräferenzen.
• Plagiatserkennung: Erkennung ähnlicher Inhalte in großen Datenbanken.
• Audio- und Videosuche: Auffinden bestimmter Momente in Medien anhand von Transkripten oder visuellen Merkmalen.

• Qualitätskontrolle: Aufspüren von Anomalien in Produktionsdaten.
• Bestandsmanagement: Optimierung der Lagerbestände auf der Grundlage komplexer Nachfragemuster.
• Vorausschauende Wartung: Identifizierung von Geräten, die aufgrund von Sensordatenmustern ausfallen könnten.

Erfahren Sie mehr über Fertigung und Lieferkette

• Log-Analyse: Erkennung ungewöhnlicher Muster in Systemprotokollen für Sicherheitsbedrohungen.
• Code-Ähnlichkeitssuche: Auffinden ähnlicher Codeschnipsel zum Debuggen oder Optimieren.
• Analyse des Netzwerkverkehrs: Identifizierung potenzieller Sicherheitsverletzungen anhand von Verkehrsmustern.

Da Vector Search in verschiedenen Branchen immer mehr an Bedeutung gewinnt, sind eine Reihe von Technologien und Plattformen entstanden, die ihre Implementierung unterstützen.

Vektordatenbanken: Eine Vektordatenbank ist für die effiziente Speicherung und Abfrage von Vektordaten konzipiert. Beispiele sind Faiss (Facebook AI Similarity Search) und Annoy (Approximate Nearest Neighbors Oh Yeah).

Machine Learning Frameworks: TensorFlow und PyTorch bieten Bibliotheken für die Erstellung und Bearbeitung von Vektoreinbettungen. Diese Frameworks können verwendet werden, um benutzerdefinierte Einbettungsmodelle für bestimmte Domänen zu trainieren.

NLP-Bibliotheken: Bibliotheken wie spaCy und Hugging Face's Transformers bieten bereits trainierte Modelle für die Texteinbettung. Diese können verwendet werden, um Vektordarstellungen von Textdaten für Suchanwendungen zu erzeugen.

Cloud-basierte Vektorsuchdienste: Große Cloud-Anbieter bieten verwaltete Vektorsuchdienste an, die in Anwendungen integriert werden können. Diese Dienste bieten häufig eine skalierbare Infrastruktur für groß angelegte Vektorsuchvorgänge.

Open-Source-Suchmaschinen: Einige herkömmliche Suchmaschinen bieten jetzt Vektorsuchfunktionen. Diese können für Unternehmen nützlich sein, die ihre bestehende Suchinfrastruktur um Vector Search erweitern möchten.

Web-Suchmaschinen: Große Suchmaschinen wie Google haben Vektorsuchtechniken zur Verbesserung des semantischen Verständnisses von Suchanfragen eingeführt. Sie verwenden neuronale Netzwerkmodelle, um Vektordarstellungen sowohl von Abfragen als auch von Webseiten zu generieren.

E-Commerce-Suche: Online-Einzelhandelsplattformen verwenden Vector Search, um die Produktsuche zu verbessern, und kombinieren sie oft mit der herkömmlichen Stichwortsuche, um optimale Ergebnisse zu erzielen.

Enterprise Search Solutions: Viele Enterprise Search-Plattformen bieten jetzt Vektorsuchfunktionen. Diese Lösungen verwenden oft hybride Ansätze, die Vector Search mit traditionellen Suchmethoden kombinieren.

Datenbank-Management-Systeme: Einige relationale Datenbanksysteme haben begonnen, Vektorsuchfunktionen einzubauen, die neben herkömmlichen SQL-Abfragen auch Ähnlichkeitssuchen ermöglichen. Diese Integration ermöglicht die flexible Abfrage von strukturierten und unstrukturierten Daten innerhalb desselben Systems.

Cloud Data Platforms: Cloud-Anbieter bieten Vector Search zunehmend als Teil ihrer Dienste an. Dies ermöglicht die nahtlose Integration von Vektorsuchfunktionen in cloudbasierte Anwendungen und Daten-Workflows.

Vector Search und Vektordarstellung haben sich zu einer bahnbrechenden Technologie in der Welt der Informationsbeschaffung und Datenanalyse entwickelt. Durch die Darstellung von Daten als hochdimensionale Vektoren ermöglicht Vector Search intuitivere, kontextbezogene und semantisch reichhaltige Sucherfahrungen.

In diesem Beitrag haben wir die grundlegenden Konzepte hinter Vector Search und ihre Anwendungen in verschiedenen Branchen vorgestellt. Wir haben gesehen, wie gut Vector Search den Kontext versteht, mehrsprachige Suchanfragen bewältigt und relevante Ergebnisse findet, selbst wenn keine exakten Schlüsselwortübereinstimmungen vorliegen.

Wir haben jedoch auch die Rechenanforderungen und die Komplexität der Verwaltung hochdimensionaler Daten in großem Umfang erkannt. Hier zeichnet sich InterSystems IRIS als eine leistungsstarke Lösung aus. InterSystems IRIS bietet eine umfassende, einheitliche Plattform, die Vektorsuchfunktionen nahtlos mit herkömmlichen Datenverwaltungsfunktionen verbindet.

Zu den wichtigsten Vorteilen gehören:

1. Nahtlose Integration: Die Vektorsuchfunktionen sind vollständig in die Datenplattform InterSystems IRIS integriert und lassen sich problemlos mit SQL-Abfragen und anderen Datenverarbeitungsaufgaben kombinieren.
2. Skalierbarkeit: InterSystems IRIS ist für umfangreiche Vector-Search-Operationen ausgelegt und unterstützt verteiltes Rechnen zur Leistungssteigerung.
3. Flexibilität: Durch die Unterstützung verschiedener Einbettungstechniken und Abstandsmetriken ist InterSystems IRIS vielseitig für unterschiedliche Vector-Search-Anwendungen einsetzbar.
4. Erweiterte NLP-Integration: InterSystems IRIS kann mit hochentwickelten Techniken zur Verarbeitung natürlicher Sprache kombiniert werden, um das Verständnis von Abfragen und die Relevanz der Ergebnisse zu verbessern.
5. Domänenspezifische Anpassung: Die Plattform unterstützt benutzerdefinierte Einbettungsmodelle, die maßgeschneiderte Lösungen in speziellen Bereichen wie dem Gesundheits- oder Finanzwesen ermöglichen.
6. Einheitliches Datenmanagement: InterSystems IRIS macht mehrere separate Systeme überflüssig und reduziert so die Komplexität und verhindert mögliche Dateninkonsistenzen.