Vectorwinkel in Azure Cosmos DB voor MongoDB vCore

DiskANN-indexen zijn beschikbaar op M30-lagen en hoger. Om de DiskANN-index te maken, stelt u de "kind"-parameter in volgens de volgende sjabloon: "vector-diskann"

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-diskann", 
                "dimensions": <integer_value>,
                "similarity": <string_value>,
                "maxDegree" : <integer_value>, 
                "lBuild" : <integer_value>, 
            } 
        } 
    ] 
}

Een vectorzoekopdracht uitvoeren met DiskANN

Als u een vectorzoekopdracht wilt uitvoeren, gebruikt u de fase van de $search aggregatiepijplijn en voert u een query uit met de cosmosSearch operator. DiskANN maakt zoekopdrachten met hoge prestaties mogelijk in grote gegevenssets met optionele filters, zoals georuimtelijke of op tekst gebaseerde filters.

{
  "$search": {
    "cosmosSearch": {
      "path": "<path_to_property>",
      "query": "<query_vector>",  
      "k": <num_results_to_return>,  
      "filter": {"$and": [
        { "<attribute_1>": { "$eq": <value> } },
        {"<location_attribute>": {"$geoWithin": {"$centerSphere":[[<longitude_integer_value>, <latitude_integer_value>], <radius>]}}}
      ]}
    }
  }
},

Voorbeeld van een DiskANN-index met filteren

Vectoren toevoegen aan uw database

Als u vectorzoekopdrachten wilt gebruiken met georuimtelijke filters, voegt u documenten toe die zowel vectorinsluitingen als locatiecoördinaten bevatten. U kunt de insluitingen maken met behulp van uw eigen model, Azure OpenAI Embeddings of een andere API (zoals Hugging Face in Azure).

from pymongo import MongoClient

client = MongoClient("<your_connection_string>")
db = client["test"]
collection = db["testCollection"]

documents = [
    {"name": "Eugenia Lopez", "bio": "CEO of AdventureWorks", "is_open": 1, "location": [-118.9865, 34.0145], "contentVector": [0.52, 0.20, 0.23]},
    {"name": "Cameron Baker", "bio": "CFO of AdventureWorks", "is_open": 1, "location": [-0.1278, 51.5074], "contentVector": [0.55, 0.89, 0.44]},
    {"name": "Jessie Irwin", "bio": "Director of Our Planet initiative", "is_open": 0, "location": [-118.9865, 33.9855], "contentVector": [0.13, 0.92, 0.85]},
    {"name": "Rory Nguyen", "bio": "President of Our Planet initiative", "is_open": 1, "location": [-119.0000, 33.9855], "contentVector": [0.91, 0.76, 0.83]}
]

collection.insert_many(documents)

Een DiskANN-vectorindex maken

In het volgende voorbeeld ziet u hoe u een DiskANN-vectorindex instelt met filtermogelijkheden. Dit omvat het maken van de vectorindex voor overeenkomsten zoeken, het toevoegen van documenten met vector- en georuimtelijke eigenschappen en het indexeren van velden voor extra filtering.

db.command({
    "createIndexes": "testCollection",
    "indexes": [
        {
            "name": "DiskANNVectorIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": {
                "kind": "vector-diskann",
                "dimensions": 3,
                "similarity": "COS",
                "maxDegree": 32,
                "lBuild": 64
            }
        },
        { 
            "name": "is_open",
            "key": { 
                "is_open": 1 
            }      
        },
        {
            "name": "locationIndex",
            "key": {
                "location": 1
            }
        }
    ]
})

Met deze opdracht maakt u een DiskANN-vectorindex op het veld contentVector in exampleCollection, waardoor gelijkeniszoekopdrachten worden mogelijk gemaakt. Er wordt ook het volgende toegevoegd:

• Een index op het is_open veld, zodat u resultaten kunt filteren op basis van of bedrijven open zijn.
• Een georuimtelijke index in het location veld om te filteren op geografische nabijheid.

Een vectorzoekopdracht uitvoeren

Als u documenten wilt zoeken met vergelijkbare vectoren binnen een specifieke geografische radius, geeft u het queryVector zoeken naar overeenkomsten op en voegt u een georuimtelijk filter toe.

query_vector = [0.52, 0.28, 0.12]
pipeline = [
    {
        "$search": {
            "cosmosSearch": {
                "path": "contentVector",
                "vector": query_vector,
                "k": 5,
                "filter": {
                    "$and": [
                        {"is_open": {"$eq": 1}},
                        {"location": {"$geoWithin": {"$centerSphere": [[-119.7192861804, 34.4102485028], 100 / 3963.2]}}}
                    ]
                }
            }
        }
    }
]

results = list(collection.aggregate(pipeline))
for result in results:
    print(result)

In dit voorbeeld retourneert de vector-gelijkeniszoekopdracht de meest k dichtstbijzijnde vectoren op basis van de opgegeven COS overeenkomstwaarde, terwijl het filteren van resultaten alleen open bedrijven binnen een straal van 100 mijl bevat.

[
  {
    similarityScore: 0.9745354109084544,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'CEO of AdventureWorks',
      is_open: 1,
      location: [-118.9865, 34.0145],
      contentVector: [0.52, 0.20, 0.23]
    }
  },
  {
    similarityScore: 0.9006955671333992,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'President of Our Planet initiative',
      is_open: 1,
      location: [-119.7302, 34.4005],
      contentVector: [0.91, 0.76, 0.83]
    }
  }
]

Dit resultaat toont de meest vergelijkbare documenten voor queryVector, beperkt tot een straal van 100 mijl en bedrijven die open zijn. Elk resultaat bevat de overeenkomstenscore en metagegevens, waarmee wordt gedemonstreerd hoe DiskANN in Cosmos DB voor MongoDB gecombineerde vector- en georuimtelijke query's ondersteunt voor verrijkte, locatiegevoelige zoekervaringen.

U kunt HNSW-indexen (Hierarchical Navigable Small World) maken op M30-clusterlagen en hoger. Om de HSNW-index te maken, moet u een vectorindex maken met de "kind"-parameter ingesteld op "vector-hnsw" volgens de onderstaande sjabloon:

{ 
    "createIndexes": "<collection_name>",
    "indexes": [
        {
            "name": "<index_name>",
            "key": {
                "<path_to_property>": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": <integer_value>, 
                "efConstruction": <integer_value>, 
                "similarity": "<string_value>", 
                "dimensions": <integer_value> 
            } 
        } 
    ] 
}

Een vectorzoekopdracht uitvoeren met HNSW

Als u een vectorzoekopdracht wilt uitvoeren, gebruikt u de $search aggregatiepijplijnfase van de query met de cosmosSearch operator.

{
    "$search": {
        "cosmosSearch": {
            "vector": <query_vector>,
            "path": "<path_to_property>",
            "k": <num_results_to_return>,
            "efSearch": <integer_value>
        },
    }
}

Voorbeeld van een HNSW-index

In de volgende voorbeelden ziet u hoe u vectoren indexeert, documenten toevoegt die vectoreigenschappen hebben, een vectorzoekopdracht uitvoert en de indexconfiguratie ophaalt.

use test;

db.createCollection("exampleCollection");

db.runCommand({ 
    "createIndexes": "exampleCollection",
    "indexes": [
        {
            "name": "VectorSearchIndex",
            "key": {
                "contentVector": "cosmosSearch"
            },
            "cosmosSearchOptions": { 
                "kind": "vector-hnsw", 
                "m": 16, 
                "efConstruction": 64, 
                "similarity": "COS", 
                "dimensions": 3
            } 
        } 
    ] 
});

Met deze opdracht maakt u een HNSW-index op basis van de contentVector eigenschap in de documenten die zijn opgeslagen in de opgegeven verzameling, exampleCollection. Met cosmosSearchOptions de eigenschap worden de parameters voor de HNSW-vectorindex opgegeven. Als in uw document de vector is opgeslagen in een genest eigenschap, kunt u deze eigenschap instellen met behulp van een puntnotatie-pad. U kunt bijvoorbeeld gebruiken text.contentVector als contentVector een subeigenschap van text.

Vectoren toevoegen aan uw database

Als u vectoren wilt toevoegen aan de verzameling van uw database, moet u eerst de insluitingen maken met behulp van uw eigen model, Azure OpenAI Embeddings of een andere API (zoals Hugging Face in Azure). In dit voorbeeld worden nieuwe documenten toegevoegd via voorbeeld-insluitingen:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", contentVector: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", contentVector: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", contentVector: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", contentVector: [0.91, 0.76, 0.83]},
]);

Een vectorzoekopdracht uitvoeren

Als u doorgaat met het laatste voorbeeld, maakt u een andere vector. queryVector Vectorzoekopdrachten meten de afstand tussen queryVector en de vectoren in het contentVector pad van uw documenten. U kunt het aantal resultaten instellen dat de zoekopdracht retourneert door de parameter kin te stellen, die hier is ingesteld 2 . U kunt ook instellen efSearch, wat een geheel getal is dat de grootte van de kandidaatvectorlijst bepaalt. Een hogere waarde kan de nauwkeurigheid verbeteren, maar de zoekopdracht zal hierdoor langzamer zijn. Dit is een optionele parameter met een standaardwaarde van 40.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    "$search": {
        "cosmosSearch": {
            "vector": queryVector,
            "path": "contentVector",
            "k": 2,
            "efSearch": 40
        },
    }
  }
}
]);

In dit voorbeeld wordt een vectorzoekopdracht uitgevoerd met behulp van queryVector als invoer via de Mongo-shell. Het zoekresultaat is een lijst met twee items die het meest lijken op de queryvector, gesorteerd op hun overeenkomstenscores.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]

Als u een vectorindex wilt maken met behulp van het IVF-algoritme (omgekeerd bestand), gebruikt u de volgende createIndexes sjabloon en stelt u de "kind" parameter in "vector-ivf"op:

{
  "createIndexes": "<collection_name>",
  "indexes": [
    {
      "name": "<index_name>",
      "key": {
        "<path_to_property>": "cosmosSearch"
      },
      "cosmosSearchOptions": {
        "kind": "vector-ivf",
        "numLists": <integer_value>,
        "similarity": "<string_value>",
        "dimensions": <integer_value>
      }
    }
  ]
}

Een vectorzoekopdracht uitvoeren met IVF

Als u een vectorzoekopdracht wilt uitvoeren, gebruikt u de fase van de $search aggregatiepijplijn in een MongoDB-query. Als u de cosmosSearch index wilt gebruiken, gebruikt u de nieuwe cosmosSearch operator.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <query_vector>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Om de overeenkomstenscore (searchScore) samen met de documenten die door de vectorzoekopdracht zijn gevonden op te halen, gebruikt u de $project-operator om searchScore op te nemen en deze als <custom_name_for_similarity_score> in de resultaten te hernoemen. Dan wordt het document ook als een genest object geprojecteerd. Houd er rekening mee dat de overeenkomstscore wordt berekend met behulp van de metrische waarde die is gedefinieerd in de vectorindex.

Voorbeeld van een IVF-index

Indexering van omgekeerd bestand (IVF) is een methode die vectoren in clusters ordent. Tijdens een vectorzoekopdracht wordt de queryvector eerst vergeleken met de centra van deze clusters. De zoekopdracht wordt vervolgens uitgevoerd in het cluster waarvan het midden zich het dichtst bij de queryvector bevindt.

De numListparameter s bepaalt het aantal clusters dat moet worden gemaakt. Eén cluster impliceert dat de zoekopdracht wordt uitgevoerd op alle vectoren in de database, vergelijkbaar met een brute-force of kNN-zoekopdracht. Deze instelling biedt de hoogste nauwkeurigheid, maar ook de hoogste latentie.

Het verhogen van de numLists waarde resulteert in meer clusters, elk met minder vectoren. Bijvoorbeeld, als numLists=2, bevat elk cluster meer vectoren dan wanneer numLists=3, enzovoort. Minder vectoren per cluster versnellen de zoekopdracht (lagere latentie, hogere query's per seconde). Dit verhoogt echter de kans dat de meest vergelijkbare vector in uw database ontbreekt bij de queryvector. Dit komt door de onvolmaakte aard van clustering, waarbij de zoekopdracht zich mogelijk richt op één cluster terwijl de werkelijke 'dichtstbijzijnde' vector zich in een ander cluster bevindt.

De nProbes parameter bepaalt het aantal clusters dat moet worden doorzocht. Deze is standaard ingesteld op 1, wat betekent dat alleen het cluster met het midden het dichtst bij de queryvector wordt gezocht. Door deze waarde te verhogen, kan de zoekopdracht meer clusters omvatten, de nauwkeurigheid verbeteren, maar ook de latentie verhogen (dus query's per seconde verlagen) naarmate er meer clusters en vectoren worden doorzocht.

In de volgende voorbeelden ziet u hoe u vectoren indexeert, documenten toevoegt die vectoreigenschappen hebben, een vectorzoekopdracht uitvoert en de indexconfiguratie ophaalt.

Een vectorindex maken

use test;

db.createCollection("exampleCollection");

db.runCommand({
  createIndexes: 'exampleCollection',
  indexes: [
    {
      name: 'vectorSearchIndex',
      key: {
        "vectorContent": "cosmosSearch"
      },
      cosmosSearchOptions: {
        kind: 'vector-ivf',
        numLists: 3,
        similarity: 'COS',
        dimensions: 3
      }
    }
  ]
});

Met deze opdracht maakt u een vector-ivf index op basis van de vectorContent eigenschap in de documenten die zijn opgeslagen in de opgegeven verzameling. exampleCollection De cosmosSearchOptions eigenschap geeft de parameters voor de IVF-vectorindex op. Als in uw document de vector is opgeslagen in een genest eigenschap, kunt u deze eigenschap instellen met behulp van een puntnotatie-pad. U kunt bijvoorbeeld gebruiken text.vectorContent als vectorContent een subeigenschap van text.

Vectoren toevoegen aan uw database

Als u vectoren wilt toevoegen aan de verzameling van uw database, moet u eerst de insluitingen maken met behulp van uw eigen model, Azure OpenAI Embeddings of een andere API (zoals Hugging Face in Azure). In dit voorbeeld worden nieuwe documenten toegevoegd via voorbeeld-insluitingen:

db.exampleCollection.insertMany([
  {name: "Eugenia Lopez", bio: "Eugenia is the CEO of AdvenureWorks.", vectorContent: [0.51, 0.12, 0.23]},
  {name: "Cameron Baker", bio: "Cameron Baker CFO of AdvenureWorks.", vectorContent: [0.55, 0.89, 0.44]},
  {name: "Jessie Irwin", bio: "Jessie Irwin is the former CEO of AdventureWorks and now the director of the Our Planet initiative.", vectorContent: [0.13, 0.92, 0.85]},
  {name: "Rory Nguyen", bio: "Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.", vectorContent: [0.91, 0.76, 0.83]},
]);

Een vectorzoekopdracht uitvoeren

Als u een vectorzoekopdracht wilt uitvoeren, gebruikt u de fase van de $search aggregatiepijplijn in een MongoDB-query. Als u de cosmosSearch index wilt gebruiken, gebruikt u de nieuwe cosmosSearch operator.

{
  {
  "$search": {
    "cosmosSearch": {
        "vector": <vector_to_search>,
        "path": "<path_to_property>",
        "k": <num_results_to_return>,
      },
      "returnStoredSource": True }},
  {
    "$project": { "<custom_name_for_similarity_score>": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
}

Om de overeenkomstenscore (searchScore) samen met de documenten die door de vectorzoekopdracht zijn gevonden op te halen, gebruikt u de $project-operator om searchScore op te nemen en deze als <custom_name_for_similarity_score> in de resultaten te hernoemen. Dan wordt het document ook als een genest object geprojecteerd. Houd er rekening mee dat de overeenkomstscore wordt berekend met behulp van de metrische waarde die is gedefinieerd in de vectorindex.

Queryvectoren en vectorafstanden (similariteitsscores) met behulp van $search

Als u doorgaat met het laatste voorbeeld, maakt u een andere vector. queryVector Vectorzoekopdrachten meten de afstand tussen queryVector en de vectoren in het vectorContent pad van uw documenten. U kunt het aantal resultaten instellen dat de zoekopdracht retourneert door de parameter kin te stellen, die hier is ingesteld 2 . U kunt ook een geheel getal instellen nProbeswaarmee het aantal clusters in de buurt wordt bepaald dat in elke zoekopdracht wordt geïnspecteerd. Een hogere waarde kan de nauwkeurigheid verbeteren, maar de zoekopdracht zal hierdoor langzamer zijn. Dit is een optionele parameter met een standaardwaarde van 1 en kan niet groter zijn dan de numLists waarde die is opgegeven in de vectorindex.

const queryVector = [0.52, 0.28, 0.12];
db.exampleCollection.aggregate([
  {
    $search: {
      "cosmosSearch": {
        "vector": queryVector,
        "path": "vectorContent",
        "k": 2
      },
    "returnStoredSource": true }},
  {
    "$project": { "similarityScore": {
           "$meta": "searchScore" },
            "document" : "$$ROOT"
        }
  }
]);

In dit voorbeeld wordt een vectorzoekopdracht uitgevoerd met behulp van queryVector als invoer via de Mongo-shell. Het zoekresultaat is een lijst met twee items die het meest lijken op de queryvector, gesorteerd op hun overeenkomstenscores.

[
  {
    similarityScore: 0.9465376,
    document: {
      _id: ObjectId("645acb54413be5502badff94"),
      name: 'Eugenia Lopez',
      bio: 'Eugenia is the CEO of AdvenureWorks.',
      vectorContent: [ 0.51, 0.12, 0.23 ]
    }
  },
  {
    similarityScore: 0.9006955,
    document: {
      _id: ObjectId("645acb54413be5502badff97"),
      name: 'Rory Nguyen',
      bio: 'Rory Nguyen is the founder of AdventureWorks and the president of the Our Planet initiative.',
      vectorContent: [ 0.91, 0.76, 0.83 ]
    }
  }
]