【AI】Azure AI Searchにインデックスを作成する

import sys
from pathlib import Path
from typing import Dict
import base64

from azure.storage.blob import BlobServiceClient

import common.util as util

def main():
    
    AZURE_BLOB_CONNECTION_STRING = "【ストレージアカウント接続文字列】"
    AZURE_BLOB_CONTAINER_NAME = "bs-doc"
    AZURE_BLOB_CONTAINER_PATH = "document"
    DOC_FILE_PATH = "D:\\work\\ブログ\\Azure AI\\ドキュメント\\"
    DOC_CATEGORY = "モカ"
    
       
    
    # BlobServiceClientの作成
    blob_service_client = BlobServiceClient.from_connection_string(
        AZURE_BLOB_CONNECTION_STRING)
    # ContailerClientの取得
    container_client = blob_service_client.get_container_client(
        AZURE_BLOB_CONTAINER_NAME)

    # ファイル読み込み
    doc_files = list(Path(DOC_FILE_PATH).glob("**/*"))
    for doc_file in doc_files:

        if not doc_file.is_file():
            continue

        # タグ作成
        metadata: Dict[str, str] = {}
        metadata["filepath"] = base64.b64encode(
            str(doc_file.resolve()).encode("utf-8")).decode("utf-8")
        metadata["category"] = base64.b64encode(
            DOC_CATEGORY.encode("utf-8")).decode("utf-8")

        # ファイルをAzure Blob Storageに登録
        blob_client = container_client.get_blob_client(
            f"{AZURE_BLOB_CONTAINER_PATH}/{doc_file.name}")

        with open(doc_file, "rb") as data:
            blob_client.upload_blob(
                data, metadata=metadata, overwrite=True)


if __name__=="__main__":
    sys.exit(main())

{
  "name": "idx-doc",
  "fields": [
    {
      "name": "id",
      "type": "Edm.String",
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": true,
      "analyzer": "keyword"
    },
    {
      "name": "parent_id",
      "type": "Edm.String",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false
    },
    {
      "name": "content",
      "type": "Edm.String",
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false,
      "analyzer": "ja.lucene"
    },
    {
      "name": "category",
      "type": "Edm.String",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false
    },
    {
      "name": "filepath",
      "type": "Edm.String",
      "searchable": false,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false
    },
    {
      "name": "contentVector",
      "type": "Collection(Edm.Single)",
      "searchable": true,
      "filterable": false,
      "retrievable": false,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false,
      "dimensions": 3072,
      "vectorSearchProfile": "contentVector-profile"
    }
  ],
  "scoringProfiles": [],
  "suggesters": [],
  "analyzers": [],
  "normalizers": [],
  "tokenizers": [],
  "tokenFilters": [],
  "charFilters": [],
  "vectorSearch": {
    "algorithms": [
      {
        "name": "contentVector-algorithm",
        "kind": "hnsw",
        "hnswParameters": {
          "metric": "cosine",
          "m": 4,
          "efConstruction": 400,
          "efSearch": 500
        }
      }
    ],
    "profiles": [
      {
        "name": "contentVector-profile",
        "algorithm": "contentVector-algorithm",
        "vectorizer": "contentVector-vectorizer"
      }
    ],
    "vectorizers": [
      {
        "name": "contentVector-vectorizer",
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://openai-20250701010001.openai.azure.com",
          "deploymentId": "text-embedding-3-large",
          "apiKey": "<redacted>",
          "modelName": "text-embedding-3-large"
        }
      }
    ],
    "compressions": []
  }
}

{
  "name": "indexer-doc",
  "description": null,
  "dataSourceName": "ds-doc",
  "skillsetName": "skillset-doc",
  "targetIndexName": "idx-doc",
  "disabled": null,
  "schedule": null,
  "parameters": {
    "batchSize": null,
    "maxFailedItems": null,
    "maxFailedItemsPerBatch": null,
    "configuration": {
      "dataToExtract": "contentAndMetadata",
      "parsingMode": "default"
    }
  },
  "fieldMappings": [
    {
      "sourceFieldName": "filepath",
      "targetFieldName": "filepath",
      "mappingFunction": {
        "name": "base64Decode",
        "parameters": {
          "useHttpServerUtilityUrlTokenDecode": false
        }
      }
    },
    {
      "sourceFieldName": "category",
      "targetFieldName": "category",
      "mappingFunction": {
        "name": "base64Decode",
        "parameters": {
          "useHttpServerUtilityUrlTokenDecode": false
        }
      }
    }
  ],
  "outputFieldMappings": [],
  "cache": null,
  "encryptionKey": null
}

{
  "name": "skillset-doc",
  "description": "Skillset to chunk documents and generate embeddings",
  "skills": [
    {
      "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
      "name": "#1",
      "description": "Split skill to chunk documents",
      "context": "/document",
      "defaultLanguageCode": "ja",
      "textSplitMode": "pages",
      "maximumPageLength": 2000,
      "pageOverlapLength": 500,
      "maximumPagesToTake": 0,
      "unit": "characters",
      "inputs": [
        {
          "name": "text",
          "source": "/document/content",
          "inputs": []
        }
      ],
      "outputs": [
        {
          "name": "textItems",
          "targetName": "pages"
        }
      ]
    },
    {
      "@odata.type": "#Microsoft.Skills.Text.AzureOpenAIEmbeddingSkill",
      "name": "#2",
      "context": "/document/pages/*",
      "resourceUri": "https://openai-20250701010001.openai.azure.com",
      "apiKey": "【APIキーをセットする】",
      "deploymentId": "text-embedding-3-large",
      "dimensions": 3072,
      "modelName": "text-embedding-3-large",
      "inputs": [
        {
          "name": "text",
          "source": "/document/pages/*",
          "inputs": []
        }
      ],
      "outputs": [
        {
          "name": "embedding",
          "targetName": "contentVector"
        }
      ]
    }
  ],
  "indexProjections": {
    "selectors": [
      {
        "targetIndexName": "idx-doc",
        "parentKeyFieldName": "parent_id",
        "sourceContext": "/document/pages/*",
        "mappings": [
          {
            "name": "contentVector",
            "source": "/document/pages/*/contentVector",
            "inputs": []
          },
          {
            "name": "content",
            "source": "/document/pages/*",
            "inputs": []
          },
          {
            "name": "category",
            "source": "/document/category",
            "inputs": []
          },
          {
            "name": "filepath",
            "source": "/document/filepath",
            "inputs": []
          }
        ]
      }
    ],
    "parameters": {
      "projectionMode": "skipIndexingParentDocuments"
    }
  }
}

import sys
import os
from pprint import pprint
from langchain_openai.embeddings import AzureOpenAIEmbeddings

os.environ["AZURESEARCH_FIELDS_CONTENT"] = "content"
os.environ["AZURESEARCH_FIELDS_CONTENT_VECTOR"] = "contentVector"

from langchain_community.vectorstores.azuresearch import AzureSearch

def main():

    AZURE_OPENAI_API_KEY = "【Azure OpenAIのキー1】"
    AZURE_OPENAI_ENDPOINT = "【Azure OpenAIのエンドポイント】"
    AZURE_OPENAI_DEPLOYMENT_NAME = "text-embedding-3-large"
    AZURE_AI_SEARCH_URL = "【Azure AI SearchのURL】"
    AZURE_AI_SEARCH_MANAGEMENT_KEY = "【Azure AI Searchのプライマリ管理キー】"
    AZURE_AI_SEARCH_INDEX_NAME = "idx-doc"

    embeddings_model: AzureOpenAIEmbeddings = AzureOpenAIEmbeddings(
        api_key=AZURE_OPENAI_API_KEY,
        azure_endpoint=AZURE_OPENAI_ENDPOINT,
        azure_deployment=AZURE_OPENAI_DEPLOYMENT_NAME)

    vector_store: AzureSearch = AzureSearch(
        azure_search_endpoint=AZURE_AI_SEARCH_URL,
        azure_search_key=AZURE_AI_SEARCH_MANAGEMENT_KEY,
        index_name=AZURE_AI_SEARCH_INDEX_NAME,
        embedding_function=embeddings_model.embed_query
    )
    result = vector_store.similarity_search_with_relevance_scores(
        query="夏の朝のモカ",
        k=3,
        score_threshold=0.6)
    
    pprint(result)
    
if __name__=="__main__":
    sys.exit(main())

[
(Document(metadata={
  'id': 'b31803aab5df_aHR0cHM6Ly9zYTIwMjUwNzAxMDEwMDAxLmJsb2IuY29yZS53aW5kb3dzLm5ldC9icy1kb2MvZG9jdW1lbnQvJUU1JUE0JThGJUUzJTgxJUFFJUU2JTlDJTlEJUUzJTgxJUFFJUUzJTgzJUEyJUUzJTgyJUFCLnBkZg2_pages_0',
  'filepath': 'D:\\work\\ブログ\\Azure AI\\ドキュメント\\夏の朝のモカ.pdf', 
  'category': 'モカ', 
  'parent_id': 'aHR0cHM6Ly9zYTIwMjUwNzAxMDEwMDAxLmJsb2IuY29yZS53aW5kb3dzLm5ldC9icy1kb2MvZG9jdW1lbnQvJUU1JUE0JThGJUUzJTgxJUFFJUU2JTlDJTlEJUUzJTgxJUFFJUUzJTgzJUEyJUUzJTgyJUFCLnBkZg2', 
  '@search.score': 0.7460089, 
  '@search.reranker_score': None, 
  '@search.highlights': None, 
  '@search.captions': None
}, 
page_content='夏の朝のモカ \n\n \n\nモカは朝散歩ギリギリまで寝ています。 \n\n私が朝 4時に起 きた際には、一応ベッドまで挨拶に来ます。 \n\nその後、モカは二度寝を始めます。 \n\n \n\n5時 15分から朝散歩の準備を始めますが、モカは起きません。 \n\n散歩用バッグにウンチ袋、飲み水とトイレ用の水を入れ、保冷剤入りの服、私が首\n\nに巻く保冷剤、リードとハーネスを用意した段階で、目だけ開け、こちらを見ます。 \n\n \n\nそのため、モカを起こし、ハーネスと保冷剤入りの服を着せ、ワンちゃん用虫よけス\n\nプレーをモカと私にかけ、5時 45分頃に朝散歩に出かけます。 \n\n \n\n朝散歩は、大体、人の 5000歩程度歩きます。 \n\n夏は日陰でかつ風通しの良いところを歩きます。 \n\nこの時期は、他のワンちゃんも同じくらいの時間に散歩しています。 \n\n \n\n自宅に近い公園につくと、ワンちゃんが 10匹くらい集まります。 \n\nみんな で軽くおやつパーティーをし、帰ってきます。 \n\n \n\n家に帰ると、モカの足を洗い、その後朝食を食べます。 \n\n結構歩いているので、カリカリのご飯でも嫌がらず食べます。 \n\nそして、その後朝寝を始めます。'), 
0.7460089)
]

[
(Document(metadata={
  'id': 'b31803aab5df_aHR0cHM6Ly9zYTIwMjUwNzAxMDEwMDAxLmJsb2IuY29yZS53aW5kb3dzLm5ldC9icy1kb2MvZG9jdW1lbnQvJUU1JUE0JThGJUUzJTgxJUFFJUU2JTlDJTlEJUUzJTgxJUFFJUUzJTgzJUEyJUUzJTgyJUFCLnBkZg2_pages_0', 
  'filepath': 'D:\\work\\ブログ\\Azure AI\\ドキュメント\\夏の朝のモカ.pdf', 
  'parent_id': 'aHR0cHM6Ly9zYTIwMjUwNzAxMDEwMDAxLmJsb2IuY29yZS53aW5kb3dzLm5ldC9icy1kb2MvZG9jdW1lbnQvJUU1JUE0JThGJUUzJTgxJUFFJUU2JTlDJTlEJUUzJTgxJUFFJUUzJTgzJUEyJUUzJTgyJUFCLnBkZg2', 
  'category': 'モカ', 
  '@search.score': 0.7460089, 
  '@search.reranker_score': None, 
  '@search.highlights': None, 
  '@search.captions': None
}, 
page_content='夏の朝のモカ \n\n \n\nモカは朝散歩ギリギリまで寝ています。 \n\n私が朝 4時に起 きた際には、一応ベッドまで挨拶に来ます。 \n\nその後、モカは二度寝を始めます。 \n\n \n\n5時 15分から朝散歩の準備を始めますが、モカは起きません。 \n\n散歩用バッグにウンチ袋、飲み水とトイレ用の水を入れ、保冷剤入りの服、私が首\n\nに巻く保冷剤、リードとハーネスを用意した段階で、目だけ開け、こちらを見ます。 \n\n \n\nそのため、モカを起こし、ハーネスと保冷剤入りの服を着せ、ワンちゃん用虫よけス\n\nプレーをモカと私にかけ、5時 45分頃に朝散歩に出かけます。 \n\n \n\n朝散歩は、大体、人の 5000歩程度歩きます。 \n\n夏は日陰でかつ風通しの良いところを歩きます。 \n\nこの時期は、他のワンちゃんも同じくらいの時間に散歩しています。 \n\n \n\n自宅に近い公園につくと、ワンちゃんが 10匹くらい集まります。 \n\nみんな で軽くおやつパーティーをし、帰ってきます。 \n\n \n\n家に帰ると、モカの足を洗い、その後朝食を食べます。 \n\n結構歩いているので、カリカリのご飯でも嫌がらず食べます。 \n\nそして、その後朝寝を始めます。'),
0.7460089),
(Document(metadata={
  'id': 'b31803aab5df_aHR0cHM6Ly9zYTIwMjUwNzAxMDEwMDAxLmJsb2IuY29yZS53aW5kb3dzLm5ldC9icy1kb2MvZG9jdW1lbnQvJUU1JUE0JTk1JUU2JTk2JUI5JUUzJTgxJUFFJUUzJTgzJUEyJUUzJTgyJUFCLnBkZg2_pages_0', 
  'filepath': 'D:\\work\\ブログ\\Azure AI\\ドキュメント\\夕方のモカ.pdf', 
  'parent_id': 'aHR0cHM6Ly9zYTIwMjUwNzAxMDEwMDAxLmJsb2IuY29yZS53aW5kb3dzLm5ldC9icy1kb2MvZG9jdW1lbnQvJUU1JUE0JTk1JUU2JTk2JUI5JUUzJTgxJUFFJUUzJTgzJUEyJUUzJTgyJUFCLnBkZg2', 
  'category': 'モカ', 
  '@search.score': 0.66899145, 
  '@search.reranker_score': None, 
  '@search.highlights': None, 
  '@search.captions': None
}, 
page_content='夕方のモカ \n\n \n\n夕方になると、取り込んだ洗濯物を畳むタイミングでモカがボールを持ってやって\n\nきま す。 \n\nそのため、洗濯物を畳みながら、モカにボールを投げ始めます。 \n\nボールを取るのに興奮し、モカがたまに遠吠えをします。 \n\nそして、たまに吠えてきます。 \n\n吠えてきた時は、私は、モカに吠え癖がつかないように無視するようにしてます。 \n\n \n\n洗濯物を畳み終えた段階で、「そろそろご飯にするよー」と言うと、モカは自分のベ\n\nッドを嚙み始めます。 \n\n夕ご飯前の儀式です。 \n\n時々、ベッドを咥え、ひっくり返したりもします。 \n\n \n\n夕ご飯は、冷凍ブロッコリーを電子レンジで解凍し、細かく刻み、その上に解凍した\n\nワンちゃん用ご飯を乗せ、再度電子レンジで温めたものをあげてます。 \n\n電子レンジで温めた後に、ハンバーグを混ぜる要領で、ブロッコリーとワンちゃん\n\n用ご飯を混ぜ合わせ、あげます。 \n\nそうしないと、ブロッコリーだけ残してしまいます。 \n\n \n\n家族の夕食のときは、モカはご飯粒を食べたがるので、一口程度にしてあげます。 \n\n \n\n家族の夕食後に、モカのブラッシングをし、ご褒美をあげ、歯磨きをし、歯磨きガム\n\nをあげます。 \n\n歯磨き後は、歯磨きガム欲しさに、モカは吠え始めます。大興奮です。 \n\n歯磨きガムは、まるっとあげるのではなく、端から 1cm程度のところを持ち、モカ\n\nに右奥歯で 1cm、左奥歯で 1cmと食べていけるようにあげます。'),
0.66899145)]