Microsoft объявила об открытии исходного кода DocumentDB
Microsoft рад объявить об официальном выпуске DocumentDB — платформы базы данных документов с открытым исходным кодом и движка, на котором основана база данных Azure Cosmos DB на базе vCore для MongoDB, созданная на PostgreSQL.
Базы данных NoSQL исторически предоставляли облачные решения без общего стандарта для взаимодействия. Это привело к растущему спросу на совместимый, переносимый и полностью поддерживаемый готовый к производству локальный экземпляр хранилища данных документов. Мы также посчитали, что было бы здорово иметь стандарт для баз данных NoSQL, чтобы обеспечить большую гибкость как при выборе, так и при переключении между базами данных NoSQL. Более того, за последнее десятилетие произошел взрыв популярности PostgreSQL в сообществе разработчиков. Таким образом, чтобы удовлетворить потребности сообщества в базах данных NoSQL и обеспечить всеобщее принятие PostgreSQL, Microsoft запустили DocumentDB — полностью разрешительную платформу с открытым исходным кодом для хранилищ данных документов, построенную на мощном движке PostgreSQL.
Видимость
Миссия DocumentDB — предоставить сообществу разработчиков хранилище данных NoSQL, реализованное с использованием PostgreSQL с полной прозрачностью архитектуры и реализации движка. Все основные компоненты движка базы данных от операций CRUD (создание, чтение, обновление, удаление) до индексации и функциональности векторного поиска являются общедоступными. Более того, PostgreSQL пережил стремительный рост популярности благодаря своему постоянно развивающемуся набору функций и богатой экосистеме расширений. Microsoft решили запустить DocumentDB — полностью открытую платформу на базе PostgreSQL, на которой можно построить сквозной опыт работы с базой данных документов, чтобы удовлетворить потребности сообщества в базах данных NoSQL.
Лицензирование
Чтобы поддержать истинный дух открытого исходного кода, проект использует самую разрешительную лицензию MIT, где разработчики не имеют ограничений на включение проекта в свои новые и существующие решения. Нет никаких коммерческих лицензионных сборов, никаких ограничений на использование или распространение и никаких уловок. Хотя вклад в проект всегда приветствуется и поощряется, нет никаких требований к пользователям вносить свои настройки, вклады и улучшения обратно в проект. Лицензия MIT гарантирует полную свободу для создания ответвлений репозитория, использования и распространения без каких-либо обязательств.
Стандарт с открытым исходным кодом
DocumentDB — это первая реализация более амбициозной миссии проекта по созданию стандарта для баз данных документов с открытым исходным кодом, во многом похожего на стандарт SQL ANSI (Американский национальный институт стандартов) для реляционных баз данных. Создание стандарта NoSQL повысит совместимость и взаимодействие движков NoSQL в будущем. Мотивация стандарта — минимизировать различия в общедоступных API (интерфейсах прикладного программирования) и основах движка между реализациями баз данных NoSQL. В целом, это будет способствовать улучшению опыта разработчиков при подключении баз данных документов и, что более важно, при переключении с одной базы данных на другую.
Архитектура
Проект состоит из двух основных компонентов, которые работают вместе для поддержки документооборота:
- pg_documentdb_core — пользовательское расширение PostgreSQL, оптимизирующее поддержку типа данных BSON (Binary JavaScript Object Notation) в Postgres.
- pg_documentdb_api — Плоскость данных, реализующая операции CRUD, функциональность запросов и управление индексами.
Для авторов
Внизу стека находится слой pg_documentdb_core — полностью самодельное и настраиваемое расширение Postgres для оптимизации поддержки типа данных BSON. Это расширение предоставляет следующие возможности:
- Возможность анализа и обработки документов BSON на уровне Postgres ядра базы данных на всех уровнях вложенности документа BSON.
- Возможность индексировать поля в документе BSON, включая индексы отдельных полей, многоключевые индексы, составные индексы для оптимизации критериев фильтрации запросов по нескольким полям, текстовые индексы, а также геопространственные индексы, использующие возможности расширения PostGIS.
- Возможность выполнения векторных поисковых запросов с использованием расширения Postgres pg_vector. Распространенные варианты использования включают:
- Генеративные приложения ИИ, чат-боты, агенты ИИ
- Примеры использования обнаружения мошенничества и аномалий в финансовых услугах
- Поиск сходства для систем рекомендаций продуктов в приложениях розничной торговли
- Обработка естественного языка
- Фильтрация контента
- Шаблоны RAG (Retrieval-Augmented Generation) для контекстно-релевантных поисковых ответов
- Полностью функциональный механизм аутентификации, включая аутентификацию SCRAM (Salted Challenge Response Authentication Mechanism).
Эти функции в нижней части стека послужат основой для создания сквозного пользовательского опыта базы данных NoSQL. Слой трансляции протоколов может быть построен на вершине этого стека для преобразования входящего протокола базы данных NoSQL по выбору в базовый протокол Postgres.
Для пользователей
Пользователи, ищущие готовую к использованию базу данных NoSQL, могут использовать существующее решение в FerretDB, работающее на DocumentDB в качестве движка поддержки. FerretDB — это популярное хранилище данных документов с открытым исходным кодом с его последней версией ( FerretDB 2.0 ), закрепленное на DocumentDB. В то время как пользователи могут взаимодействовать с DocumentDB через Postgres, FerretDB 2.0 предоставляет интерфейс с протоколом базы данных документов. FerretDB также имеет аналогичную разрешительную лицензию Apache и значительное присутствие как в сообществах Postgres, так и в сообществах NoSQL.
Взаимодействие с создателями проекта
Microsoft хочет поощрять прямое взаимодействие между создателями проекта и сообществом разработчиков ПО с открытым исходным кодом, поскольку Microsoft приступает к миссии сделать Postgres самой гибкой платформой баз данных NoSQL и присоединиться к Microsoft в создании первого стандарта реализации для документных баз данных. Посетите Microsoft на GitHub для получения самой актуальной информации о дорожной карте и видении проекта. Присоединяйтесь к каналу Discord Microsoft, вносите свой вклад в более широкое видение и делитесь отзывами по обсуждениям дизайна.