探索 Python/Django 支持分布式多租户数据库，如 Postgres+Citus

发布时间：2025-11-05 07:34:52 来源：创站工坊 作者：系统运维

在 确定分布策略 中，探索我们讨论了在多租户用例中使用 Citus 所需的支持租户与框架无关的数据库更改。在这里，分布我们专门研究如何借助 django-multitenant 库将多租户 Django 应 用程序迁移到 Citus 存储后端。式多数据Djangohttps://www.djangoproject.com/确定分布策略http://citus.hackerlinner.com/develop/migration_mt_schema.html#mt-schema-migrationdjango-multitenanthttps://github.com/citusdata/django-multitenant

此过程将分为 5 个步骤：

准备横向扩展多租户应用程序

最初，您将从放置在单个数据库节点上的支持租户所有租户开始。为了能够扩展 django，分布必须对模型进行一些简单的式多数据更改。

让我们考虑这个简化的探索模型：

import timezone

import models

这种模式的棘手之处在于，为了找到一个帐户的支持租户所有任务，您必须首先查询一个帐户的分布所有项目。一旦您开始分片数据，式多数据这就会成为一个问题，探索特别是支持租户当您对嵌套模型(如本例中的任务)运行 UPDATE 或 DELETE 查询时。

1. 将租户列引入属于帐户的分布模型

为了扩展多租户模型，查询必须快速定位属于一个帐户的所有记录。考虑一个 ORM 调用，例如：

它生成这些底层 SQL 查询：

myapp_project

myapp_task

但是云南idc服务商，使用额外的过滤器，第二个查询会更快：

myapp_task

这样您就可以轻松查询属于一个帐户的任务。实现这一点的最简单方法是在属于帐户的每个对象上简单地添加一个 account_id 列。

在我们的例子中：

创建迁移以反映更改：python manage.py makemigrations。

目标与之前相同。我们希望能够将 ORM 调用和查询路由到一个帐户。我们还希望能够在 account_id 上分发与帐户相关的多对多关系。

所以产生的调用：

可以在他们的 WHERE 子句中包含这样的 account_id：

myapp_manager manager

myapp_projectmanager projectmanager

为此，我们需要引入 through 模型。在我们的例子中：

创建迁移以反映更改：python manage.py makemigrations。

2. 在所有主键和唯一约束中包含 account_id

Django 会自动在模型上创建一个简单的 “id” 主键，因此我们需要通过自己的自定义迁移来规避这种行为。运行 python manage.py makemigrations appname --empty --name remove_simple_pk, 并将结果编辑为如下所示：

import migrations

it was generated

but

对 UNIQUE 约束也需要做同样的事情。您可以使用 unique=True 或 unique_together 在模型中设置显式约束，例如：

对于这些约束，您可以简单地在模型中更改约束：

然后使用以下命令生成迁移：

一些 UNIQUE 约束是由 ORM 创建的企商汇，您需要显式删除它们。 OneToOneField 和 ManyToMany 字段就是这种情况。

对于这些情况，您需要：1. 找到约束 2. 进行迁移以删除它们 3. 重新创建约束，包括 account_id 字段。

要查找约束，请使用 psql 连接到您的数据库并运行 \d+ myapp_projectmanager 你将看到 ManyToMany (或 OneToOneField )约束：

在迁移中删除此约束：

import migrations

it was generated

然后改变你的模型有一个 unique_together 包括 account_id：

最后通过创建新迁移来应用更改以生成这些约束：

3. 更新模型以使用 TenantModelMixin 和 TenantForeignKey

接下来，我们将使用 django-multitenant 库将 account_id 添加到外键中，以便以后更轻松地查询应用程序。

在 Django 应用程序的 requirements.txt 中，添加：

运行 pip install -r requirements.txt。

在 settings.py 中，将数据库引擎改为 django-multitenant 提供的自定义引擎：

3.1 介绍 TenantModelMixin 和 TenantManager

模型现在不仅继承自 models.Model，还继承自 TenantModelMixin。

要在你的 models.py 文件中做到这一点，你需要执行以下导入：

以前我们的示例模型仅继承自 models.Model，但现在我们需要将它们更改为也继承自 TenantModelMixin。实际项目中的模型也可能继承自其他 mixin，例如 django.contrib.gis.db，这很好。

此时，您还将引入 tenant_id 来定义哪一列是分布列。

pass

...

...

...

...

...

3.2 处理外键约束

对于 ForeignKey 和 OneToOneField 约束，服务器托管我们有几种不同的情况：

最后你的模型应该是这样的：

import models

import TenantForeignKey

pass

# No changes needed

3.3 处理多对多约束

在本文的第二部分，我们介绍了在 citus 中， ManyToMany 关系需要一个带有租户列的 through 模型。这就是为什么我们有这个模型：

安装库、更改引擎和更新模型后，运行 python manage.py makemigrations。这将产生一个迁移，以便在必要时合成外键。

4. 在 Citus 中分发数据

我们需要最后一次迁移来告诉 Citus 标记要分发的表。创建一个新的迁移 python manage.py makemigrations appname --empty --name Distribute_tables。编辑结果如下所示：

import migrations

tenant_migrations

it was generated

从到目前为止的步骤中创建的所有迁移，使用 python manage.py migrate 将它们应用到数据库。

此时，Django 应用程序模型已准备好与 Citus 后端一起工作。您可以继续将数据导入新系统并根据需要修改视图以处理模型更改。

将 Django 应用程序更新为范围查询

django-multitenant 库不仅对迁移有用，而且对简化应用程序查询也很有用。该库允许应用程序代码轻松地将查询范围限定为单个租户。它会自动将正确的 SQL 过滤器添加到所有语句中，包括通过关系获取对象。

例如，在一个视图中只需 set_current_tenant，之后的所有查询或连接都将包含一个过滤器，以将结果范围限定为单个租户。

the current tenant to the first account

query applies only to Project for that account

the current account

在应用程序视图的上下文中，当前租户对象可以在用户登录时存储为 SESSION 变量， 并且视图操作可以 set_current_tenant 到该值。有关更多示例，请参阅 django-multitenant 中的 README。

set_current_tenant 函数也可以接受一个对象数组，比如：

它使用类似于 tenant_id IN (a,b,c) 的过滤器更新内部 SQL 查询。

使用中间件自动化

而不是在每个视图中调用 set_current_tenant()， 您可以在 Django 应用程序中创建并安装一个新的 middleware 类来自动完成。

import set_current_tenant

get_response

通过更新 src/appname/settings/base.py 中的 MIDDLEWARE 数组来启用中间件：

# ...

# existing items

# ...

相关文章