我怎样才能减少查询次数?
此代码当前正在执行大约50个SQL查询:
c = Category.objects.all()
categories_w_rand_books = []
for category in c:
r = Book.objects.filter(author__category=category).order_by('?')[:5]
categories_w_rand_books.append((category, r))
我需要将使用的查询数量降至最低,以加快速度并且不会导致服务器负载。
基本上,我有三种模式:类别,作者,书。 作者属于类别(不是书籍),我需要获得所有类别的列表,每个类别下有5本随机书籍。
如果您更喜欢单个查询并使用MySQL
,请查看@Crazyshezy在其评论中提供的出色链接。
对于PostgreSQL
后端,可能的查询是(假设从Book
到Author
和从Author
到Category
有不可空的FK
关系):
SELECT * FROM (
SELECT book_table.*, row_number() OVER (PARTITION BY category_id ORDER BY RANDOM()) AS rn
FROM book_table INNER JOIN author_table ON book_table.author_id = author_table.id
) AS sq
WHERE rn <= 5
然后,您可以将其包装在RawQuerySet
以获取Book
实例
from collections import defaultdict
qs = Book.objects.raw("""The above sql suited for your tables...""")
collection = defaultdict(list)
for obj in qs:
collection[obj.category_id].append(obj)
categories_w_rand_books = []
for category in c:
categories_w_rand_books.append((category, collection[category.id]))
您可能不希望直接对某个缓存运行此查询。
此外,您的代码随机生成至多50 * 5 = 250 Book
,我只是想知道为什么,因为它对于单个页面来说似乎太多了。 项目是否显示为选项卡或其他内容? 也许你可以通过做Ajax来减少SQL的数量,或者简化要求?
更新
要使用book.author
带触发多于另一个查询),请尝试prefetch_related_objects
from django.db.models.query import prefetch_related_objects
qs = list(qs) # have to evaluate at first
prefetch_related_objects(qs, ['author'])
# now instances inside qs already contain cached author instances, and
qs[0].author # will not trigger an extra query
上面的代码批量提取作者并将其填充到qs
。 这只是增加了另一个查询。
我不确定这是否会对您有所帮助,因为我不知道问题的细节和上下文,但是使用order_by('?')
效率非常低,特别是某些数据库后端。
为了显示具有一点随机性的实体,我使用这种方法,使用自定义过滤器:
@register.filter
def random_iterator(list, k):
import random
class MyIterator:
def __init__(self, obj, order):
self.obj=obj
self.cnt=0
self.order = order
def __iter__(self):
return self
def next(self):
try:
result=self.obj.__getitem__(self.order[self.cnt])
self.cnt+=1
return result
except IndexError:
raise StopIteration
if list is None:
list = []
n = len(list)
k = min(n, k)
return MyIterator(list, random.sample(range(n), k))
我的Django视图中的代码是这样的:
RAND_BOUND = 50
categories = Category.objects.filter(......)[RAND_BOUND]
而且,我以这种方式在我的模板中使用它:
{% for cat in categories|random_iterator:5 %}
<li>{{ cat }}</li>
{% endfor %}
这段代码将挑选5个随机的RAND_BOUND
。 这不是完美的解决方案,但希望它有帮助。