我怎样才能减少查询次数?

此代码当前正在执行大约50个SQL查询:

c = Category.objects.all()

categories_w_rand_books = []

for category in c:
    r = Book.objects.filter(author__category=category).order_by('?')[:5]

    categories_w_rand_books.append((category, r))

我需要将使用的查询数量降至最低,以加快速度并且不会导致服务器负载。

基本上,我有三种模式:类别,作者,书。 作者属于类别(不是书籍),我需要获得所有类别的列表,每个类别下有5本随机书籍。


如果您更喜欢单个查询并使用MySQL ,请查看@Crazyshezy在其评论中提供的出色链接。
对于PostgreSQL后端,可能的查询是(假设从BookAuthor和从AuthorCategory有不可空的FK关系):

SELECT * FROM (
    SELECT book_table.*, row_number() OVER (PARTITION BY category_id ORDER BY RANDOM()) AS rn 
    FROM book_table INNER JOIN author_table ON book_table.author_id = author_table.id
) AS sq 
WHERE rn <= 5 

然后,您可以将其包装在RawQuerySet以获取Book实例

from collections import defaultdict
qs = Book.objects.raw("""The above sql suited for your tables...""")
collection = defaultdict(list)
for obj in qs:
    collection[obj.category_id].append(obj)

categories_w_rand_books = []
for category in c:
    categories_w_rand_books.append((category, collection[category.id]))

您可能不希望直接对某个缓存运行此查询。

此外,您的代码随机生成至多50 * 5 = 250 Book ,我只是想知道为什么,因为它对于单个页面来说似乎太多了。 项目是否显示为选项卡或其他内容? 也许你可以通过做Ajax来减少SQL的数量,或者简化要求?

更新

要使用book.author带触发多于另一个查询),请尝试prefetch_related_objects

from django.db.models.query import prefetch_related_objects
qs = list(qs) # have to evaluate at first
prefetch_related_objects(qs, ['author'])
# now instances inside qs already contain cached author instances, and
qs[0].author # will not trigger an extra query

上面的代码批量提取作者并将其填充到qs 。 这只是增加了另一个查询。


我不确定这是否会对您有所帮助,因为我不知道问题的细节和上下文,但是使用order_by('?')效率非常低,特别是某些数据库后端。

为了显示具有一点随机性的实体,我使用这种方法,使用自定义过滤器:

@register.filter
def random_iterator(list, k):
    import random
    class MyIterator:
        def __init__(self, obj, order):
            self.obj=obj
            self.cnt=0
            self.order = order

        def __iter__(self):
            return self

        def next(self):
            try:
                result=self.obj.__getitem__(self.order[self.cnt])
                self.cnt+=1
                return result
            except IndexError:
                raise StopIteration

    if list is None:
        list = []
    n = len(list)
    k = min(n, k)
    return MyIterator(list, random.sample(range(n), k))

我的Django视图中的代码是这样的:

RAND_BOUND = 50    
categories = Category.objects.filter(......)[RAND_BOUND]

而且,我以这种方式在我的模板中使用它:

{% for cat in categories|random_iterator:5 %}
 <li>{{ cat }}</li>             
{% endfor %}

这段代码将挑选5个随机的RAND_BOUND 。 这不是完美的解决方案,但希望它有帮助。

链接地址: http://www.djcxy.com/p/11667.html

上一篇: How can I cut down the number of queries?

下一篇: How to migrate from hosted TFS to on