apps/catalogue/migrations/0009_chg_book_count__heavy_cleaning.py

   1 # encoding: utf-8
   2 import datetime
   3 from south.db import db
   4 from south.v2 import SchemaMigration
   5 from django.db import models
   6
   7 class Migration(SchemaMigration):
   8
   9     def forwards(self, orm):
  10
  11         # Changing field 'Tag.book_count'
  12         db.alter_column('catalogue_tag', 'book_count', self.gf('django.db.models.fields.IntegerField')(null=True))
  13
  14         if not db.dry_run:
  15             from django.contrib.contenttypes.models import ContentType
  16             from django.utils.simplejson import loads, dumps
  17
  18             manager = orm.TagRelation.objects
  19
  20             def type_id(model):
  21                 return ContentType.objects.get_for_model(model).pk
  22
  23             def tagged_with_any(model, tags):
  24                 object_ids = {}
  25                 for relation in manager.filter(content_type=type_id(model), tag__in=tags):
  26                     object_ids[relation.object_id] = 1
  27                 return model.objects.filter(pk__in=object_ids.keys())
  28
  29             def get_tags(instance):
  30                 return [relation.tag for relation in manager.filter(
  31                             content_type=type_id(type(instance)), object_id=instance.pk).select_related()]
  32
  33             def refresh_book_count(tag):
  34                 if tag.category == 'theme':
  35                     objects = tagged_with_any(orm.Fragment, [tag]).only()
  36                 else:
  37                     objects = tagged_with_any(orm.Book, [tag]).only('slug')
  38                     if tag.category != 'set':
  39                         # eliminate descendants
  40                         l_tags = orm.Tag.objects.filter(slug__in=['l-'+book.slug for book in objects])
  41                         descendants_keys = [book.pk for book in tagged_with_any(orm.Book, l_tags)]
  42                         if descendants_keys:
  43                             objects = objects.exclude(pk__in=descendants_keys)
  44                 tag.book_count = objects.count()
  45                 tag.save()
  46
  47             def refresh_tag_counter(book):
  48                 tags = {}
  49                 for child in book.children.all().order_by():
  50                     for tag_pk, value in tag_counter(child).iteritems():
  51                         tags[tag_pk] = tags.get(tag_pk, 0) + value
  52                 for tag in [tag for tag in get_tags(book) if tag.category not in ('book', 'theme', 'set')]:
  53                     tags[tag.pk] = 1
  54                 book._tag_counter = dumps(tags)
  55                 book.save()
  56                 return tags
  57
  58             def tag_counter(book):
  59                 if book._tag_counter is None:
  60                     return refresh_tag_counter(book)
  61                 return dict((int(k), v) for k, v in loads(book._tag_counter).iteritems())
  62
  63             def theme_counter(book):
  64                 if book._theme_counter is None:
  65                     tags = {}
  66                     l_tag = orm.Tag.objects.get(slug='l-'+book.slug)
  67                     for fragment in tagged_with_any(orm.Fragment, [l_tag]):
  68                         for tag in [tag for tag in get_tags(fragment) if tag.category=='theme']:
  69                             tags[tag.pk] = tags.get(tag.pk, 0) + 1
  70                     book._theme_counter = dumps(tags)
  71                     book.save()
  72
  73
  74             # remove orphaned relations
  75             book_type_id = type_id(orm.Book)
  76             book_ids = [b.pk for b in orm.Book.objects.all().only()]
  77             manager.filter(content_type=book_type_id).exclude(object_id__in=book_ids).delete()
  78             del book_ids
  79
  80             fragment_type_id = type_id(orm.Fragment)
  81             fragment_ids = [b.pk for b in orm.Fragment.objects.all().only()]
  82             manager.filter(content_type=fragment_type_id).exclude(object_id__in=fragment_ids).delete()
  83             del fragment_ids
  84
  85             tag_ids = [t.pk for t in orm.Tag.objects.all().only()]
  86             manager.exclude(tag__in=tag_ids).delete()
  87             del tag_ids
  88
  89             # remove theme tags for books
  90             manager.filter(content_type=book_type_id).filter(tag__category='theme').delete()
  91
  92             # reset count fields
  93             for tag in orm.Tag.objects.exclude(category__in=('book', 'set')).iterator():
  94                 refresh_book_count(tag)
  95             for book in orm.Book.objects.all().iterator():
  96                 theme_counter(book)
  97             for book in orm.Book.objects.filter(parent=None).iterator():
  98                 tag_counter(book)
  99
 100     def backwards(self, orm):
 101
 102         # Changing field 'Tag.book_count'
 103         db.alter_column('catalogue_tag', 'book_count', self.gf('django.db.models.fields.IntegerField')())
 104
 105
 106     models = {
 107         'auth.group': {
 108             'Meta': {'object_name': 'Group'},
 109             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 110             'name': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '80'}),
 111             'permissions': ('django.db.models.fields.related.ManyToManyField', [], {'to': "orm['auth.Permission']", 'blank': 'True'})
 112         },
 113         'auth.permission': {
 114             'Meta': {'unique_together': "(('content_type', 'codename'),)", 'object_name': 'Permission'},
 115             'codename': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
 116             'content_type': ('django.db.models.fields.related.ForeignKey', [], {'to': "orm['contenttypes.ContentType']"}),
 117             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 118             'name': ('django.db.models.fields.CharField', [], {'max_length': '50'})
 119         },
 120         'auth.user': {
 121             'Meta': {'object_name': 'User'},
 122             'date_joined': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.now'}),
 123             'email': ('django.db.models.fields.EmailField', [], {'max_length': '75', 'blank': 'True'}),
 124             'first_name': ('django.db.models.fields.CharField', [], {'max_length': '30', 'blank': 'True'}),
 125             'groups': ('django.db.models.fields.related.ManyToManyField', [], {'to': "orm['auth.Group']", 'blank': 'True'}),
 126             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 127             'is_active': ('django.db.models.fields.BooleanField', [], {'default': 'True', 'blank': 'True'}),
 128             'is_staff': ('django.db.models.fields.BooleanField', [], {'default': 'False', 'blank': 'True'}),
 129             'is_superuser': ('django.db.models.fields.BooleanField', [], {'default': 'False', 'blank': 'True'}),
 130             'last_login': ('django.db.models.fields.DateTimeField', [], {'default': 'datetime.datetime.now'}),
 131             'last_name': ('django.db.models.fields.CharField', [], {'max_length': '30', 'blank': 'True'}),
 132             'password': ('django.db.models.fields.CharField', [], {'max_length': '128'}),
 133             'user_permissions': ('django.db.models.fields.related.ManyToManyField', [], {'to': "orm['auth.Permission']", 'blank': 'True'}),
 134             'username': ('django.db.models.fields.CharField', [], {'unique': 'True', 'max_length': '30'})
 135         },
 136         'catalogue.book': {
 137             'Meta': {'object_name': 'Book'},
 138             '_short_html': ('django.db.models.fields.TextField', [], {}),
 139             '_short_html_de': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 140             '_short_html_en': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 141             '_short_html_es': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 142             '_short_html_fr': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 143             '_short_html_lt': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 144             '_short_html_pl': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 145             '_short_html_ru': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 146             '_short_html_uk': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 147             '_tag_counter': ('catalogue.fields.JSONField', [], {'null': 'True'}),
 148             '_theme_counter': ('catalogue.fields.JSONField', [], {'null': 'True'}),
 149             'created_at': ('django.db.models.fields.DateTimeField', [], {'auto_now': 'True', 'blank': 'True'}),
 150             'description': ('django.db.models.fields.TextField', [], {'blank': 'True'}),
 151             'epub_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 152             'extra_info': ('catalogue.fields.JSONField', [], {}),
 153             'gazeta_link': ('django.db.models.fields.CharField', [], {'max_length': '240', 'blank': 'True'}),
 154             'html_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 155             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 156             'mp3_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 157             'odt_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 158             'ogg_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 159             'parent': ('django.db.models.fields.related.ForeignKey', [], {'blank': 'True', 'related_name': "'children'", 'null': 'True', 'to': "orm['catalogue.Book']"}),
 160             'parent_number': ('django.db.models.fields.IntegerField', [], {'default': '0'}),
 161             'pdf_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 162             'slug': ('django.db.models.fields.SlugField', [], {'unique': 'True', 'max_length': '120', 'db_index': 'True'}),
 163             'title': ('django.db.models.fields.CharField', [], {'max_length': '120'}),
 164             'txt_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'}),
 165             'wiki_link': ('django.db.models.fields.CharField', [], {'max_length': '240', 'blank': 'True'}),
 166             'xml_file': ('django.db.models.fields.files.FileField', [], {'max_length': '100', 'blank': 'True'})
 167         },
 168         'catalogue.bookstub': {
 169             'Meta': {'object_name': 'BookStub'},
 170             'author': ('django.db.models.fields.CharField', [], {'max_length': '120'}),
 171             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 172             'pd': ('django.db.models.fields.IntegerField', [], {'null': 'True', 'blank': 'True'}),
 173             'slug': ('django.db.models.fields.SlugField', [], {'unique': 'True', 'max_length': '120', 'db_index': 'True'}),
 174             'title': ('django.db.models.fields.CharField', [], {'max_length': '120'}),
 175             'translator': ('django.db.models.fields.TextField', [], {'blank': 'True'}),
 176             'translator_death': ('django.db.models.fields.TextField', [], {'blank': 'True'})
 177         },
 178         'catalogue.fragment': {
 179             'Meta': {'object_name': 'Fragment'},
 180             '_short_html': ('django.db.models.fields.TextField', [], {}),
 181             '_short_html_de': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 182             '_short_html_en': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 183             '_short_html_es': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 184             '_short_html_fr': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 185             '_short_html_lt': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 186             '_short_html_pl': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 187             '_short_html_ru': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 188             '_short_html_uk': ('django.db.models.fields.TextField', [], {'null': True, 'blank': True}),
 189             'anchor': ('django.db.models.fields.CharField', [], {'max_length': '120'}),
 190             'book': ('django.db.models.fields.related.ForeignKey', [], {'related_name': "'fragments'", 'to': "orm['catalogue.Book']"}),
 191             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 192             'short_text': ('django.db.models.fields.TextField', [], {}),
 193             'text': ('django.db.models.fields.TextField', [], {})
 194         },
 195         'catalogue.tag': {
 196             'Meta': {'unique_together': "(('slug', 'category'),)", 'object_name': 'Tag'},
 197             'book_count': ('django.db.models.fields.IntegerField', [], {'null': 'True'}),
 198             'category': ('django.db.models.fields.CharField', [], {'max_length': '50', 'db_index': 'True'}),
 199             'death': ('django.db.models.fields.IntegerField', [], {'null': 'True', 'blank': 'True'}),
 200             'description': ('django.db.models.fields.TextField', [], {'blank': 'True'}),
 201             'gazeta_link': ('django.db.models.fields.CharField', [], {'max_length': '240', 'blank': 'True'}),
 202             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 203             'main_page': ('django.db.models.fields.BooleanField', [], {'default': 'False', 'db_index': 'True', 'blank': 'True'}),
 204             'name': ('django.db.models.fields.CharField', [], {'max_length': '50', 'db_index': 'True'}),
 205             'slug': ('django.db.models.fields.SlugField', [], {'max_length': '120', 'db_index': 'True'}),
 206             'sort_key': ('django.db.models.fields.SlugField', [], {'max_length': '120', 'db_index': 'True'}),
 207             'user': ('django.db.models.fields.related.ForeignKey', [], {'to': "orm['auth.User']", 'null': 'True', 'blank': 'True'}),
 208             'wiki_link': ('django.db.models.fields.CharField', [], {'max_length': '240', 'blank': 'True'})
 209         },
 210         'catalogue.tagrelation': {
 211             'Meta': {'unique_together': "(('tag', 'content_type', 'object_id'),)", 'object_name': 'TagRelation', 'db_table': "'catalogue_tag_relation'"},
 212             'content_type': ('django.db.models.fields.related.ForeignKey', [], {'to': "orm['contenttypes.ContentType']"}),
 213             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 214             'object_id': ('django.db.models.fields.PositiveIntegerField', [], {'db_index': 'True'}),
 215             'tag': ('django.db.models.fields.related.ForeignKey', [], {'related_name': "'items'", 'to': "orm['catalogue.Tag']"})
 216         },
 217         'contenttypes.contenttype': {
 218             'Meta': {'unique_together': "(('app_label', 'model'),)", 'object_name': 'ContentType', 'db_table': "'django_content_type'"},
 219             'app_label': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
 220             'id': ('django.db.models.fields.AutoField', [], {'primary_key': 'True'}),
 221             'model': ('django.db.models.fields.CharField', [], {'max_length': '100'}),
 222             'name': ('django.db.models.fields.CharField', [], {'max_length': '100'})
 223         }
 224     }
 225
 226     complete_apps = ['catalogue']