Merge branch 'feature/profiling' into 'develop'

Ускорение получения тикетов

See merge request 2020-2021/online/s101/group-02/access_controller!69

main/extra_func.py

@@ -1,6 +1,5 @@
 import logging
-from datetime import timedelta, datetime, date
+from datetime import timedelta
-from typing import Optional
 
 from django.contrib.auth.models import User
 from django.core.exceptions import ObjectDoesNotExist
@@ -11,8 +10,9 @@ from zenpy.lib.exception import APIException
 from zenpy.lib.api_objects import User as ZenpyUser, Ticket as ZenpyTicket
 from zenpy.lib.generator import SearchResultGenerator
 
-from access_controller.settings import ZENDESK_ROLES as ROLES, ONE_DAY, ACTRL_ZENDESK_SUBDOMAIN
+from access_controller.settings import ZENDESK_ROLES as ROLES, ACTRL_ZENDESK_SUBDOMAIN
 from main.models import UserProfile, RoleChangeLogs, UnassignedTicket, UnassignedTicketStatus
+from main.requester import TicketListRequester
 from main.zendesk_admin import zenpy
 
 
@@ -64,11 +64,9 @@ def make_light_agent(user_profile: UserProfile, who_changes: User) -> None:
         else:
             ticket.assignee = None
             ticket.group_id = zenpy.buffer_group_id
-
+    if tickets:
-    if tickets.count:
+        zenpy.admin.tickets.update(tickets)
-        zenpy.admin.tickets.update(tickets.values)
+    attempts, success = 20, False
-
-    attempts, success = 5, False
     while not success and attempts != 0:
         try:
             update_role(user_profile, ROLES['light_agent'], who_changes)
@@ -95,7 +93,14 @@ def get_tickets_list(email):
     """
     Функция возвращает список тикетов пользователя Zendesk
     """
-    return zenpy.admin.search(assignee=email, type='ticket')
+    return TicketListRequester().get_tickets_list_for_user(zenpy.get_user(email))
+
+
+def get_tickets_list_for_group(group_name):
+    """
+    Функция возвращает список неназначенных, нерешённых тикетов группы Zendesk
+    """
+    return TicketListRequester().get_tickets_list_for_group(zenpy.get_group(group_name))
 
 
 def update_profile(user_profile: UserProfile):
@@ -235,258 +240,6 @@ def last_day_of_month(day: int) -> int:
     return next_month - timedelta(days=next_month.day)
 
 
-class StatisticData:
-    """
-    Класс для учета статистики интервалов работы пользователей.
-    Передаваемые параметры: start_date, end_date, email, stat.
-
-    :param display: Формат отображения времени (часы, минуты)
-    :type display: :class:`list`
-    :param interval: Интервал времени в часах и минутах
-    :type interval: :class:`list`
-    :param start_date: Дата начала работы
-    :type start_date: :class:`date`
-    :param end_date: Дата окончания работы
-    :type end_date: :class:`date`
-    :param email: Email пользователя
-    :type email: :class:`str`
-    :param errors: Список ошибок
-    :type errors: :class:`list`
-    :param warnings: Список предупреждений
-    :type warnings: :class:`list`
-    :param data: Ретроспектива смены ролей пользователя
-    :type data: :class:`dict`
-    :param statistic: Интервалы работы пользователя
-    :type statistic: :class:`dict`
-    """
-
-    def __init__(self, start_date, end_date, user_email, stat=None):
-        self.display = None
-        self.interval = None
-        self.start_date = start_date
-        self.end_date = end_date
-        self.email = user_email
-        self.errors = list()
-        self.warnings = list()
-        self.data = dict()
-        self.statistic = dict()
-        self._init_data()
-        if stat is None:
-            self._init_statistic()
-        else:
-            self.statistic = stat
-
-    def get_statistic(self) -> dict:
-        """
-        Функция возвращает статистику работы пользователя.
-
-        :return: Словарь statistic с применением формата отображения и интервала работы(если они есть). None, если были ошибки при создании.
-        """
-        if self.is_valid_statistic():
-            stat = self.statistic
-            stat = self._use_display(stat)
-            stat = self._use_interval(stat)
-            return stat
-        else:
-            return None
-
-    def is_valid_statistic(self) -> bool:
-        """
-        Функция проверяет были ли ошибки при создании статистики.
-
-        :return: True, при отсутствии ошибок
-        """
-        return not self.errors and self.statistic
-
-    def set_interval(self, interval: list) -> bool:
-        """
-        Функция проверяет корректность представления интервала работы.
-
-        :param interval: Интервал должен быть указан в днях или месяцах.
-        :return: True, если указан верно
-        """
-        if interval not in ['months', 'days']:
-            self.errors += ['Интервал работы должен быть в днях или месяцах']
-            return False
-        self.interval = interval
-        return True
-
-    def set_display(self, display_format: list) -> bool:
-        """
-        Функция проверяет корректность формата отображения интервала.
-
-        :param display_format: Формат отображения должен быть указан в днях или месяцах.
-        :return: True, если указан верно
-        """
-        if display_format not in ['days', 'hours']:
-            self.errors += ['Формат отображения должен быть в часах или днях']
-            return False
-        self.display = display_format
-        return True
-
-    def get_data(self) -> Optional[dict]:
-        """
-        Функция возвращает данные - список объектов RoleChangeLogs.
-        """
-        if self.is_valid_data():
-            return self.data
-        else:
-            return None
-
-    def is_valid_data(self) -> bool:
-        """
-        Функция определяет были ли ошибки при получении логов.
-
-        :return: True, если ошибок нет
-        """
-        return not self.errors
-
-    def _use_display(self, stat: list) -> list:
-        """
-        Функция приводит данные к формату отображения.
-
-        :param stat: Список данных статистики пользователя
-        :return: Обновленный список
-        """
-        if not self.is_valid_statistic() or not self.display:
-            return stat
-        new_stat = {}
-        for key, item in stat.items():
-            if self.display == 'hours':
-                new_stat[key] = item / 3600
-            elif self.display == 'days':
-                new_stat[key] = item / (ONE_DAY * 3600)
-        return new_stat
-
-    def _use_interval(self, stat: dict) -> dict:
-        """
-        Функция объединяет ключи и значения в соответствии с интервалом работы.
-
-        :param stat: Статистика работы пользователя
-        :return: Обновленная статистика
-        """
-        if not self.is_valid_statistic() or not self.interval:
-            return stat
-        new_stat = {}
-        if self.interval == 'months':
-            # Переделываем ключи под формат('начало_месяца - конец_месяца')
-            for key, value in stat.items():
-                current_month_start = max(self.start_date, date(year=key.year, month=key.month, day=1))
-                current_month_end = min(self.end_date, last_day_of_month(date(year=key.year, month=key.month, day=1)))
-                index = ' - '.join([str(current_month_start), str(current_month_end)])
-                if new_stat.get(index):
-                    new_stat[index] += value
-                else:
-                    new_stat[index] = value
-        elif self.interval == 'days':
-            new_stat = stat  # статистика изначально в днях
-        return new_stat
-
-    def check_time(self) -> bool:
-        """
-        Функция проверяет корректность введенного времени.
-
-        :return: True, если время указано корректно. Иначе, False
-        """
-        if self.end_date < self.start_date or self.end_date > datetime.now().date():
-            return False
-        return True
-
-    def _init_data(self):
-        """
-        Функция возвращает логи в диапазоне дат start_date - end_date для пользователя с указанным email.
-
-        :return: Данные о смене статусов пользователя. Если пользователь не найден или интервал времени некорректен - ошибку.
-        """
-        if not self.check_time():
-            self.errors += ['Конец диапазона должен быть позже начала диапазона и раньше текущего времени']
-            return
-        try:
-            self.data = RoleChangeLogs.objects.filter(
-                change_time__range=[self.start_date, self.end_date + timedelta(days=1)],
-                user=User.objects.get(email=self.email),
-            ).order_by('change_time')
-        except User.DoesNotExist:
-            self.errors += ['Пользователь не найден']
-
-    def _init_statistic(self) -> dict:
-        """
-        Функция заполняет словарь, в котором ключ - дата, значение - кол-во проработанных в этот день секунд.
-
-        :return: Статистика работы пользователя (statistic)
-        """
-        self.clear_statistic()
-        if not self.get_data():
-            self.warnings += ['Не обнаружены изменения роли в данном промежутке']
-            return None
-        first_log, last_log = self.data[0], self.data[len(self.data) - 1]
-
-        if first_log.old_role == ROLES['engineer']:
-            self.prev_engineer_logic(first_log)
-
-        if last_log.new_role == ROLES['engineer']:
-            self.post_engineer_logic(last_log)
-
-        for log_index in range(len(self.data) - 1):
-            if self.data[log_index].new_role == ROLES['engineer']:
-                self.engineer_logic(log_index)
-
-    def engineer_logic(self, log_index):
-        """
-        Функция обрабатывает основную часть работы инженера
-        """
-        current_log, next_log = self.data[log_index], self.data[log_index + 1]
-        if current_log.change_time.date() != next_log.change_time.date():
-            self.statistic[current_log.change_time.date()] += (
-                timedelta(days=1) - get_timedelta(current_log)).total_seconds()
-            self.statistic[next_log.change_time.date()] += get_timedelta(next_log).total_seconds()
-            self.fill_daterange(current_log.change_time.date() + timedelta(days=1), next_log.change_time.date())
-        else:
-            elapsed_time = next_log.change_time - current_log.change_time
-            self.statistic[current_log.change_time.date()] += elapsed_time.total_seconds()
-
-    def post_engineer_logic(self, last_log):
-        """
-        Функция обрабатывает случай, когда нам изветсно что инженер работал и после диапазона
-        """
-        self.fill_daterange(last_log.change_time.date() + timedelta(days=1), self.end_date + timedelta(days=1))
-        if last_log.change_time.date() == timezone.now().date():
-            self.statistic[last_log.change_time.date()] += (
-                get_timedelta(None, timezone.now().time()) - get_timedelta(last_log)
-            ).total_seconds()
-        else:
-            self.statistic[last_log.change_time.date()] += (
-                timedelta(days=1) - get_timedelta(last_log)).total_seconds()
-            if self.end_date == timezone.now().date():
-                self.statistic[self.end_date] = get_timedelta(None, timezone.now().time()).total_seconds()
-
-    def prev_engineer_logic(self, first_log):
-        """
-        Функция обрабатывает случай, когда нам изветсно что инженер начал работу до диапазона
-        """
-        self.fill_daterange(max(User.objects.get(email=self.email).date_joined.date(), self.start_date),
-                            first_log.change_time.date())
-        self.statistic[first_log.change_time.date()] += get_timedelta(first_log).total_seconds()
-
-    def fill_daterange(self, first: date, last: date, val: int = 24 * 3600) -> dict:
-        """
-        Функция заполняет диапазон дат значением val (по умолчанию val = кол-во секунд в 1 дне).
-
-        :param first: Начальная дата интервала
-        :param last: Последняя дата интервала
-        :param val: Количество секунд в одном дне
-        """
-        for day in daterange(first, last):
-            self.statistic[day] = val
-
-    def clear_statistic(self) -> dict:
-        """
-        Функция осуществляет обновление всех дней.
-        """
-        self.statistic.clear()
-        self.fill_daterange(self.start_date, self.end_date + timedelta(days=1), 0)
-
-
 class DatabaseHandler(logging.Handler):
     def __init__(self):
         logging.Handler.__init__(self)

main/requester.py

@@ -0,0 +1,38 @@
+import requests
+from zenpy import TicketApi
+from zenpy.lib.api_objects import Ticket
+
+from main.zendesk_admin import zenpy
+
+
+class TicketListRequester:
+    def __init__(self):
+        self.email = zenpy.credentials['email']
+        if zenpy.credentials.get('token'):
+            self.token_or_password = zenpy.credentials.get('token')
+            self.email += '/token'
+        else:
+            self.token_or_password = zenpy.credentials.get('password')
+        self.prefix = f'https://{zenpy.credentials.get("subdomain")}.zendesk.com/api/v2/'
+
+    def get_tickets_list_for_user(self, zendesk_user):
+        url = self.prefix + f'users/{zendesk_user.id}/tickets/assigned'
+        return self._get_tickets(url)
+
+    def get_tickets_list_for_group(self, group):
+        url = self.prefix + '/tickets'
+        all_tickets = self._get_tickets(url)
+        tickets = list()
+        for ticket in all_tickets:
+            if (ticket.status != 'solved') and (ticket.group_id == group.id) and (ticket.assignee_id is None):
+                tickets.append(ticket)
+        return tickets
+
+    def _get_tickets(self, url):
+        response = requests.get(url, auth=(self.email, self.token_or_password))
+        tickets = []
+        if response.status_code != 200:
+            return None
+        for ticket in response.json()['tickets']:
+            tickets.append(Ticket(api=TicketApi, **ticket))
+        return tickets

main/statistic_data.py

@@ -0,0 +1,261 @@
+from datetime import date, datetime, timedelta
+from typing import Optional
+
+from django.contrib.auth.models import User
+from django.utils import timezone
+
+from access_controller.settings import ONE_DAY, ZENDESK_ROLES as ROLES
+from main.extra_func import last_day_of_month, get_timedelta, daterange
+from main.models import RoleChangeLogs
+
+
+class StatisticData:
+    """
+    Класс для учета статистики интервалов работы пользователей.
+    Передаваемые параметры: start_date, end_date, email, stat.
+
+    :param display: Формат отображения времени (часы, минуты)
+    :type display: :class:`list`
+    :param interval: Интервал времени в часах и минутах
+    :type interval: :class:`list`
+    :param start_date: Дата начала работы
+    :type start_date: :class:`date`
+    :param end_date: Дата окончания работы
+    :type end_date: :class:`date`
+    :param email: Email пользователя
+    :type email: :class:`str`
+    :param errors: Список ошибок
+    :type errors: :class:`list`
+    :param warnings: Список предупреждений
+    :type warnings: :class:`list`
+    :param data: Ретроспектива смены ролей пользователя
+    :type data: :class:`dict`
+    :param statistic: Интервалы работы пользователя
+    :type statistic: :class:`dict`
+    """
+
+    def __init__(self, start_date, end_date, user_email, stat=None):
+        self.display = None
+        self.interval = None
+        self.start_date = start_date
+        self.end_date = end_date
+        self.email = user_email
+        self.errors = list()
+        self.warnings = list()
+        self.data = dict()
+        self.statistic = dict()
+        self._init_data()
+        if stat is None:
+            self._init_statistic()
+        else:
+            self.statistic = stat
+
+    def get_statistic(self) -> dict:
+        """
+        Функция возвращает статистику работы пользователя.
+
+        :return: Словарь statistic с применением формата отображения и интервала работы(если они есть). None, если были ошибки при создании.
+        """
+        if self.is_valid_statistic():
+            stat = self.statistic
+            stat = self._use_display(stat)
+            stat = self._use_interval(stat)
+            return stat
+        else:
+            return None
+
+    def is_valid_statistic(self) -> bool:
+        """
+        Функция проверяет были ли ошибки при создании статистики.
+
+        :return: True, при отсутствии ошибок
+        """
+        return not self.errors and self.statistic
+
+    def set_interval(self, interval: list) -> bool:
+        """
+        Функция проверяет корректность представления интервала работы.
+
+        :param interval: Интервал должен быть указан в днях или месяцах.
+        :return: True, если указан верно
+        """
+        if interval not in ['months', 'days']:
+            self.errors += ['Интервал работы должен быть в днях или месяцах']
+            return False
+        self.interval = interval
+        return True
+
+    def set_display(self, display_format: list) -> bool:
+        """
+        Функция проверяет корректность формата отображения интервала.
+
+        :param display_format: Формат отображения должен быть указан в днях или месяцах.
+        :return: True, если указан верно
+        """
+        if display_format not in ['days', 'hours']:
+            self.errors += ['Формат отображения должен быть в часах или днях']
+            return False
+        self.display = display_format
+        return True
+
+    def get_data(self) -> Optional[dict]:
+        """
+        Функция возвращает данные - список объектов RoleChangeLogs.
+        """
+        if self.is_valid_data():
+            return self.data
+        else:
+            return None
+
+    def is_valid_data(self) -> bool:
+        """
+        Функция определяет были ли ошибки при получении логов.
+
+        :return: True, если ошибок нет
+        """
+        return not self.errors
+
+    def _use_display(self, stat: list) -> list:
+        """
+        Функция приводит данные к формату отображения.
+
+        :param stat: Список данных статистики пользователя
+        :return: Обновленный список
+        """
+        if not self.is_valid_statistic() or not self.display:
+            return stat
+        new_stat = {}
+        for key, item in stat.items():
+            if self.display == 'hours':
+                new_stat[key] = item / 3600
+            elif self.display == 'days':
+                new_stat[key] = item / (ONE_DAY * 3600)
+        return new_stat
+
+    def _use_interval(self, stat: dict) -> dict:
+        """
+        Функция объединяет ключи и значения в соответствии с интервалом работы.
+
+        :param stat: Статистика работы пользователя
+        :return: Обновленная статистика
+        """
+        if not self.is_valid_statistic() or not self.interval:
+            return stat
+        new_stat = {}
+        if self.interval == 'months':
+            # Переделываем ключи под формат('начало_месяца - конец_месяца')
+            for key, value in stat.items():
+                current_month_start = max(self.start_date, date(year=key.year, month=key.month, day=1))
+                current_month_end = min(self.end_date, last_day_of_month(date(year=key.year, month=key.month, day=1)))
+                index = ' - '.join([str(current_month_start), str(current_month_end)])
+                if new_stat.get(index):
+                    new_stat[index] += value
+                else:
+                    new_stat[index] = value
+        elif self.interval == 'days':
+            new_stat = stat  # статистика изначально в днях
+        return new_stat
+
+    def check_time(self) -> bool:
+        """
+        Функция проверяет корректность введенного времени.
+
+        :return: True, если время указано корректно. Иначе, False
+        """
+        if self.end_date < self.start_date or self.end_date > datetime.now().date():
+            return False
+        return True
+
+    def _init_data(self):
+        """
+        Функция возвращает логи в диапазоне дат start_date - end_date для пользователя с указанным email.
+
+        :return: Данные о смене статусов пользователя. Если пользователь не найден или интервал времени некорректен - ошибку.
+        """
+        if not self.check_time():
+            self.errors += ['Конец диапазона должен быть позже начала диапазона и раньше текущего времени']
+            return
+        try:
+            self.data = RoleChangeLogs.objects.filter(
+                change_time__range=[self.start_date, self.end_date + timedelta(days=1)],
+                user=User.objects.get(email=self.email),
+            ).order_by('change_time')
+        except User.DoesNotExist:
+            self.errors += ['Пользователь не найден']
+
+    def _init_statistic(self) -> dict:
+        """
+        Функция заполняет словарь, в котором ключ - дата, значение - кол-во проработанных в этот день секунд.
+
+        :return: Статистика работы пользователя (statistic)
+        """
+        self.clear_statistic()
+        if not self.get_data():
+            self.warnings += ['Не обнаружены изменения роли в данном промежутке']
+            return None
+        first_log, last_log = self.data[0], self.data[len(self.data) - 1]
+
+        if first_log.old_role == ROLES['engineer']:
+            self.prev_engineer_logic(first_log)
+
+        if last_log.new_role == ROLES['engineer']:
+            self.post_engineer_logic(last_log)
+
+        for log_index in range(len(self.data) - 1):
+            if self.data[log_index].new_role == ROLES['engineer']:
+                self.engineer_logic(log_index)
+
+    def engineer_logic(self, log_index):
+        """
+        Функция обрабатывает основную часть работы инженера
+        """
+        current_log, next_log = self.data[log_index], self.data[log_index + 1]
+        if current_log.change_time.date() != next_log.change_time.date():
+            self.statistic[current_log.change_time.date()] += (
+                timedelta(days=1) - get_timedelta(current_log)).total_seconds()
+            self.statistic[next_log.change_time.date()] += get_timedelta(next_log).total_seconds()
+            self.fill_daterange(current_log.change_time.date() + timedelta(days=1), next_log.change_time.date())
+        else:
+            elapsed_time = next_log.change_time - current_log.change_time
+            self.statistic[current_log.change_time.date()] += elapsed_time.total_seconds()
+
+    def post_engineer_logic(self, last_log):
+        """
+        Функция обрабатывает случай, когда нам изветсно что инженер работал и после диапазона
+        """
+        self.fill_daterange(last_log.change_time.date() + timedelta(days=1), self.end_date + timedelta(days=1))
+        if last_log.change_time.date() == timezone.now().date():
+            self.statistic[last_log.change_time.date()] += (
+                get_timedelta(None, timezone.now().time()) - get_timedelta(last_log)
+            ).total_seconds()
+        else:
+            self.statistic[last_log.change_time.date()] += (
+                timedelta(days=1) - get_timedelta(last_log)).total_seconds()
+            if self.end_date == timezone.now().date():
+                self.statistic[self.end_date] = get_timedelta(None, timezone.now().time()).total_seconds()
+
+    def prev_engineer_logic(self, first_log):
+        """
+        Функция обрабатывает случай, когда нам изветсно что инженер начал работу до диапазона
+        """
+        self.fill_daterange(max(User.objects.get(email=self.email).date_joined.date(), self.start_date),
+                            first_log.change_time.date())
+        self.statistic[first_log.change_time.date()] += get_timedelta(first_log).total_seconds()
+
+    def fill_daterange(self, first: date, last: date, val: int = 24 * 3600) -> dict:
+        """
+        Функция заполняет диапазон дат значением val (по умолчанию val = кол-во секунд в 1 дне).
+
+        :param first: Начальная дата интервала
+        :param last: Последняя дата интервала
+        :param val: Количество секунд в одном дне
+        """
+        for day in daterange(first, last):
+            self.statistic[day] = val
+
+    def clear_statistic(self) -> dict:
+        """
+        Функция осуществляет обновление всех дней.
+        """
+        self.statistic.clear()
+        self.fill_daterange(self.start_date, self.end_date + timedelta(days=1), 0)

main/views.py

@@ -20,11 +20,13 @@ from django_registration.views import RegistrationView
 from rest_framework import viewsets
 from rest_framework.response import Response
 
-from access_controller.settings import DEFAULT_FROM_EMAIL, ZENDESK_ROLES, ZENDESK_MAX_AGENTS
+from access_controller.settings import DEFAULT_FROM_EMAIL, ZENDESK_ROLES, ZENDESK_MAX_AGENTS, ZENDESK_GROUPS
 from main.extra_func import check_user_exist, update_profile, get_user_organization, \
     make_engineer, make_light_agent, get_users_list, update_users_in_model, count_users, \
-    StatisticData, log, set_session_params_for_work_page
+    log, set_session_params_for_work_page, get_tickets_list_for_group
+from .statistic_data import StatisticData
 from main.zendesk_admin import zenpy
+from main.requester import TicketListRequester
 from main.forms import AdminPageUsers, CustomRegistrationForm, CustomAuthenticationForm, StatisticForm
 from main.serializers import ProfileSerializer, ZendeskUserSerializer
 from .models import UserProfile
@@ -227,15 +229,19 @@ def work_become_engineer(request: WSGIRequest) -> HttpResponseRedirect:
 def work_get_tickets(request):
     zenpy_user = zenpy.get_user(request.user.email)
     if zenpy_user.role == 'admin' or zenpy_user.custom_role_id == ZENDESK_ROLES['engineer']:
-        tickets = [ticket for ticket in zenpy.admin.search(type="ticket") if
+        tickets = get_tickets_list_for_group(ZENDESK_GROUPS['buffer'])
-                   ticket.group.name == 'Сменная группа' and ticket.assignee is None]
+        assigned_tickets = []
         count = 0
         for i in range(len(tickets)):
             if i == int(request.GET.get('count_tickets')):
+                if assigned_tickets:
+                    zenpy.admin.tickets.update(assigned_tickets)
                 return set_session_params_for_work_page(request, count)
             tickets[i].assignee = zenpy_user
-            zenpy.admin.tickets.update(tickets[i])
+            assigned_tickets.append(tickets[i])
             count += 1
+        if assigned_tickets:
+            zenpy.admin.tickets.update(assigned_tickets)
         return set_session_params_for_work_page(request, count)
     return set_session_params_for_work_page(request, is_confirm=False)
 

main/zendesk_admin.py

@@ -2,7 +2,6 @@ from typing import Optional, Dict
 from zenpy import Zenpy
 from zenpy.lib.api_objects import User as ZenpyUser, Group as ZenpyGroup
 from zenpy.lib.exception import APIException
-
 from access_controller.settings import ACTRL_ZENDESK_SUBDOMAIN, ACTRL_API_EMAIL, ACTRL_API_TOKEN, ACTRL_API_PASSWORD, \
     ZENDESK_GROUPS, SOLVED_TICKETS_EMAIL