Нагрузочное тестирование LMS платформы онлайн-школы

Клиент

200+

городах Росии

25 000+

учеников

Наш клиент (наименование под NDA) — платформа для обучения детей по всем школьным предметам. LMS содержит упражнения с автоматической проверкой и задания с открытым ответом, которые проверяет учитель, а затем даёт персональные рекомендации по освоению учебного материала. За прогрессом ученика можно следить в онлайн-дневнике.

Компания разработала новую версию платформы, которую нужно было проверить на стабильность работы под нагрузкой.

Для успешного релиза обновленной версии, платформа должна выдерживать одновременную работу максимального количества пользователей.

Задача проекта

Подготовила подход и описала пользовательские сценарии;
Реализовала скрипты нагрузочного тестирования в Jmeter;
Запустила скрипты на Stage-окружении Заказчика;
Подготовила визуальные отчеты по метрикам в Grafana;
По результатам тестирования составила рекомендации по изменениям в конфигурации системы и используемым методам.

Решение

QA специалисты компании УМАРТА провели нагрузочное тестирование типового пользовательского поведения внутри платформы. В ходе работ над проектом, команда тестирования:

Внутри платформы взаимодействуют несколько категорий пользователей.

Административный аппарат и учителя со стороны школы, дети с родителями — с другой стороны.

В систему входит более 10 модулей, с которыми работают пользователи.

Включая сервис онлайн-журнала, календарь ВКС с учениками, расписание уроков и другие функциональные возможности.

Особенности LMS платформы для QA тестирования

Проверка домашних заданий;
Редактирование календаря ВКС;
Взаимодействие с библиотекой курсов.

Совместно с заказчиком мы выделили наиболее популярные пользовательские сценарии, которые были протестированы под нагрузкой.

Ошибки при запуске сценариев.

Основные тесты проводились на выявление количества ошибок при запуске типовых сценариев и вызываемым методам. Все результаты выводились в виде отчетов в Grafana или таблицы по типам возникающих ошибок с детализацией по методам.

Виды проведенного тестирования

1

Время ответа сервера.

Мы также протестировали соответствие времени ответа сервера при максимальном числе пользователей. По каждому из пользовательских сценариев протестировали используемые методы и выделили запросы, которые превышают ожидаемый показатель в 3 секунды.

2

Использование RAM и CPU.

Проверили объем использования памяти и загрузки процессора во время выполнения нагрузочных скриптов для каждого сценария. В отчете отразили итоги с детализацией по сервисам, а также обозначили максимальные, минимальные и процентные показатели от общего доступного объема, выделенного под сервис.

3

Проблемы в ходе тестирования

Было выявлено, что один из сервисов при выполнении сценариев возвращает неуспешные ответы для всех методов и становится недоступным при достижении всего лишь 20% пользователей от целевого количества.

QA специалисты выявили причину такого поведения сервиса и рекомендовали провести рефакторинг метода, который влиял на работу сервиса. Компания УМАРТА была готова выделить под задачу собственных разработчиков, но проблему удалось устранить силами заказчика.

Выделить больше памяти для некоторых сервисов;
Увеличить лимиты CPU или оптимизировать механизмы отображения данных.

Результаты тестирования

По итогам проведенного тестирования QA инженеры УМАРТА составили список рекомендаций:

Дополнительно провели повторные тесты для ситуаций, когда рекомендации будут применены и подтвердили, что в этом случае количество ошибок снизится до нуля, а время отклика сервисов будет в заданном лимите в 3 секунды.

Расскажите о Вашей задаче и наши эксперты подберут решение