14 Февраля, 4 утра

На основной сервер, который отвечает за внутреннюю инфраструктуру PARFUMS.UA, попал вирус. Он зашифровал все данные. За считанные секунды вирус распространился по сети рабочих компьютеров сотрудников и добрался до сервера 1С. Это учетная программа, без которой вся работа по обслуживанию заказов останавливается.

Данные по заказам остались на своем месте, но в зашифрованном виде.

Получив сигнал тревоги, в офисе собралась вся IT-команда Парфумса, на помощь приехали даже бывшие сотрудники. До открытия магазина оставалось 4 часа, а при включении любого из офисных компьютеров сотрудник видел сообщение о том, что все зашифровано. Работа магазина была полностью парализована. Атаки избежал только сайт, который находился на другом сервере и продолжал хранить заказы. Покупатели о случившемся ничего не знали.

14 Февраля, 8 утра

Команда системных администраторов полностью развернула внутреннюю систему, вылечив рабочие компьютеры. Но база данных 1С за много лет работы, как и сама программа, все еще отсутствовали. Ни один сервисный отдел (Колл-центр, Склад, Логистика) не могли работать. Для сотрудников все заказы стали невидимыми и копились в базе данных сайта. На срочном собрании руководителей всех отделов было решено «собирать заказы в Excel и обрабатывать их вручную». На 3 дня мы снова вернулись в каменный век: как и много лет назад, в 2-х комнатной квартире, с которой начинал свой долгий путь наш магазин.

14 Февраля, 12:00

Нагрузка на Колл-центр умножилась в разы. Теперь действие, которое еще вчера занимало 5 минут, растянулось на полчаса. Заказов меньше не становилось. Операторы поделились на 2 группы: те, кто работает с новыми заказами и те, кто прикрывает тыл, обзванивая накопившиеся до атаки заказы. Количество «проблемных заказов» перевалило за 50%. Склад остановил прием нового товара, бросив все силы на сборку заказов. Курьеры толпились в очередях на терминалах, дожидаясь маршрутные листы. Отправка почтовыми службами остановилась.

14 Февраля, день

Те покупатели, кто заказал у нас ещё до кибер-атак, не дождавшись звонка оператора, начали звонить сами. Нагрузка на Контакт-центр увеличилась вдвое. На смену приехали даже те, у кого был выходной. На очередном собрании решили рассказать нашим клиентам всю правду.

14 Февраля, вечер

Смены работников сервисных отделов увеличились до 14 часов. Кто-то работал уже 2-ю неделю без выходных из-за «LoveDays». Работа с заказами в Excel быстро превратилась в хаос, операторы не могли оперативно ответить на все вопросы клиентов о состоянии их заказа, а количество таких вопросов в наших соц.сетях, блоге и на сторонних площадках росло с каждым часом.

15 Февраля, ночь

Хакеры прислали письмо с требованиями выкупа за ключ от шифра. Сумма была весомой, но мы решили заплатить и ждать ответ. Тем временем, 1С-программисты заново запускали 1С систему. В ней не было информации ни по одному из старых заказов, но это помогло обрабатывать новые заказы быстрее.

15 Февраля, утро

Заработала новая 1С. Часть сотрудников переносила в нее заказы с вчерашнего Excel, остальные старались не задерживать обслуживание новых. Количество «проблемных заказов» выросло до 80%.

15 Февраля, день

У операторов не осталось времени отвечать на вопросы клиентов «где сейчас мой заказ?», иначе они не успеют обработать новые и создастся вторая волна «проблемных» заказов.

Клиенты, не получившие ответ на свой вопрос в социальных сетях и блоге, начали активно звонить. Со всех сторон на нас свалилась волна обоснованного негатива (клиенты имели право знать, где их заказ). Каждая сотрудница Колл-центра в день обрабатывала огромное количество рекламаций, 20% клиентов отказывались от заказа, половина делали это с руганью и оскорблениями. На обеденном перерыве вместо супа была валерьянка, вместо обсуждения смешных историй – слезы, они спали по 4-5 часов и проблемам не было видно ни конца, ни края.

15 Февраля, вечер

Хакеры не отвечали. Создалось впечатление, что нас кинули и даже не собираются выполнять свою часть сделки. На нашу защиту в соцсетях стали верные постоянные клиенты. Вы писали нам ободряющие сообщения, за что мы бесконечно благодарны. Ваша поддержка дала нам силы не спать сутками и напомнила, ради чего мы все тут работаем.

16 Февраля, ночь

Хакеры прислали ключи для расшифровки части базы 1С, в подтверждение того, что они нам не врут, но за вторую часть ключей снова потребовали дополнительную сумму. На сомнения не было времени – мы перевели деньги на счет злоумышленников. Ответа так и не последовало.

16 Февраля, утро

Из-за нервного перенапряжения часть работников Колл-центра не вышла на работу, теперь с бедой остались лишь немногие. Огромный долг за эти дни по доставке, еще больше в «неопределенном» состоянии. Всем клиентам, которым мы звонили вчера, но не успели собрать заказ нужно позвонить повторно для того, чтобы рассказать о задержке. Отдел контента вручную восстанавливает данные о товарах, а отдел маркетинга выступает в роли военных музыкантов, пытаясь посреди поля сражения подбодрить как сотрудников магазина, так и клиентов, ожидающих свой долгожданный заказ.

16 Февраля, день

Хакеры выполнили обещание и выслали оставшиеся ключи. Расшифровка и актуализация баз данных займет 20 часов. Вся IT-команда трудится над восстановлением нашего магазина.
Количество возмущенных клиентов все еще растет и хоть мы уже видим проблески спасения, но каждый понимает, что разгребать накопившиеся проблемы нам придется еще не один день. У нас до сих пор нет гарантии, что ключи полностью расшифруют базу и это опять не окажется уловкой для требования нового выкупа.

На очередном собрании руководители всех отделов искали решение по восстановлению. Все на пальцах пытались объяснить друг-другу как нужно работать в этот кризисный период, как синхронизировать работу персонала и ускорить обработку. Одно предложение от одного человека – поток критики и непонимания от других. И так по кругу.

Нам нужно было срочно построить новую модель, не имея под рукой ни аналитики, ни технической поддержки. Лишь спустя 2 часа мы решили стоявшую перед нами задачу. В тот же момент мы начали делать первые маленькие шаги согласно новой «антикризисной» программе: постепенно восстановились почтовые отправки, была налажена работа по новым поступающим заказам, параллельно с этим велся процесс обработки старых.

16 Февраля, ночь

Удалось расшифровать базу. Теперь IT-команде предстоял второй этап «актуализация», ведь все дни отсутствия базы нам поступали новые заказы, у старых менялись статусы. Процедура заняла всю ночь, и ребята справились.

17 февраля 2017 г.

Любой украинский интернет-магазин, в ответ на вопрос «С чего начинался ваш бизнес?» скажет: «Мы начинали с малого: сняли офис, склад и наняли сотрудников». Начиная с 14 февраля, каждый сотрудник PARFUMS.UA может уверенно сказать, что наша компания родилась 2 раза. Первый был в маленькой 2-х комнатной квартирке на ул. Старокиевской.

А второй – 14 Февраля 2017 года, когда все сотрудники как обычно пришли на работу, но стали теми, кто 3 дня боролся за жизнь магазина. Когда вся техника перестала работать, они работали вручную. Когда поток негатива накрыл их с головой, они продолжали выполнять свой долг. Когда все обстоятельства пытались выбить их из колеи, они выстояли. И магазин родился заново. С Днем рождения, любимый Парфумс.

 

Дорогие наши! 

Нам неприятно и стыдно, что мы не смогли обезопасить себя от взлома и подставили вас. Мы искренне просим прощения за всё то, что вам довелось пережить за эти дни. Сейчас количество проблемных заказов удалось снизить до 30%, мы полностью возобновили почтовую отправку. 

Ни один заказ не потерян, просто мы еще не успели вам позвонить. С сегодняшнего дня и до конца следующей недели мы обещаем восстановить нормальный режим работы сайта и возобновить то доверие, которое зарабатывали годами.