CHANGELOG.md

Change Log

3.7.1 (Pre-Release)

• фича 100 - добавлена возможность остановки выполнения интеграционных тестов;
• добавлена проверка неявного приведения типа Number (поля dst.port, src.port и т.д.) к строке при операциях конкатенации (special thanks @FedosovaOA за кейс).

3.7.0 (Pre-Release)

• добавлен вывод уведомлений пользователю, если возникают проблемы с парсингом корреляций и нормализаций;
• фича #127 - интеграционных и модульные тесты работают для баз знаний без табличных списков;
• добавлена возможность сохранять интеграционные тесты по нажатию комбинации CTRL + S.

3.6.0 (Release)

• фича #44 - добавлена подсветка кода в интеграционных тестах с её обновлением в процессе редактирования;
• фича #88 - добавление конверта на события без конверта в интеграционных тестах;
• добавлено автоматическое выделение правила в дереве контента при открытии файлов *.co, *.en, *.xp в Explorer (Activity Bar);
• добавлены сниппеты для external_src.*, external_dst.*, datafield* и datafieldN;
• добавлены сниппеты и описание для функций декодирования Base64: decode, buffer_from_base64;
• обновлены шаблоны корреляций For_Profiling и Windows_Logon;
• исправлены ошибки и повышена стабильность.

3.5.13 (Pre-Release)

• PoC фичи #44 - добавлена подсветка кода в интеграционных тестах с её обновлением в процессе редактирования;
• поле нормализованного события в интеграционных тестах теперь readonly;
• в интеграционных тестах из отображения нормализованного события исключено поле body;
• из сравнения результатов тестов нормализаций исключены поля recv_time и time;
• добавлена валидация путей на наличие пробелов и кириллицы в тестах нормализаций (special thanks @gautama_s за кейс).

3.5.12 (Pre-Release)

• PoC фичи #88 - добавление конверта на события без конверта в интеграционных тестах;
• в создаваемый интеграционный тест теперь не копируются сырые события из предыдущего теста.

3.5.11 (Pre-Release)

• исправлена ошибка с получением ожидаемого события через код тестов.

3.5.10 (Pre-Release)

• добавлена базовая подсветка синтаксиса wld-файлов;
• функция получения ожидаемого события теперь обновляет его сразу в коде теста;
• улучшена подсветка синтаксиса макросов.

3.5.9 (Pre-Release)

• исправлена ошибка при тестировании правила с сабрулями;
• исправлена дата создания правила при использовании шаблонов.

3.5.8 (Pre-Release)

• исправлена ошибка редактирования локализаций.

3.5.7 (Pre-Release)

• исправлена ошибка потери актуального состояния кода правила при его переименовании.

3.5.6 (Pre-Release)

• исправлена проблема со свёртыванием/развёртыванием директорий в дереве контента.

3.5.5 (Pre-Release)

• улучшен шаблон For_Profiling, актуализированы его тесты и описание.

3.5.4 (Pre-Release)

• добавлены сниппеты и описание для функций декодирования Base64;
• исправлена ширина кнопки "обернуть в конверт";
• исправлены шаблоны For_Profiling и Windows_Logon.

3.5.3 (Pre-Release)

• добавлены сниппеты для external_src.*, external_dst.*, datafield* и datafieldN;
• исправлена ошибка неправильного отображения состояния интеграционных тестов.

3.5.2 (Pre-Release)

• исправлена кодировка при нормализации;
• исправлена кодировка вывода утилиты kbpack;
• убран параметр с appendix.xp при запуске тестов нормализации.

3.5.1 (Pre-Release)

• добавлена полная синхронизация панели Explorer и дерева контента.

3.5.0 (Pre-Release)

• добавлено автоматическое выделение правила в дереве контента при открытии файлов *.co или *.en в Explorer (Activity Bar).

3.4.0

• исправлена ошибка с кириллицей при получение ожидаемого события в интеграционных тестах;
• использованы более понятные термины в webView интеграционных тестов;
• добавлено сохранение нормализованных событий при сохранении интеграционных тестов;
• закрыта #111 - добавлена валидация ошибок присвоения полей события в блоках on/emit;
• закрыта #108 - вывод статуса интеграционных тестов;
• закрыта #110 - добавлена поддержка корректной кодировки ошибок при запуске интеграционных тестов;
• добавлена проверка наличия siemkb_tests при запуске интеграционных тестов;
• добавлена поддержка Pre-Release сборок.

3.3.25 (Pre-Release)

• заменил "Запустить быстрый тест" на "Получить ожидаемое событие" в интеграционных тестах;
• заменил "MIME-тип" на "Обернуть в конверт сырые события" в интеграционных тестах;
• добавлено сохранение нормализованных событий при сохранении всех интеграционных тестов.

3.3.24 (Pre-Release)

• исправлена ошибка с кириллицей при запуске "Быстрого теста" в интеграционных тестах.

3.3.23 (Pre-Release)

• закрыта #111 - добавлена валидация ошибок присвоения полей события в блоках on/emit;
• закрыта #108 - вывод статуса интеграционных тестов;
• закрыта #110 - добавлена поддержка корректной кодировки ошибок при запуске интеграционных тестов;
• добавлена проверка наличия siemkb_tests при запуске интеграционных тестов;
• добавлена поддержка Pre-Release сборок.

3.3.20

• добавлен прогресс бар для оборачивания большого количества событий в конверт;
• добавлено переименование нормализаций;
• убрал возможность создавать правила внутри директории табличного списка;
• исправлено #99 - неоднозначность терминологии в интерфейсе;
• исправлено #101 - интеграционные тесты не проходили при отсутствии заполненной локализации.

3.3.19

• добавлены 7 шаблонов нормализаций;
• исправлена ошибка при удалении тестов в webView интеграционных тестов (special thanks to @g4n8g);
• исправлено #84 - открытие правил с русской локализацией, но без английской;
• из метаинформации правил, создаваемых из шаблонов, исключено устаревшее поле метаинформации Name (special thanks to @g4n8g).

3.3.18

• исправлено #93 - перемешивание интеграционных тестов при сохранении или запуске всех тестов;
• добавлена функция проверка локализаций на основе тестовых событий - закрыт #94;
• модификация файлов интеграционных тестов только при их изменении - закрыт #91;
• добавлена проверка повторного запуска kbt-утилит в интеграционных тестов.

3.3.17

• добавлена поддержка работоспособности расширения без установленного git;
• удаление хотфикса с двойной вставкой в webView после исправления бага в VSCode;
• обновлено представление тактик матрицы MITRE в метаданных правил.

3.3.16

• исправлена ошибка упаковки пользовательского контента в kb-пакет;
• исправлена ошибка оборачивания в конверт событий в webView скоррелированных событий.

3.3.15

• исправлена ошибка оборачивания в конверт нескольких xml-событий;
• унифицирован способ запуска утилиты kbpack.

3.3.14

• добавлено автоматическое заполнение строковых значений полей типа enum;
• исправлена ошибка заполнения expect при создания корреляции из шаблона;
• исправлена ошибка заполнения поля метаданных Created при создания корреляции из шаблона;
• добавил подстановку имени правила в критерий локализации по умолчанию для правил корреляции и нормализации.

3.3.13

• фильтрация меток BOM из файлов метаинформации макросов.

3.3.12

• исправлено обрамление ключевого слова false в ТС;
• добавлена обработка формата для типа CybsiGrid;
• в алгоритм распаковки пакета добавлено копирование папки common.

3.3.11

• добавлено исправление формата табличных списков при импорте пакета.

3.3.10

• исправлена ошибка с распаковкой kb-файлов.

3.3.9

• добавлена поддержка интеграционных тестов для корреляций, использующий сабрули, и любых обогащений;
• оптимизирована компиляция артефактов при запуске интеграционных тестов;
• исправлена ошибка очищения временной директории при инициализации расширения.

3.3.8

• исправлена ошибка генерации идентификатора объекта базы знаний;
• исправлены шаблоны для создания правил (спасибо @Vasilisa-L).

3.3.7

• исправлена ошибка переименования обогащений;
• добавлена возможность изменения общего описания обогащений.

3.3.6

• правки для запуска на Linux;
• запуск всех модульных тестов нормализаций не требует сборки ТС;
• добавлена автоматическая загрузка новых стабильных версий в Open VSIX.

3.3.5

• табличные списки компилируются только для модульных тестов корреляций;
• добавлено автоматическое добавление новых стабильных версий в релизы;
• добавлена автоматическая загрузка новых стабильных версий в VSCode Marketplace.

3.3.4

• исправлены элементы в окне создания правила;
• исправлена проблема с выравниванием файлов в дереве контента;
• добавлены свои иконки папок.

3.3.3

• добавлена поддержка модульных тестов для нормализаций (special thanks to @aw350m3);
• реализован единый интерфейс запуска и редактирования модульных тестов для корреляций и нормализаций (special thanks to @aw350m3);
• расширена валидация блока filter для обогащений;
• добавлена функциональность для валидация alert.key и первого параметра макросов вайтлистинга;
• внесены изменения для корректной работы в linux-окружении (special thanks to @aw350m3);
• добавлена возможность создавать нормализации (special thanks to @aw350m3);
• внесены изменения для корректной работы с макросами;
• исправлены ошибки и повышена стабильность.

3.2.6

• добавлены расширенные автодополнения в блоке filter;
• добавлена возможность в тесты добавлять события в xml-формате из EventViewer;
• добавлена проверка на некорректное сравнение в блоке filter.

3.2.5

• исключено сохранение полей старого формата метаинформации;
• добавлена автоматическая сборка схемы ТС перед запуском быстрого теста (special thanks to @zBlur);
• в шаблон Unix_Connect добавлены блоки dst.* и src.* (special thanks to @g4n8g);
• исправлена ошибка проверки корректности первого параметра вайтлистинга и имени корреляции для новых макросов.

3.2.4

• добавлена поддержка нового формата метаинформации;
• исправлена ошибка добавлении локализации правила корреляции на одном языке;
• исключено сохранение собранного графа обогащения;
• скорректированы шаблоны Unix-правил и сниппеты под новую таксономию.

3.1.8

• добавлена поддержка системы перевода Memoq;
• добавлено выявление некорректного использования функции lower отдельно и в сочетании с функциями find_substr, match, regex;
• исправлена ошибка совпадения ObjectID при создании правил из шаблонов (special thanks to @bobyboba18 за кейс);
• добавлен вывод полей скоррелированных событий;
• добавлена возможность нормализовать и обогащать события в интеграционных тестах;
• добавлена поддержка KBT, единого пакета необходимых утилит и данных;
• добавлена поддержка использования сабрулей из других пакетов экспертизы;
• оптимизирован сбор ТС и графов при нормализации и обогащении тестовых событий;
• оптимизирован сбор ТС и графов при коррелировании событий;
• исправлена ошибка добавления конвертов на сырые события с важность medium;
• исправлена ошибка очистки скоррелированных событий;
• добавлены шаблоны unix правил (special thanks to @paran0id_34);
• оптимизирована сборка артефактов при запуске интеграционных тестов;
• добавлены сниппеты для событий Unix систем, начинающиеся с event Unix*;
• добавил валидацию равенства importance и incident.severity;
• сохранение ObjectID при переименовании корреляций и обогащений.

3.0.4

• из репозитория исключены внешние утилиты;
• изменена структура папок проекта;
• исключены лишние данные из тестов;
• выбрали временную иконку расширения;
• изменено название создаваемого vsix-файла.

3.0.3

• создание обогащений переведено на шаблоны;
• исправлена ошибка нормализации неактуального сырого события в интеграционных тестов;
• исправлена ошибка отображения нормализованного события в добавляемых тестах.

3.0.2

• исправлена ошибка запуска тестов для правил с сабрулями (special thanks to @bobyboba18 за кейс);
• исправлено открытие правила после появления ошибок в тестах (special thanks to @bobyboba18 за кейс);
• убрано открытие файлов с ошибками и предупреждениями при сборке графа, запуске интеграционных тестов.

3.0.1

• исправлено возможное перезатирание старой версией кода правила при переименовании (special thanks to @paran0id_34 за репорт).

3.0.0

• появился переключатель типов контента (SIEM, EDR) на нижней панели;
• улучшено информирование пользователя об ошибках нормализации событий в интеграционных тестах (special thanks to @bobyboba18 за кейс);
• исправил ошибку сохранения в метаинформации элементов списка EventID в двойных кавычках.

2.3.38

• улучшена подсветка синтаксиса модульных файлов модульных интеграционных тестов (.sc и .tc);
• исправлена ошибка с двойным копированием с помощью Ctrl+C, Ctrl+V.

2.3.36

• исправлена ошибка с поддержкой Unix-овых EventID в DataSources (special thanks to @paran0id_34 за репорт).

2.3.35

• исправлена ошибка подсветки и форматирования модульных тестов.

2.3.34

• добавлена подсветка ошибок заполнения полей в редакторе метаданных и проверка при сохранении (special thanks to @paran0id_34 за репорт);
• улучшена проверка имени корреляции в функциях вайтлистинга;
• проверена совместимость с VsCodium (тот же VsCode без телеметрии от Microsoft);
• из тестов выпилена значительная часть кода наших корреляций и убраны лишние атрибуты из метаданных;
• в описание функции regex добавлена ссылка на описание синтаксиса RE2.

2.3.33

• добавлена интеллектуальная подсветка вызовов функций, к которым добавлено описание;
• добавлена экспериментальная подсветка нормализованных событий в интеграционных тестах (special thanks to Макс Анфиногенов);
• добавлена первая версия шаблонов для создания корреляционных правил (special thanks to Кирилл Кирьянов).

2.3.32

• решены все проблемы со сборкой kb-пакета для корректной загрузки в SIEM через PTKB;
• исправлены ошибки в сниппетах и добавлены несколько экспериментальных по ключевому слову event;
• исправлена ошибка с кодировкой (или еще чем-то) в описаниях функций (special thanks to @paran0id_34 за репорт);
• добавлены описания функций языка XP (special thanks to Сергей Болдырев, Айнур Мухарлямов и @bobyboba18 за реализацию);
• исправлена ошибка появления описания параметров для вложенных вызовов функций;
• исправлена ошибка некорректного подсветки узлов дерева контента при изменении правила.

2.3.31

• исправлена ошибка переименовая корреляционного правила только с изменением регистра в Windows (special thanks Юле Фоминой за репорт);
• добавлено переименование обогащений;
• добавлено удаление полей siem_id, labels, time из секции expect интеграционных тестов и автоматическое в быстрых тестах;
• модифицирован шаблон "Универсальный", теперь $incident.severity = $importance;
• добавлено корректное отображение нормализованных событий в нормализациях несмотря на расширение .js.

2.3.30

• полностью реализована упаковка одного пакета с помощью kbtools;
• полностью реализована распаковка одного, нескольких пакетов с помощью kbtools;
• добавлена поддержка произвольной структуры базы знаний;
• новое название расширения eXtraction and Processing;
• повышена стабильность и производительность.

2.3.27

• исправлена ошибка некорректной генерации ObjectId при перемеиновании правила;
• теперь не возникает ошибок при работе с контентом без git-а;
• подсветка измененных и добавленных правил теперь идёт вместе с родительскими директориями;
• улучшено автоматическое обновление дерева при смене ветки;
• исправлена ошибка открытия макросов и нумерации модульных тестов;
• базовый функционал нормально начал отрабатывать на MacOS.

2.3.24

• исправлена ошибка создания двух штатных тестов при создании корреляции (special thanks to @bobyboba18 за репорт).

2.3.23

• добавлен настраиваемый через конфигурацию префикс для создаваемых правил и пакетов;
• доработана опция распаковки kb-пакетов в имеющийся репозиторий. Пакеты выгруженные из старого сиема имеют имя в виду GUID;

2.3.22

• сохранение контента проводиться асинхронно;
• уменьшен размер генерируемого ObjectId для исключения ошибок со стороны PTKB;
• исправлена ошибка сохранения модульных тестов.

2.3.20

• исключено дефолтное заполнение описания и локализации для правил корреляции;
• расширение можно запускать на Linux с дефолтной функциональностью;
• распаковка kb-файла в виде пакета.

2.3.12

• добавлена функция создания пакета через контекстное меню;
• сборка пакета в формате kb через контекстное меню;
• расширены операции с директориями для всех типов правил;
• исправлены ошибки и повышена стабильность.

2.3.11

• добавил разделение обнаруженных ошибок и замечаний по типам;
• реализовал унифицированную систему парсинга ошибок в интеграционных и модульных тестах;
• исправлена ошибка отображения вьюшек при обновлении VsCode до версии 1.73.

2.3.8

• вернулись к предыдущей схеме запуска интеграционных тестов для правил с сабрулями, сабрули успешно работают для правил в рамках одного пакета. Задача запуска тестов для произвольных сабрулей будет решена в будущих релизах;
• проверена работоспособность с новой версией build tools (0.23.889).

2.3.7

• добавлена подсветка ошибок синтаксиса правила в нативном окне VsCode при запуске интеграционных и модульных тестов;
• при запуске интеграционных тестов снова собираются все корреляции, так как выявленная ошибка c таймаутом больше не воспроизводится.

2.3.5

• улучшен механизм контроля смены ветки в репозитории;
• в модульные тесты добавлена проверка наличия нужных графов;
• в модульные тесты добавлено автоматическое сохранение тестов при их запуске;
• в модульных тестов улучшена обработка текущего состояния каждого теста;
• улучшена подсветка для конструкции query (special thanks to Кирилл Кирьянов за репорт).

2.3.4

• добавил подстветку синтаксиса файла табличного списка;
• в автодополнение добавлены наиболее популярные ключевые слова (and, or, not, with different, event, key, query, from, qhandler, limit, skip, filter, init, on, emit, close, within, timer, timeout_timer, as, insert_into, remove_from, clear_table, enrich, enrich_fields, if, then, elif, else, endif);
• добавлено автодополнение полей правила, которые начинаются с $;
• исправил ошибку сохранения всех тестов (special thanks to Сергей Щербаков за репорт).

2.3.3

• при запуске интеграционных тестов для правила с сабрулями, теперь собираются не все корреляции, а только из текущего пакета выбранного правила. Остальные графы как и прежде собираются в полном объеме. Так сделано из-за особенностей работы build-tools;
• добавлено автоматическое сохранение кода правила при запуске интеграционных (штатных и быстрых) тестов;
• реализовано автоматическое обновление дерева контента при смене текущей git-ветки;
• окно Output автоматически показывается в том случае, если оно действительно необходимо (результат модульных тестов) или появляется ошибка;
• исправлена ошибка с неполной очисткой полей события для expect;
• добавлено удаление новых строк из локализаций.

2.3.2

• добавлена возможность оборачивать в конверт сырые события, скопированные через Ctrl+C из SIEM-а;
• реализована автоматическая сортировка полей тестов (нормализованных событий и кода тестов), например, теперь поля группы subject.* находятся рядом, а не в хаотическом порядке как раньше.

2.3.1

• добавлена новая иконка расширения;
• автоматическое дополнение полей таксономии из файла описания;
• пополнено описание функций для корреляций и обогащений;
• исправлена ошибка с некорректным информированием о результате сбора графов.

2.2.9

• добавлена подсветка измененных правил из git;
• добавлена возможность запуска быстрых тестов для обогащений;
• исправлена ошибка некорректного результата быстрых тестов для обогащений и корреляций;
• описание функций в файле ptco.signature.json при открытии скобок c параметрами;
• автоматические автодополнение функций, описанных в файле ptco.signature.json;
• автодополнение функций и описание их параметров расширено для обогащений;
• возможность собирать схему ТС и графы нормализаций, обогащения и корреляции одной кнопкой.

2.2.6

• создание и редактирование обогащений;
• переименование корреляций;
• корректно работающие иконки при выполении модульных тестов;
• корректно работающий прогресс бар модульных тестов;
• сохранение статуса выполнения тестов с новыми иконками.

2.1.9

• исправлено заполнение метаинформации при создании корреляции;
• исправлено заполнение поле MITRE в метаинформации;
• исправлена ошибка с модульными тестами;
• добавлена возможность удалять модульные тесты.

2.1.7

• для правил, которые используют сабрули, автоматические собирается полный граф корреляций;
• исправлена ошибка оборачивания тестовых сырых событий в конверт;
• обновлены сниппеты;
• модифицировано представление интеграционных тестов;
• добавлена возможность очистить код интеграционных тестов (кнопка 'Очистить код теста');
• добавлена автоматическая очистка кода тестов при быстром тесте.

2.1.5

• исправлена ошибка открытия обогащений, агрегаций и нормализаций;
• добавлена подстветка синтаксиса агрегаций;
• исправил ошибку сохранения добавленных локализаций;
• добавил в шаблон "Универсальный" правила корреляции имя правила а вайтлистинг.

2.1.4

• добавлена возможность добавлять и удалять интеграционные тесты;
• теперь интеграционные тесты обновляются (перечитываются из файлов) каждый раз при их открытии;
• исправлена ошибка, связанная с удвоением скопированных данных во всех вебвью (интеграционные тесты и другие);
• версия VsCode поднята с "^1.43.0" до "^1.69.0";
• добавлено дефолтное заполнение кода интеграционного теста при его создании.

2.1.1

• нормализованное событие в интеграционных тестах (контекстное меню Тесты) выводится только если оно есть;
• теперь модульные тесты обновляются (перечитываются из файлов) каждый раз при выборе правила;
• исправлена ошибка кнопки обновления списка модульных тестов, она не отрабатывала;
• при выборе файла .co во вьюшке Explorer открывается правило в расширении, если оно ранее уже было в списке открытых правил.