Svacer Wiki - User contributions [en]

Changelog

2026-02-09T11:30:13Z

Ruseer: /* Release 12-0-1 */

=== Release 12-0-1 ===

* Убраны ограничения на размер поля advanced filter в пользовательских фильтрах
* В публичных запросах возвращающих маркеры добавлено поле <code>checker_situation</code> соответствующее полю `situation` в детекторах
* Добавлена возможность фильтрации по <code>checker_situation</code> в advanced filter
* Добавлена возможность фильтрации по <code>checker_labels</code> в advanced filter. Поле содержит массив текстовых меток. В настоящий момент используется для пометки детекторов соответствующих <code>ГОСТ 71207-2024</code>
* Добавлен публичный фильтр по детекторам, соответствующим <code>ГОСТ 71207-2024</code> . Импортировано описание детекторов из <code>Svace version 5.0.251220</code>
* При миграции со старых версий баз (а так же при миграциях, связанных с изменением схемы генерации инвариантов) реализовано полное сохранение разметки и комментариев на маркерах и последующее восстановление пропущенных, после миграций, разметок и комментариев (при обнаружении таковых)
* Вынесен ряд timeout-ов на уровень переменных окружения для адаптации под пользовательские сценарии
* Добавлена подсветка синтаксиса для языка Lua
* Исправлены проблемы безопасности, связанные с импортом данных и механизмом токенов доступа (PAT)
* При загрузке снимков, svace-dir и разметки через командную строку появилась возможность указать флаг <code>retry-policy</code>, который задает время ожидания ответа от сервера, количество дополнительных попыток и задержка между повторами, например <code>30m:10:1m</code>

=== Release 12-0-0 ===
28.11.2025

* API методы на fullmarkers позволяют [[Help:Public API#Примеры использования фильтров в public api|указать фильтр]] с полем фильтрации по checker reliability
* В функциональность полнотекстового поиска добавлен поиск маркеров по id и инварианту
* Промежуточное хранилище при импорте результатов командой <code>svacer import / svacer sarif2 import</code> теперь использует новый формат представления. Это должно снизить использование памяти при импорте
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для [[Help:Configuration#Переменные окружения|контроля таймаута]] на ожидание начала импорта результатов и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на [[Help:Configuration#Переменные окружения|ограничение числа параллельных импортов]]. По умолчанию значения 15 минут и <code>(максимальное число коннектов к БД) / 2</code>. Ограничения необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В метрики Prometheus добавлен ряд показателей размеров object store
* Размер лога сервера, показываемого в Web-интерфейсе, ограничен. Размер [[Help:Configuration#Переменные окружения|задается переменной окружения]] SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл не ограничивается в размерах и кнопка выгрузки лога выгружает полный лог
* ['''Экспериментально'''] Можно [[Help:Configuration#Переменные окружения|указать JSON-формат]] лог-файла посредством параметра <code>svacer-server --log-format=json ...</code>, также формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции также работают для CLI-клиента svacer
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов. Это может решить проблему с переносом разметки
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных заданий при регенерации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена возможность создания [[Afilters|сложных пользовательских фильтров]] по условиям, выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant#Активация и запуск ИИ-ассистента|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* ['''Экспериментально'''] Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции <code>quick-stat</code>. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграция с внешними системами посредством механизма [[Help:Configuration#Механизм интеграции с внешними системами посредством Webhook-ов|Webhooks]]
* Добавлена [[Help:Configuration#Настройка защиты от перебора паролей пользователей|защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Configuration#Настройка парольной политики внутреннего механизма аутентификации Svacer|парольную политику безопасности]] для пользователей, использующих встроенный механизм аутентификации Svacer
* Добавлена возможность задать [[Help:Configuration#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутреннего механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок
* Форма [[Help:UI manual#Разметка маркера с помощью ассистента AI|разметки]] с помощью [[Help:XSvacer:AIAssistant|ИИ-ассистента]] реализована в основном интерфейсе Svacer
* [[Help:XSvacer:Webide#Запуск функциональности при использовании docker compose|Упрощён запуск функциональности Webide]] при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#deb/rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2026-02-09T04:36:50Z

Ruseer: Changelog 12-0-1

=== Release 12-0-1 ===

* Убраны ограничения на размер поля advanced filter в пользовательских фильтрах
* В публичных запросах возвращающих маркеры добавлено поле <code>checker_situation</code> соответствующее полю `situation` в детекторах
* Добавлена возможность фильтрации по <code>checker_situation</code> в advanced filter
* Добавлена возможность фильтрации по <code>checker_labels</code> в advanced filter
* Добавлен публичный фильтр по детекторам, соответствующим <code>ГОСТ 71207-2024</code> . Импортировано описание детекторов из <code>Svace version 5.0.251220</code>
* При миграции со старых версий баз (а так же при миграциях, связанных с изменением схемы генерации инвариантов) реализовано полное сохранение разметки и комментариев на маркерах и последующее восстановление пропущенных, после миграций, разметок и комментариев (при обнаружении таковых)
* Вынесен ряд timeout-ов на уровень переменных окружения для адаптации под пользовательские сценарии
* Добавлена подсветка синтаксиса для языка Lua

=== Release 12-0-0 ===
28.11.2025

* API методы на fullmarkers позволяют [[Help:Public API#Примеры использования фильтров в public api|указать фильтр]] с полем фильтрации по checker reliability
* В функциональность полнотекстового поиска добавлен поиск маркеров по id и инварианту
* Промежуточное хранилище при импорте результатов командой <code>svacer import / svacer sarif2 import</code> теперь использует новый формат представления. Это должно снизить использование памяти при импорте
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для [[Help:Configuration#Переменные окружения|контроля таймаута]] на ожидание начала импорта результатов и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на [[Help:Configuration#Переменные окружения|ограничение числа параллельных импортов]]. По умолчанию значения 15 минут и <code>(максимальное число коннектов к БД) / 2</code>. Ограничения необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В метрики Prometheus добавлен ряд показателей размеров object store
* Размер лога сервера, показываемого в Web-интерфейсе, ограничен. Размер [[Help:Configuration#Переменные окружения|задается переменной окружения]] SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл не ограничивается в размерах и кнопка выгрузки лога выгружает полный лог
* ['''Экспериментально'''] Можно [[Help:Configuration#Переменные окружения|указать JSON-формат]] лог-файла посредством параметра <code>svacer-server --log-format=json ...</code>, также формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции также работают для CLI-клиента svacer
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов. Это может решить проблему с переносом разметки
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных заданий при регенерации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена возможность создания [[Afilters|сложных пользовательских фильтров]] по условиям, выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant#Активация и запуск ИИ-ассистента|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* ['''Экспериментально'''] Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции <code>quick-stat</code>. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграция с внешними системами посредством механизма [[Help:Configuration#Механизм интеграции с внешними системами посредством Webhook-ов|Webhooks]]
* Добавлена [[Help:Configuration#Настройка защиты от перебора паролей пользователей|защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Configuration#Настройка парольной политики внутреннего механизма аутентификации Svacer|парольную политику безопасности]] для пользователей, использующих встроенный механизм аутентификации Svacer
* Добавлена возможность задать [[Help:Configuration#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутреннего механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок
* Форма [[Help:UI manual#Разметка маркера с помощью ассистента AI|разметки]] с помощью [[Help:XSvacer:AIAssistant|ИИ-ассистента]] реализована в основном интерфейсе Svacer
* [[Help:XSvacer:Webide#Запуск функциональности при использовании docker compose|Упрощён запуск функциональности Webide]] при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#deb/rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Review replication

2026-02-02T04:40:41Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2026-01-31@12:55:50.2b2780cd
|
* Улучшен механизм работы save/restore при миграции разметки
|-
|devel.2026-01-13@11:09:25.33b8eabd
|
* Добвлен флаг <code>--merge</code> в <code>reviewer migrate save</code> для обновление созданного бэкапа разметки
* Исправлен пропуск комментариев при команде <code>reviewer migrate restore</code> . Для восстановления пропущенных комментариев '''вначале''' выполнить команду save с флагом --merge и указать бэкап откуда делался restore ранее. Утилита дозапишет пропущенные данные в бэкап и при использовании restore они будут дозаписаны в базу
|-
|devel.2025-12-18@05:11:18.075773d1
|
* Добавлена команда <code>reviewer migrate save</code> для сохранения разметки и комментариев из базы
* Добавлена команда <code>reviewer migrate restore</code> для восстановления разметки и комментариев

Команды предназначены для исправления пропущенной разметки или комментариев при апгрейде со старых версий Svacer на последний релиз.

Команды работают напрямую с базой. Могут также использоваться для бэкапа данных разметки и комментариев
|-
|devel.2025-09-15@04:26:40.654d90f2
|
* Добавлен флаг <code>--autofix-duplicate-invariants</code> для дублей инвариантов
* Добавлен флаг <code>--autofix-all</code> для дублей комментариев, инвариантов и потенциально иных проблем
* Добавлена команда <code>safe-copy</code>для копирования разметки между ветками с автоисправлением дублей комментариев и инвариантов
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix
Файл с тремя предикатами, для случая изменения версий go модулей в пакете go-jmespath (<code>jmespath -> go-jmespath</code>)
// common case for function changes
unprocessed() &&
match_loc(warnclass,file,lang,tool,mtid, line) &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )
;;
// handle go-jmespath case
unprocessed() &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
match_loc(warnclass,file,lang,tool,mtid, line, details)
;;
// handle go mod versions
unprocessed() &&
match_loc(warnclass,lang,tool,mtid, line) &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
same_go_path() &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Review replication

2026-01-13T11:25:04Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2026-01-13@11:09:25.33b8eabd
|
* Добвлен флаг <code>--merge</code> в <code>reviewer migrate save</code> для обновление созданного бэкапа разметки
* Исправлен пропуск комментариев при команде <code>reviewer migrate restore</code> . Для восстановления пропущенных комментариев '''вначале''' выполнить команду save с флагом --merge и указать бэкап откуда делался restore ранее. Утилита дозапишет пропущенные данные в бэкап и при использовании restore они будут дозаписаны в базу
|-
|devel.2025-12-18@05:11:18.075773d1
|
* Добавлена команда <code>reviewer migrate save</code> для сохранения разметки и комментариев из базы
* Добавлена команда <code>reviewer migrate restore</code> для восстановления разметки и комментариев

Команды предназначены для исправления пропущенной разметки или комментариев при апгрейде со старых версий Svacer на последний релиз.

Команды работают напрямую с базой. Могут также использоваться для бэкапа данных разметки и комментариев
|-
|devel.2025-09-15@04:26:40.654d90f2
|
* Добавлен флаг <code>--autofix-duplicate-invariants</code> для дублей инвариантов
* Добавлен флаг <code>--autofix-all</code> для дублей комментариев, инвариантов и потенциально иных проблем
* Добавлена команда <code>safe-copy</code>для копирования разметки между ветками с автоисправлением дублей комментариев и инвариантов
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix
Файл с тремя предикатами, для случая изменения версий go модулей в пакете go-jmespath (<code>jmespath -> go-jmespath</code>)
// common case for function changes
unprocessed() &&
match_loc(warnclass,file,lang,tool,mtid, line) &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )
;;
// handle go-jmespath case
unprocessed() &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
match_loc(warnclass,file,lang,tool,mtid, line, details)
;;
// handle go mod versions
unprocessed() &&
match_loc(warnclass,lang,tool,mtid, line) &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
same_go_path() &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Review replication

2025-12-18T06:16:32Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-12-18@05:11:18.075773d1
|
* Добавлена команда <code>reviewer migrate save</code> для сохранения разметки и комментариев из базы
* Добавлена команда <code>reviewer migrate restore</code> для восстановления разметки и комментариев

Вышеприведенные команды предназначены для исправления пропущенной разметки или комментариев при апгрейде со старых версих Svacer на последний релиз.

Команды работают напрямую с базой. Могут так же использоваться для бэкапа данных разметки и комментариев
|-
|devel.2025-09-15@04:26:40.654d90f2
|
* Добавлен флаг <code>--autofix-duplicate-invariants</code> для дублей инвариантов
* Добавлен флаг <code>--autofix-all</code> для дублей комментариев, инвариантов и потенциально иных проблем
* Добавлена команда <code>safe-copy</code>для копирования разметки между ветками с автоисправлением дублей комментариев и инвариантов
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix
Файл с тремя предикатами, для случая изменения версий go модулей в пакете go-jmespath (<code>jmespath -> go-jmespath</code>)
// common case for function changes
unprocessed() &&
match_loc(warnclass,file,lang,tool,mtid, line) &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )
;;
// handle go-jmespath case
unprocessed() &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
match_loc(warnclass,file,lang,tool,mtid, line, details)
;;
// handle go mod versions
unprocessed() &&
match_loc(warnclass,lang,tool,mtid, line) &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
same_go_path() &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Changelog

2025-11-27T10:20:27Z

Ruseer:

=== Release 12-0-0 ===
* API методы на fullmarkers позволяют указать фильтр с полем фильтрации по checker reliability
* В функциональность полнотекстового поиска добавлен поиск маркеров под id и инварианту.
* Промежуточное хранилище при импорте результатов командой <code>svacer import / svacer sarif2 import</code> теперь использует новый формат представления (должно снизить использование памяти при импорте)
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера, показываемого в WEB интерфейсе, ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл не ограничивается в размерах и кнопка выгрузки лога выгружает полный лог.
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом [[Afilters]]
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* ['''Экспериментально'''] Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграциия с внешними системами посредством механизма [[Help:Installation#Механизм интеграции с внешними системами посредством Webhook-ов|Webhook-ов]]
* Добавлена [[Help:Installation#Настройка защиты от перебора паролей пользователей|Защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Installation#Настройка парольной политики внутреннего механизма аутентификации Svacer|Парольную политику безопасности]] для пользователей, использующих встроенный мханизм аутентификации Svacer
* Добавлена возможность задать [[Help:Installation#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-27T09:38:13Z

Ruseer: /* Release 12-0-0 */

=== Release 12-0-0 ===
* В функциональность полнотекстового поиска добавлен поиск маркеров под id и инварианту.
* Промежуточное хранилище при импорте результатов командой <code>svacer import / svacer sarif2 import</code> теперь использует новый формат представления (должно снизить использование памяти при импорте)
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера, показываемого в WEB интерфейсе, ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл не ограничивается в размерах и кнопка выгрузки лога выгружает полный лог.
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом [[Afilters]]
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* ['''Экспериментально'''] Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграциия с внешними системами посредством механизма [[Help:Installation#Механизм интеграции с внешними системами посредством Webhook-ов|Webhook-ов]]
* Добавлена [[Help:Installation#Настройка защиты от перебора паролей пользователей|Защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Installation#Настройка парольной политики внутреннего механизма аутентификации Svacer|Парольную политику безопасности]] для пользователей, использующих встроенный мханизм аутентификации Svacer
* Добавлена возможность задать [[Help:Installation#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Afilters

2025-11-27T09:36:58Z

Ruseer: /* Описание языка предикатов */

== Advanced filters ==
Поле "Расширенный фильтр" в пользовательских фильтрах предназначено для фильтрации маркеров (предупреждений) по сложным предикатам.
[[File:Image-afilters-prop.png|thumb]]
Предикат может использовать:

* поля маркера, его трассы, разметки и комментариев
* информацию из контекста (имя проекта, ветки, снимка и т.п.)
* атрибуты снимка (включая пользовательские атрибуты, заданные при импорте)
* статусы разметки
* текст и атрибуты комментариев

Формат фильтра определяется следующим шаблоном:
<code>filter(markers, <predicate expr> )</code>
Выражение <code><predicate expr></code> определяет предикат. Объект <code>markers</code> содержит массив маркеров из контекста, функция <code>filter</code> фильтрует данный список по предикату. Таким образом, применение фильтра заключается в фильтрации списка маркеров по указанному предикату.

== Список доступных полей ==

=== Поля маркера (предупреждения) ===

* <code>Comments</code> - список комментариев маркера. Объект типа Comment (смотреть ниже)
* <code>Details</code> - информация, специфичная для анализатора. Ближайший аналог - fingerprint в SARIF
* <code>File</code> - имя файла
* <code>Function</code> - имя функции, может быть managled для С++
* <code>ID</code> - UUID маркера
* <code>Invariant</code> - инвариант маркера. Используется для авто-переноса разметки между снимками
* <code>Lang</code> - язык детектора
* <code>Line</code> - номер строки в файле
* <code>LocID</code> - порядковый номер маркера относительно изначального отчета анализатора
* <code>MTid</code> - шаблон сообщения
* <code>Msg</code> - текст сообщения
* <code>OrigFunc</code> - 'человекочитаемое' имя функции. Может быть недоступно
* <code>Tags</code> - список тэгов(меток) маркера
* <code>Tool</code> - модуль анализатора, ответственного за данный детектор
* <code>Traces</code> - список трасс маркера. Объект типа Trace (смотреть ниже)
* <code>WarnClass</code> - название детектора/класса детекторов

Имена полей могут так же использоваться в формате, где первая буква в lower-case.

Помимо использования полей, пользователь может использовать вспомогательные функции для доступа к дополнительной информации:
<code>severity(item) string - серьезность детектора (чекера).
Пример: filter(markers, severity(#) == "Critical")</code>
'''Внимание:''' Использование в предикатах поля <code>Trace</code> может сказаться на скорости применения фильтра, т.к загрузка большого числа трасс может занять время.

=== Данные о разметке ===
Поддерживаются следующие функции для получения информации о разметки:

* <code>status(item) string</code> - статус разметки текущего маркера. Пример: <code>filter(markers, status(#) == "Confirmed")</code>
* <code>action(item) string</code> - статус поля action текущего маркера. Пример: <code>filter(markers, action(#) == "Ignore")</code>
* <code>mseverity(item) string</code> - статус поля severity текущего маркера (не путать с severity детектора). Пример: <code>filter(markers, mseverity(#) == "Critical")</code>
* <code>triaged(item) bool</code> - возвращает true, если маркер имеет не дефолтную разметку. Пример: <code>filter(markers, triaged(#))</code>
* <code>get_triaged_by(item) UserInfo</code> - возвращает структуру, с информацией о пользователе, кто произвел разметку

Поля структуры <code>UserInfo</code>:

* <code>login: string</code> - логин юзера
* <code>create_ts: Time (UTC)</code> - время разметки в <code>UTC</code> формате (RFC3339)

=== Комментарии ===
Объекты типа <code>Comment</code> содержатся в поле <code>Comments</code> маркера. Объект имеет следующие поля:

* <code>ID</code> - UUID комментария
* <code>Text</code> - текст комментария
* <code>CreatedBy</code> - имя пользователя, кто создал комментарий
* <code>CreateTs</code> - время создания комментария (объект типа <code>time.Time</code>)
* <code>UpdateTs</code> - время обновления комментария (объект типа <code>time.Time</code>), может быть пустым
* <code>UpdatedBy</code> - имя пользователя, кто обновил комментарий

=== Трассы ===
Маркер может содержать трассу маркера в поле <code>Traces</code>. Трасса описывается следующими структурами:
<code>type Trace struct {
Role string
Locations []TraceEntry
}
type TraceEntry struct {
File string
Line uint32
Col uint32
Info string
}</code>
Доступ к полям объекта <code>Trace</code> может выполняться используя правила языка <code>go-expr</code>, описанные ниже.

Имена полей могут использоваться в виде как описано выше, либо в формате lower-case: <code>role, locations, file, line, col, info</code>

Пример:
<code>filter(markers, any(.Comments, .Text == "Test") &&
any(.Traces, any(.Locations, .Info == "Boolean expression has constant value"))
)</code>

=== Поля снимка ===
Для доступа к полям снимка пользователь может использовать переменную <code>snapshot</code>. Переменная имеет тип структуры со следующими полями
<code>struct {
ID string
Name string
SerialID uint32
BuildObject string
ResultsObject string
ImportTime time.Time
CreatedBy string
CreatedByID string
Details map[string]any
CreateTime time.Time
SourcesAvailable bool
}</code>
Имена полей могут использоваться в виде, где первая буква в lower case.

Объекты в поле <code>Details</code> можно просмотреть нажав на <code>View JSON</code> кнопку в WebUI в поле <code>Snapshot Information</code>.

Пример:
<code>filter(markers,
snapshot.buildObject == "5b634b75422bd554a8569cc10bfadc3aea77b73e" &&
.warnClass matches "DEREF"
)</code>

= Описание языка предикатов =
Для написания предикатов используется язык '''Expr'''. Детальное описание всех возможностей можно найти здесь: https://github.com/expr-lang/expr

Далее описываются конструкции, наиболее подходящие для написания правил фильтрации.

== Литералы ==
<code>Comment /* */ or //
Boolean true, false
Integer 42, 0x2A, 0o52, 0b101010
Float 0.5, .5
String "foo", 'bar'
Array [1, 2, 3]
Map {a: 1, b: 2, c: 3}
Nil nil</code>

=== Строки ===
Строки могут быть в одинарных и двойных кавычках. Для эскейпа использовать обратный слэш.

Пример однострочного текста:
<code>"Hello\nWorld"</code>
Пример многострочного текста:
<code>`Hello
World`</code>
В многострочном тексте escape-последовательности не поддерживаются.

== Операторы ==
<code>Arithmetic: +, -, *, /, % (modulus), ^ or ** (exponent)
Comparison: ==, !=, <, >, <=, >=
Logical: not or !, and or &&, or or ||
Conditional: ?: (ternary), ?? (nil coalescing), if {} else {} (multiline)
Membership: [], ., ?., in
String: + (concatenation), contains, startsWith, endsWith
Regex: matches
Range ..
Slice [:]
Pipe |</code>

=== Операторы доступа к полю объекта ===
Пользователь может использовать оператор точка <code>.</code> и оператор <code>[]</code>:
<code>user.Name
user["Name"]</code>

=== Оператор in ===
Оператор <code>in</code> для проверки наличия объекта в массиве или мэпе:
<code>"John" in ["John", "Jane"]
"name" in {"name": "John", "age": 30}</code>

==== Optional chaining ====
Оператор <code>?.</code> может использоваться для доступа к полю структуры или элементу отображения (map) без необходимости проверки, является ли структура или отображение равными <code>nil</code>. Если структура или отображение имеют значение <code>nil</code>, результатом выражения будет <code>nil</code>.

Пример вида:
<code>author.User?.Name</code>
значит тоже самое, что:
<code>author.User != nil ? author.User.Name : nil</code>

==== Nil coalescing ====
Оператор <code>??</code> может использоваться для возврата левого операнда, если он не равен <code>nil</code>, в противном случае возвращается правый операнд.

Пример вида:
<code>author.User?.Name ?? "Anonymous"</code>
значит тоже самое, что:
<code>author.User != nil ? author.User.Name : "Anonymous"</code>

=== Оператор конвейера ===
Оператор конвейера <code>|</code> может использоваться для передачи результата выражения левого операнда в качестве первого аргумента выражения правого операнда.

Пример вида:
<code>user.Name | lower() | split(" ")</code>
значит тоже самое, что:
<code>split(lower(user.Name), " ")</code>

== Предикаты ==
Предикат — это выражение. Предикаты можно использовать в функциях, таких как filter, all, any, one, none и других.
<code>filter(0..9, {# % 2 == 0})</code>

<code>filter(tweets, {len(.Content) > 240})</code>
Скобки можно опускать <code>{</code> <code>}</code>:
<code>filter(tweets, len(.Content) > 240)</code>

== Операции над строками ==
<code>trim(str[, chars])
trimPrefix(str, prefix)
trimSuffix(str, suffix)
upper(str)
lower(str)
indexOf(str, substring)
lastIndexOf(str, substring)
hasPrefix(str, prefix)
hasSuffix(str, suffix)</code>
Так же есть оператор <code>matches</code> для поиска регулярного выражения в строке:
<code>str matches "regular expression"</code>
Для сопоставления целой строки с регулярным выражением следует использовать вариант:
<code>str matches "^regex$"</code>

== Функции времени ==
Поддерживаются Go типы для времени и интервалов (<code>time.Time</code>, <code>time.Duration</code>) time package.

Можно использовать операции сложения и вычитания над объектами с типом <code>time.Time</code>.
<code>createdAt - now()</code>

<code>createdAt + duration("1h")</code>

<code>createdAt > now() - duration("1h")</code>

<code>date("2023-08-14")
date("15:04:05")
date("2023-08-14T00:00:00Z")
date("2023-08-14 00:00:00", "2006-01-02 15:04:05", "Europe/Zurich")</code>

== Функции над массивами ==
<code>- all(array, predicate) - все объекты должны удовлетворять предикату
- any(array, predicate) - должен быть по крайней мере один объект, который удовлетворяет предикату
- one(array, predicate) - должен быть только один объект, который удовлетворяет предикату
- none(array, predicate) - ни один объект не должен удовлетворять предикату
- find(array, predicate) - возвращает первый объект, который удовлетворяет предикату
- findLast(array, predicate) - возвращает последний объект, который удовлетворяет предикату
- count(array[, predicate]) - возвращает число объектов, удовлетворяющих предикату
- first(array) - первый объект из массива
- last(array) - последний объект из массива</code>
Примеры:
<code>all(tweets, {.Size < 280})</code>

<code>any(tweets, {.Size > 280})</code>

<code>none(tweets, {.Size > 280})</code>

<code>find([1, 2, 3, 4], # > 2) == 3</code>

<code>findLast([1, 2, 3, 4], # > 2) == 4</code>

<code>count(users, .Age > 18)</code>

<code>first([1, 2, 3]) == 1</code>

<code>last([1, 2, 3]) == 3</code>

Afilters

2025-11-27T09:36:04Z

Ruseer: Описание advanced filters

== Advanced filters ==
Поле "Расширенный фильтр" в пользовательских фильтрах предназначено для фильтрации маркеров (предупреждений) по сложным предикатам.
[[File:Image-afilters-prop.png|thumb]]
Предикат может использовать:

* поля маркера, его трассы, разметки и комментариев
* информацию из контекста (имя проекта, ветки, снимка и т.п.)
* атрибуты снимка (включая пользовательские атрибуты, заданные при импорте)
* статусы разметки
* текст и атрибуты комментариев

Формат фильтра определяется следующим шаблоном:
<code>filter(markers, <predicate expr> )</code>
Выражение <code><predicate expr></code> определяет предикат. Объект <code>markers</code> содержит массив маркеров из контекста, функция <code>filter</code> фильтрует данный список по предикату. Таким образом, применение фильтра заключается в фильтрации списка маркеров по указанному предикату.

== Список доступных полей ==

=== Поля маркера (предупреждения) ===

* <code>Comments</code> - список комментариев маркера. Объект типа Comment (смотреть ниже)
* <code>Details</code> - информация, специфичная для анализатора. Ближайший аналог - fingerprint в SARIF
* <code>File</code> - имя файла
* <code>Function</code> - имя функции, может быть managled для С++
* <code>ID</code> - UUID маркера
* <code>Invariant</code> - инвариант маркера. Используется для авто-переноса разметки между снимками
* <code>Lang</code> - язык детектора
* <code>Line</code> - номер строки в файле
* <code>LocID</code> - порядковый номер маркера относительно изначального отчета анализатора
* <code>MTid</code> - шаблон сообщения
* <code>Msg</code> - текст сообщения
* <code>OrigFunc</code> - 'человекочитаемое' имя функции. Может быть недоступно
* <code>Tags</code> - список тэгов(меток) маркера
* <code>Tool</code> - модуль анализатора, ответственного за данный детектор
* <code>Traces</code> - список трасс маркера. Объект типа Trace (смотреть ниже)
* <code>WarnClass</code> - название детектора/класса детекторов

Имена полей могут так же использоваться в формате, где первая буква в lower-case.

Помимо использования полей, пользователь может использовать вспомогательные функции для доступа к дополнительной информации:
<code>severity(item) string - серьезность детектора (чекера).
Пример: filter(markers, severity(#) == "Critical")</code>
'''Внимание:''' Использование в предикатах поля <code>Trace</code> может сказаться на скорости применения фильтра, т.к загрузка большого числа трасс может занять время.

=== Данные о разметке ===
Поддерживаются следующие функции для получения информации о разметки:

* <code>status(item) string</code> - статус разметки текущего маркера. Пример: <code>filter(markers, status(#) == "Confirmed")</code>
* <code>action(item) string</code> - статус поля action текущего маркера. Пример: <code>filter(markers, action(#) == "Ignore")</code>
* <code>mseverity(item) string</code> - статус поля severity текущего маркера (не путать с severity детектора). Пример: <code>filter(markers, mseverity(#) == "Critical")</code>
* <code>triaged(item) bool</code> - возвращает true, если маркер имеет не дефолтную разметку. Пример: <code>filter(markers, triaged(#))</code>
* <code>get_triaged_by(item) UserInfo</code> - возвращает структуру, с информацией о пользователе, кто произвел разметку

Поля структуры <code>UserInfo</code>:

* <code>login: string</code> - логин юзера
* <code>create_ts: Time (UTC)</code> - время разметки в <code>UTC</code> формате (RFC3339)

=== Комментарии ===
Объекты типа <code>Comment</code> содержатся в поле <code>Comments</code> маркера. Объект имеет следующие поля:

* <code>ID</code> - UUID комментария
* <code>Text</code> - текст комментария
* <code>CreatedBy</code> - имя пользователя, кто создал комментарий
* <code>CreateTs</code> - время создания комментария (объект типа <code>time.Time</code>)
* <code>UpdateTs</code> - время обновления комментария (объект типа <code>time.Time</code>), может быть пустым
* <code>UpdatedBy</code> - имя пользователя, кто обновил комментарий

=== Трассы ===
Маркер может содержать трассу маркера в поле <code>Traces</code>. Трасса описывается следующими структурами:
<code>type Trace struct {
Role string
Locations []TraceEntry
}
type TraceEntry struct {
File string
Line uint32
Col uint32
Info string
}</code>
Доступ к полям объекта <code>Trace</code> может выполняться используя правила языка <code>go-expr</code>, описанные ниже.

Имена полей могут использоваться в виде как описано выше, либо в формате lower-case: <code>role, locations, file, line, col, info</code>

Пример:
<code>filter(markers, any(.Comments, .Text == "Test") &&
any(.Traces, any(.Locations, .Info == "Boolean expression has constant value"))
)</code>

=== Поля снимка ===
Для доступа к полям снимка пользователь может использовать переменную <code>snapshot</code>. Переменная имеет тип структуры со следующими полями
<code>struct {
ID string
Name string
SerialID uint32
BuildObject string
ResultsObject string
ImportTime time.Time
CreatedBy string
CreatedByID string
Details map[string]any
CreateTime time.Time
SourcesAvailable bool
}</code>
Имена полей могут использоваться в виде, где первая буква в lower case.

Объекты в поле <code>Details</code> можно просмотреть нажав на <code>View JSON</code> кнопку в WebUI в поле <code>Snapshot Information</code>.

Пример:
<code>filter(markers,
snapshot.buildObject == "5b634b75422bd554a8569cc10bfadc3aea77b73e" &&
.warnClass matches "DEREF"
)</code>

= Описание языка предикатов =
Для написания предикатов используется язык '''Expr'''. Детальное описание всех возможностей можно найти здесь: <nowiki>https://github.com/expr-lang/expr</nowiki>.

Далее описываются конструкции, наиболее подходящие для написания правил фильтрации.

== Литералы ==
<code>Comment /* */ or //
Boolean true, false
Integer 42, 0x2A, 0o52, 0b101010
Float 0.5, .5
String "foo", 'bar'
Array [1, 2, 3]
Map {a: 1, b: 2, c: 3}
Nil nil</code>

=== Строки ===
Строки могут быть в одинарных и двойных кавычках. Для эскейпа использовать обратный слэш.

Пример однострочного текста:
<code>"Hello\nWorld"</code>
Пример многострочного текста:
<code>`Hello
World`</code>
В многострочном тексте escape-последовательности не поддерживаются.

== Операторы ==
<code>Arithmetic: +, -, *, /, % (modulus), ^ or ** (exponent)
Comparison: ==, !=, <, >, <=, >=
Logical: not or !, and or &&, or or ||
Conditional: ?: (ternary), ?? (nil coalescing), if {} else {} (multiline)
Membership: [], ., ?., in
String: + (concatenation), contains, startsWith, endsWith
Regex: matches
Range ..
Slice [:]
Pipe |</code>

=== Операторы доступа к полю объекта ===
Пользователь может использовать оператор точка <code>.</code> и оператор <code>[]</code>:
<code>user.Name
user["Name"]</code>

=== Оператор in ===
Оператор <code>in</code> для проверки наличия объекта в массиве или мэпе:
<code>"John" in ["John", "Jane"]
"name" in {"name": "John", "age": 30}</code>

==== Optional chaining ====
Оператор <code>?.</code> может использоваться для доступа к полю структуры или элементу отображения (map) без необходимости проверки, является ли структура или отображение равными <code>nil</code>. Если структура или отображение имеют значение <code>nil</code>, результатом выражения будет <code>nil</code>.

Пример вида:
<code>author.User?.Name</code>
значит тоже самое, что:
<code>author.User != nil ? author.User.Name : nil</code>

==== Nil coalescing ====
Оператор <code>??</code> может использоваться для возврата левого операнда, если он не равен <code>nil</code>, в противном случае возвращается правый операнд.

Пример вида:
<code>author.User?.Name ?? "Anonymous"</code>
значит тоже самое, что:
<code>author.User != nil ? author.User.Name : "Anonymous"</code>

=== Оператор конвейера ===
Оператор конвейера <code>|</code> может использоваться для передачи результата выражения левого операнда в качестве первого аргумента выражения правого операнда.

Пример вида:
<code>user.Name | lower() | split(" ")</code>
значит тоже самое, что:
<code>split(lower(user.Name), " ")</code>

== Предикаты ==
Предикат — это выражение. Предикаты можно использовать в функциях, таких как filter, all, any, one, none и других.
<code>filter(0..9, {# % 2 == 0})</code>

<code>filter(tweets, {len(.Content) > 240})</code>
Скобки можно опускать <code>{</code> <code>}</code>:
<code>filter(tweets, len(.Content) > 240)</code>

== Операции над строками ==
<code>trim(str[, chars])
trimPrefix(str, prefix)
trimSuffix(str, suffix)
upper(str)
lower(str)
indexOf(str, substring)
lastIndexOf(str, substring)
hasPrefix(str, prefix)
hasSuffix(str, suffix)</code>
Так же есть оператор <code>matches</code> для поиска регулярного выражения в строке:
<code>str matches "regular expression"</code>
Для сопоставления целой строки с регулярным выражением следует использовать вариант:
<code>str matches "^regex$"</code>

== Функции времени ==
Поддерживаются Go типы для времени и интервалов (<code>time.Time</code>, <code>time.Duration</code>) time package.

Можно использовать операции сложения и вычитания над объектами с типом <code>time.Time</code>.
<code>createdAt - now()</code>

<code>createdAt + duration("1h")</code>

<code>createdAt > now() - duration("1h")</code>

<code>date("2023-08-14")
date("15:04:05")
date("2023-08-14T00:00:00Z")
date("2023-08-14 00:00:00", "2006-01-02 15:04:05", "Europe/Zurich")</code>

== Функции над массивами ==
<code>- all(array, predicate) - все объекты должны удовлетворять предикату
- any(array, predicate) - должен быть по крайней мере один объект, который удовлетворяет предикату
- one(array, predicate) - должен быть только один объект, который удовлетворяет предикату
- none(array, predicate) - ни один объект не должен удовлетворять предикату
- find(array, predicate) - возвращает первый объект, который удовлетворяет предикату
- findLast(array, predicate) - возвращает последний объект, который удовлетворяет предикату
- count(array[, predicate]) - возвращает число объектов, удовлетворяющих предикату
- first(array) - первый объект из массива
- last(array) - последний объект из массива</code>
Примеры:
<code>all(tweets, {.Size < 280})</code>

<code>any(tweets, {.Size > 280})</code>

<code>none(tweets, {.Size > 280})</code>

<code>find([1, 2, 3, 4], # > 2) == 3</code>

<code>findLast([1, 2, 3, 4], # > 2) == 4</code>

<code>count(users, .Age > 18)</code>

<code>first([1, 2, 3]) == 1</code>

<code>last([1, 2, 3]) == 3</code>

File:Image-afilters-prop.png

2025-11-27T09:35:33Z

Ruseer:

afilters location

Help:Installation

2025-11-27T09:25:11Z

Ruseer: /* Расширенные параметры настройки сервера */

== Установка и запуск ==
Для использования только клиента Svacer достаточно [[Svacer#Релизы|скачать исполняемый файл]] '''svacer''', или установить [[Help:Installation#Svacer|deb/rpm пакет]].

Сервер Svacer можно запустить в [[Help:Installation#docker compose|докере]] или из [[Help:Installation#deb/rpm|deb/rpm пакета]].

=== docker compose ===
Рекомендуемый и самый простой способ деплоя — развернуть сервер Svacer в докер-контейнерах, воспользовавшиcь [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose.yml] файлом:

<nowiki>curl -LO https://svacer.ispras.ru/extra/docker-compose.yml</nowiki>
docker compose up -d

После запуска контейнеров веб-интерфейс Svacer будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

Для сборки своего докер-образа Svacer можете использовать [[Dockerfile]] в качестве референса.

Для указания других параметров сервера можете [[Help:Installation#Дополнительные параметры при запуске в docker-контейнере|переопределить команду запуска]] в docker-compose файле.

=== deb/rpm ===
==== PostgreSQL ====
{{Note|type=info|text=Disclaimer
* Рекомендуемая версия PostgreSQL — 15 и выше. С более старыми версиями корректная работа Svacer не гарантируется.
* Svacer требует эксклюзивного доступа к базе. Использование одной и той же базы для нескольких экземпляров Svacer может приводить к порче данных.}}

Для работы сервера Svacer установите PostgreSQL, следуя [https://www.postgresql.org/download/linux документации postgres]. Для RedHat-based OS нужно дополнительно установить пакет postgresql-contrib соответствующей версии.

Пример для Ubuntu 22:

sudo apt install -y postgresql-common
sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh
sudo apt install -y postgresql-17

Пример для Rocky Linux 9.4:

<nowiki>sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm</nowiki>
sudo dnf -qy module disable postgresql
sudo dnf install -y postgresql17-server postgresql17-contrib
sudo /usr/pgsql-17/bin/postgresql-17-setup initdb
sudo systemctl enable postgresql-17
sudo systemctl start postgresql-17

==== Браузер для PDF-отчетов ====
Для создания PDF-отчетов с использованием нового HTML-генератора установите браузер Google Chrome на машину, где запускается сервер Svacer. Рекомендуется устанавливать из официального репозитория, следуя [https://www.google.com/chrome/?platform=linux инструкции с сайта google].

{{Note|type=info|text=Рекомендуемые системные требования при генерации PDF-отчетов для больших проектов с использованием HTML-генератора: Intel Core i9, 64 GB RAM, SSD, видеокарта Nvidia}}

При запуске Svacer проверит доступность браузера для генерации PDF. Если он не установлен или генерация не работает, будет использован нативный генератор: менее продвинутый, но для него не нужен браузер. Можно явно включить использование нативного генератора, передав опцию <code>--pdf-generator=native</code> при запуске сервера Svacer.

При невозможности установить Google Chrome, например если нет пакета для вашего дистрибутива Linux, можно установить Chromium. Его пакет в репозиториях, в зависимости от вышей ОС, может называться <code>chromium-browser</code> или <code>chromium</code>. В некоторых случаях генерация с Chromium может не работать. Например, если Svacer установлен из deb-пакета, а Сhromium из snap (на Ubuntu он устанавливается именно так даже при использовании apt) и сервер Svacer запускается от отдельного системного пользователя, от которого Chromium не может запуститься. В этом случае установите Google Chrome, с ним генерация работает.

==== Svacer ====
На Debian-based OS добавьте apt-репозиторий и установите Svacer из него.

<nowiki>echo 'deb [signed-by=/usr/share/keyrings/ispras.gpg] https://repo.ispras.ru/apt /' | sudo tee /etc/apt/sources.list.d/ispras.list</nowiki>
<nowiki>curl -fsSL https://repo.ispras.ru/apt/key.asc | sudo gpg --dearmor -o /usr/share/keyrings/ispras.gpg</nowiki>
sudo apt update
sudo apt install -y svacer

На RedHat-based OS добавьте dnf-репозиторий и установите Svacer из него

<nowiki>curl -fsSL https://repo.ispras.ru/rpm/ispras.repo | sudo tee /etc/yum.repos.d/ispras.repo</nowiki>
sudo dnf install -y svacer

Для создания БД PostgreSQL запустите '''psql''' от учетной записи пользователя '''postgres'''

sudo su -l postgres
psql

И выполните следующие запросы:
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;

В данном примере создается БД svace и права на нее выдаются пользователю svace с паролем svace. Также этому пользователю выдаются права суперюзера, что необходимо для создания расширений в PostgreSQL. При использовании этих значений по умолчанию дальнейшая конфигурация не требуется и можно переходить к запуску.

При использовании других значений нужно поменять параметры подключения к БД в файле '''/etc/default/svacer'''

SVACER_ARGS="--pg postgres://<user>:<password>@127.0.0.1:5432/<database>"

В этой же строке можно указать прочие аргументы для запуска сервера Svacer.

На Astra Linux необходимо в файле '''/etc/parsec/mswitch.conf''' установить параметр <code>zero_if_notfound: yes</code>, иначе при запуске Svacer будет ошибка подключения к БД вида

error obtaining MAC configuration for user "svace" (SQLSTATE 57P03)

После создания БД и конфигурации сервера Svacer запустить его можно следующими командами

sudo systemctl enable svacer
sudo systemctl start svacer

После чего проверить успешность запуска командой

systemctl status svacer

После запуска сервер будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

=== Установка и запуск на Windows ===
PostgreSQL нужен только для сервера Svacer, для клиента не требуется.
* Скачайте установщик PostgreSQL для Windows: https://www.postgresql.org/download/windows
* Установите PostgreSQL, выбрав, как минимум, компоненты "PostgreSQL Server" и "Command Line Tools"
* Задайте и запомните пароль на шаге выбора пароля для суперпользователя
* Остальные параметры при установке можно оставить по умолчанию
* После установки PostgreSQL откройте консоль, перейдите в директорию, куда установили PostgreSQL, запустите его клиент с указанием пользователя "postgres" и авторизуйтесь с паролем, заданным во время установки
cd c:\Program Files\PostgreSQL\15\bin
psql -U postgres
* Запустится консоль управления PostgreSQL. Выполните в ней следующие команды, чтобы создать БД и пользователя для Svacer
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;
* Выйдите из консоли PostgreSQL
* Запустите '''svacer-server.exe''' из консоли с указанием параметров подключения к БД. Если при создании пользователя и БД PostgreSQL вы использовали для них имя по умолчанию 'svace', как в примере выше, то указывать данные для подключения к БД при запуске сервера не обязательно
svacer-server.exe run
* Если создавали пользователя или БД с другими именами, то при запуске сервера надо указать их явно
svacer-server.exe run --pg postgres://svacer_user:svacer_password@127.0.0.1:5432/svacer_database
* После запуска сервера его веб-интерфейс будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin

== Обновление ==
{{Note|type=reminder|text='''Перед обновлением настоятельно рекомендуется [[Help:Backup|делать резервные копии]]'''}}

Миграции схем БД PostgreSQL и object store происходят автоматически при обновлении на новую версию Svacer. Поэтому для обновления Svacer достаточно остановить сервер старой версии, запустить сервер новой версии, указав ему те же параметры БД и object store, и подождать, пока не пройдет обновление, после чего Svacer запустится как обычно. При больших объемах данных в БД это может занять существенное время, до нескольких часов. Прогресс можно отслеживать по логам сервера.

Версии не имеют обратной совместимости, то есть после обновления на следующую версию, откатиться на предыдущую можно будет, только восстановив БД из бэкапа.

{{Note|type=warn|text=После запуска Svacer при обновлении обязательно дождитесь пока миграция БД завершится. Если прервать процесс во время миграции, принудительно остановив Svacer, база данных может оказаться в неконсистентном состоянии и придется восстанавливать данные из бэкапа.}}

=== Upgrade notes ===
==== 12-x-x ====
Рекомендуем обновить PostgreSQL до версии 15 или выше. С более старыми версиями корректная работа Svacer не гарантируется.

==== 11-x-x ====
Нет специфических рекомендаций по обновлению.

==== 10-x-x ====
Нет специфических рекомендаций по обновлению.

==== 9-0-0 ====
{{Note|type=reminder|text=При обновлении на эту версию рекомендуем не меньше 8GB RAM для корректности миграций}}

Базово, никаких обязательных ручных действий с базой данных или object store при обновлении на 9-0-0 не требуется. Описанные ниже шаги могут помочь увеличить производительность сервера Svacer или решить возможные проблемы.

'''1.'''

В версии 9-0-0 поменялся формат object store, поэтому при обновлении с предыдущих версий Svacer на 9-0-0 или выше будет запущена конвертация object store в новый формат. Конвертация сначала записывает новые данные, а потом, если все прошло успешно, удаляет старые. Из-за этого для конвертации нужно примерно в два раза больше свободного дискового пространства, чем занимает текущий object store. При больших размерах object store и медленном диске конвертация может занять много времени.

Конвертация запустится автоматически при обновлении на 9-0-0, но можно запустить вручную отдельно:

svacer-server kvconvert --from <path> --to <path>

Расположение object store в файловой системе описано в [[Help:Backup#Бэкап object store вручную|разделе про бэкапы]].

'''2.'''

Перед установкой новой версии рекомендуется выполнить следующий запрос в БД для удаления дубликатов описаний чекеров.

delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

Если вы уже выполняли этот запрос при [[Help:Installation#8-0-0|обновлении на 8-0-0]], то второй раз запускать не обязательно.

'''3.'''

После обновления на версию 9-0-0 и завершения всех миграций БД (когда станет доступен веб-интерфейс) рекомендуем выполнить команду <code>VACUUM FULL</code> в PostgreSQL для очистки и оптимизации базы данных.

psql -h <postgres_host> -U <username> <svacer_database_name> -c 'VACUUM FULL;'

Например:

psql -h localhost -U svacer svacer_db -c 'VACUUM FULL;'

==== 8-0-0 ====
Если при обновлении на версию 8-0-0 и выше возникает подобная ошибка
Key (config_id, checker_id, languages, tools)=(4cd178ce-a2b2-4692-a45a-f84b145c807b, FB.ICAST_QUESTIONABLE_UNSIGNED_RIGHT_SHIFT, {JAVA}, {SpotBugs}) is duplicated
Это значит, что в БД есть дубликаты чекеров. Выполните следующий SQL-запрос в PostgreSQL-базе Svacer, чтобы удалить их:
delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

== Расширенная конфигурация ==

=== Настройки аутентификации в Svacer ===
В Svacer возможны четыре способа аутентификации пользователей

# Встроенный
# С помощью LDAP сервера
# Через утилиту oauth_proxy (по протоколу OIDC)
# Посредством Personal Access Token (PAT)

Ниже рассматривается настройка аутентификации посредством внутреннего механизма аутентификации. Для настройки [[LDAP]], [[Help:CLI#Personal Access Token|PAT]] или [[OIDC]] аутентификации см. соответствующие разделы документации.

==== Настройка внутреннего механизма аутентификации Svacer ====

===== Настройка парольной политики внутреннего механизма аутентификации Svacer =====
Настройки параметров встроенного механизма аутентификации возможны посредством секции '''auth.svacer''' конфигурационного файла Svacer. Ниже приведен пример настроек:
<pre class="">auth:
svacer:
password:
min_length: 10
complexity:
- "[a-z]"
- "[A-Z]"
- "[0-9]"
- "[!#]"</pre>
Параметр '''min_length''' задает минимальную возможную длину пароля в системе. Данный критерий используется при смене пароля пользователя и не влияет на текущие пароли пользователей.

Параметр '''complexity''' содержит набор регулярных выражений, задающих требования к паролю с точки зрения наличия в нем определенных символов. При задании такого списка выражений Svacer будет проверять задаваемый пользователем новый пароль на предмет удовлетворения всем этим требованиям. Каждое выражение в списке — полноценное выражение, поддерживаемое языком golang.

Указанные выше настройки применяются только к внутренним учетным записям пользователей Svacer. По умолчанию данные настройки отключены (нет требований на минимальную длину и сложность пароля).

===== Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer) =====
В случае интеграции Svacer с LDAP, можно указать Svacer какую вкладку — Svacer или LDAP — использовать по умолчанию. Для этого используется параметр '''auth.svacer.default'''. Если данный параметр установлен в значение '''true''', то вкладкой по умолчанию будет вкладка Svacer, иначе — вкладка LDAP.

Также возможно полностью отключить механизм внутренней аутентификации Svacer с помощью параметра '''auth.svacer.enabled'''.

Ниже приведен пример конфигурационного файла Svacer для задания вкладки LDAP по умолчанию (в случае наличие интеграции с LDAP сервером)<pre class="plaintext">auth:
svacer:
enabled: true
default: false</pre>

==== Настройка защиты от перебора паролей пользователей ====
Для случаев аутентификации с помощью LDAP сервера и с помощью встроенного механизма аутентификации реализован механизм блокировки учетных записей пользователей в том случае, если количество неудачных попыток входа превышает заданное в настройках число. По умолчанию защита отключена. Ниже приведен пример секции конфигурационного файла Svacer, задающего правила блокировки:

<pre class="plaintext">security:
login:
max_attempts: 5
lock_time: 2m</pre>

Время, на которое происходит блокировка учетной записи пользователя, указывается в формате golang/time: 1s,1m,60m и т. д.

В случае активации защиты данный механизм также защищает аутентификацию посредством вызовов соответствующих точек входа public API.

Блокировка не влияет на работу уже зарегистрированных пользователей.

Для принудительной разблокировки пользователей можно использовать команды cli (требуются права управления сервером):

<pre class="">svacer user-provider unlock --user admin --password admin --login locked_user</pre>

=== Настройка TLS ===
Svacer может быть сконфигурирован для поддержки TLS несколькими способами. Первый способ — использовать reverse proxy с поддержкой HTTPS и проксированием в Svacer по HTTP, второй — запуск Svacer с нативной поддержкой TLS.

==== Reverse proxy ====
Данный способ позволяет обеспечить безопасную передачу данных только по протоколу HTTPS, данные по протоколу gRPC передаются в незащищенном виде.

===== Nginx =====
Создайте конфигурационный файл с подобным содержанием в '''/etc/nginx/sites-enabled/'''
<pre>
server {
listen 443 ssl;
listen [::]:443 ssl;

server_name svacer.ispras.ru;

# for large data transfers and continuous connections
client_max_body_size 0;
proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

# path to ssl-certificate and key
ssl_certificate /etc/ssl/certs/svacer.ispras.ru.crt;
ssl_certificate_key /etc/ssl/private/svacer.ispras.ru.key;

location / {
include proxy_params;

# to make WebSockets work
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

# svacer HTTP URL
proxy_pass http://127.0.0.1:8080;
}
}

# proxy gRPC port if required
server {
listen 13002 http2;
underscores_in_headers on;

location / {
grpc_pass grpc://127.0.0.1:3002;
}
}
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Nginx.
systemctl restart nginx

Если ваш сервер виден из интернета и его внешний IP-адрес привязан к доменному имени, можете использовать Let's Encrypt и Certbot для получения валидного SSL-сертификата. См. [https://www.nginx.com/blog/using-free-ssltls-certificates-from-lets-encrypt-with-nginx/ эту инструкцию].

===== Apache =====
Включите нужные модули в Apache
sudo a2enmod ssl proxy proxy_http rewrite

Создайте конфигурационный файл с подобным содержанием в '''/etc/apache2/sites-enabled/'''
<pre>
<VirtualHost *:443>
SSLEngine On
ProxyPreserveHost On
ProxyTimeout 600

# path to ssl-certificate and key
SSLCertificateFile /etc/ssl/certs/svacer.ispras.ru.crt
SSLCertificateKeyFile /etc/ssl/private/svacer.ispras.ru.key

# svacer HTTP URL
ProxyPass / http://127.0.0.1:8080/
ProxyPassReverse / http://127.0.0.1:8080/

# to make WebSockets work
ProxyPass /api/ws/ ws://127.0.0.1:8080/api/ws/
ProxyPassReverse /api/ws/ ws://127.0.0.1:8080/api/ws/
RewriteEngine on
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]
RewriteRule /api/ws/(.*) ws://127.0.0.1:8080%{REQUEST_URI} [P]

ServerName svacer.ispras.ru
ServerAdmin svacer@ispras.ru
</VirtualHost>
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Apache.
systemctl restart apache2

==== Нативно ====
Этот способ позволяет обеспечить безопасную передачу данных как по протоколу HTTPS, так и по протоколу gRPC. Если сервер запускается с поддержкой TLS, то эта опция относится как к протоколу HTTPS, так и к протоколу gRPC.
По умолчанию сервер запускается без поддержки TLS, при этом в логах отображается информация об этом.
TLS for REST and gRPC DISABLED

Для запуска сервера с поддержкой TLS необходимо указать сертификат сервера и соответствующий закрытый ключ.
svacer-server run --ssl-cert svacer.crt --ssl-key svacer.key

При этом ключ должен быть в незашифрованном виде. Права доступа к файлу должны быть 0600. В файле сертификата можно указывать цепочку сертификатов. В этом случае сервер, при подключении клиента, будет возвращать всю цепочку. Первым сертификатом в цепочке всегда должен идти сертификат сервера Svacer. Формат файла — PEM. TLS соединение активируется и для протокола REST и для протокола gRPC.

Работа сервера по проктолу TLS сопровождается следующей записью в логе:
Using TLS for REST and gRPC protocols

Работа с таким сервером через CLI происходит как обычно. Для указания необходимости подключаться по TLS можно явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.
<pre>
svacer upload --host https://example.com
svacer upload --ssl --host example.com
</pre>
Также в клиенте можно определить параметр '''--ssl-ca-certs'''. Он позволяет задать доверенные сертификаты корневых центров. Указывается шаблон файлов (с *) или конкретный файл. Путь к директории должен быть абсолютным. В случае отсутствия этого параметра используется TLS, но сертификат сервера не проверяется. Этому случаю соответствует запись в логе клиента:
Using weak TLS configuration, because no CA certificate found

Если сертификаты были загружены, в логе будет строчка:
added 1 ca certs from /home/user/svacer/svacer.crt

Для администрирования сервера в плане используемого сертификата (например, замена при истечении срока действия) добавлена область в CLI svacer admin: '''server:config'''. В данной области есть 3 команды: '''show''', '''reload''', '''update'''. ID в этом случае нужно всегда указывать в значение '''ssl.cert'''.

* '''show''' — отображает текущий используемый сертификат

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action show</pre>

* '''reload''' — заставляет сервер перечитать использованные при старте сервера файлы с сертификатом и ключом

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action reload</pre>

* '''update''' — позволяет переслать на сервер новый сертификат (и ключ, если надо) и записать их в указанные при старте сервера файлы. При использовании этой команды нужно сформировать файл с новым сертификатом и, при необходимости, ключом, в формате PEM (используете '''cat''' для объединения сертификата и ключа в один файл) и указать этот файл в параметре value. Если в файле не будет указан закрытый ключ, то сервером будет использован текущий (тот, что был указан при запуске). Данная команда также изменит файлы сертификата и ключа (если он указан), указанные при старте сервера, на новые значения.

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action update --value svacer.pem</pre>

:Некоторое время после обновления сертификата сервер может использовать старые сертификаты (для уже установленных соединений). Для новых соединений будет использован обновленный сертификат.

В конфигурационном файле Svacer можно указать минимальную и максимальные версии TLS, поддерживаемые сервером. Для этого необходимо в конфигурационном файле указать параметры <code>minVersion</code> и <code>maxVersion</code> в разделе security.tls.

<pre>
security:
tls:
minVersion: tls11
maxVersion: tls12
</pre>

=== Интеграция с хранилищем секретов Infisical ===
В Svacer реализована поддержка получения секретов из хранилища секретов [https://infisical.com/ Infisical]. Подробную информацию об интеграции см. в статье [[Infisical|Интеграция с хранилищем секретов Infisical]].

=== Механизм интеграции с внешними системами посредством Webhook-ов ===

==== Общий принцип работы ====

Механизм webhook-ов настраивается в конфигурационном файле в секции '''webhook'''. Механизм срабатывает при получении по внутренней шине одного из поддерживаемых событий Svacer. Каждое из внутренних событий преобразуется в событие вызова webhook-а (см. [[Help:Installation#Модель поддерживаемых событий|Модель поддерживаемых событий]]) и отправляется на обработку в каждую из настроенных целей, которыми являются http-обработчики. Отправкой занимаются работники (их количество настраивается в конфигурационном файле в параметре '''workers_count'''). У каждой цели есть общая очередь, размер которой составляет 500 событий. Если очередь переполняется, будет выдаваться соответствующее сообщение в лог-файле Svacer.

Работники поддерживают протокол https (в том числе самоподписанные сертификаты). Для указания корневого сертификата можно использовать параметр '''ca_certs''' конфигурационного файла. Работникам можно указать таймаут соединения с webhook-сервером (в мс, по умолчанию 1000мс, параметр '''timeout''') и количество попыток отправки (по умолчанию — одна попытка, параметр '''retry_count''').

В настройках можно указать фильтр на отправляемые события (параметр '''filter'''). Фильтр указывается посредством задания выражения. В выражениях используется [https://github.com/expr-lang/expr синтаксис go-expr]. Фильтр возможно указать в количестве одной штуки на одну цель. Если фильтр после вычисления дает значение true, событие будет отправлено в цель.

Также реализован журнал событий отправки webhook-ов, размер которого может быть указан в конфигурационном файле (параметр '''journal_length'''). По умолчанию он равен 86400 записей — по 1 записи на каждую секунду суток. Журнал может быть использован для отладки механизма отправки событий в цель. Содержимое журнала хранится в памяти. При достижении журналом максимального размера, самые старые записи заменяются новыми.

Для настройки аутентификации работника можно использовать параметр '''headers''', который представляет собой список значений вида '''key:value'''. Данные пары будут добавлены в заголовки каждого http-запроса, выполняемого работником.

==== Конфигурация ====

Возможный пример конфигурационного файла, в котором указана отправка на сервер test-host.local событий, связанных с разметкой маркера.

webhook:
enabled: true
journal_length: 86400
targets:
- url: "<nowiki>https://test-host.local:8080/webhook</nowiki>"
workers_count: 1
enabled: true
filter: "Type == EventReviewMarker and Payload.Status != 'Undecided'"
ca_certs: "/etc/ssl/certs/ca.crt"
retry_count: 3
timeout: 1000
headers:
- "password:12345"
- "Authorization: Bearer eyJh .... "

==== CLI ====

Для взаимодействия с механизмом webhook реализованы две cli команды:

svacer server webhook journal
svacer server webhook stat

Первая команда позволяет посмотреть записи журнала отправки событий. Вторая команда позволяет вывести статистику по работе службы (особенно интересными могут быть поля '''sendError''' и '''skip''').

Пример вывода для первой команды (с флагом '''--humanize'''; если флага нет, то вывод будет в формате json):

==================== #1 ======================
Time: 2025-07-01 12:25:52.25343534 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 6 ms
==================== #2 ======================
Time: 2025-07-01 12:25:54.202850322 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 3 ms

Пример вывода команды статистики:

{
"enabled": true,
"targets": [
{
"enabled": true,
"url": "<nowiki>https://swarm-mgr.home:8080/webhook</nowiki>",
"filtered": 0,
"sendSuccess": 3,
"sentError": 0,
"submitted": 3,
"skip": 0
}
]
}

==== Модель поддерживаемых событий ====
syntax = "proto3";
import "google/protobuf/any.proto";
option go_package="svacer/proto/webhook";
package webhook;

enum EventType {
EventNone = 0;
EventTest = 1;
EventReviewMarker = 2;
EventPurgeReview = 3;
EventGroupReview = 4;
EventImportSnapshot = 5;
EventCopySnapshot = 6;
EventNewComment = 7;
EventUpdateComment = 8;
EventNewContainer = 9;
EventDeleteContainer = 10;
EventUpdateContainer =11;
EventImportMarkup = 12;
EventDeleteSnapshot = 13;
UpdateSnapshot = 14;
}

message MarkerDetails {
string id = 1;
string file = 2;
string line = 3;
string lang = 4;
}

message Event {
uint64 timestamp = 1;
EventType type = 2;
string created_by = 3;
google.protobuf.Any payload = 4;
}

message PayloadMarkerReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
repeated MarkerDetails markers = 7;
string comment = 8;
string severity = 9;
string action = 10;
string status = 11;
bool group_review = 12;
string created_by_id = 13;
string created_by_login = 14;
}

message PayloadPurgeReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string created_by_id = 5;
string created_by_login = 6;
}

message PayloadImportSnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
}

message PayloadMarkerComment {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
MarkerDetails marker = 7;
string comment = 8;
string created_by_id = 9;
string created_by_login = 10;
}

message PayloadCopySnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
string created_by_id = 7;
string created_by_login = 8;
}

message Container {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
Container source = 5;
}

message PayloadNewContainer {
repeated Container containers = 1;
}

message PayloadDeleteContainer {
repeated Container projects = 1;
repeated Container branches = 2;
}

message PayloadUpdateContainer {
Container container = 1;
}

message CopyResult {
uint64 total = 1;
uint64 applied_reviews = 2;
uint64 applied_comments = 3;
uint64 skipped_reviews = 4;
uint64 duplicate_reviews = 5;
uint64 duplicate_comments = 6;
}

message PayloadImportMarkup {
Container source=1;
Container target=2;
CopyResult copy_result =3;
}

message Snapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

message PayloadDeleteSnapshots {
repeated Snapshot snapshots = 1;
}

message PayloadUpdateSnapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

=== Выбор сетевых интерфейсов и портов сервера ===
* По умолчанию web-сервер запускается на всех сетевых интерфейсах, на порту 8080 ('''0.0.0.0:8080'''). Для указания конкретного сетевого интерфейса можно использовать опцию '''--listen <network interface>''', для указания другого порта: '''--port <port_number>.
* Аналогично для grpc-сервера: по умолчанию — '''0.0.0.0:3002''', для выбора конкретного интерфейса: '''--listen-grpc <network_interface>''', для указания другого порта: '''--grpc <port_number>'''.

svacer-server run --listen 127.0.0.1 --port 9090 --listen-grpc 127.0.0.1 --grpc 3004

При попытке запуска на порту < 1024 от непривилегированного пользователя (например, от пользователя svacer при установке из deb/rpm пакета), сервер Svacer не запустится с ошибкой

ERROR: port 443 is privileged, please check current user permissions or set another rest api port

В таком случае надо выдать capabilities на открытие привилегированных портов файлу сервера Svacer. Это нужно будет делать при каждом обновлении версии сервера

sudo setcap 'cap_net_bind_service=+ep' /usr/bin/svacer-server

=== Увеличение лимита открытых файлов ===
Актуально только для Linux.

Если проекты большие, или их много, в object store создается большое количество файлов. Для нормальной работы сервера Svacer при этом рекомендуется увеличивать системный лимит количества одновременно открытых файлов.

В POSIX таких лимита два:
* soft nofiles — текущее максимальное значение
* hard nofiles — общесистемное максимальное значение

В большинстве систем hard значение достаточно большое, а soft обычно маленькое, что и приводит к проблемам. Пример на Debian 11:

$ ulimit -Sn
1024
$ ulimit -Hn
1048576

Начиная с версии 6-0-0 Svacer пытается автоматически увеличить soft limit до значения hard limit при запуске, а начиная с версии 8-0-0 — проверяет, что увеличить удалось и выводит сообщение с текущим лимитом. Если видите в логах подобную запись — у soft и hard одно, достаточно большое значение — значит все в порядке.

Open files limit (soft and hard): 1048576

Для более ранних версий, или если на вашем дистрибутиве Linux это не работает автоматически, можете увеличить лимит вручную одним из следующих способов:

* Перед запуском Svacer выполнить из консоли команду, увеличив лимит для текущей сессии
ulimit -Sn 16384

* Либо один раз увеличить на уровне системы — в файл '''/etc/security/limits.conf''' добавить

* soft nofile 16384

* Если запускаете Svacer как сервис systemd, добавьте параметр '''LimitNOFILE''' в секцию '''[Service]''' файла описания сервиса.
:В файле из deb/rpm пакета релиза Svacer этот параметр уже добавлен

[Service]
LimitNOFILE=16384

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Установка пути к директории для кэша ===
Если запускаете Svacer под пользователем без домашней директории, рекомендуется установить путь к директории для кэша через переменную окружения SVACER_CACHE_DIR в файле описания сервиса systemd

[Service]
Environment="SVACER_CACHE_DIR=/path/to/some/dir"

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Дополнительные параметры при запуске в docker-контейнере ===
При запуске в докер-контейнере можно указать дополнительные параметры, к примеру добавить конфиг [[Help:CLI#Хуки|хуков]].

Для этого переопределите команду запуска сервера Svacer в docker-compose файле и допишите туда нужные параметры:

command: /svacer/bin/svacer-server run --store /data/store --pg postgres://svace:svace@postgresql:5432/svace --hooks /svacer/hooks.json

Конфигурационный файл с описанием хуков примонтируйте как volume:

volumes:
- ./hooks.json:/svacer/hooks.json

Можете использовать переменные из секции environment docker-compose файла, тогда в строке запуска их надо экранировать с помощью <code>$$</code> и запускать сервер Svacer как shell-команду, чтобы в контейнере подставились значения переменных

environment:
- SVACER_PG_URL=postgres://svace:svace@postgresql:5432/svace
- STORE=/data/store
- HOOKS_FILE=/svacer/hooks.json
volumes:
- ./hooks.json:/svacer/hooks.json
command: sh -c "/svacer/bin/svacer-server run --store $$STORE --pg $$SVACER_PG_URL --hooks $$HOOKS_FILE"

Для более комплексных сценариев можете собрать свой образ с сервером Svacer, использовав наш [[Dockerfile]] как референс.

== Обновление детекторов ==
После установки новой версии Svace требуется обновить описания детекторов в Svacer. Для этого необходимо выполнить команду:

svacer checkers --upload </path/to/svace>

{{Note}} Обновление описаний детекторов это серьезная операция, которая должна выполняться после предварительного тестирования. Поэтому перед выполнением команды рекомендуется сделать резервную копию базы данных Svacer.

== Генерация PDF на основе HTML ==
В релиз 10.х.х включена генерация PDF на основе рендеринга HTML с последующим запуском headless chrome/chromium для генерации PDF. Этот подход позволяет упростить формирование шаблонов для генерации PDF, но требует существенно больше вычислительных ресурсов. Для тюнинга числа параллельных процессов при генерации используется переменная окружения

SVACER_PDF_GEN_LIMITS=<pdf tool limit>:<chrome limit>

Первое значение <code><pdf tool limit></code> определяет число одновременных процессов pdfmerge для сборки отдельных секций в единый PDF документ; второе значение <code><chrome limit></code> определяет одновременное число процессов chrome/chromium для генерации PDF из HTML. Не рекомендуется ставить значения, сильно превышающие число ядер в сервере.

== Полнотекстовый поиск ==
Для поддержки полнотекстового поиска Svacer строит индекс. По умолчанию директория для индекса создается в <code>$HOME/.cache/svacer</code>, для указания иной директории можно использовать переменную окружения <code>SVACER_SEARCH_INDEX_DIR</code>

В ряде случаев (падение и рестарт сервера, ошибки и т. п.) кэш может быть в некорректном состоянии. Для переиндексации данных администратор может использовать CLI команду

svacer search --host <nowiki>http://some_host:port</nowiki> --user <login> --password <pwd> --drop-cache

Используемая при этом учетная запись должна быть с правами на <code>Server administration</code>

При импорте результатов на сервер индексация идет в фоновой задачи. Появление новых данных в результатах поиска может занять некоторое время.

== Указание public-url ==
В некоторых случаях необходимо явно указывать серверу Svacer его URL-адрес. Например, это нужно для корректной генерации коротких ссылок на предупреждения и ссылок в [[Notifications|уведомлениях]]. Используйте параметр <code>--public-url</code> при запуске сервера
<nowiki>svacer-server run --public-url http://svacer.intra.net:8080</nowiki>

== Расширенные параметры настройки сервера ==

=== Переменные окружения ===
Пользователь может использовать следующие переменные окружения для изменения внутренних параметров сервера:
{| class="wikitable"
|+
!Переменная
!Значение по умолчанию
!Описание
|-
|<code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|15 минут
|Таймаут ожидания процесса начала импорта на сервере. При превышении, запрос на импорт будет отклонен с ошибкой. Формат Go Duration string: 1h2m3s. Переменная затрагивает только ожидание начала, но не ограничивает сам процесс импорта.
|-
|<code>SVACER_NUM_PARALLEL_IMPORTS</code>
|(<code>максимальное число коннектов к БД) / 2</code>
|Число одновременных параллельных импортов. Остальные ждут в очереди. На ожидание влияет переменная <code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|-
|<code>SVACER_TAIL_LOG_SIZE</code>
|1Мб
|Число. Размер буффера для показа лога сервера в WEB. Показывается последние SVACER_TAIL_LOG_SIZE байт из лога.
|-
|<code>SVACER_LOG_FORMAT</code>
|<пусто>
|При указании формата json вывод формат лога заменяется на JSON. Предназначено для интеграции с агрегаторами логов. Так же можно указать через флаг при старте
<code>svacer-server --log-format=json</code>
|-
|<code>SVACER_INV_GEN_JOBS</code>
|0.7 * runtime.GOMAXPROCS
|Максимальное число параллельных job-ов для генерации инвариантов при миграции старой базы или импорте результатов.
При ограниченных ресурсах сервера устанавливать в значение 1 или 2. Пользователь не может увеличить больше, чем GOMAXPROCS
|-
|
|
|
|}

=== Пересчет инвариантов ===
При миграции со старых версий иногда могут быть проблемы с переносом разметки. Для принудительного пересчета инвариантов пользователь может запустить сервер с опцией <code>--force-invariant-refresh</code>.

=== Объектное хранилище ===
При больших размерах объектного хранилища (object store) пользователь может запустить сервер с параметром <code>--compact-object-store</code> - это приведет к поиску недостижимых объектов в объектном хранилище и сокращении размера базы. Операция может занять продолжительное время.

'''ЭКСПЕРИМЕНТАЛЬНО''': Для быстрого получения копии текущего объектного хранилища пользователь может использовать CLI команду
svacer server backup --host <nowiki>http://localhost:8080</nowiki> --user admin --password <admin pwd> --checkpoint <path>
Данная команда создаст по пути ''<path>'' на '''хосте, где работает сервер''', копию object store. При создании копии по возможности используются hard link-и, для ускорения процесса. Процесс работает в background-е и можно запускать для работающего сервера.

Changelog

2025-11-27T09:12:04Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* В функциональность полнотекстового поиска добавлен поиск маркеров под id и инварианту.
* Промежуточное хранилище при импорте результатов командой <code>svacer import / svacer sarif2 import</code> теперь использует новый формат представления (должно снизить использование памяти при импорте)
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера, показываемого в WEB интерфейсе, ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл не ограничивается в размерах и кнопка выгрузки лога выгружает полный лог.
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* ['''Экспериментально'''] Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграциия с внешними системами посредством механизма [[Help:Installation#Механизм интеграции с внешними системами посредством Webhook-ов|Webhook-ов]]
* Добавлена [[Help:Installation#Настройка защиты от перебора паролей пользователей|Защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Installation#Настройка парольной политики внутреннего механизма аутентификации Svacer|Парольную политику безопасности]] для пользователей, использующих встроенный мханизм аутентификации Svacer
* Добавлена возможность задать [[Help:Installation#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-27T08:46:36Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* В функциональность полнотекстового поиска добавлен поиск маркеров под id и инварианту.
* Промежуточное хранилище при импорте результатов командой <code>svacer import / svacer sarif2 import</code> теперь использует новый формат представления (должно снизить использование памяти при импорте)
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера показываемого в WEB интерфейсе ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается не последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл может быть не ограничивается в размерах
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* ['''Экспериментально'''] Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграциия с внешними системами посредством механизма [[Help:Installation#Механизм интеграции с внешними системами посредством Webhook-ов|Webhook-ов]]
* Добавлена [[Help:Installation#Настройка защиты от перебора паролей пользователей|Защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Installation#Настройка парольной политики внутреннего механизма аутентификации Svacer|Парольную политику безопасности]] для пользователей, использующих встроенный мханизм аутентификации Svacer
* Добавлена возможность задать [[Help:Installation#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Help:Installation

2025-11-26T11:04:38Z

Ruseer: /* Полнотекстовый поиск */

== Установка и запуск ==
Для использования только клиента Svacer достаточно [[Svacer#Релизы|скачать исполняемый файл]] '''svacer''', или установить [[Help:Installation#Svacer|deb/rpm пакет]].

Сервер Svacer можно запустить в [[Help:Installation#docker compose|докере]] или из [[Help:Installation#deb/rpm|deb/rpm пакета]].

=== docker compose ===
Рекомендуемый и самый простой способ деплоя — развернуть сервер Svacer в докер-контейнерах, воспользовавшиcь [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose.yml] файлом:

<nowiki>curl -LO https://svacer.ispras.ru/extra/docker-compose.yml</nowiki>
docker compose up -d

После запуска контейнеров веб-интерфейс Svacer будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

Для сборки своего докер-образа Svacer можете использовать [[Dockerfile]] в качестве референса.

Для указания других параметров сервера можете [[Help:Installation#Дополнительные параметры при запуске в docker-контейнере|переопределить команду запуска]] в docker-compose файле.

=== deb/rpm ===
==== PostgreSQL ====
{{Note|type=info|text=Disclaimer
* Рекомендуемая версия PostgreSQL — 15 и выше. С более старыми версиями корректная работа Svacer не гарантируется.
* Svacer требует эксклюзивного доступа к базе. Использование одной и той же базы для нескольких экземпляров Svacer может приводить к порче данных.}}

Для работы сервера Svacer установите PostgreSQL, следуя [https://www.postgresql.org/download/linux документации postgres]. Для RedHat-based OS нужно дополнительно установить пакет postgresql-contrib соответствующей версии.

Пример для Ubuntu 22:

sudo apt install -y postgresql-common
sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh
sudo apt install -y postgresql-17

Пример для Rocky Linux 9.4:

<nowiki>sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm</nowiki>
sudo dnf -qy module disable postgresql
sudo dnf install -y postgresql17-server postgresql17-contrib
sudo /usr/pgsql-17/bin/postgresql-17-setup initdb
sudo systemctl enable postgresql-17
sudo systemctl start postgresql-17

==== Браузер для PDF-отчетов ====
Для создания PDF-отчетов с использованием нового HTML-генератора установите браузер Google Chrome на машину, где запускается сервер Svacer. Рекомендуется устанавливать из официального репозитория, следуя [https://www.google.com/chrome/?platform=linux инструкции с сайта google].

{{Note|type=info|text=Рекомендуемые системные требования при генерации PDF-отчетов для больших проектов с использованием HTML-генератора: Intel Core i9, 64 GB RAM, SSD, видеокарта Nvidia}}

При запуске Svacer проверит доступность браузера для генерации PDF. Если он не установлен или генерация не работает, будет использован нативный генератор: менее продвинутый, но для него не нужен браузер. Можно явно включить использование нативного генератора, передав опцию <code>--pdf-generator=native</code> при запуске сервера Svacer.

При невозможности установить Google Chrome, например если нет пакета для вашего дистрибутива Linux, можно установить Chromium. Его пакет в репозиториях, в зависимости от вышей ОС, может называться <code>chromium-browser</code> или <code>chromium</code>. В некоторых случаях генерация с Chromium может не работать. Например, если Svacer установлен из deb-пакета, а Сhromium из snap (на Ubuntu он устанавливается именно так даже при использовании apt) и сервер Svacer запускается от отдельного системного пользователя, от которого Chromium не может запуститься. В этом случае установите Google Chrome, с ним генерация работает.

==== Svacer ====
На Debian-based OS добавьте apt-репозиторий и установите Svacer из него.

<nowiki>echo 'deb [signed-by=/usr/share/keyrings/ispras.gpg] https://repo.ispras.ru/apt /' | sudo tee /etc/apt/sources.list.d/ispras.list</nowiki>
<nowiki>curl -fsSL https://repo.ispras.ru/apt/key.asc | sudo gpg --dearmor -o /usr/share/keyrings/ispras.gpg</nowiki>
sudo apt update
sudo apt install -y svacer

На RedHat-based OS добавьте dnf-репозиторий и установите Svacer из него

<nowiki>curl -fsSL https://repo.ispras.ru/rpm/ispras.repo | sudo tee /etc/yum.repos.d/ispras.repo</nowiki>
sudo dnf install -y svacer

Для создания БД PostgreSQL запустите '''psql''' от учетной записи пользователя '''postgres'''

sudo su -l postgres
psql

И выполните следующие запросы:
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;

В данном примере создается БД svace и права на нее выдаются пользователю svace с паролем svace. Также этому пользователю выдаются права суперюзера, что необходимо для создания расширений в PostgreSQL. При использовании этих значений по умолчанию дальнейшая конфигурация не требуется и можно переходить к запуску.

При использовании других значений нужно поменять параметры подключения к БД в файле '''/etc/default/svacer'''

SVACER_ARGS="--pg postgres://<user>:<password>@127.0.0.1:5432/<database>"

В этой же строке можно указать прочие аргументы для запуска сервера Svacer.

На Astra Linux необходимо в файле '''/etc/parsec/mswitch.conf''' установить параметр <code>zero_if_notfound: yes</code>, иначе при запуске Svacer будет ошибка подключения к БД вида

error obtaining MAC configuration for user "svace" (SQLSTATE 57P03)

После создания БД и конфигурации сервера Svacer запустить его можно следующими командами

sudo systemctl enable svacer
sudo systemctl start svacer

После чего проверить успешность запуска командой

systemctl status svacer

После запуска сервер будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

=== Установка и запуск на Windows ===
PostgreSQL нужен только для сервера Svacer, для клиента не требуется.
* Скачайте установщик PostgreSQL для Windows: https://www.postgresql.org/download/windows
* Установите PostgreSQL, выбрав, как минимум, компоненты "PostgreSQL Server" и "Command Line Tools"
* Задайте и запомните пароль на шаге выбора пароля для суперпользователя
* Остальные параметры при установке можно оставить по умолчанию
* После установки PostgreSQL откройте консоль, перейдите в директорию, куда установили PostgreSQL, запустите его клиент с указанием пользователя "postgres" и авторизуйтесь с паролем, заданным во время установки
cd c:\Program Files\PostgreSQL\15\bin
psql -U postgres
* Запустится консоль управления PostgreSQL. Выполните в ней следующие команды, чтобы создать БД и пользователя для Svacer
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;
* Выйдите из консоли PostgreSQL
* Запустите '''svacer-server.exe''' из консоли с указанием параметров подключения к БД. Если при создании пользователя и БД PostgreSQL вы использовали для них имя по умолчанию 'svace', как в примере выше, то указывать данные для подключения к БД при запуске сервера не обязательно
svacer-server.exe run
* Если создавали пользователя или БД с другими именами, то при запуске сервера надо указать их явно
svacer-server.exe run --pg postgres://svacer_user:svacer_password@127.0.0.1:5432/svacer_database
* После запуска сервера его веб-интерфейс будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin

== Обновление ==
{{Note|type=reminder|text='''Перед обновлением настоятельно рекомендуется [[Help:Backup|делать резервные копии]]'''}}

Миграции схем БД PostgreSQL и object store происходят автоматически при обновлении на новую версию Svacer. Поэтому для обновления Svacer достаточно остановить сервер старой версии, запустить сервер новой версии, указав ему те же параметры БД и object store, и подождать, пока не пройдет обновление, после чего Svacer запустится как обычно. При больших объемах данных в БД это может занять существенное время, до нескольких часов. Прогресс можно отслеживать по логам сервера.

Версии не имеют обратной совместимости, то есть после обновления на следующую версию, откатиться на предыдущую можно будет, только восстановив БД из бэкапа.

{{Note|type=warn|text=После запуска Svacer при обновлении обязательно дождитесь пока миграция БД завершится. Если прервать процесс во время миграции, принудительно остановив Svacer, база данных может оказаться в неконсистентном состоянии и придется восстанавливать данные из бэкапа.}}

=== Upgrade notes ===
==== 12-x-x ====
Рекомендуем обновить PostgreSQL до версии 15 или выше. С более старыми версиями корректная работа Svacer не гарантируется.

==== 11-x-x ====
Нет специфических рекомендаций по обновлению.

==== 10-x-x ====
Нет специфических рекомендаций по обновлению.

==== 9-0-0 ====
{{Note|type=reminder|text=При обновлении на эту версию рекомендуем не меньше 8GB RAM для корректности миграций}}

Базово, никаких обязательных ручных действий с базой данных или object store при обновлении на 9-0-0 не требуется. Описанные ниже шаги могут помочь увеличить производительность сервера Svacer или решить возможные проблемы.

'''1.'''

В версии 9-0-0 поменялся формат object store, поэтому при обновлении с предыдущих версий Svacer на 9-0-0 или выше будет запущена конвертация object store в новый формат. Конвертация сначала записывает новые данные, а потом, если все прошло успешно, удаляет старые. Из-за этого для конвертации нужно примерно в два раза больше свободного дискового пространства, чем занимает текущий object store. При больших размерах object store и медленном диске конвертация может занять много времени.

Конвертация запустится автоматически при обновлении на 9-0-0, но можно запустить вручную отдельно:

svacer-server kvconvert --from <path> --to <path>

Расположение object store в файловой системе описано в [[Help:Backup#Бэкап object store вручную|разделе про бэкапы]].

'''2.'''

Перед установкой новой версии рекомендуется выполнить следующий запрос в БД для удаления дубликатов описаний чекеров.

delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

Если вы уже выполняли этот запрос при [[Help:Installation#8-0-0|обновлении на 8-0-0]], то второй раз запускать не обязательно.

'''3.'''

После обновления на версию 9-0-0 и завершения всех миграций БД (когда станет доступен веб-интерфейс) рекомендуем выполнить команду <code>VACUUM FULL</code> в PostgreSQL для очистки и оптимизации базы данных.

psql -h <postgres_host> -U <username> <svacer_database_name> -c 'VACUUM FULL;'

Например:

psql -h localhost -U svacer svacer_db -c 'VACUUM FULL;'

==== 8-0-0 ====
Если при обновлении на версию 8-0-0 и выше возникает подобная ошибка
Key (config_id, checker_id, languages, tools)=(4cd178ce-a2b2-4692-a45a-f84b145c807b, FB.ICAST_QUESTIONABLE_UNSIGNED_RIGHT_SHIFT, {JAVA}, {SpotBugs}) is duplicated
Это значит, что в БД есть дубликаты чекеров. Выполните следующий SQL-запрос в PostgreSQL-базе Svacer, чтобы удалить их:
delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

== Расширенная конфигурация ==

=== Настройки аутентификации в Svacer ===
В Svacer возможны четыре способа аутентификации пользователей

# Встроенный
# С помощью LDAP сервера
# Через утилиту oauth_proxy (по протоколу OIDC)
# Посредством Personal Access Token (PAT)

Ниже рассматривается настройка аутентификации посредством внутреннего механизма аутентификации. Для настройки [[LDAP]], [[Help:CLI#Personal Access Token|PAT]] или [[OIDC]] аутентификации см. соответствующие разделы документации.

==== Настройка внутреннего механизма аутентификации Svacer ====

===== Настройка парольной политики внутреннего механизма аутентификации Svacer =====
Настройки параметров встроенного механизма аутентификации возможны посредством секции '''auth.svacer''' конфигурационного файла Svacer. Ниже приведен пример настроек:
<pre class="">auth:
svacer:
password:
min_length: 10
complexity:
- "[a-z]"
- "[A-Z]"
- "[0-9]"
- "[!#]"</pre>
Параметр '''min_length''' задает минимальную возможную длину пароля в системе. Данный критерий используется при смене пароля пользователя и не влияет на текущие пароли пользователей.

Параметр '''complexity''' содержит набор регулярных выражений, задающих требования к паролю с точки зрения наличия в нем определенных символов. При задании такого списка выражений Svacer будет проверять задаваемый пользователем новый пароль на предмет удовлетворения всем этим требованиям. Каждое выражение в списке — полноценное выражение, поддерживаемое языком golang.

Указанные выше настройки применяются только к внутренним учетным записям пользователей Svacer. По умолчанию данные настройки отключены (нет требований на минимальную длину и сложность пароля).

===== Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer) =====
В случае интеграции Svacer с LDAP, можно указать Svacer какую вкладку — Svacer или LDAP — использовать по умолчанию. Для этого используется параметр '''auth.svacer.default'''. Если данный параметр установлен в значение '''true''', то вкладкой по умолчанию будет вкладка Svacer, иначе — вкладка LDAP.

Также возможно полностью отключить механизм внутренней аутентификации Svacer с помощью параметра '''auth.svacer.enabled'''.

Ниже приведен пример конфигурационного файла Svacer для задания вкладки LDAP по умолчанию (в случае наличие интеграции с LDAP сервером)<pre class="plaintext">auth:
svacer:
enabled: true
default: false</pre>

==== Настройка защиты от перебора паролей пользователей ====
Для случаев аутентификации с помощью LDAP сервера и с помощью встроенного механизма аутентификации реализован механизм блокировки учетных записей пользователей в том случае, если количество неудачных попыток входа превышает заданное в настройках число. По умолчанию защита отключена. Ниже приведен пример секции конфигурационного файла Svacer, задающего правила блокировки:

<pre class="plaintext">security:
login:
max_attempts: 5
lock_time: 2m</pre>

Время, на которое происходит блокировка учетной записи пользователя, указывается в формате golang/time: 1s,1m,60m и т. д.

В случае активации защиты данный механизм также защищает аутентификацию посредством вызовов соответствующих точек входа public API.

Блокировка не влияет на работу уже зарегистрированных пользователей.

Для принудительной разблокировки пользователей можно использовать команды cli (требуются права управления сервером):

<pre class="">svacer user-provider unlock --user admin --password admin --login locked_user</pre>

=== Настройка TLS ===
Svacer может быть сконфигурирован для поддержки TLS несколькими способами. Первый способ — использовать reverse proxy с поддержкой HTTPS и проксированием в Svacer по HTTP, второй — запуск Svacer с нативной поддержкой TLS.

==== Reverse proxy ====
Данный способ позволяет обеспечить безопасную передачу данных только по протоколу HTTPS, данные по протоколу gRPC передаются в незащищенном виде.

===== Nginx =====
Создайте конфигурационный файл с подобным содержанием в '''/etc/nginx/sites-enabled/'''
<pre>
server {
listen 443 ssl;
listen [::]:443 ssl;

server_name svacer.ispras.ru;

# for large data transfers and continuous connections
client_max_body_size 0;
proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

# path to ssl-certificate and key
ssl_certificate /etc/ssl/certs/svacer.ispras.ru.crt;
ssl_certificate_key /etc/ssl/private/svacer.ispras.ru.key;

location / {
include proxy_params;

# to make WebSockets work
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

# svacer HTTP URL
proxy_pass http://127.0.0.1:8080;
}
}

# proxy gRPC port if required
server {
listen 13002 http2;
underscores_in_headers on;

location / {
grpc_pass grpc://127.0.0.1:3002;
}
}
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Nginx.
systemctl restart nginx

Если ваш сервер виден из интернета и его внешний IP-адрес привязан к доменному имени, можете использовать Let's Encrypt и Certbot для получения валидного SSL-сертификата. См. [https://www.nginx.com/blog/using-free-ssltls-certificates-from-lets-encrypt-with-nginx/ эту инструкцию].

===== Apache =====
Включите нужные модули в Apache
sudo a2enmod ssl proxy proxy_http rewrite

Создайте конфигурационный файл с подобным содержанием в '''/etc/apache2/sites-enabled/'''
<pre>
<VirtualHost *:443>
SSLEngine On
ProxyPreserveHost On
ProxyTimeout 600

# path to ssl-certificate and key
SSLCertificateFile /etc/ssl/certs/svacer.ispras.ru.crt
SSLCertificateKeyFile /etc/ssl/private/svacer.ispras.ru.key

# svacer HTTP URL
ProxyPass / http://127.0.0.1:8080/
ProxyPassReverse / http://127.0.0.1:8080/

# to make WebSockets work
ProxyPass /api/ws/ ws://127.0.0.1:8080/api/ws/
ProxyPassReverse /api/ws/ ws://127.0.0.1:8080/api/ws/
RewriteEngine on
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]
RewriteRule /api/ws/(.*) ws://127.0.0.1:8080%{REQUEST_URI} [P]

ServerName svacer.ispras.ru
ServerAdmin svacer@ispras.ru
</VirtualHost>
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Apache.
systemctl restart apache2

==== Нативно ====
Этот способ позволяет обеспечить безопасную передачу данных как по протоколу HTTPS, так и по протоколу gRPC. Если сервер запускается с поддержкой TLS, то эта опция относится как к протоколу HTTPS, так и к протоколу gRPC.
По умолчанию сервер запускается без поддержки TLS, при этом в логах отображается информация об этом.
TLS for REST and gRPC DISABLED

Для запуска сервера с поддержкой TLS необходимо указать сертификат сервера и соответствующий закрытый ключ.
svacer-server run --ssl-cert svacer.crt --ssl-key svacer.key

При этом ключ должен быть в незашифрованном виде. Права доступа к файлу должны быть 0600. В файле сертификата можно указывать цепочку сертификатов. В этом случае сервер, при подключении клиента, будет возвращать всю цепочку. Первым сертификатом в цепочке всегда должен идти сертификат сервера Svacer. Формат файла — PEM. TLS соединение активируется и для протокола REST и для протокола gRPC.

Работа сервера по проктолу TLS сопровождается следующей записью в логе:
Using TLS for REST and gRPC protocols

Работа с таким сервером через CLI происходит как обычно. Для указания необходимости подключаться по TLS можно явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.
<pre>
svacer upload --host https://example.com
svacer upload --ssl --host example.com
</pre>
Также в клиенте можно определить параметр '''--ssl-ca-certs'''. Он позволяет задать доверенные сертификаты корневых центров. Указывается шаблон файлов (с *) или конкретный файл. Путь к директории должен быть абсолютным. В случае отсутствия этого параметра используется TLS, но сертификат сервера не проверяется. Этому случаю соответствует запись в логе клиента:
Using weak TLS configuration, because no CA certificate found

Если сертификаты были загружены, в логе будет строчка:
added 1 ca certs from /home/user/svacer/svacer.crt

Для администрирования сервера в плане используемого сертификата (например, замена при истечении срока действия) добавлена область в CLI svacer admin: '''server:config'''. В данной области есть 3 команды: '''show''', '''reload''', '''update'''. ID в этом случае нужно всегда указывать в значение '''ssl.cert'''.

* '''show''' — отображает текущий используемый сертификат

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action show</pre>

* '''reload''' — заставляет сервер перечитать использованные при старте сервера файлы с сертификатом и ключом

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action reload</pre>

* '''update''' — позволяет переслать на сервер новый сертификат (и ключ, если надо) и записать их в указанные при старте сервера файлы. При использовании этой команды нужно сформировать файл с новым сертификатом и, при необходимости, ключом, в формате PEM (используете '''cat''' для объединения сертификата и ключа в один файл) и указать этот файл в параметре value. Если в файле не будет указан закрытый ключ, то сервером будет использован текущий (тот, что был указан при запуске). Данная команда также изменит файлы сертификата и ключа (если он указан), указанные при старте сервера, на новые значения.

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action update --value svacer.pem</pre>

:Некоторое время после обновления сертификата сервер может использовать старые сертификаты (для уже установленных соединений). Для новых соединений будет использован обновленный сертификат.

В конфигурационном файле Svacer можно указать минимальную и максимальные версии TLS, поддерживаемые сервером. Для этого необходимо в конфигурационном файле указать параметры <code>minVersion</code> и <code>maxVersion</code> в разделе security.tls.

<pre>
security:
tls:
minVersion: tls11
maxVersion: tls12
</pre>

=== Интеграция с хранилищем секретов Infisical ===
В Svacer реализована поддержка получения секретов из хранилища секретов [https://infisical.com/ Infisical]. Подробную информацию об интеграции см. в статье [[Infisical|Интеграция с хранилищем секретов Infisical]].

=== Механизм интеграции с внешними системами посредством Webhook-ов ===

==== Общий принцип работы ====

Механизм webhook-ов настраивается в конфигурационном файле в секции '''webhook'''. Механизм срабатывает при получении по внутренней шине одного из поддерживаемых событий Svacer. Каждое из внутренних событий преобразуется в событие вызова webhook-а (см. [[Help:Installation#Модель поддерживаемых событий|Модель поддерживаемых событий]]) и отправляется на обработку в каждую из настроенных целей, которыми являются http-обработчики. Отправкой занимаются работники (их количество настраивается в конфигурационном файле в параметре '''workers_count'''). У каждой цели есть общая очередь, размер которой составляет 500 событий. Если очередь переполняется, будет выдаваться соответствующее сообщение в лог-файле Svacer.

Работники поддерживают протокол https (в том числе самоподписанные сертификаты). Для указания корневого сертификата можно использовать параметр '''ca_certs''' конфигурационного файла. Работникам можно указать таймаут соединения с webhook-сервером (в мс, по умолчанию 1000мс, параметр '''timeout''') и количество попыток отправки (по умолчанию — одна попытка, параметр '''retry_count''').

В настройках можно указать фильтр на отправляемые события (параметр '''filter'''). Фильтр указывается посредством задания выражения. В выражениях используется [https://github.com/expr-lang/expr синтаксис go-expr]. Фильтр возможно указать в количестве одной штуки на одну цель. Если фильтр после вычисления дает значение true, событие будет отправлено в цель.

Также реализован журнал событий отправки webhook-ов, размер которого может быть указан в конфигурационном файле (параметр '''journal_length'''). По умолчанию он равен 86400 записей — по 1 записи на каждую секунду суток. Журнал может быть использован для отладки механизма отправки событий в цель. Содержимое журнала хранится в памяти. При достижении журналом максимального размера, самые старые записи заменяются новыми.

Для настройки аутентификации работника можно использовать параметр '''headers''', который представляет собой список значений вида '''key:value'''. Данные пары будут добавлены в заголовки каждого http-запроса, выполняемого работником.

==== Конфигурация ====

Возможный пример конфигурационного файла, в котором указана отправка на сервер test-host.local событий, связанных с разметкой маркера.

webhook:
enabled: true
journal_length: 86400
targets:
- url: "<nowiki>https://test-host.local:8080/webhook</nowiki>"
workers_count: 1
enabled: true
filter: "Type == EventReviewMarker and Payload.Status != 'Undecided'"
ca_certs: "/etc/ssl/certs/ca.crt"
retry_count: 3
timeout: 1000
headers:
- "password:12345"
- "Authorization: Bearer eyJh .... "

==== CLI ====

Для взаимодействия с механизмом webhook реализованы две cli команды:

svacer server webhook journal
svacer server webhook stat

Первая команда позволяет посмотреть записи журнала отправки событий. Вторая команда позволяет вывести статистику по работе службы (особенно интересными могут быть поля '''sendError''' и '''skip''').

Пример вывода для первой команды (с флагом '''--humanize'''; если флага нет, то вывод будет в формате json):

==================== #1 ======================
Time: 2025-07-01 12:25:52.25343534 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 6 ms
==================== #2 ======================
Time: 2025-07-01 12:25:54.202850322 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 3 ms

Пример вывода команды статистики:

{
"enabled": true,
"targets": [
{
"enabled": true,
"url": "<nowiki>https://swarm-mgr.home:8080/webhook</nowiki>",
"filtered": 0,
"sendSuccess": 3,
"sentError": 0,
"submitted": 3,
"skip": 0
}
]
}

==== Модель поддерживаемых событий ====
syntax = "proto3";
import "google/protobuf/any.proto";
option go_package="svacer/proto/webhook";
package webhook;

enum EventType {
EventNone = 0;
EventTest = 1;
EventReviewMarker = 2;
EventPurgeReview = 3;
EventGroupReview = 4;
EventImportSnapshot = 5;
EventCopySnapshot = 6;
EventNewComment = 7;
EventUpdateComment = 8;
EventNewContainer = 9;
EventDeleteContainer = 10;
EventUpdateContainer =11;
EventImportMarkup = 12;
EventDeleteSnapshot = 13;
UpdateSnapshot = 14;
}

message MarkerDetails {
string id = 1;
string file = 2;
string line = 3;
string lang = 4;
}

message Event {
uint64 timestamp = 1;
EventType type = 2;
string created_by = 3;
google.protobuf.Any payload = 4;
}

message PayloadMarkerReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
repeated MarkerDetails markers = 7;
string comment = 8;
string severity = 9;
string action = 10;
string status = 11;
bool group_review = 12;
string created_by_id = 13;
string created_by_login = 14;
}

message PayloadPurgeReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string created_by_id = 5;
string created_by_login = 6;
}

message PayloadImportSnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
}

message PayloadMarkerComment {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
MarkerDetails marker = 7;
string comment = 8;
string created_by_id = 9;
string created_by_login = 10;
}

message PayloadCopySnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
string created_by_id = 7;
string created_by_login = 8;
}

message Container {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
Container source = 5;
}

message PayloadNewContainer {
repeated Container containers = 1;
}

message PayloadDeleteContainer {
repeated Container projects = 1;
repeated Container branches = 2;
}

message PayloadUpdateContainer {
Container container = 1;
}

message CopyResult {
uint64 total = 1;
uint64 applied_reviews = 2;
uint64 applied_comments = 3;
uint64 skipped_reviews = 4;
uint64 duplicate_reviews = 5;
uint64 duplicate_comments = 6;
}

message PayloadImportMarkup {
Container source=1;
Container target=2;
CopyResult copy_result =3;
}

message Snapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

message PayloadDeleteSnapshots {
repeated Snapshot snapshots = 1;
}

message PayloadUpdateSnapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

=== Выбор сетевых интерфейсов и портов сервера ===
* По умолчанию web-сервер запускается на всех сетевых интерфейсах, на порту 8080 ('''0.0.0.0:8080'''). Для указания конкретного сетевого интерфейса можно использовать опцию '''--listen <network interface>''', для указания другого порта: '''--port <port_number>.
* Аналогично для grpc-сервера: по умолчанию — '''0.0.0.0:3002''', для выбора конкретного интерфейса: '''--listen-grpc <network_interface>''', для указания другого порта: '''--grpc <port_number>'''.

svacer-server run --listen 127.0.0.1 --port 9090 --listen-grpc 127.0.0.1 --grpc 3004

При попытке запуска на порту < 1024 от непривилегированного пользователя (например, от пользователя svacer при установке из deb/rpm пакета), сервер Svacer не запустится с ошибкой

ERROR: port 443 is privileged, please check current user permissions or set another rest api port

В таком случае надо выдать capabilities на открытие привилегированных портов файлу сервера Svacer. Это нужно будет делать при каждом обновлении версии сервера

sudo setcap 'cap_net_bind_service=+ep' /usr/bin/svacer-server

=== Увеличение лимита открытых файлов ===
Актуально только для Linux.

Если проекты большие, или их много, в object store создается большое количество файлов. Для нормальной работы сервера Svacer при этом рекомендуется увеличивать системный лимит количества одновременно открытых файлов.

В POSIX таких лимита два:
* soft nofiles — текущее максимальное значение
* hard nofiles — общесистемное максимальное значение

В большинстве систем hard значение достаточно большое, а soft обычно маленькое, что и приводит к проблемам. Пример на Debian 11:

$ ulimit -Sn
1024
$ ulimit -Hn
1048576

Начиная с версии 6-0-0 Svacer пытается автоматически увеличить soft limit до значения hard limit при запуске, а начиная с версии 8-0-0 — проверяет, что увеличить удалось и выводит сообщение с текущим лимитом. Если видите в логах подобную запись — у soft и hard одно, достаточно большое значение — значит все в порядке.

Open files limit (soft and hard): 1048576

Для более ранних версий, или если на вашем дистрибутиве Linux это не работает автоматически, можете увеличить лимит вручную одним из следующих способов:

* Перед запуском Svacer выполнить из консоли команду, увеличив лимит для текущей сессии
ulimit -Sn 16384

* Либо один раз увеличить на уровне системы — в файл '''/etc/security/limits.conf''' добавить

* soft nofile 16384

* Если запускаете Svacer как сервис systemd, добавьте параметр '''LimitNOFILE''' в секцию '''[Service]''' файла описания сервиса.
:В файле из deb/rpm пакета релиза Svacer этот параметр уже добавлен

[Service]
LimitNOFILE=16384

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Установка пути к директории для кэша ===
Если запускаете Svacer под пользователем без домашней директории, рекомендуется установить путь к директории для кэша через переменную окружения SVACER_CACHE_DIR в файле описания сервиса systemd

[Service]
Environment="SVACER_CACHE_DIR=/path/to/some/dir"

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Дополнительные параметры при запуске в docker-контейнере ===
При запуске в докер-контейнере можно указать дополнительные параметры, к примеру добавить конфиг [[Help:CLI#Хуки|хуков]].

Для этого переопределите команду запуска сервера Svacer в docker-compose файле и допишите туда нужные параметры:

command: /svacer/bin/svacer-server run --store /data/store --pg postgres://svace:svace@postgresql:5432/svace --hooks /svacer/hooks.json

Конфигурационный файл с описанием хуков примонтируйте как volume:

volumes:
- ./hooks.json:/svacer/hooks.json

Можете использовать переменные из секции environment docker-compose файла, тогда в строке запуска их надо экранировать с помощью <code>$$</code> и запускать сервер Svacer как shell-команду, чтобы в контейнере подставились значения переменных

environment:
- SVACER_PG_URL=postgres://svace:svace@postgresql:5432/svace
- STORE=/data/store
- HOOKS_FILE=/svacer/hooks.json
volumes:
- ./hooks.json:/svacer/hooks.json
command: sh -c "/svacer/bin/svacer-server run --store $$STORE --pg $$SVACER_PG_URL --hooks $$HOOKS_FILE"

Для более комплексных сценариев можете собрать свой образ с сервером Svacer, использовав наш [[Dockerfile]] как референс.

== Обновление детекторов ==
После установки новой версии Svace требуется обновить описания детекторов в Svacer. Для этого необходимо выполнить команду:

svacer checkers --upload </path/to/svace>

{{Note}} Обновление описаний детекторов это серьезная операция, которая должна выполняться после предварительного тестирования. Поэтому перед выполнением команды рекомендуется сделать резервную копию базы данных Svacer.

== Генерация PDF на основе HTML ==
В релиз 10.х.х включена генерация PDF на основе рендеринга HTML с последующим запуском headless chrome/chromium для генерации PDF. Этот подход позволяет упростить формирование шаблонов для генерации PDF, но требует существенно больше вычислительных ресурсов. Для тюнинга числа параллельных процессов при генерации используется переменная окружения

SVACER_PDF_GEN_LIMITS=<pdf tool limit>:<chrome limit>

Первое значение <code><pdf tool limit></code> определяет число одновременных процессов pdfmerge для сборки отдельных секций в единый PDF документ; второе значение <code><chrome limit></code> определяет одновременное число процессов chrome/chromium для генерации PDF из HTML. Не рекомендуется ставить значения, сильно превышающие число ядер в сервере.

== Полнотекстовый поиск ==
Для поддержки полнотекстового поиска Svacer строит индекс. По умолчанию директория для индекса создается в <code>$HOME/.cache/svacer</code>, для указания иной директории можно использовать переменную окружения <code>SVACER_SEARCH_INDEX_DIR</code>

В ряде случаев (падение и рестарт сервера, ошибки и т. п.) кэш может быть в некорректном состоянии. Для переиндексации данных администратор может использовать CLI команду

svacer search --host <nowiki>http://some_host:port</nowiki> --user <login> --password <pwd> --drop-cache

Используемая при этом учетная запись должна быть с правами на <code>Server administration</code>

При импорте результатов на сервер индексация идет в фоновой задачи. Появление новых данных в результатах поиска может занять некоторое время.

== Указание public-url ==
В некоторых случаях необходимо явно указывать серверу Svacer его URL-адрес. Например, это нужно для корректной генерации коротких ссылок на предупреждения и ссылок в [[Notifications|уведомлениях]]. Используйте параметр <code>--public-url</code> при запуске сервера
<nowiki>svacer-server run --public-url http://svacer.intra.net:8080</nowiki>

== Расширенные параметры настройки сервера ==
Пользователь может использовать следующие переменные окружения для изменения внутренних параметров сервера:
{| class="wikitable"
|+
!Переменная
!Значение по умолчанию
!Описание
|-
|<code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|15 минут
|Таймаут ожидания процесса начала импорта на сервере. При превышении, запрос на импорт будет отклонен с ошибкой. Формат Go Duration string: 1h2m3s. Переменная затрагивает только ожидание начала, но не ограничивает сам процесс импорта.
|-
|<code>SVACER_NUM_PARALLEL_IMPORTS</code>
|(<code>максимальное число коннектов к БД) / 2</code>
|Число одновременных параллельных импортов. Остальные ждут в очереди. На ожидание влияет переменная <code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|-
|<code>SVACER_TAIL_LOG_SIZE</code>
|1Мб
|Число. Размер буффера для показа лога сервера в WEB. Показывается последние SVACER_TAIL_LOG_SIZE байт из лога.
|-
|<code>SVACER_LOG_FORMAT</code>
|<пусто>
|При указании формата json вывод формат лога заменяется на JSON. Предназначено для интеграции с агрегаторами логов. Так же можно указать через флаг при старте
<code>svacer-server --log-format=json</code>
|-
|<code>SVACER_INV_GEN_JOBS</code>
|0.7 * runtime.GOMAXPROCS
|Максимальное число параллельных job-ов для генерации инвариантов при миграции старой базы или импорте результатов.
При ограниченных ресурсах сервера устанавливать в значение 1 или 2. Пользователь не может увеличить больше, чем GOMAXPROCS
|-
|
|
|
|}

Changelog

2025-11-26T11:02:24Z

Ruseer:

=== Release 12-0-0 ===
* Сериализация JSON переведена на jsonv2 библиотеку в Go
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера показываемого в WEB интерфейсе ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается не последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл может быть не ограничивается в размерах
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* ['''Экспериментально'''] Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен
* Добавлена интеграциия с внешними системами посредством механизма [[Help:Installation#Механизм интеграции с внешними системами посредством Webhook-ов|Webhook-ов]]
* Добавлена [[Help:Installation#Настройка защиты от перебора паролей пользователей|Защита от перебора пароля пользователя]]
* Добавлена возможность задать [[Help:Installation#Настройка парольной политики внутреннего механизма аутентификации Svacer|Парольную политику безопасности]] для пользователей, использующих встроенный мханизм аутентификации Svacer
* Добавлена возможность задать [[Help:Installation#Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer)|вкладку по умолчанию]] для страницы входа в систему
* Исправлена ошибка, приводящая к разрастанию базы данных
* Исправлена ошибка, связанная с невозможностью в ряде случаев использовать механизм подписок

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Help:Installation

2025-11-26T10:32:24Z

Ruseer: /* Расширенные параметры настройки сервера */

== Установка и запуск ==
Для использования только клиента Svacer достаточно [[Svacer#Релизы|скачать исполняемый файл]] '''svacer''', или установить [[Help:Installation#Svacer|deb/rpm пакет]].

Сервер Svacer можно запустить в [[Help:Installation#docker compose|докере]] или из [[Help:Installation#deb/rpm|deb/rpm пакета]].

=== docker compose ===
Рекомендуемый и самый простой способ деплоя — развернуть сервер Svacer в докер-контейнерах, воспользовавшиcь [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose.yml] файлом:

<nowiki>curl -LO https://svacer.ispras.ru/extra/docker-compose.yml</nowiki>
docker compose up -d

После запуска контейнеров веб-интерфейс Svacer будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

Для сборки своего докер-образа Svacer можете использовать [[Dockerfile]] в качестве референса.

Для указания других параметров сервера можете [[Help:Installation#Дополнительные параметры при запуске в docker-контейнере|переопределить команду запуска]] в docker-compose файле.

=== deb/rpm ===
==== PostgreSQL ====
{{Note|type=info|text=Disclaimer
* Рекомендуемая версия PostgreSQL — 15 и выше. С более старыми версиями корректная работа Svacer не гарантируется.
* Svacer требует эксклюзивного доступа к базе. Использование одной и той же базы для нескольких экземпляров Svacer может приводить к порче данных.}}

Для работы сервера Svacer установите PostgreSQL, следуя [https://www.postgresql.org/download/linux документации postgres]. Для RedHat-based OS нужно дополнительно установить пакет postgresql-contrib соответствующей версии.

Пример для Ubuntu 22:

sudo apt install -y postgresql-common
sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh
sudo apt install -y postgresql-17

Пример для Rocky Linux 9.4:

<nowiki>sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm</nowiki>
sudo dnf -qy module disable postgresql
sudo dnf install -y postgresql17-server postgresql17-contrib
sudo /usr/pgsql-17/bin/postgresql-17-setup initdb
sudo systemctl enable postgresql-17
sudo systemctl start postgresql-17

==== Браузер для PDF-отчетов ====
Для создания PDF-отчетов с использованием нового HTML-генератора установите браузер Google Chrome на машину, где запускается сервер Svacer. Рекомендуется устанавливать из официального репозитория, следуя [https://www.google.com/chrome/?platform=linux инструкции с сайта google].

{{Note|type=info|text=Рекомендуемые системные требования при генерации PDF-отчетов для больших проектов с использованием HTML-генератора: Intel Core i9, 64 GB RAM, SSD, видеокарта Nvidia}}

При запуске Svacer проверит доступность браузера для генерации PDF. Если он не установлен или генерация не работает, будет использован нативный генератор: менее продвинутый, но для него не нужен браузер. Можно явно включить использование нативного генератора, передав опцию <code>--pdf-generator=native</code> при запуске сервера Svacer.

При невозможности установить Google Chrome, например если нет пакета для вашего дистрибутива Linux, можно установить Chromium. Его пакет в репозиториях, в зависимости от вышей ОС, может называться <code>chromium-browser</code> или <code>chromium</code>. В некоторых случаях генерация с Chromium может не работать. Например, если Svacer установлен из deb-пакета, а Сhromium из snap (на Ubuntu он устанавливается именно так даже при использовании apt) и сервер Svacer запускается от отдельного системного пользователя, от которого Chromium не может запуститься. В этом случае установите Google Chrome, с ним генерация работает.

==== Svacer ====
На Debian-based OS добавьте apt-репозиторий и установите Svacer из него.

<nowiki>echo 'deb [signed-by=/usr/share/keyrings/ispras.gpg] https://repo.ispras.ru/apt /' | sudo tee /etc/apt/sources.list.d/ispras.list</nowiki>
<nowiki>curl -fsSL https://repo.ispras.ru/apt/key.asc | sudo gpg --dearmor -o /usr/share/keyrings/ispras.gpg</nowiki>
sudo apt update
sudo apt install -y svacer

На RedHat-based OS добавьте dnf-репозиторий и установите Svacer из него

<nowiki>curl -fsSL https://repo.ispras.ru/rpm/ispras.repo | sudo tee /etc/yum.repos.d/ispras.repo</nowiki>
sudo dnf install -y svacer

Для создания БД PostgreSQL запустите '''psql''' от учетной записи пользователя '''postgres'''

sudo su -l postgres
psql

И выполните следующие запросы:
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;

В данном примере создается БД svace и права на нее выдаются пользователю svace с паролем svace. Также этому пользователю выдаются права суперюзера, что необходимо для создания расширений в PostgreSQL. При использовании этих значений по умолчанию дальнейшая конфигурация не требуется и можно переходить к запуску.

При использовании других значений нужно поменять параметры подключения к БД в файле '''/etc/default/svacer'''

SVACER_ARGS="--pg postgres://<user>:<password>@127.0.0.1:5432/<database>"

В этой же строке можно указать прочие аргументы для запуска сервера Svacer.

На Astra Linux необходимо в файле '''/etc/parsec/mswitch.conf''' установить параметр <code>zero_if_notfound: yes</code>, иначе при запуске Svacer будет ошибка подключения к БД вида

error obtaining MAC configuration for user "svace" (SQLSTATE 57P03)

После создания БД и конфигурации сервера Svacer запустить его можно следующими командами

sudo systemctl enable svacer
sudo systemctl start svacer

После чего проверить успешность запуска командой

systemctl status svacer

После запуска сервер будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

=== Установка и запуск на Windows ===
PostgreSQL нужен только для сервера Svacer, для клиента не требуется.
* Скачайте установщик PostgreSQL для Windows: https://www.postgresql.org/download/windows
* Установите PostgreSQL, выбрав, как минимум, компоненты "PostgreSQL Server" и "Command Line Tools"
* Задайте и запомните пароль на шаге выбора пароля для суперпользователя
* Остальные параметры при установке можно оставить по умолчанию
* После установки PostgreSQL откройте консоль, перейдите в директорию, куда установили PostgreSQL, запустите его клиент с указанием пользователя "postgres" и авторизуйтесь с паролем, заданным во время установки
cd c:\Program Files\PostgreSQL\15\bin
psql -U postgres
* Запустится консоль управления PostgreSQL. Выполните в ней следующие команды, чтобы создать БД и пользователя для Svacer
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;
* Выйдите из консоли PostgreSQL
* Запустите '''svacer-server.exe''' из консоли с указанием параметров подключения к БД. Если при создании пользователя и БД PostgreSQL вы использовали для них имя по умолчанию 'svace', как в примере выше, то указывать данные для подключения к БД при запуске сервера не обязательно
svacer-server.exe run
* Если создавали пользователя или БД с другими именами, то при запуске сервера надо указать их явно
svacer-server.exe run --pg postgres://svacer_user:svacer_password@127.0.0.1:5432/svacer_database
* После запуска сервера его веб-интерфейс будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin

== Обновление ==
{{Note|type=reminder|text='''Перед обновлением настоятельно рекомендуется [[Help:Backup|делать резервные копии]]'''}}

Миграции схем БД PostgreSQL и object store происходят автоматически при обновлении на новую версию Svacer. Поэтому для обновления Svacer достаточно остановить сервер старой версии, запустить сервер новой версии, указав ему те же параметры БД и object store, и подождать, пока не пройдет обновление, после чего Svacer запустится как обычно. При больших объемах данных в БД это может занять существенное время, до нескольких часов. Прогресс можно отслеживать по логам сервера.

Версии не имеют обратной совместимости, то есть после обновления на следующую версию, откатиться на предыдущую можно будет, только восстановив БД из бэкапа.

{{Note|type=warn|text=После запуска Svacer при обновлении обязательно дождитесь пока миграция БД завершится. Если прервать процесс во время миграции, принудительно остановив Svacer, база данных может оказаться в неконсистентном состоянии и придется восстанавливать данные из бэкапа.}}

=== Upgrade notes ===
==== 12-x-x ====
Рекомендуем обновить PostgreSQL до версии 15 или выше. С более старыми версиями корректная работа Svacer не гарантируется.

==== 11-x-x ====
Нет специфических рекомендаций по обновлению.

==== 10-x-x ====
Нет специфических рекомендаций по обновлению.

==== 9-0-0 ====
{{Note|type=reminder|text=При обновлении на эту версию рекомендуем не меньше 8GB RAM для корректности миграций}}

Базово, никаких обязательных ручных действий с базой данных или object store при обновлении на 9-0-0 не требуется. Описанные ниже шаги могут помочь увеличить производительность сервера Svacer или решить возможные проблемы.

'''1.'''

В версии 9-0-0 поменялся формат object store, поэтому при обновлении с предыдущих версий Svacer на 9-0-0 или выше будет запущена конвертация object store в новый формат. Конвертация сначала записывает новые данные, а потом, если все прошло успешно, удаляет старые. Из-за этого для конвертации нужно примерно в два раза больше свободного дискового пространства, чем занимает текущий object store. При больших размерах object store и медленном диске конвертация может занять много времени.

Конвертация запустится автоматически при обновлении на 9-0-0, но можно запустить вручную отдельно:

svacer-server kvconvert --from <path> --to <path>

Расположение object store в файловой системе описано в [[Help:Backup#Бэкап object store вручную|разделе про бэкапы]].

'''2.'''

Перед установкой новой версии рекомендуется выполнить следующий запрос в БД для удаления дубликатов описаний чекеров.

delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

Если вы уже выполняли этот запрос при [[Help:Installation#8-0-0|обновлении на 8-0-0]], то второй раз запускать не обязательно.

'''3.'''

После обновления на версию 9-0-0 и завершения всех миграций БД (когда станет доступен веб-интерфейс) рекомендуем выполнить команду <code>VACUUM FULL</code> в PostgreSQL для очистки и оптимизации базы данных.

psql -h <postgres_host> -U <username> <svacer_database_name> -c 'VACUUM FULL;'

Например:

psql -h localhost -U svacer svacer_db -c 'VACUUM FULL;'

==== 8-0-0 ====
Если при обновлении на версию 8-0-0 и выше возникает подобная ошибка
Key (config_id, checker_id, languages, tools)=(4cd178ce-a2b2-4692-a45a-f84b145c807b, FB.ICAST_QUESTIONABLE_UNSIGNED_RIGHT_SHIFT, {JAVA}, {SpotBugs}) is duplicated
Это значит, что в БД есть дубликаты чекеров. Выполните следующий SQL-запрос в PostgreSQL-базе Svacer, чтобы удалить их:
delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

== Расширенная конфигурация ==

=== Настройки аутентификации в Svacer ===
В Svacer возможны четыре способа аутентификации пользователей

# Встроенный
# С помощью LDAP сервера
# Через утилиту oauth_proxy (по протоколу OIDC)
# Посредством Personal Access Token (PAT)

Ниже рассматривается настройка аутентификации посредством внутреннего механизма аутентификации. Для настройки [[LDAP]], [[Help:CLI#Personal Access Token|PAT]] или [[OIDC]] аутентификации см. соответствующие разделы документации.

==== Настройка внутреннего механизма аутентификации Svacer ====

===== Настройка парольной политики внутреннего механизма аутентификации Svacer =====
Настройки параметров встроенного механизма аутентификации возможны посредством секции '''auth.svacer''' конфигурационного файла Svacer. Ниже приведен пример настроек:
<pre class="">auth:
svacer:
password:
min_length: 10
complexity:
- "[a-z]"
- "[A-Z]"
- "[0-9]"
- "[!#]"</pre>
Параметр '''min_length''' задает минимальную возможную длину пароля в системе. Данный критерий используется при смене пароля пользователя и не влияет на текущие пароли пользователей.

Параметр '''complexity''' содержит набор регулярных выражений, задающих требования к паролю с точки зрения наличия в нем определенных символов. При задании такого списка выражений Svacer будет проверять задаваемый пользователем новый пароль на предмет удовлетворения всем этим требованиям. Каждое выражение в списке — полноценное выражение, поддерживаемое языком golang.

Указанные выше настройки применяются только к внутренним учетным записям пользователей Svacer. По умолчанию данные настройки отключены (нет требований на минимальную длину и сложность пароля).

===== Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer) =====
В случае интеграции Svacer с LDAP, можно указать Svacer какую вкладку — Svacer или LDAP — использовать по умолчанию. Для этого используется параметр '''auth.svacer.default'''. Если данный параметр установлен в значение '''true''', то вкладкой по умолчанию будет вкладка Svacer, иначе — вкладка LDAP.

Также возможно полностью отключить механизм внутренней аутентификации Svacer с помощью параметра '''auth.svacer.enabled'''.

Ниже приведен пример конфигурационного файла Svacer для задания вкладки LDAP по умолчанию (в случае наличие интеграции с LDAP сервером)<pre class="plaintext">auth:
svacer:
enabled: true
default: false</pre>

==== Настройка защиты от перебора паролей пользователей ====
Для случаев аутентификации с помощью LDAP сервера и с помощью встроенного механизма аутентификации реализован механизм блокировки учетных записей пользователей в том случае, если количество неудачных попыток входа превышает заданное в настройках число. По умолчанию защита отключена. Ниже приведен пример секции конфигурационного файла Svacer, задающего правила блокировки:

<pre class="plaintext">security:
login:
max_attempts: 5
lock_time: 2m</pre>

Время, на которое происходит блокировка учетной записи пользователя, указывается в формате golang/time: 1s,1m,60m и т. д.

В случае активации защиты данный механизм также защищает аутентификацию посредством вызовов соответствующих точек входа public API.

Блокировка не влияет на работу уже зарегистрированных пользователей.

Для принудительной разблокировки пользователей можно использовать команды cli (требуются права управления сервером):

<pre class="">svacer user-provider unlock --user admin --password admin --login locked_user</pre>

=== Настройка TLS ===
Svacer может быть сконфигурирован для поддержки TLS несколькими способами. Первый способ — использовать reverse proxy с поддержкой HTTPS и проксированием в Svacer по HTTP, второй — запуск Svacer с нативной поддержкой TLS.

==== Reverse proxy ====
Данный способ позволяет обеспечить безопасную передачу данных только по протоколу HTTPS, данные по протоколу gRPC передаются в незащищенном виде.

===== Nginx =====
Создайте конфигурационный файл с подобным содержанием в '''/etc/nginx/sites-enabled/'''
<pre>
server {
listen 443 ssl;
listen [::]:443 ssl;

server_name svacer.ispras.ru;

# for large data transfers and continuous connections
client_max_body_size 0;
proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

# path to ssl-certificate and key
ssl_certificate /etc/ssl/certs/svacer.ispras.ru.crt;
ssl_certificate_key /etc/ssl/private/svacer.ispras.ru.key;

location / {
include proxy_params;

# to make WebSockets work
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

# svacer HTTP URL
proxy_pass http://127.0.0.1:8080;
}
}

# proxy gRPC port if required
server {
listen 13002 http2;
underscores_in_headers on;

location / {
grpc_pass grpc://127.0.0.1:3002;
}
}
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Nginx.
systemctl restart nginx

Если ваш сервер виден из интернета и его внешний IP-адрес привязан к доменному имени, можете использовать Let's Encrypt и Certbot для получения валидного SSL-сертификата. См. [https://www.nginx.com/blog/using-free-ssltls-certificates-from-lets-encrypt-with-nginx/ эту инструкцию].

===== Apache =====
Включите нужные модули в Apache
sudo a2enmod ssl proxy proxy_http rewrite

Создайте конфигурационный файл с подобным содержанием в '''/etc/apache2/sites-enabled/'''
<pre>
<VirtualHost *:443>
SSLEngine On
ProxyPreserveHost On
ProxyTimeout 600

# path to ssl-certificate and key
SSLCertificateFile /etc/ssl/certs/svacer.ispras.ru.crt
SSLCertificateKeyFile /etc/ssl/private/svacer.ispras.ru.key

# svacer HTTP URL
ProxyPass / http://127.0.0.1:8080/
ProxyPassReverse / http://127.0.0.1:8080/

# to make WebSockets work
ProxyPass /api/ws/ ws://127.0.0.1:8080/api/ws/
ProxyPassReverse /api/ws/ ws://127.0.0.1:8080/api/ws/
RewriteEngine on
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]
RewriteRule /api/ws/(.*) ws://127.0.0.1:8080%{REQUEST_URI} [P]

ServerName svacer.ispras.ru
ServerAdmin svacer@ispras.ru
</VirtualHost>
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Apache.
systemctl restart apache2

==== Нативно ====
Этот способ позволяет обеспечить безопасную передачу данных как по протоколу HTTPS, так и по протоколу gRPC. Если сервер запускается с поддержкой TLS, то эта опция относится как к протоколу HTTPS, так и к протоколу gRPC.
По умолчанию сервер запускается без поддержки TLS, при этом в логах отображается информация об этом.
TLS for REST and gRPC DISABLED

Для запуска сервера с поддержкой TLS необходимо указать сертификат сервера и соответствующий закрытый ключ.
svacer-server run --ssl-cert svacer.crt --ssl-key svacer.key

При этом ключ должен быть в незашифрованном виде. Права доступа к файлу должны быть 0600. В файле сертификата можно указывать цепочку сертификатов. В этом случае сервер, при подключении клиента, будет возвращать всю цепочку. Первым сертификатом в цепочке всегда должен идти сертификат сервера Svacer. Формат файла — PEM. TLS соединение активируется и для протокола REST и для протокола gRPC.

Работа сервера по проктолу TLS сопровождается следующей записью в логе:
Using TLS for REST and gRPC protocols

Работа с таким сервером через CLI происходит как обычно. Для указания необходимости подключаться по TLS можно явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.
<pre>
svacer upload --host https://example.com
svacer upload --ssl --host example.com
</pre>
Также в клиенте можно определить параметр '''--ssl-ca-certs'''. Он позволяет задать доверенные сертификаты корневых центров. Указывается шаблон файлов (с *) или конкретный файл. Путь к директории должен быть абсолютным. В случае отсутствия этого параметра используется TLS, но сертификат сервера не проверяется. Этому случаю соответствует запись в логе клиента:
Using weak TLS configuration, because no CA certificate found

Если сертификаты были загружены, в логе будет строчка:
added 1 ca certs from /home/user/svacer/svacer.crt

Для администрирования сервера в плане используемого сертификата (например, замена при истечении срока действия) добавлена область в CLI svacer admin: '''server:config'''. В данной области есть 3 команды: '''show''', '''reload''', '''update'''. ID в этом случае нужно всегда указывать в значение '''ssl.cert'''.

* '''show''' — отображает текущий используемый сертификат

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action show</pre>

* '''reload''' — заставляет сервер перечитать использованные при старте сервера файлы с сертификатом и ключом

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action reload</pre>

* '''update''' — позволяет переслать на сервер новый сертификат (и ключ, если надо) и записать их в указанные при старте сервера файлы. При использовании этой команды нужно сформировать файл с новым сертификатом и, при необходимости, ключом, в формате PEM (используете '''cat''' для объединения сертификата и ключа в один файл) и указать этот файл в параметре value. Если в файле не будет указан закрытый ключ, то сервером будет использован текущий (тот, что был указан при запуске). Данная команда также изменит файлы сертификата и ключа (если он указан), указанные при старте сервера, на новые значения.

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action update --value svacer.pem</pre>

:Некоторое время после обновления сертификата сервер может использовать старые сертификаты (для уже установленных соединений). Для новых соединений будет использован обновленный сертификат.

В конфигурационном файле Svacer можно указать минимальную и максимальные версии TLS, поддерживаемые сервером. Для этого необходимо в конфигурационном файле указать параметры <code>minVersion</code> и <code>maxVersion</code> в разделе security.tls.

<pre>
security:
tls:
minVersion: tls11
maxVersion: tls12
</pre>

=== Интеграция с хранилищем секретов Infisical ===
В Svacer реализована поддержка получения секретов из хранилища секретов [https://infisical.com/ Infisical]. Подробную информацию об интеграции см. в статье [[Infisical|Интеграция с хранилищем секретов Infisical]].

=== Механизм интеграции с внешними системами посредством Webhook-ов ===

==== Общий принцип работы ====

Механизм webhook-ов настраивается в конфигурационном файле в секции '''webhook'''. Механизм срабатывает при получении по внутренней шине одного из поддерживаемых событий Svacer. Каждое из внутренних событий преобразуется в событие вызова webhook-а (см. [[Help:Installation#Модель поддерживаемых событий|Модель поддерживаемых событий]]) и отправляется на обработку в каждую из настроенных целей, которыми являются http-обработчики. Отправкой занимаются работники (их количество настраивается в конфигурационном файле в параметре '''workers_count'''). У каждой цели есть общая очередь, размер которой составляет 500 событий. Если очередь переполняется, будет выдаваться соответствующее сообщение в лог-файле Svacer.

Работники поддерживают протокол https (в том числе самоподписанные сертификаты). Для указания корневого сертификата можно использовать параметр '''ca_certs''' конфигурационного файла. Работникам можно указать таймаут соединения с webhook-сервером (в мс, по умолчанию 1000мс, параметр '''timeout''') и количество попыток отправки (по умолчанию — одна попытка, параметр '''retry_count''').

В настройках можно указать фильтр на отправляемые события (параметр '''filter'''). Фильтр указывается посредством задания выражения. В выражениях используется [https://github.com/expr-lang/expr синтаксис go-expr]. Фильтр возможно указать в количестве одной штуки на одну цель. Если фильтр после вычисления дает значение true, событие будет отправлено в цель.

Также реализован журнал событий отправки webhook-ов, размер которого может быть указан в конфигурационном файле (параметр '''journal_length'''). По умолчанию он равен 86400 записей — по 1 записи на каждую секунду суток. Журнал может быть использован для отладки механизма отправки событий в цель. Содержимое журнала хранится в памяти. При достижении журналом максимального размера, самые старые записи заменяются новыми.

Для настройки аутентификации работника можно использовать параметр '''headers''', который представляет собой список значений вида '''key:value'''. Данные пары будут добавлены в заголовки каждого http-запроса, выполняемого работником.

==== Конфигурация ====

Возможный пример конфигурационного файла, в котором указана отправка на сервер test-host.local событий, связанных с разметкой маркера.

webhook:
enabled: true
journal_length: 86400
targets:
- url: "<nowiki>https://test-host.local:8080/webhook</nowiki>"
workers_count: 1
enabled: true
filter: "Type == EventReviewMarker and Payload.Status != 'Undecided'"
ca_certs: "/etc/ssl/certs/ca.crt"
retry_count: 3
timeout: 1000
headers:
- "password:12345"
- "Authorization: Bearer eyJh .... "

==== CLI ====

Для взаимодействия с механизмом webhook реализованы две cli команды:

svacer server webhook journal
svacer server webhook stat

Первая команда позволяет посмотреть записи журнала отправки событий. Вторая команда позволяет вывести статистику по работе службы (особенно интересными могут быть поля '''sendError''' и '''skip''').

Пример вывода для первой команды (с флагом '''--humanize'''; если флага нет, то вывод будет в формате json):

==================== #1 ======================
Time: 2025-07-01 12:25:52.25343534 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 6 ms
==================== #2 ======================
Time: 2025-07-01 12:25:54.202850322 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 3 ms

Пример вывода команды статистики:

{
"enabled": true,
"targets": [
{
"enabled": true,
"url": "<nowiki>https://swarm-mgr.home:8080/webhook</nowiki>",
"filtered": 0,
"sendSuccess": 3,
"sentError": 0,
"submitted": 3,
"skip": 0
}
]
}

==== Модель поддерживаемых событий ====
syntax = "proto3";
import "google/protobuf/any.proto";
option go_package="svacer/proto/webhook";
package webhook;

enum EventType {
EventNone = 0;
EventTest = 1;
EventReviewMarker = 2;
EventPurgeReview = 3;
EventGroupReview = 4;
EventImportSnapshot = 5;
EventCopySnapshot = 6;
EventNewComment = 7;
EventUpdateComment = 8;
EventNewContainer = 9;
EventDeleteContainer = 10;
EventUpdateContainer =11;
EventImportMarkup = 12;
EventDeleteSnapshot = 13;
UpdateSnapshot = 14;
}

message MarkerDetails {
string id = 1;
string file = 2;
string line = 3;
string lang = 4;
}

message Event {
uint64 timestamp = 1;
EventType type = 2;
string created_by = 3;
google.protobuf.Any payload = 4;
}

message PayloadMarkerReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
repeated MarkerDetails markers = 7;
string comment = 8;
string severity = 9;
string action = 10;
string status = 11;
bool group_review = 12;
string created_by_id = 13;
string created_by_login = 14;
}

message PayloadPurgeReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string created_by_id = 5;
string created_by_login = 6;
}

message PayloadImportSnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
}

message PayloadMarkerComment {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
MarkerDetails marker = 7;
string comment = 8;
string created_by_id = 9;
string created_by_login = 10;
}

message PayloadCopySnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
string created_by_id = 7;
string created_by_login = 8;
}

message Container {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
Container source = 5;
}

message PayloadNewContainer {
repeated Container containers = 1;
}

message PayloadDeleteContainer {
repeated Container projects = 1;
repeated Container branches = 2;
}

message PayloadUpdateContainer {
Container container = 1;
}

message CopyResult {
uint64 total = 1;
uint64 applied_reviews = 2;
uint64 applied_comments = 3;
uint64 skipped_reviews = 4;
uint64 duplicate_reviews = 5;
uint64 duplicate_comments = 6;
}

message PayloadImportMarkup {
Container source=1;
Container target=2;
CopyResult copy_result =3;
}

message Snapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

message PayloadDeleteSnapshots {
repeated Snapshot snapshots = 1;
}

message PayloadUpdateSnapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

=== Выбор сетевых интерфейсов и портов сервера ===
* По умолчанию web-сервер запускается на всех сетевых интерфейсах, на порту 8080 ('''0.0.0.0:8080'''). Для указания конкретного сетевого интерфейса можно использовать опцию '''--listen <network interface>''', для указания другого порта: '''--port <port_number>.
* Аналогично для grpc-сервера: по умолчанию — '''0.0.0.0:3002''', для выбора конкретного интерфейса: '''--listen-grpc <network_interface>''', для указания другого порта: '''--grpc <port_number>'''.

svacer-server run --listen 127.0.0.1 --port 9090 --listen-grpc 127.0.0.1 --grpc 3004

При попытке запуска на порту < 1024 от непривилегированного пользователя (например, от пользователя svacer при установке из deb/rpm пакета), сервер Svacer не запустится с ошибкой

ERROR: port 443 is privileged, please check current user permissions or set another rest api port

В таком случае надо выдать capabilities на открытие привилегированных портов файлу сервера Svacer. Это нужно будет делать при каждом обновлении версии сервера

sudo setcap 'cap_net_bind_service=+ep' /usr/bin/svacer-server

=== Увеличение лимита открытых файлов ===
Актуально только для Linux.

Если проекты большие, или их много, в object store создается большое количество файлов. Для нормальной работы сервера Svacer при этом рекомендуется увеличивать системный лимит количества одновременно открытых файлов.

В POSIX таких лимита два:
* soft nofiles — текущее максимальное значение
* hard nofiles — общесистемное максимальное значение

В большинстве систем hard значение достаточно большое, а soft обычно маленькое, что и приводит к проблемам. Пример на Debian 11:

$ ulimit -Sn
1024
$ ulimit -Hn
1048576

Начиная с версии 6-0-0 Svacer пытается автоматически увеличить soft limit до значения hard limit при запуске, а начиная с версии 8-0-0 — проверяет, что увеличить удалось и выводит сообщение с текущим лимитом. Если видите в логах подобную запись — у soft и hard одно, достаточно большое значение — значит все в порядке.

Open files limit (soft and hard): 1048576

Для более ранних версий, или если на вашем дистрибутиве Linux это не работает автоматически, можете увеличить лимит вручную одним из следующих способов:

* Перед запуском Svacer выполнить из консоли команду, увеличив лимит для текущей сессии
ulimit -Sn 16384

* Либо один раз увеличить на уровне системы — в файл '''/etc/security/limits.conf''' добавить

* soft nofile 16384

* Если запускаете Svacer как сервис systemd, добавьте параметр '''LimitNOFILE''' в секцию '''[Service]''' файла описания сервиса.
:В файле из deb/rpm пакета релиза Svacer этот параметр уже добавлен

[Service]
LimitNOFILE=16384

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Установка пути к директории для кэша ===
Если запускаете Svacer под пользователем без домашней директории, рекомендуется установить путь к директории для кэша через переменную окружения SVACER_CACHE_DIR в файле описания сервиса systemd

[Service]
Environment="SVACER_CACHE_DIR=/path/to/some/dir"

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Дополнительные параметры при запуске в docker-контейнере ===
При запуске в докер-контейнере можно указать дополнительные параметры, к примеру добавить конфиг [[Help:CLI#Хуки|хуков]].

Для этого переопределите команду запуска сервера Svacer в docker-compose файле и допишите туда нужные параметры:

command: /svacer/bin/svacer-server run --store /data/store --pg postgres://svace:svace@postgresql:5432/svace --hooks /svacer/hooks.json

Конфигурационный файл с описанием хуков примонтируйте как volume:

volumes:
- ./hooks.json:/svacer/hooks.json

Можете использовать переменные из секции environment docker-compose файла, тогда в строке запуска их надо экранировать с помощью <code>$$</code> и запускать сервер Svacer как shell-команду, чтобы в контейнере подставились значения переменных

environment:
- SVACER_PG_URL=postgres://svace:svace@postgresql:5432/svace
- STORE=/data/store
- HOOKS_FILE=/svacer/hooks.json
volumes:
- ./hooks.json:/svacer/hooks.json
command: sh -c "/svacer/bin/svacer-server run --store $$STORE --pg $$SVACER_PG_URL --hooks $$HOOKS_FILE"

Для более комплексных сценариев можете собрать свой образ с сервером Svacer, использовав наш [[Dockerfile]] как референс.

== Обновление детекторов ==
После установки новой версии Svace требуется обновить описания детекторов в Svacer. Для этого необходимо выполнить команду:

svacer checkers --upload </path/to/svace>

{{Note}} Обновление описаний детекторов это серьезная операция, которая должна выполняться после предварительного тестирования. Поэтому перед выполнением команды рекомендуется сделать резервную копию базы данных Svacer.

== Генерация PDF на основе HTML ==
В релиз 10.х.х включена генерация PDF на основе рендеринга HTML с последующим запуском headless chrome/chromium для генерации PDF. Этот подход позволяет упростить формирование шаблонов для генерации PDF, но требует существенно больше вычислительных ресурсов. Для тюнинга числа параллельных процессов при генерации используется переменная окружения

SVACER_PDF_GEN_LIMITS=<pdf tool limit>:<chrome limit>

Первое значение <code><pdf tool limit></code> определяет число одновременных процессов pdfmerge для сборки отдельных секций в единый PDF документ; второе значение <code><chrome limit></code> определяет одновременное число процессов chrome/chromium для генерации PDF из HTML. Не рекомендуется ставить значения, сильно превышающие число ядер в сервере.

== Полнотекстовый поиск ==
Для поддержки полнотекстового поиска Svacer строит индекс. По умолчанию директория для индекса создается в <code>$HOME/.cache/svacer</code>, для указания иной директории можно использовать переменную окружения <code>SVACER_SEARCH_INDEX_DIR</code>

В ряде случаев (падение и рестарт сервера, ошибки и т. п.) кэш может быть в некорректном состоянии. Для переиндексации данных администратор может использовать CLI команду

svacer search --host <nowiki>http://some_host:port</nowiki> --user <login> --password <pwd> --drop-cache

Используемая при этом учетная запись должна быть с правами на <code>Server administration</code>

== Указание public-url ==
В некоторых случаях необходимо явно указывать серверу Svacer его URL-адрес. Например, это нужно для корректной генерации коротких ссылок на предупреждения и ссылок в [[Notifications|уведомлениях]]. Используйте параметр <code>--public-url</code> при запуске сервера
<nowiki>svacer-server run --public-url http://svacer.intra.net:8080</nowiki>

== Расширенные параметры настройки сервера ==
Пользователь может использовать следующие переменные окружения для изменения внутренних параметров сервера:
{| class="wikitable"
|+
!Переменная
!Значение по умолчанию
!Описание
|-
|<code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|15 минут
|Таймаут ожидания процесса начала импорта на сервере. При превышении, запрос на импорт будет отклонен с ошибкой. Формат Go Duration string: 1h2m3s. Переменная затрагивает только ожидание начала, но не ограничивает сам процесс импорта.
|-
|<code>SVACER_NUM_PARALLEL_IMPORTS</code>
|(<code>максимальное число коннектов к БД) / 2</code>
|Число одновременных параллельных импортов. Остальные ждут в очереди. На ожидание влияет переменная <code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|-
|<code>SVACER_TAIL_LOG_SIZE</code>
|1Мб
|Число. Размер буффера для показа лога сервера в WEB. Показывается последние SVACER_TAIL_LOG_SIZE байт из лога.
|-
|<code>SVACER_LOG_FORMAT</code>
|<пусто>
|При указании формата json вывод формат лога заменяется на JSON. Предназначено для интеграции с агрегаторами логов. Так же можно указать через флаг при старте
<code>svacer-server --log-format=json</code>
|-
|<code>SVACER_INV_GEN_JOBS</code>
|0.7 * runtime.GOMAXPROCS
|Максимальное число параллельных job-ов для генерации инвариантов при миграции старой базы или импорте результатов.
При ограниченных ресурсах сервера устанавливать в значение 1 или 2. Пользователь не может увеличить больше, чем GOMAXPROCS
|-
|
|
|
|}

Help:Installation

2025-11-26T10:32:02Z

Ruseer: /* Расширенные параметры настройки сервера */

== Установка и запуск ==
Для использования только клиента Svacer достаточно [[Svacer#Релизы|скачать исполняемый файл]] '''svacer''', или установить [[Help:Installation#Svacer|deb/rpm пакет]].

Сервер Svacer можно запустить в [[Help:Installation#docker compose|докере]] или из [[Help:Installation#deb/rpm|deb/rpm пакета]].

=== docker compose ===
Рекомендуемый и самый простой способ деплоя — развернуть сервер Svacer в докер-контейнерах, воспользовавшиcь [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose.yml] файлом:

<nowiki>curl -LO https://svacer.ispras.ru/extra/docker-compose.yml</nowiki>
docker compose up -d

После запуска контейнеров веб-интерфейс Svacer будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

Для сборки своего докер-образа Svacer можете использовать [[Dockerfile]] в качестве референса.

Для указания других параметров сервера можете [[Help:Installation#Дополнительные параметры при запуске в docker-контейнере|переопределить команду запуска]] в docker-compose файле.

=== deb/rpm ===
==== PostgreSQL ====
{{Note|type=info|text=Disclaimer
* Рекомендуемая версия PostgreSQL — 15 и выше. С более старыми версиями корректная работа Svacer не гарантируется.
* Svacer требует эксклюзивного доступа к базе. Использование одной и той же базы для нескольких экземпляров Svacer может приводить к порче данных.}}

Для работы сервера Svacer установите PostgreSQL, следуя [https://www.postgresql.org/download/linux документации postgres]. Для RedHat-based OS нужно дополнительно установить пакет postgresql-contrib соответствующей версии.

Пример для Ubuntu 22:

sudo apt install -y postgresql-common
sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh
sudo apt install -y postgresql-17

Пример для Rocky Linux 9.4:

<nowiki>sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm</nowiki>
sudo dnf -qy module disable postgresql
sudo dnf install -y postgresql17-server postgresql17-contrib
sudo /usr/pgsql-17/bin/postgresql-17-setup initdb
sudo systemctl enable postgresql-17
sudo systemctl start postgresql-17

==== Браузер для PDF-отчетов ====
Для создания PDF-отчетов с использованием нового HTML-генератора установите браузер Google Chrome на машину, где запускается сервер Svacer. Рекомендуется устанавливать из официального репозитория, следуя [https://www.google.com/chrome/?platform=linux инструкции с сайта google].

{{Note|type=info|text=Рекомендуемые системные требования при генерации PDF-отчетов для больших проектов с использованием HTML-генератора: Intel Core i9, 64 GB RAM, SSD, видеокарта Nvidia}}

При запуске Svacer проверит доступность браузера для генерации PDF. Если он не установлен или генерация не работает, будет использован нативный генератор: менее продвинутый, но для него не нужен браузер. Можно явно включить использование нативного генератора, передав опцию <code>--pdf-generator=native</code> при запуске сервера Svacer.

При невозможности установить Google Chrome, например если нет пакета для вашего дистрибутива Linux, можно установить Chromium. Его пакет в репозиториях, в зависимости от вышей ОС, может называться <code>chromium-browser</code> или <code>chromium</code>. В некоторых случаях генерация с Chromium может не работать. Например, если Svacer установлен из deb-пакета, а Сhromium из snap (на Ubuntu он устанавливается именно так даже при использовании apt) и сервер Svacer запускается от отдельного системного пользователя, от которого Chromium не может запуститься. В этом случае установите Google Chrome, с ним генерация работает.

==== Svacer ====
На Debian-based OS добавьте apt-репозиторий и установите Svacer из него.

<nowiki>echo 'deb [signed-by=/usr/share/keyrings/ispras.gpg] https://repo.ispras.ru/apt /' | sudo tee /etc/apt/sources.list.d/ispras.list</nowiki>
<nowiki>curl -fsSL https://repo.ispras.ru/apt/key.asc | sudo gpg --dearmor -o /usr/share/keyrings/ispras.gpg</nowiki>
sudo apt update
sudo apt install -y svacer

На RedHat-based OS добавьте dnf-репозиторий и установите Svacer из него

<nowiki>curl -fsSL https://repo.ispras.ru/rpm/ispras.repo | sudo tee /etc/yum.repos.d/ispras.repo</nowiki>
sudo dnf install -y svacer

Для создания БД PostgreSQL запустите '''psql''' от учетной записи пользователя '''postgres'''

sudo su -l postgres
psql

И выполните следующие запросы:
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;

В данном примере создается БД svace и права на нее выдаются пользователю svace с паролем svace. Также этому пользователю выдаются права суперюзера, что необходимо для создания расширений в PostgreSQL. При использовании этих значений по умолчанию дальнейшая конфигурация не требуется и можно переходить к запуску.

При использовании других значений нужно поменять параметры подключения к БД в файле '''/etc/default/svacer'''

SVACER_ARGS="--pg postgres://<user>:<password>@127.0.0.1:5432/<database>"

В этой же строке можно указать прочие аргументы для запуска сервера Svacer.

На Astra Linux необходимо в файле '''/etc/parsec/mswitch.conf''' установить параметр <code>zero_if_notfound: yes</code>, иначе при запуске Svacer будет ошибка подключения к БД вида

error obtaining MAC configuration for user "svace" (SQLSTATE 57P03)

После создания БД и конфигурации сервера Svacer запустить его можно следующими командами

sudo systemctl enable svacer
sudo systemctl start svacer

После чего проверить успешность запуска командой

systemctl status svacer

После запуска сервер будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

=== Установка и запуск на Windows ===
PostgreSQL нужен только для сервера Svacer, для клиента не требуется.
* Скачайте установщик PostgreSQL для Windows: https://www.postgresql.org/download/windows
* Установите PostgreSQL, выбрав, как минимум, компоненты "PostgreSQL Server" и "Command Line Tools"
* Задайте и запомните пароль на шаге выбора пароля для суперпользователя
* Остальные параметры при установке можно оставить по умолчанию
* После установки PostgreSQL откройте консоль, перейдите в директорию, куда установили PostgreSQL, запустите его клиент с указанием пользователя "postgres" и авторизуйтесь с паролем, заданным во время установки
cd c:\Program Files\PostgreSQL\15\bin
psql -U postgres
* Запустится консоль управления PostgreSQL. Выполните в ней следующие команды, чтобы создать БД и пользователя для Svacer
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;
* Выйдите из консоли PostgreSQL
* Запустите '''svacer-server.exe''' из консоли с указанием параметров подключения к БД. Если при создании пользователя и БД PostgreSQL вы использовали для них имя по умолчанию 'svace', как в примере выше, то указывать данные для подключения к БД при запуске сервера не обязательно
svacer-server.exe run
* Если создавали пользователя или БД с другими именами, то при запуске сервера надо указать их явно
svacer-server.exe run --pg postgres://svacer_user:svacer_password@127.0.0.1:5432/svacer_database
* После запуска сервера его веб-интерфейс будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin

== Обновление ==
{{Note|type=reminder|text='''Перед обновлением настоятельно рекомендуется [[Help:Backup|делать резервные копии]]'''}}

Миграции схем БД PostgreSQL и object store происходят автоматически при обновлении на новую версию Svacer. Поэтому для обновления Svacer достаточно остановить сервер старой версии, запустить сервер новой версии, указав ему те же параметры БД и object store, и подождать, пока не пройдет обновление, после чего Svacer запустится как обычно. При больших объемах данных в БД это может занять существенное время, до нескольких часов. Прогресс можно отслеживать по логам сервера.

Версии не имеют обратной совместимости, то есть после обновления на следующую версию, откатиться на предыдущую можно будет, только восстановив БД из бэкапа.

{{Note|type=warn|text=После запуска Svacer при обновлении обязательно дождитесь пока миграция БД завершится. Если прервать процесс во время миграции, принудительно остановив Svacer, база данных может оказаться в неконсистентном состоянии и придется восстанавливать данные из бэкапа.}}

=== Upgrade notes ===
==== 12-x-x ====
Рекомендуем обновить PostgreSQL до версии 15 или выше. С более старыми версиями корректная работа Svacer не гарантируется.

==== 11-x-x ====
Нет специфических рекомендаций по обновлению.

==== 10-x-x ====
Нет специфических рекомендаций по обновлению.

==== 9-0-0 ====
{{Note|type=reminder|text=При обновлении на эту версию рекомендуем не меньше 8GB RAM для корректности миграций}}

Базово, никаких обязательных ручных действий с базой данных или object store при обновлении на 9-0-0 не требуется. Описанные ниже шаги могут помочь увеличить производительность сервера Svacer или решить возможные проблемы.

'''1.'''

В версии 9-0-0 поменялся формат object store, поэтому при обновлении с предыдущих версий Svacer на 9-0-0 или выше будет запущена конвертация object store в новый формат. Конвертация сначала записывает новые данные, а потом, если все прошло успешно, удаляет старые. Из-за этого для конвертации нужно примерно в два раза больше свободного дискового пространства, чем занимает текущий object store. При больших размерах object store и медленном диске конвертация может занять много времени.

Конвертация запустится автоматически при обновлении на 9-0-0, но можно запустить вручную отдельно:

svacer-server kvconvert --from <path> --to <path>

Расположение object store в файловой системе описано в [[Help:Backup#Бэкап object store вручную|разделе про бэкапы]].

'''2.'''

Перед установкой новой версии рекомендуется выполнить следующий запрос в БД для удаления дубликатов описаний чекеров.

delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

Если вы уже выполняли этот запрос при [[Help:Installation#8-0-0|обновлении на 8-0-0]], то второй раз запускать не обязательно.

'''3.'''

После обновления на версию 9-0-0 и завершения всех миграций БД (когда станет доступен веб-интерфейс) рекомендуем выполнить команду <code>VACUUM FULL</code> в PostgreSQL для очистки и оптимизации базы данных.

psql -h <postgres_host> -U <username> <svacer_database_name> -c 'VACUUM FULL;'

Например:

psql -h localhost -U svacer svacer_db -c 'VACUUM FULL;'

==== 8-0-0 ====
Если при обновлении на версию 8-0-0 и выше возникает подобная ошибка
Key (config_id, checker_id, languages, tools)=(4cd178ce-a2b2-4692-a45a-f84b145c807b, FB.ICAST_QUESTIONABLE_UNSIGNED_RIGHT_SHIFT, {JAVA}, {SpotBugs}) is duplicated
Это значит, что в БД есть дубликаты чекеров. Выполните следующий SQL-запрос в PostgreSQL-базе Svacer, чтобы удалить их:
delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

== Расширенная конфигурация ==

=== Настройки аутентификации в Svacer ===
В Svacer возможны четыре способа аутентификации пользователей

# Встроенный
# С помощью LDAP сервера
# Через утилиту oauth_proxy (по протоколу OIDC)
# Посредством Personal Access Token (PAT)

Ниже рассматривается настройка аутентификации посредством внутреннего механизма аутентификации. Для настройки [[LDAP]], [[Help:CLI#Personal Access Token|PAT]] или [[OIDC]] аутентификации см. соответствующие разделы документации.

==== Настройка внутреннего механизма аутентификации Svacer ====

===== Настройка парольной политики внутреннего механизма аутентификации Svacer =====
Настройки параметров встроенного механизма аутентификации возможны посредством секции '''auth.svacer''' конфигурационного файла Svacer. Ниже приведен пример настроек:
<pre class="">auth:
svacer:
password:
min_length: 10
complexity:
- "[a-z]"
- "[A-Z]"
- "[0-9]"
- "[!#]"</pre>
Параметр '''min_length''' задает минимальную возможную длину пароля в системе. Данный критерий используется при смене пароля пользователя и не влияет на текущие пароли пользователей.

Параметр '''complexity''' содержит набор регулярных выражений, задающих требования к паролю с точки зрения наличия в нем определенных символов. При задании такого списка выражений Svacer будет проверять задаваемый пользователем новый пароль на предмет удовлетворения всем этим требованиям. Каждое выражение в списке — полноценное выражение, поддерживаемое языком golang.

Указанные выше настройки применяются только к внутренним учетным записям пользователей Svacer. По умолчанию данные настройки отключены (нет требований на минимальную длину и сложность пароля).

===== Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer) =====
В случае интеграции Svacer с LDAP, можно указать Svacer какую вкладку — Svacer или LDAP — использовать по умолчанию. Для этого используется параметр '''auth.svacer.default'''. Если данный параметр установлен в значение '''true''', то вкладкой по умолчанию будет вкладка Svacer, иначе — вкладка LDAP.

Также возможно полностью отключить механизм внутренней аутентификации Svacer с помощью параметра '''auth.svacer.enabled'''.

Ниже приведен пример конфигурационного файла Svacer для задания вкладки LDAP по умолчанию (в случае наличие интеграции с LDAP сервером)<pre class="plaintext">auth:
svacer:
enabled: true
default: false</pre>

==== Настройка защиты от перебора паролей пользователей ====
Для случаев аутентификации с помощью LDAP сервера и с помощью встроенного механизма аутентификации реализован механизм блокировки учетных записей пользователей в том случае, если количество неудачных попыток входа превышает заданное в настройках число. По умолчанию защита отключена. Ниже приведен пример секции конфигурационного файла Svacer, задающего правила блокировки:

<pre class="plaintext">security:
login:
max_attempts: 5
lock_time: 2m</pre>

Время, на которое происходит блокировка учетной записи пользователя, указывается в формате golang/time: 1s,1m,60m и т. д.

В случае активации защиты данный механизм также защищает аутентификацию посредством вызовов соответствующих точек входа public API.

Блокировка не влияет на работу уже зарегистрированных пользователей.

Для принудительной разблокировки пользователей можно использовать команды cli (требуются права управления сервером):

<pre class="">svacer user-provider unlock --user admin --password admin --login locked_user</pre>

=== Настройка TLS ===
Svacer может быть сконфигурирован для поддержки TLS несколькими способами. Первый способ — использовать reverse proxy с поддержкой HTTPS и проксированием в Svacer по HTTP, второй — запуск Svacer с нативной поддержкой TLS.

==== Reverse proxy ====
Данный способ позволяет обеспечить безопасную передачу данных только по протоколу HTTPS, данные по протоколу gRPC передаются в незащищенном виде.

===== Nginx =====
Создайте конфигурационный файл с подобным содержанием в '''/etc/nginx/sites-enabled/'''
<pre>
server {
listen 443 ssl;
listen [::]:443 ssl;

server_name svacer.ispras.ru;

# for large data transfers and continuous connections
client_max_body_size 0;
proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

# path to ssl-certificate and key
ssl_certificate /etc/ssl/certs/svacer.ispras.ru.crt;
ssl_certificate_key /etc/ssl/private/svacer.ispras.ru.key;

location / {
include proxy_params;

# to make WebSockets work
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

# svacer HTTP URL
proxy_pass http://127.0.0.1:8080;
}
}

# proxy gRPC port if required
server {
listen 13002 http2;
underscores_in_headers on;

location / {
grpc_pass grpc://127.0.0.1:3002;
}
}
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Nginx.
systemctl restart nginx

Если ваш сервер виден из интернета и его внешний IP-адрес привязан к доменному имени, можете использовать Let's Encrypt и Certbot для получения валидного SSL-сертификата. См. [https://www.nginx.com/blog/using-free-ssltls-certificates-from-lets-encrypt-with-nginx/ эту инструкцию].

===== Apache =====
Включите нужные модули в Apache
sudo a2enmod ssl proxy proxy_http rewrite

Создайте конфигурационный файл с подобным содержанием в '''/etc/apache2/sites-enabled/'''
<pre>
<VirtualHost *:443>
SSLEngine On
ProxyPreserveHost On
ProxyTimeout 600

# path to ssl-certificate and key
SSLCertificateFile /etc/ssl/certs/svacer.ispras.ru.crt
SSLCertificateKeyFile /etc/ssl/private/svacer.ispras.ru.key

# svacer HTTP URL
ProxyPass / http://127.0.0.1:8080/
ProxyPassReverse / http://127.0.0.1:8080/

# to make WebSockets work
ProxyPass /api/ws/ ws://127.0.0.1:8080/api/ws/
ProxyPassReverse /api/ws/ ws://127.0.0.1:8080/api/ws/
RewriteEngine on
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]
RewriteRule /api/ws/(.*) ws://127.0.0.1:8080%{REQUEST_URI} [P]

ServerName svacer.ispras.ru
ServerAdmin svacer@ispras.ru
</VirtualHost>
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Apache.
systemctl restart apache2

==== Нативно ====
Этот способ позволяет обеспечить безопасную передачу данных как по протоколу HTTPS, так и по протоколу gRPC. Если сервер запускается с поддержкой TLS, то эта опция относится как к протоколу HTTPS, так и к протоколу gRPC.
По умолчанию сервер запускается без поддержки TLS, при этом в логах отображается информация об этом.
TLS for REST and gRPC DISABLED

Для запуска сервера с поддержкой TLS необходимо указать сертификат сервера и соответствующий закрытый ключ.
svacer-server run --ssl-cert svacer.crt --ssl-key svacer.key

При этом ключ должен быть в незашифрованном виде. Права доступа к файлу должны быть 0600. В файле сертификата можно указывать цепочку сертификатов. В этом случае сервер, при подключении клиента, будет возвращать всю цепочку. Первым сертификатом в цепочке всегда должен идти сертификат сервера Svacer. Формат файла — PEM. TLS соединение активируется и для протокола REST и для протокола gRPC.

Работа сервера по проктолу TLS сопровождается следующей записью в логе:
Using TLS for REST and gRPC protocols

Работа с таким сервером через CLI происходит как обычно. Для указания необходимости подключаться по TLS можно явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.
<pre>
svacer upload --host https://example.com
svacer upload --ssl --host example.com
</pre>
Также в клиенте можно определить параметр '''--ssl-ca-certs'''. Он позволяет задать доверенные сертификаты корневых центров. Указывается шаблон файлов (с *) или конкретный файл. Путь к директории должен быть абсолютным. В случае отсутствия этого параметра используется TLS, но сертификат сервера не проверяется. Этому случаю соответствует запись в логе клиента:
Using weak TLS configuration, because no CA certificate found

Если сертификаты были загружены, в логе будет строчка:
added 1 ca certs from /home/user/svacer/svacer.crt

Для администрирования сервера в плане используемого сертификата (например, замена при истечении срока действия) добавлена область в CLI svacer admin: '''server:config'''. В данной области есть 3 команды: '''show''', '''reload''', '''update'''. ID в этом случае нужно всегда указывать в значение '''ssl.cert'''.

* '''show''' — отображает текущий используемый сертификат

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action show</pre>

* '''reload''' — заставляет сервер перечитать использованные при старте сервера файлы с сертификатом и ключом

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action reload</pre>

* '''update''' — позволяет переслать на сервер новый сертификат (и ключ, если надо) и записать их в указанные при старте сервера файлы. При использовании этой команды нужно сформировать файл с новым сертификатом и, при необходимости, ключом, в формате PEM (используете '''cat''' для объединения сертификата и ключа в один файл) и указать этот файл в параметре value. Если в файле не будет указан закрытый ключ, то сервером будет использован текущий (тот, что был указан при запуске). Данная команда также изменит файлы сертификата и ключа (если он указан), указанные при старте сервера, на новые значения.

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action update --value svacer.pem</pre>

:Некоторое время после обновления сертификата сервер может использовать старые сертификаты (для уже установленных соединений). Для новых соединений будет использован обновленный сертификат.

В конфигурационном файле Svacer можно указать минимальную и максимальные версии TLS, поддерживаемые сервером. Для этого необходимо в конфигурационном файле указать параметры <code>minVersion</code> и <code>maxVersion</code> в разделе security.tls.

<pre>
security:
tls:
minVersion: tls11
maxVersion: tls12
</pre>

=== Интеграция с хранилищем секретов Infisical ===
В Svacer реализована поддержка получения секретов из хранилища секретов [https://infisical.com/ Infisical]. Подробную информацию об интеграции см. в статье [[Infisical|Интеграция с хранилищем секретов Infisical]].

=== Механизм интеграции с внешними системами посредством Webhook-ов ===

==== Общий принцип работы ====

Механизм webhook-ов настраивается в конфигурационном файле в секции '''webhook'''. Механизм срабатывает при получении по внутренней шине одного из поддерживаемых событий Svacer. Каждое из внутренних событий преобразуется в событие вызова webhook-а (см. [[Help:Installation#Модель поддерживаемых событий|Модель поддерживаемых событий]]) и отправляется на обработку в каждую из настроенных целей, которыми являются http-обработчики. Отправкой занимаются работники (их количество настраивается в конфигурационном файле в параметре '''workers_count'''). У каждой цели есть общая очередь, размер которой составляет 500 событий. Если очередь переполняется, будет выдаваться соответствующее сообщение в лог-файле Svacer.

Работники поддерживают протокол https (в том числе самоподписанные сертификаты). Для указания корневого сертификата можно использовать параметр '''ca_certs''' конфигурационного файла. Работникам можно указать таймаут соединения с webhook-сервером (в мс, по умолчанию 1000мс, параметр '''timeout''') и количество попыток отправки (по умолчанию — одна попытка, параметр '''retry_count''').

В настройках можно указать фильтр на отправляемые события (параметр '''filter'''). Фильтр указывается посредством задания выражения. В выражениях используется [https://github.com/expr-lang/expr синтаксис go-expr]. Фильтр возможно указать в количестве одной штуки на одну цель. Если фильтр после вычисления дает значение true, событие будет отправлено в цель.

Также реализован журнал событий отправки webhook-ов, размер которого может быть указан в конфигурационном файле (параметр '''journal_length'''). По умолчанию он равен 86400 записей — по 1 записи на каждую секунду суток. Журнал может быть использован для отладки механизма отправки событий в цель. Содержимое журнала хранится в памяти. При достижении журналом максимального размера, самые старые записи заменяются новыми.

Для настройки аутентификации работника можно использовать параметр '''headers''', который представляет собой список значений вида '''key:value'''. Данные пары будут добавлены в заголовки каждого http-запроса, выполняемого работником.

==== Конфигурация ====

Возможный пример конфигурационного файла, в котором указана отправка на сервер test-host.local событий, связанных с разметкой маркера.

webhook:
enabled: true
journal_length: 86400
targets:
- url: "<nowiki>https://test-host.local:8080/webhook</nowiki>"
workers_count: 1
enabled: true
filter: "Type == EventReviewMarker and Payload.Status != 'Undecided'"
ca_certs: "/etc/ssl/certs/ca.crt"
retry_count: 3
timeout: 1000
headers:
- "password:12345"
- "Authorization: Bearer eyJh .... "

==== CLI ====

Для взаимодействия с механизмом webhook реализованы две cli команды:

svacer server webhook journal
svacer server webhook stat

Первая команда позволяет посмотреть записи журнала отправки событий. Вторая команда позволяет вывести статистику по работе службы (особенно интересными могут быть поля '''sendError''' и '''skip''').

Пример вывода для первой команды (с флагом '''--humanize'''; если флага нет, то вывод будет в формате json):

==================== #1 ======================
Time: 2025-07-01 12:25:52.25343534 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 6 ms
==================== #2 ======================
Time: 2025-07-01 12:25:54.202850322 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 3 ms

Пример вывода команды статистики:

{
"enabled": true,
"targets": [
{
"enabled": true,
"url": "<nowiki>https://swarm-mgr.home:8080/webhook</nowiki>",
"filtered": 0,
"sendSuccess": 3,
"sentError": 0,
"submitted": 3,
"skip": 0
}
]
}

==== Модель поддерживаемых событий ====
syntax = "proto3";
import "google/protobuf/any.proto";
option go_package="svacer/proto/webhook";
package webhook;

enum EventType {
EventNone = 0;
EventTest = 1;
EventReviewMarker = 2;
EventPurgeReview = 3;
EventGroupReview = 4;
EventImportSnapshot = 5;
EventCopySnapshot = 6;
EventNewComment = 7;
EventUpdateComment = 8;
EventNewContainer = 9;
EventDeleteContainer = 10;
EventUpdateContainer =11;
EventImportMarkup = 12;
EventDeleteSnapshot = 13;
UpdateSnapshot = 14;
}

message MarkerDetails {
string id = 1;
string file = 2;
string line = 3;
string lang = 4;
}

message Event {
uint64 timestamp = 1;
EventType type = 2;
string created_by = 3;
google.protobuf.Any payload = 4;
}

message PayloadMarkerReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
repeated MarkerDetails markers = 7;
string comment = 8;
string severity = 9;
string action = 10;
string status = 11;
bool group_review = 12;
string created_by_id = 13;
string created_by_login = 14;
}

message PayloadPurgeReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string created_by_id = 5;
string created_by_login = 6;
}

message PayloadImportSnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
}

message PayloadMarkerComment {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
MarkerDetails marker = 7;
string comment = 8;
string created_by_id = 9;
string created_by_login = 10;
}

message PayloadCopySnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
string created_by_id = 7;
string created_by_login = 8;
}

message Container {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
Container source = 5;
}

message PayloadNewContainer {
repeated Container containers = 1;
}

message PayloadDeleteContainer {
repeated Container projects = 1;
repeated Container branches = 2;
}

message PayloadUpdateContainer {
Container container = 1;
}

message CopyResult {
uint64 total = 1;
uint64 applied_reviews = 2;
uint64 applied_comments = 3;
uint64 skipped_reviews = 4;
uint64 duplicate_reviews = 5;
uint64 duplicate_comments = 6;
}

message PayloadImportMarkup {
Container source=1;
Container target=2;
CopyResult copy_result =3;
}

message Snapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

message PayloadDeleteSnapshots {
repeated Snapshot snapshots = 1;
}

message PayloadUpdateSnapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

=== Выбор сетевых интерфейсов и портов сервера ===
* По умолчанию web-сервер запускается на всех сетевых интерфейсах, на порту 8080 ('''0.0.0.0:8080'''). Для указания конкретного сетевого интерфейса можно использовать опцию '''--listen <network interface>''', для указания другого порта: '''--port <port_number>.
* Аналогично для grpc-сервера: по умолчанию — '''0.0.0.0:3002''', для выбора конкретного интерфейса: '''--listen-grpc <network_interface>''', для указания другого порта: '''--grpc <port_number>'''.

svacer-server run --listen 127.0.0.1 --port 9090 --listen-grpc 127.0.0.1 --grpc 3004

При попытке запуска на порту < 1024 от непривилегированного пользователя (например, от пользователя svacer при установке из deb/rpm пакета), сервер Svacer не запустится с ошибкой

ERROR: port 443 is privileged, please check current user permissions or set another rest api port

В таком случае надо выдать capabilities на открытие привилегированных портов файлу сервера Svacer. Это нужно будет делать при каждом обновлении версии сервера

sudo setcap 'cap_net_bind_service=+ep' /usr/bin/svacer-server

=== Увеличение лимита открытых файлов ===
Актуально только для Linux.

Если проекты большие, или их много, в object store создается большое количество файлов. Для нормальной работы сервера Svacer при этом рекомендуется увеличивать системный лимит количества одновременно открытых файлов.

В POSIX таких лимита два:
* soft nofiles — текущее максимальное значение
* hard nofiles — общесистемное максимальное значение

В большинстве систем hard значение достаточно большое, а soft обычно маленькое, что и приводит к проблемам. Пример на Debian 11:

$ ulimit -Sn
1024
$ ulimit -Hn
1048576

Начиная с версии 6-0-0 Svacer пытается автоматически увеличить soft limit до значения hard limit при запуске, а начиная с версии 8-0-0 — проверяет, что увеличить удалось и выводит сообщение с текущим лимитом. Если видите в логах подобную запись — у soft и hard одно, достаточно большое значение — значит все в порядке.

Open files limit (soft and hard): 1048576

Для более ранних версий, или если на вашем дистрибутиве Linux это не работает автоматически, можете увеличить лимит вручную одним из следующих способов:

* Перед запуском Svacer выполнить из консоли команду, увеличив лимит для текущей сессии
ulimit -Sn 16384

* Либо один раз увеличить на уровне системы — в файл '''/etc/security/limits.conf''' добавить

* soft nofile 16384

* Если запускаете Svacer как сервис systemd, добавьте параметр '''LimitNOFILE''' в секцию '''[Service]''' файла описания сервиса.
:В файле из deb/rpm пакета релиза Svacer этот параметр уже добавлен

[Service]
LimitNOFILE=16384

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Установка пути к директории для кэша ===
Если запускаете Svacer под пользователем без домашней директории, рекомендуется установить путь к директории для кэша через переменную окружения SVACER_CACHE_DIR в файле описания сервиса systemd

[Service]
Environment="SVACER_CACHE_DIR=/path/to/some/dir"

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Дополнительные параметры при запуске в docker-контейнере ===
При запуске в докер-контейнере можно указать дополнительные параметры, к примеру добавить конфиг [[Help:CLI#Хуки|хуков]].

Для этого переопределите команду запуска сервера Svacer в docker-compose файле и допишите туда нужные параметры:

command: /svacer/bin/svacer-server run --store /data/store --pg postgres://svace:svace@postgresql:5432/svace --hooks /svacer/hooks.json

Конфигурационный файл с описанием хуков примонтируйте как volume:

volumes:
- ./hooks.json:/svacer/hooks.json

Можете использовать переменные из секции environment docker-compose файла, тогда в строке запуска их надо экранировать с помощью <code>$$</code> и запускать сервер Svacer как shell-команду, чтобы в контейнере подставились значения переменных

environment:
- SVACER_PG_URL=postgres://svace:svace@postgresql:5432/svace
- STORE=/data/store
- HOOKS_FILE=/svacer/hooks.json
volumes:
- ./hooks.json:/svacer/hooks.json
command: sh -c "/svacer/bin/svacer-server run --store $$STORE --pg $$SVACER_PG_URL --hooks $$HOOKS_FILE"

Для более комплексных сценариев можете собрать свой образ с сервером Svacer, использовав наш [[Dockerfile]] как референс.

== Обновление детекторов ==
После установки новой версии Svace требуется обновить описания детекторов в Svacer. Для этого необходимо выполнить команду:

svacer checkers --upload </path/to/svace>

{{Note}} Обновление описаний детекторов это серьезная операция, которая должна выполняться после предварительного тестирования. Поэтому перед выполнением команды рекомендуется сделать резервную копию базы данных Svacer.

== Генерация PDF на основе HTML ==
В релиз 10.х.х включена генерация PDF на основе рендеринга HTML с последующим запуском headless chrome/chromium для генерации PDF. Этот подход позволяет упростить формирование шаблонов для генерации PDF, но требует существенно больше вычислительных ресурсов. Для тюнинга числа параллельных процессов при генерации используется переменная окружения

SVACER_PDF_GEN_LIMITS=<pdf tool limit>:<chrome limit>

Первое значение <code><pdf tool limit></code> определяет число одновременных процессов pdfmerge для сборки отдельных секций в единый PDF документ; второе значение <code><chrome limit></code> определяет одновременное число процессов chrome/chromium для генерации PDF из HTML. Не рекомендуется ставить значения, сильно превышающие число ядер в сервере.

== Полнотекстовый поиск ==
Для поддержки полнотекстового поиска Svacer строит индекс. По умолчанию директория для индекса создается в <code>$HOME/.cache/svacer</code>, для указания иной директории можно использовать переменную окружения <code>SVACER_SEARCH_INDEX_DIR</code>

В ряде случаев (падение и рестарт сервера, ошибки и т. п.) кэш может быть в некорректном состоянии. Для переиндексации данных администратор может использовать CLI команду

svacer search --host <nowiki>http://some_host:port</nowiki> --user <login> --password <pwd> --drop-cache

Используемая при этом учетная запись должна быть с правами на <code>Server administration</code>

== Указание public-url ==
В некоторых случаях необходимо явно указывать серверу Svacer его URL-адрес. Например, это нужно для корректной генерации коротких ссылок на предупреждения и ссылок в [[Notifications|уведомлениях]]. Используйте параметр <code>--public-url</code> при запуске сервера
<nowiki>svacer-server run --public-url http://svacer.intra.net:8080</nowiki>

== Расширенные параметры настройки сервера ==
Пользователь может использовать следующие переменные окружения для изменения внутренних параметров сервера:
{| class="wikitable"
|+
!Переменная
!Значение по умолчанию
!Описание
|-
|<code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|15 минут
|Таймаут ожидания процесса начала импорта на сервере. При превышении, запрос на импорт будет отклонен с ошибкой. Формат Go Duration string: 1h2m3s. Переменная затрагивает только ожидание начала, но не ограничивает сам процесс импорта.
|-
|<code>SVACER_NUM_PARALLEL_IMPORTS</code>
|(<code>максимальное число коннектов к БД) / 2</code>
|Число одновременных параллельных импортов. Остальные ждут в очереди. На ожидание влияет переменная <code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|-
|SVACER_TAIL_LOG_SIZE
|1Мб
|Число. Размер буффера для показа лога сервера в WEB. Показывается последние SVACER_TAIL_LOG_SIZE байт из лога.
|-
|SVACER_LOG_FORMAT
|<пусто>
|При указании формата json вывод формат лога заменяется на JSON. Предназначено для интеграции с агрегаторами логов. Так же можно указать через флаг при старте
<code>svacer-server --log-format=json</code>
|-
|SVACER_INV_GEN_JOBS
|0.7 * runtime.GOMAXPROCS
|Максимальное число параллельных job-ов для генерации инвариантов при миграции старой базы или импорте результатов.
При ограниченных ресурсах сервера устанавливать в значение 1 или 2. Пользователь не может увеличить больше, чем GOMAXPROCS
|-
|
|
|
|}

Help:Installation

2025-11-26T10:02:41Z

Ruseer: More env variables (in-progress)

== Установка и запуск ==
Для использования только клиента Svacer достаточно [[Svacer#Релизы|скачать исполняемый файл]] '''svacer''', или установить [[Help:Installation#Svacer|deb/rpm пакет]].

Сервер Svacer можно запустить в [[Help:Installation#docker compose|докере]] или из [[Help:Installation#deb/rpm|deb/rpm пакета]].

=== docker compose ===
Рекомендуемый и самый простой способ деплоя — развернуть сервер Svacer в докер-контейнерах, воспользовавшиcь [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose.yml] файлом:

<nowiki>curl -LO https://svacer.ispras.ru/extra/docker-compose.yml</nowiki>
docker compose up -d

После запуска контейнеров веб-интерфейс Svacer будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

Для сборки своего докер-образа Svacer можете использовать [[Dockerfile]] в качестве референса.

Для указания других параметров сервера можете [[Help:Installation#Дополнительные параметры при запуске в docker-контейнере|переопределить команду запуска]] в docker-compose файле.

=== deb/rpm ===
==== PostgreSQL ====
{{Note|type=info|text=Disclaimer
* Рекомендуемая версия PostgreSQL — 15 и выше. С более старыми версиями корректная работа Svacer не гарантируется.
* Svacer требует эксклюзивного доступа к базе. Использование одной и той же базы для нескольких экземпляров Svacer может приводить к порче данных.}}

Для работы сервера Svacer установите PostgreSQL, следуя [https://www.postgresql.org/download/linux документации postgres]. Для RedHat-based OS нужно дополнительно установить пакет postgresql-contrib соответствующей версии.

Пример для Ubuntu 22:

sudo apt install -y postgresql-common
sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh
sudo apt install -y postgresql-17

Пример для Rocky Linux 9.4:

<nowiki>sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm</nowiki>
sudo dnf -qy module disable postgresql
sudo dnf install -y postgresql17-server postgresql17-contrib
sudo /usr/pgsql-17/bin/postgresql-17-setup initdb
sudo systemctl enable postgresql-17
sudo systemctl start postgresql-17

==== Браузер для PDF-отчетов ====
Для создания PDF-отчетов с использованием нового HTML-генератора установите браузер Google Chrome на машину, где запускается сервер Svacer. Рекомендуется устанавливать из официального репозитория, следуя [https://www.google.com/chrome/?platform=linux инструкции с сайта google].

{{Note|type=info|text=Рекомендуемые системные требования при генерации PDF-отчетов для больших проектов с использованием HTML-генератора: Intel Core i9, 64 GB RAM, SSD, видеокарта Nvidia}}

При запуске Svacer проверит доступность браузера для генерации PDF. Если он не установлен или генерация не работает, будет использован нативный генератор: менее продвинутый, но для него не нужен браузер. Можно явно включить использование нативного генератора, передав опцию <code>--pdf-generator=native</code> при запуске сервера Svacer.

При невозможности установить Google Chrome, например если нет пакета для вашего дистрибутива Linux, можно установить Chromium. Его пакет в репозиториях, в зависимости от вышей ОС, может называться <code>chromium-browser</code> или <code>chromium</code>. В некоторых случаях генерация с Chromium может не работать. Например, если Svacer установлен из deb-пакета, а Сhromium из snap (на Ubuntu он устанавливается именно так даже при использовании apt) и сервер Svacer запускается от отдельного системного пользователя, от которого Chromium не может запуститься. В этом случае установите Google Chrome, с ним генерация работает.

==== Svacer ====
На Debian-based OS добавьте apt-репозиторий и установите Svacer из него.

<nowiki>echo 'deb [signed-by=/usr/share/keyrings/ispras.gpg] https://repo.ispras.ru/apt /' | sudo tee /etc/apt/sources.list.d/ispras.list</nowiki>
<nowiki>curl -fsSL https://repo.ispras.ru/apt/key.asc | sudo gpg --dearmor -o /usr/share/keyrings/ispras.gpg</nowiki>
sudo apt update
sudo apt install -y svacer

На RedHat-based OS добавьте dnf-репозиторий и установите Svacer из него

<nowiki>curl -fsSL https://repo.ispras.ru/rpm/ispras.repo | sudo tee /etc/yum.repos.d/ispras.repo</nowiki>
sudo dnf install -y svacer

Для создания БД PostgreSQL запустите '''psql''' от учетной записи пользователя '''postgres'''

sudo su -l postgres
psql

И выполните следующие запросы:
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;

В данном примере создается БД svace и права на нее выдаются пользователю svace с паролем svace. Также этому пользователю выдаются права суперюзера, что необходимо для создания расширений в PostgreSQL. При использовании этих значений по умолчанию дальнейшая конфигурация не требуется и можно переходить к запуску.

При использовании других значений нужно поменять параметры подключения к БД в файле '''/etc/default/svacer'''

SVACER_ARGS="--pg postgres://<user>:<password>@127.0.0.1:5432/<database>"

В этой же строке можно указать прочие аргументы для запуска сервера Svacer.

На Astra Linux необходимо в файле '''/etc/parsec/mswitch.conf''' установить параметр <code>zero_if_notfound: yes</code>, иначе при запуске Svacer будет ошибка подключения к БД вида

error obtaining MAC configuration for user "svace" (SQLSTATE 57P03)

После создания БД и конфигурации сервера Svacer запустить его можно следующими командами

sudo systemctl enable svacer
sudo systemctl start svacer

После чего проверить успешность запуска командой

systemctl status svacer

После запуска сервер будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin.

=== Установка и запуск на Windows ===
PostgreSQL нужен только для сервера Svacer, для клиента не требуется.
* Скачайте установщик PostgreSQL для Windows: https://www.postgresql.org/download/windows
* Установите PostgreSQL, выбрав, как минимум, компоненты "PostgreSQL Server" и "Command Line Tools"
* Задайте и запомните пароль на шаге выбора пароля для суперпользователя
* Остальные параметры при установке можно оставить по умолчанию
* После установки PostgreSQL откройте консоль, перейдите в директорию, куда установили PostgreSQL, запустите его клиент с указанием пользователя "postgres" и авторизуйтесь с паролем, заданным во время установки
cd c:\Program Files\PostgreSQL\15\bin
psql -U postgres
* Запустится консоль управления PostgreSQL. Выполните в ней следующие команды, чтобы создать БД и пользователя для Svacer
create database svace;
create user svace with encrypted password 'svace';
grant all privileges on database svace to svace;
alter user svace superuser;
* Выйдите из консоли PostgreSQL
* Запустите '''svacer-server.exe''' из консоли с указанием параметров подключения к БД. Если при создании пользователя и БД PostgreSQL вы использовали для них имя по умолчанию 'svace', как в примере выше, то указывать данные для подключения к БД при запуске сервера не обязательно
svacer-server.exe run
* Если создавали пользователя или БД с другими именами, то при запуске сервера надо указать их явно
svacer-server.exe run --pg postgres://svacer_user:svacer_password@127.0.0.1:5432/svacer_database
* После запуска сервера его веб-интерфейс будет доступен по адресу http://localhost:8080, логин / пароль — admin / admin

== Обновление ==
{{Note|type=reminder|text='''Перед обновлением настоятельно рекомендуется [[Help:Backup|делать резервные копии]]'''}}

Миграции схем БД PostgreSQL и object store происходят автоматически при обновлении на новую версию Svacer. Поэтому для обновления Svacer достаточно остановить сервер старой версии, запустить сервер новой версии, указав ему те же параметры БД и object store, и подождать, пока не пройдет обновление, после чего Svacer запустится как обычно. При больших объемах данных в БД это может занять существенное время, до нескольких часов. Прогресс можно отслеживать по логам сервера.

Версии не имеют обратной совместимости, то есть после обновления на следующую версию, откатиться на предыдущую можно будет, только восстановив БД из бэкапа.

{{Note|type=warn|text=После запуска Svacer при обновлении обязательно дождитесь пока миграция БД завершится. Если прервать процесс во время миграции, принудительно остановив Svacer, база данных может оказаться в неконсистентном состоянии и придется восстанавливать данные из бэкапа.}}

=== Upgrade notes ===
==== 12-x-x ====
Рекомендуем обновить PostgreSQL до версии 15 или выше. С более старыми версиями корректная работа Svacer не гарантируется.

==== 11-x-x ====
Нет специфических рекомендаций по обновлению.

==== 10-x-x ====
Нет специфических рекомендаций по обновлению.

==== 9-0-0 ====
{{Note|type=reminder|text=При обновлении на эту версию рекомендуем не меньше 8GB RAM для корректности миграций}}

Базово, никаких обязательных ручных действий с базой данных или object store при обновлении на 9-0-0 не требуется. Описанные ниже шаги могут помочь увеличить производительность сервера Svacer или решить возможные проблемы.

'''1.'''

В версии 9-0-0 поменялся формат object store, поэтому при обновлении с предыдущих версий Svacer на 9-0-0 или выше будет запущена конвертация object store в новый формат. Конвертация сначала записывает новые данные, а потом, если все прошло успешно, удаляет старые. Из-за этого для конвертации нужно примерно в два раза больше свободного дискового пространства, чем занимает текущий object store. При больших размерах object store и медленном диске конвертация может занять много времени.

Конвертация запустится автоматически при обновлении на 9-0-0, но можно запустить вручную отдельно:

svacer-server kvconvert --from <path> --to <path>

Расположение object store в файловой системе описано в [[Help:Backup#Бэкап object store вручную|разделе про бэкапы]].

'''2.'''

Перед установкой новой версии рекомендуется выполнить следующий запрос в БД для удаления дубликатов описаний чекеров.

delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

Если вы уже выполняли этот запрос при [[Help:Installation#8-0-0|обновлении на 8-0-0]], то второй раз запускать не обязательно.

'''3.'''

После обновления на версию 9-0-0 и завершения всех миграций БД (когда станет доступен веб-интерфейс) рекомендуем выполнить команду <code>VACUUM FULL</code> в PostgreSQL для очистки и оптимизации базы данных.

psql -h <postgres_host> -U <username> <svacer_database_name> -c 'VACUUM FULL;'

Например:

psql -h localhost -U svacer svacer_db -c 'VACUUM FULL;'

==== 8-0-0 ====
Если при обновлении на версию 8-0-0 и выше возникает подобная ошибка
Key (config_id, checker_id, languages, tools)=(4cd178ce-a2b2-4692-a45a-f84b145c807b, FB.ICAST_QUESTIONABLE_UNSIGNED_RIGHT_SHIFT, {JAVA}, {SpotBugs}) is duplicated
Это значит, что в БД есть дубликаты чекеров. Выполните следующий SQL-запрос в PostgreSQL-базе Svacer, чтобы удалить их:
delete from checkers where id not in (select max(id) from checkers group by (config_id, checker_id, languages, tools));

== Расширенная конфигурация ==

=== Настройки аутентификации в Svacer ===
В Svacer возможны четыре способа аутентификации пользователей

# Встроенный
# С помощью LDAP сервера
# Через утилиту oauth_proxy (по протоколу OIDC)
# Посредством Personal Access Token (PAT)

Ниже рассматривается настройка аутентификации посредством внутреннего механизма аутентификации. Для настройки [[LDAP]], [[Help:CLI#Personal Access Token|PAT]] или [[OIDC]] аутентификации см. соответствующие разделы документации.

==== Настройка внутреннего механизма аутентификации Svacer ====

===== Настройка парольной политики внутреннего механизма аутентификации Svacer =====
Настройки параметров встроенного механизма аутентификации возможны посредством секции '''auth.svacer''' конфигурационного файла Svacer. Ниже приведен пример настроек:
<pre class="">auth:
svacer:
password:
min_length: 10
complexity:
- "[a-z]"
- "[A-Z]"
- "[0-9]"
- "[!#]"</pre>
Параметр '''min_length''' задает минимальную возможную длину пароля в системе. Данный критерий используется при смене пароля пользователя и не влияет на текущие пароли пользователей.

Параметр '''complexity''' содержит набор регулярных выражений, задающих требования к паролю с точки зрения наличия в нем определенных символов. При задании такого списка выражений Svacer будет проверять задаваемый пользователем новый пароль на предмет удовлетворения всем этим требованиям. Каждое выражение в списке — полноценное выражение, поддерживаемое языком golang.

Указанные выше настройки применяются только к внутренним учетным записям пользователей Svacer. По умолчанию данные настройки отключены (нет требований на минимальную длину и сложность пароля).

===== Задание вкладки по умолчанию на странице входа в GUI Svacer (а также отключение внутренного механизма аутентификации Svacer) =====
В случае интеграции Svacer с LDAP, можно указать Svacer какую вкладку — Svacer или LDAP — использовать по умолчанию. Для этого используется параметр '''auth.svacer.default'''. Если данный параметр установлен в значение '''true''', то вкладкой по умолчанию будет вкладка Svacer, иначе — вкладка LDAP.

Также возможно полностью отключить механизм внутренней аутентификации Svacer с помощью параметра '''auth.svacer.enabled'''.

Ниже приведен пример конфигурационного файла Svacer для задания вкладки LDAP по умолчанию (в случае наличие интеграции с LDAP сервером)<pre class="plaintext">auth:
svacer:
enabled: true
default: false</pre>

==== Настройка защиты от перебора паролей пользователей ====
Для случаев аутентификации с помощью LDAP сервера и с помощью встроенного механизма аутентификации реализован механизм блокировки учетных записей пользователей в том случае, если количество неудачных попыток входа превышает заданное в настройках число. По умолчанию защита отключена. Ниже приведен пример секции конфигурационного файла Svacer, задающего правила блокировки:

<pre class="plaintext">security:
login:
max_attempts: 5
lock_time: 2m</pre>

Время, на которое происходит блокировка учетной записи пользователя, указывается в формате golang/time: 1s,1m,60m и т. д.

В случае активации защиты данный механизм также защищает аутентификацию посредством вызовов соответствующих точек входа public API.

Блокировка не влияет на работу уже зарегистрированных пользователей.

Для принудительной разблокировки пользователей можно использовать команды cli (требуются права управления сервером):

<pre class="">svacer user-provider unlock --user admin --password admin --login locked_user</pre>

=== Настройка TLS ===
Svacer может быть сконфигурирован для поддержки TLS несколькими способами. Первый способ — использовать reverse proxy с поддержкой HTTPS и проксированием в Svacer по HTTP, второй — запуск Svacer с нативной поддержкой TLS.

==== Reverse proxy ====
Данный способ позволяет обеспечить безопасную передачу данных только по протоколу HTTPS, данные по протоколу gRPC передаются в незащищенном виде.

===== Nginx =====
Создайте конфигурационный файл с подобным содержанием в '''/etc/nginx/sites-enabled/'''
<pre>
server {
listen 443 ssl;
listen [::]:443 ssl;

server_name svacer.ispras.ru;

# for large data transfers and continuous connections
client_max_body_size 0;
proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

# path to ssl-certificate and key
ssl_certificate /etc/ssl/certs/svacer.ispras.ru.crt;
ssl_certificate_key /etc/ssl/private/svacer.ispras.ru.key;

location / {
include proxy_params;

# to make WebSockets work
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

# svacer HTTP URL
proxy_pass http://127.0.0.1:8080;
}
}

# proxy gRPC port if required
server {
listen 13002 http2;
underscores_in_headers on;

location / {
grpc_pass grpc://127.0.0.1:3002;
}
}
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Nginx.
systemctl restart nginx

Если ваш сервер виден из интернета и его внешний IP-адрес привязан к доменному имени, можете использовать Let's Encrypt и Certbot для получения валидного SSL-сертификата. См. [https://www.nginx.com/blog/using-free-ssltls-certificates-from-lets-encrypt-with-nginx/ эту инструкцию].

===== Apache =====
Включите нужные модули в Apache
sudo a2enmod ssl proxy proxy_http rewrite

Создайте конфигурационный файл с подобным содержанием в '''/etc/apache2/sites-enabled/'''
<pre>
<VirtualHost *:443>
SSLEngine On
ProxyPreserveHost On
ProxyTimeout 600

# path to ssl-certificate and key
SSLCertificateFile /etc/ssl/certs/svacer.ispras.ru.crt
SSLCertificateKeyFile /etc/ssl/private/svacer.ispras.ru.key

# svacer HTTP URL
ProxyPass / http://127.0.0.1:8080/
ProxyPassReverse / http://127.0.0.1:8080/

# to make WebSockets work
ProxyPass /api/ws/ ws://127.0.0.1:8080/api/ws/
ProxyPassReverse /api/ws/ ws://127.0.0.1:8080/api/ws/
RewriteEngine on
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} ^Upgrade$ [NC]
RewriteRule /api/ws/(.*) ws://127.0.0.1:8080%{REQUEST_URI} [P]

ServerName svacer.ispras.ru
ServerAdmin svacer@ispras.ru
</VirtualHost>
</pre>

В этом конфигурационном файле укажите нужное имя сервера, пути к сертификату (можно использовать fullchain-сертификат) и ключу, а также адрес сервера Svacer, куда проксировать. После этого перезапустите Apache.
systemctl restart apache2

==== Нативно ====
Этот способ позволяет обеспечить безопасную передачу данных как по протоколу HTTPS, так и по протоколу gRPC. Если сервер запускается с поддержкой TLS, то эта опция относится как к протоколу HTTPS, так и к протоколу gRPC.
По умолчанию сервер запускается без поддержки TLS, при этом в логах отображается информация об этом.
TLS for REST and gRPC DISABLED

Для запуска сервера с поддержкой TLS необходимо указать сертификат сервера и соответствующий закрытый ключ.
svacer-server run --ssl-cert svacer.crt --ssl-key svacer.key

При этом ключ должен быть в незашифрованном виде. Права доступа к файлу должны быть 0600. В файле сертификата можно указывать цепочку сертификатов. В этом случае сервер, при подключении клиента, будет возвращать всю цепочку. Первым сертификатом в цепочке всегда должен идти сертификат сервера Svacer. Формат файла — PEM. TLS соединение активируется и для протокола REST и для протокола gRPC.

Работа сервера по проктолу TLS сопровождается следующей записью в логе:
Using TLS for REST and gRPC protocols

Работа с таким сервером через CLI происходит как обычно. Для указания необходимости подключаться по TLS можно явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.
<pre>
svacer upload --host https://example.com
svacer upload --ssl --host example.com
</pre>
Также в клиенте можно определить параметр '''--ssl-ca-certs'''. Он позволяет задать доверенные сертификаты корневых центров. Указывается шаблон файлов (с *) или конкретный файл. Путь к директории должен быть абсолютным. В случае отсутствия этого параметра используется TLS, но сертификат сервера не проверяется. Этому случаю соответствует запись в логе клиента:
Using weak TLS configuration, because no CA certificate found

Если сертификаты были загружены, в логе будет строчка:
added 1 ca certs from /home/user/svacer/svacer.crt

Для администрирования сервера в плане используемого сертификата (например, замена при истечении срока действия) добавлена область в CLI svacer admin: '''server:config'''. В данной области есть 3 команды: '''show''', '''reload''', '''update'''. ID в этом случае нужно всегда указывать в значение '''ssl.cert'''.

* '''show''' — отображает текущий используемый сертификат

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action show</pre>

* '''reload''' — заставляет сервер перечитать использованные при старте сервера файлы с сертификатом и ключом

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action reload</pre>

* '''update''' — позволяет переслать на сервер новый сертификат (и ключ, если надо) и записать их в указанные при старте сервера файлы. При использовании этой команды нужно сформировать файл с новым сертификатом и, при необходимости, ключом, в формате PEM (используете '''cat''' для объединения сертификата и ключа в один файл) и указать этот файл в параметре value. Если в файле не будет указан закрытый ключ, то сервером будет использован текущий (тот, что был указан при запуске). Данная команда также изменит файлы сертификата и ключа (если он указан), указанные при старте сервера, на новые значения.

:<pre>svacer admin --ssl --host example.com --user admin --password admin --scope server:config --id ssl.cert --action update --value svacer.pem</pre>

:Некоторое время после обновления сертификата сервер может использовать старые сертификаты (для уже установленных соединений). Для новых соединений будет использован обновленный сертификат.

В конфигурационном файле Svacer можно указать минимальную и максимальные версии TLS, поддерживаемые сервером. Для этого необходимо в конфигурационном файле указать параметры <code>minVersion</code> и <code>maxVersion</code> в разделе security.tls.

<pre>
security:
tls:
minVersion: tls11
maxVersion: tls12
</pre>

=== Интеграция с хранилищем секретов Infisical ===
В Svacer реализована поддержка получения секретов из хранилища секретов [https://infisical.com/ Infisical]. Подробную информацию об интеграции см. в статье [[Infisical|Интеграция с хранилищем секретов Infisical]].

=== Механизм интеграции с внешними системами посредством Webhook-ов ===

==== Общий принцип работы ====

Механизм webhook-ов настраивается в конфигурационном файле в секции '''webhook'''. Механизм срабатывает при получении по внутренней шине одного из поддерживаемых событий Svacer. Каждое из внутренних событий преобразуется в событие вызова webhook-а (см. [[Help:Installation#Модель поддерживаемых событий|Модель поддерживаемых событий]]) и отправляется на обработку в каждую из настроенных целей, которыми являются http-обработчики. Отправкой занимаются работники (их количество настраивается в конфигурационном файле в параметре '''workers_count'''). У каждой цели есть общая очередь, размер которой составляет 500 событий. Если очередь переполняется, будет выдаваться соответствующее сообщение в лог-файле Svacer.

Работники поддерживают протокол https (в том числе самоподписанные сертификаты). Для указания корневого сертификата можно использовать параметр '''ca_certs''' конфигурационного файла. Работникам можно указать таймаут соединения с webhook-сервером (в мс, по умолчанию 1000мс, параметр '''timeout''') и количество попыток отправки (по умолчанию — одна попытка, параметр '''retry_count''').

В настройках можно указать фильтр на отправляемые события (параметр '''filter'''). Фильтр указывается посредством задания выражения. В выражениях используется [https://github.com/expr-lang/expr синтаксис go-expr]. Фильтр возможно указать в количестве одной штуки на одну цель. Если фильтр после вычисления дает значение true, событие будет отправлено в цель.

Также реализован журнал событий отправки webhook-ов, размер которого может быть указан в конфигурационном файле (параметр '''journal_length'''). По умолчанию он равен 86400 записей — по 1 записи на каждую секунду суток. Журнал может быть использован для отладки механизма отправки событий в цель. Содержимое журнала хранится в памяти. При достижении журналом максимального размера, самые старые записи заменяются новыми.

Для настройки аутентификации работника можно использовать параметр '''headers''', который представляет собой список значений вида '''key:value'''. Данные пары будут добавлены в заголовки каждого http-запроса, выполняемого работником.

==== Конфигурация ====

Возможный пример конфигурационного файла, в котором указана отправка на сервер test-host.local событий, связанных с разметкой маркера.

webhook:
enabled: true
journal_length: 86400
targets:
- url: "<nowiki>https://test-host.local:8080/webhook</nowiki>"
workers_count: 1
enabled: true
filter: "Type == EventReviewMarker and Payload.Status != 'Undecided'"
ca_certs: "/etc/ssl/certs/ca.crt"
retry_count: 3
timeout: 1000
headers:
- "password:12345"
- "Authorization: Bearer eyJh .... "

==== CLI ====

Для взаимодействия с механизмом webhook реализованы две cli команды:

svacer server webhook journal
svacer server webhook stat

Первая команда позволяет посмотреть записи журнала отправки событий. Вторая команда позволяет вывести статистику по работе службы (особенно интересными могут быть поля '''sendError''' и '''skip''').

Пример вывода для первой команды (с флагом '''--humanize'''; если флага нет, то вывод будет в формате json):

==================== #1 ======================
Time: 2025-07-01 12:25:52.25343534 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 6 ms
==================== #2 ======================
Time: 2025-07-01 12:25:54.202850322 +0300 MSK
Created by: admin
Error:
Success: true
SvacerKind: UpdateMarkerReview
EventType: EventReviewMarker
TargetURL: <nowiki>https://swarm-mgr.home:8080/webhook</nowiki>
ProcessTime: 3 ms

Пример вывода команды статистики:

{
"enabled": true,
"targets": [
{
"enabled": true,
"url": "<nowiki>https://swarm-mgr.home:8080/webhook</nowiki>",
"filtered": 0,
"sendSuccess": 3,
"sentError": 0,
"submitted": 3,
"skip": 0
}
]
}

==== Модель поддерживаемых событий ====
syntax = "proto3";
import "google/protobuf/any.proto";
option go_package="svacer/proto/webhook";
package webhook;

enum EventType {
EventNone = 0;
EventTest = 1;
EventReviewMarker = 2;
EventPurgeReview = 3;
EventGroupReview = 4;
EventImportSnapshot = 5;
EventCopySnapshot = 6;
EventNewComment = 7;
EventUpdateComment = 8;
EventNewContainer = 9;
EventDeleteContainer = 10;
EventUpdateContainer =11;
EventImportMarkup = 12;
EventDeleteSnapshot = 13;
UpdateSnapshot = 14;
}

message MarkerDetails {
string id = 1;
string file = 2;
string line = 3;
string lang = 4;
}

message Event {
uint64 timestamp = 1;
EventType type = 2;
string created_by = 3;
google.protobuf.Any payload = 4;
}

message PayloadMarkerReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
repeated MarkerDetails markers = 7;
string comment = 8;
string severity = 9;
string action = 10;
string status = 11;
bool group_review = 12;
string created_by_id = 13;
string created_by_login = 14;
}

message PayloadPurgeReview {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string created_by_id = 5;
string created_by_login = 6;
}

message PayloadImportSnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
}

message PayloadMarkerComment {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
MarkerDetails marker = 7;
string comment = 8;
string created_by_id = 9;
string created_by_login = 10;
}

message PayloadCopySnapshot {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
string snapshot_id = 5;
string snapshot_name = 6;
string created_by_id = 7;
string created_by_login = 8;
}

message Container {
string project_id = 1;
string project_name = 2;
string branch_id = 3;
string branch_name = 4;
Container source = 5;
}

message PayloadNewContainer {
repeated Container containers = 1;
}

message PayloadDeleteContainer {
repeated Container projects = 1;
repeated Container branches = 2;
}

message PayloadUpdateContainer {
Container container = 1;
}

message CopyResult {
uint64 total = 1;
uint64 applied_reviews = 2;
uint64 applied_comments = 3;
uint64 skipped_reviews = 4;
uint64 duplicate_reviews = 5;
uint64 duplicate_comments = 6;
}

message PayloadImportMarkup {
Container source=1;
Container target=2;
CopyResult copy_result =3;
}

message Snapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

message PayloadDeleteSnapshots {
repeated Snapshot snapshots = 1;
}

message PayloadUpdateSnapshot {
string snapshot_id = 1;
string snapshot_name = 2;
Container container = 3;
}

=== Выбор сетевых интерфейсов и портов сервера ===
* По умолчанию web-сервер запускается на всех сетевых интерфейсах, на порту 8080 ('''0.0.0.0:8080'''). Для указания конкретного сетевого интерфейса можно использовать опцию '''--listen <network interface>''', для указания другого порта: '''--port <port_number>.
* Аналогично для grpc-сервера: по умолчанию — '''0.0.0.0:3002''', для выбора конкретного интерфейса: '''--listen-grpc <network_interface>''', для указания другого порта: '''--grpc <port_number>'''.

svacer-server run --listen 127.0.0.1 --port 9090 --listen-grpc 127.0.0.1 --grpc 3004

При попытке запуска на порту < 1024 от непривилегированного пользователя (например, от пользователя svacer при установке из deb/rpm пакета), сервер Svacer не запустится с ошибкой

ERROR: port 443 is privileged, please check current user permissions or set another rest api port

В таком случае надо выдать capabilities на открытие привилегированных портов файлу сервера Svacer. Это нужно будет делать при каждом обновлении версии сервера

sudo setcap 'cap_net_bind_service=+ep' /usr/bin/svacer-server

=== Увеличение лимита открытых файлов ===
Актуально только для Linux.

Если проекты большие, или их много, в object store создается большое количество файлов. Для нормальной работы сервера Svacer при этом рекомендуется увеличивать системный лимит количества одновременно открытых файлов.

В POSIX таких лимита два:
* soft nofiles — текущее максимальное значение
* hard nofiles — общесистемное максимальное значение

В большинстве систем hard значение достаточно большое, а soft обычно маленькое, что и приводит к проблемам. Пример на Debian 11:

$ ulimit -Sn
1024
$ ulimit -Hn
1048576

Начиная с версии 6-0-0 Svacer пытается автоматически увеличить soft limit до значения hard limit при запуске, а начиная с версии 8-0-0 — проверяет, что увеличить удалось и выводит сообщение с текущим лимитом. Если видите в логах подобную запись — у soft и hard одно, достаточно большое значение — значит все в порядке.

Open files limit (soft and hard): 1048576

Для более ранних версий, или если на вашем дистрибутиве Linux это не работает автоматически, можете увеличить лимит вручную одним из следующих способов:

* Перед запуском Svacer выполнить из консоли команду, увеличив лимит для текущей сессии
ulimit -Sn 16384

* Либо один раз увеличить на уровне системы — в файл '''/etc/security/limits.conf''' добавить

* soft nofile 16384

* Если запускаете Svacer как сервис systemd, добавьте параметр '''LimitNOFILE''' в секцию '''[Service]''' файла описания сервиса.
:В файле из deb/rpm пакета релиза Svacer этот параметр уже добавлен

[Service]
LimitNOFILE=16384

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Установка пути к директории для кэша ===
Если запускаете Svacer под пользователем без домашней директории, рекомендуется установить путь к директории для кэша через переменную окружения SVACER_CACHE_DIR в файле описания сервиса systemd

[Service]
Environment="SVACER_CACHE_DIR=/path/to/some/dir"

После чего выполните следующие команды, чтобы прочитать обновленный конфиг и перезапустить с ним Svacer

sudo systemctl daemon-reload
sudo systemctl restart svacer.service

=== Дополнительные параметры при запуске в docker-контейнере ===
При запуске в докер-контейнере можно указать дополнительные параметры, к примеру добавить конфиг [[Help:CLI#Хуки|хуков]].

Для этого переопределите команду запуска сервера Svacer в docker-compose файле и допишите туда нужные параметры:

command: /svacer/bin/svacer-server run --store /data/store --pg postgres://svace:svace@postgresql:5432/svace --hooks /svacer/hooks.json

Конфигурационный файл с описанием хуков примонтируйте как volume:

volumes:
- ./hooks.json:/svacer/hooks.json

Можете использовать переменные из секции environment docker-compose файла, тогда в строке запуска их надо экранировать с помощью <code>$$</code> и запускать сервер Svacer как shell-команду, чтобы в контейнере подставились значения переменных

environment:
- SVACER_PG_URL=postgres://svace:svace@postgresql:5432/svace
- STORE=/data/store
- HOOKS_FILE=/svacer/hooks.json
volumes:
- ./hooks.json:/svacer/hooks.json
command: sh -c "/svacer/bin/svacer-server run --store $$STORE --pg $$SVACER_PG_URL --hooks $$HOOKS_FILE"

Для более комплексных сценариев можете собрать свой образ с сервером Svacer, использовав наш [[Dockerfile]] как референс.

== Обновление детекторов ==
После установки новой версии Svace требуется обновить описания детекторов в Svacer. Для этого необходимо выполнить команду:

svacer checkers --upload </path/to/svace>

{{Note}} Обновление описаний детекторов это серьезная операция, которая должна выполняться после предварительного тестирования. Поэтому перед выполнением команды рекомендуется сделать резервную копию базы данных Svacer.

== Генерация PDF на основе HTML ==
В релиз 10.х.х включена генерация PDF на основе рендеринга HTML с последующим запуском headless chrome/chromium для генерации PDF. Этот подход позволяет упростить формирование шаблонов для генерации PDF, но требует существенно больше вычислительных ресурсов. Для тюнинга числа параллельных процессов при генерации используется переменная окружения

SVACER_PDF_GEN_LIMITS=<pdf tool limit>:<chrome limit>

Первое значение <code><pdf tool limit></code> определяет число одновременных процессов pdfmerge для сборки отдельных секций в единый PDF документ; второе значение <code><chrome limit></code> определяет одновременное число процессов chrome/chromium для генерации PDF из HTML. Не рекомендуется ставить значения, сильно превышающие число ядер в сервере.

== Полнотекстовый поиск ==
Для поддержки полнотекстового поиска Svacer строит индекс. По умолчанию директория для индекса создается в <code>$HOME/.cache/svacer</code>, для указания иной директории можно использовать переменную окружения <code>SVACER_SEARCH_INDEX_DIR</code>

В ряде случаев (падение и рестарт сервера, ошибки и т. п.) кэш может быть в некорректном состоянии. Для переиндексации данных администратор может использовать CLI команду

svacer search --host <nowiki>http://some_host:port</nowiki> --user <login> --password <pwd> --drop-cache

Используемая при этом учетная запись должна быть с правами на <code>Server administration</code>

== Указание public-url ==
В некоторых случаях необходимо явно указывать серверу Svacer его URL-адрес. Например, это нужно для корректной генерации коротких ссылок на предупреждения и ссылок в [[Notifications|уведомлениях]]. Используйте параметр <code>--public-url</code> при запуске сервера
<nowiki>svacer-server run --public-url http://svacer.intra.net:8080</nowiki>

== Расширенные параметры настройки сервера ==
Пользователь может использовать следующие переменные окружения для изменения внутренних параметров сервера:
{| class="wikitable"
|+
!Переменная
!Значение по умолчанию
!Описание
|-
|<code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|15 минут
|Таймаут ожидания процесса начала импорта на сервере. При превышении, запрос на импорт будет отклонен с ошибкой. Формат Go Duration string: 1h2m3s. Переменная затрагивает только ожидание начала, но не ограничивает сам процесс импорта.
|-
|<code>SVACER_NUM_PARALLEL_IMPORTS</code>
|(<code>максимальное число коннектов к БД) / 2</code>
|Число одновременных параллельных импортов. Остальные ждут в очереди. На ожидание влияет переменная <code>SVACER_TIMEOUT_IMPORT_RESULTS</code>
|-
|
|
|
|}

Changelog

2025-11-26T08:28:57Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* Импорт SARIF теперь более устойчив к пропускам в файле (отсутствие таких полей как location)
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера показываемого в WEB интерфейсе ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается не последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл может быть не ограничивается в размерах
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* ['''Экспериментально'''] Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-26T07:37:35Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* Добавлены переменные окружения <code>SVACER_TIMEOUT_IMPORT_RESULTS</code> для контроля таймаута на ожидание возможности начала операции импорта результатов (формат Go Duration string) и <code>SVACER_NUM_PARALLEL_IMPORTS</code> на ограничение числа параллельных импортов (задачи на импорт выстраиваются в очередь). По умолчанию значения 15 минут и (<code>максимальное число коннектов к БД) / 2</code>. Ограничение необходимы для предотвращения бесконечных ожиданий и зависаний при импорте данных.
* Убраны лишние сообщения об устаревших детекторах при старте сервера или импорте снимков
* В prometheus метрики добавлен ряд показателей размеров object store
* Размер лога сервера показываемого в WEB интерфейсе ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается не последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл может быть не ограничивается в размерах
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* ['''Экспериментально'''] Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-26T07:24:20Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* Размер лога сервера показываемого в WEB интерфейсе ограничен. Размер задается переменной окружения SVACER_TAIL_LOG_SIZE (по умолчанию 1Мб). Показывается не последний кусок не более SVACER_TAIL_LOG_SIZE. Сам лог файл может быть не ограничивается в размерах
* ['''Экспериментально'''] Можно указать формат лог файла в JSON посредством параметра <code>svacer-server --log-format=json ...</code>, так же формат может быть указан через переменную окружения <code>SVACER_LOG_FORMAT=json</code>. Опции так же работают для CLI клиента <code>svacer</code>
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-26T07:16:25Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-26T07:15:31Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* При запуске сервера можно указать флаг <code>--force-invariant-refresh</code> для принудительной регенерации инвариантов (может решить проблему с переносом разметки)
* Добавлена переменная окружения SVACER_INV_GEN_JOBS для контроля числа параллельных job-ов при регенарации инвариантов. При ограниченных ресурсах машины рекомендуем ставить значение 2. По умолчанию значение ставится в 70% от <code>runtime.GOMAXPROCS</code>
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен Release 11-2-0
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Changelog

2025-11-26T05:25:54Z

Ruseer: Обновление для 12-0-0 (in progress)

=== Release 12-0-0 ===
* Добавлена функциональность по чистке object store при удалении снимков
* Добавлена экспериментальная функциональность по модификации маркеров при импорте результатов и снимков
* Добавлена возможность создания сложных пользовательских фильтров по условиям выраженным предикатом
* Проведена работа по предотвращению зависаний при исчерпывании доступных соединений с PostgreSQL сервером
* Добавлен файл с чексуммой бинарника сервера <code>svacer-server</code> и проверка чексуммы при запуске
* Упростили [[Help:XSvacer:AIAssistant:Deploy|деплой ИИ-ассистента]]: добавили его сервис в docker-compose и deb/rpm пакеты
* Расширили возможности конфигурации при запуске сервера через [https://svacer.ispras.ru/extra/docker-compose.yml docker-compose]: теперь можно включить debug, указать конфиг LDAP и параметр public-url
* Добавлена возможность указания минимального количества снимков, которое необходимо оставлять в ветке, тип очистки и период удаления в [[Help:CLI/cleanup|автоматическом удалении снимков]]
* Добавлена возможность [[Edit markers (command line)|автоматически обрабатывать маркеры]] при импорте данных. Также обработка маркеров доступна через [[Help:UI manual#Работа со снимками|UI]]
* Добавлен флаг <code>diff-url</code> для команды <code>quickdiff</code> в CLI, также как и для команд <code>import</code>, <code>upload</code>, <code>sarif2 import</code> с указанием опции quick-stat. Данный флаг позволяет получать ссылку на diff снимков
* Добавлены предупреждения если в командах <code>import</code>, <code>sarif2 import</code> используются флаги, которые используются флагом <code>upload</code>, но флаг <code>upload</code> не установлен

=== Release 11-2-0 ===
22.07.2025

* Исправлены зависания сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir и SARIF-файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Edit markers (command line)

2025-11-25T06:46:29Z

Ruseer: Added experimental tag

== Обзор [ВНИМАНИЕ: экспериментальная функциональность] ==
Функциональность '''edit-markers''' позволяет автоматически обрабатывать маркеры при импорте данных с помощью правил, заданных в JSON-файле. Поддерживаются три типа операций:

* '''skip''' — пропуск (удаление) маркеров, соответствующих условию
* '''change''' — изменение полей маркеров
* '''deduplicate''' — объединение дублирующихся маркеров. У маркеров, подходящих под правило, объединяются уникальные трассы и остается только один маркер с наименьшим порядковым номером предупреждения (local_id) в файле результатов анализа. Остальные маркеры удаляются.
Все операции происходят на стороне клиента до загрузки данных на сервер. При импорте результатов Svace, а также sarif (без указания флага --upload) изменяется .svacer-dir. Директория .svace-dir остается неизменной. Снимок остается неизменным при импорте.

Данный функционал работает со снимками, созданными Svacer версии 7-0-0 и новее. Если у вас более старый снимок, то импортируйте и экспортируйте его для возможности работы с edit-markers.

== Использование ==

=== Импорт результатов Svace ===
<code>svacer import --edit-markers <файл_правил.json> [другие опции]</code>

Применяет правила редактирования к маркерам при импорте результатов анализа Svace.

=== Импорт SARIF ===
<code>svacer sarif2 import --edit-markers <файл_правил.json> [другие опции]</code>

Применяет правила при импорте SARIF-файлов.

=== Импорт снимка с редактированием ===
<code>svacer server import --edit-markers <файл_правил.json> [другие опции]</code>

Применяет правила к снимку при импорте. Дополнительно можно сохранить отредактированный снимок:

<code>svacer server import --edit-markers rules.json --save-edited-snapshot edited_snapshot.snap</code>

== Формат файла правил ==
Правила задаются в виде JSON-файла, содержащего массив объектов правил:
[
{
"action": "тип_действия",
"rules": "условие_или_список_полей",
"change": { /* только для action: "change" */ }
},
...
]

=== Типы действий ===

==== skip — Пропуск маркеров ====
Удаляет маркеры, соответствующие условию.
...
{
"action": "skip",
"rules": "file == 'test.cpp' and line > 100"
}
...

==== change — Изменение маркеров ====
Изменяет указанные поля маркеров.
...
{
"action": "change",
"rules": "warnclass == 'UNREACHABLE_CODE'",
"change": {
"warnclass": "IGNORED",
"msg": "Код помечен как недостижимый"
}
}
...
Доступные поля для изменения: <code>warnclass</code>, <code>msg</code>, <code>lang</code>, <code>tool</code>, <code>file</code>, <code>details</code>, <code>line</code>, <code>mtid</code>, <code>function</code>.

==== deduplicate — Дедупликация ====
Объединяет маркеры с одинаковыми значениями указанных полей. Один маркер выбирается случайно, все trace от остальных маркеров добавляются к нему.
...
{
"action": "deduplicate",
"rules": "file,line,warnclass"
}
...
Поля для группировки (можно указать от 1 до 8): <code>file</code>, <code>line</code>, <code>function</code>, <code>warnclass</code>, <code>lang</code>, <code>tool</code>, <code>mtid</code>, <code>details</code>.

== Доступные поля и операторы ==

=== Поля маркеров ===
В условиях можно использовать следующие поля:

* <code>file</code> — полный путь к файлу (строка)
* <code>line</code> — номер строки (число)
* <code>function</code> — имя функции (строка)
* <code>warnclass</code> — класс предупреждения (строка)
* <code>lang</code> — язык программирования (строка)
* <code>tool</code> — инструмент анализа (строка)
* <code>mtid</code> — ID типа маркера (строка)
* <code>msg</code> — сообщение маркера (строка)
* <code>details</code> — детали маркера (строка)

=== Операторы сравнения ===

* <code>==</code>, <code>!=</code> — равно, не равно
* <code>></code>, <code>>=</code>, <code><</code>, <code><=</code> — сравнение чисел
* <code>and</code>, <code>or</code>, <code>&&</code>, <code>||</code> — логические операторы
* <code>not</code>, <code>!</code> — логическое НЕ
* <code>in</code> — проверка вхождения в список (например: <code>warnclass in ['ERROR', 'WARNING']</code>)
* <code>contains</code> — проверка вхождения подстроки

=== Функции для работы со строками ===

* <code>icontains(s, substring)</code> — содержит подстроку (без учета регистра)
* <code>hasPrefix(s, prefix)</code> — начинается с префикса
* <code>hasSuffix(s, suffix)</code> — заканчивается суффиксом
* <code>equalsFold(a, b)</code> — сравнение строк без учета регистра
* <code>lower(s)</code> — преобразование в нижний регистр
* <code>upper(s)</code> — преобразование в верхний регистр
* <code>trim(s)</code> — удаление пробелов в начале и конце строки
* <code>replace(s, old, new)</code> — замена всех вхождений подстроки
* <code>regex(s, pattern)</code> — проверка соответствия регулярному выражению
* <code>nregex(s, pattern)</code> — проверка НЕсоответствия регулярному выражению

== Примеры ==
Часть примеров используют снимок [https://svacer.ispras.ru/mediawiki/images/6/66/Bash.zip bash]. Детекторы в данном снимке выглядят так:
[[File:Edit-markers-1.png|center|thumb|967x967px]]

=== Пропуск файлов ===
В данном примере будут пропущены все файлы, которые находятся в папке <code>/.build/lib</code>
[
{
"action": "skip",
"rules": "file contains '/.build/lib'"
}
]
Сравнивая исходный снимок и снимок, где было применено edit-markers можно увидеть 215 пропущенных детекторов. Все они находятся в папке <code>/.build/lib</code>
[[File:Edit-markers-2.png|center|thumb|983x983px]]
Если необходимо указать название не зависимо от регистра, то можно использовать функцию <code>icontains</code>:

<code>[ { "action": "skip", "rules": "icontains(file, '/.build/lib')" } ]</code>

Также после применения edit-markers в информации о снимке указывается, какие правила были применены
[[File:Edit-marker.png|center|thumb|971x971px]]

=== Изменение класса предупреждений ===
При необходимости возможно изменение полей маркера. В данном примере изменим warnclass маркеров у которых в названии есть <code>UNREACHABLE_CODE</code> и находящиеся после 1000 строки, но детектор <code>UNREACHABLE_CODE</code> изменять не будем.
[
{
"action": "change",
"rules": "warnclass contains 'UNREACHABLE_CODE' and line > 1000",
"change": {
"warnclass": "UNREACHABLE",
"msg": "Изменено правилами edit markers"
}
}
]
[[File:Edit-markers-3.png|center|thumb|955x955px]]
Указанные маркеры изменили свой детектор и описание.

{{Note|text=Серьезность, Надежность и CWE привязаны к названию warnclass (детектора), поэтому, если указать''' '''несуществующий warnclass, то данные поля пропадут.}}

=== Удаление дубликатов ===
Если необходимо объединить несколько детекторов в один по одинаковым полям, то возможно сделать следующее действие (в качестве полей rules можно указать 8 возможных значений, см. описание deduplicate).
Например, в снимке содержится множество одинаковых детекторов в одном файле на одной строке.
[[File:Edit-markers-dedup.png|center|thumb|933x933px]]
Применив следующее правило все маркеры, которые находятся в одном файле, с одним детектором и на одной строке объединятся в один: выберется один с наименьшим порядковым номером предупреждения в файле результатов анализа (local_id) и у него будет объединенные уникальные трассы всех остальных маркеров.
[
{
"action": "deduplicate",
"rules": "file,warnclass,line"
}
]
[[File:Edit-markers-dedup2.png|center|thumb|948x948px]]
В данном примере у всех маркеров <code>UNUSED_FIELD</code> на строке 11 в файле <code>AddInstruction.cs</code> была трасса состоящая из трёх ролей: detected, info, Current function name. Роль detected полностью совпадала во всех маркерах, она была включена один раз, а все остальные роли добавились в объединенный маркер. Оставшиеся дублирующие маркеры были удалены.

=== Комплексный пример ===
В данном примере пропускаются все маркеры, у которых инструмент равен <code>CSA</code>, а маркеры, которые имеют детекторы <code>'BAD_COPY_PASTE', 'DEREF_AFTER_NULL', 'UNUSED_VALUE'</code> или имеют в описании подстроку <code>unsafe</code> в любом регистре, меняют детектор и описание.
[
{
"action": "skip",
"rules": "tool == 'CSA'"
},
{
"action": "change",
"rules": "warnclass in ['BAD_COPY_PASTE', 'DEREF_AFTER_NULL', 'UNUSED_VALUE'] or icontains(msg, 'unsafe')",
"change": {
"warnclass": "HIGH_PRIORITY",
"msg": "Высокоприоритетное предупреждение"
}
}
]
При сравнении с исходным снимком можно заметить, что 91 предупреждение, у которых инструмент был <code>CSA</code>, удалены из измененного снимка.
[[File:Edit-markers-5.png|center|thumb|979x979px]]
Также были изменены маркеры, в соответствии с правилами.
[[File:Edit-markers-51.png|center|thumb|980x980px]]

=== Изменение приоритета для определенных классов ===
Изменение детекторов:
[
{
"action": "change",
"rules": "warnclass in ['UNREACHABLE_CODE.TERMINATION', 'UNREACHABLE_CODE.RET', 'UNREACHABLE_CODE.ENUM']",
"change": {
"warnclass": "UNREACHABLE_CODE"
}
}
]

=== Обработка сгенерированных файлов ===
Пропускаем все маркеры в сгенерированных файлах:

[
{
"action": "skip",
"rules": "file contains 'generated' or hasPrefix(file, 'vendor/')"
}
]

=== Дедупликация с последующей фильтрацией ===
Сначала объединяем дубликаты, потом удаляем ненужные:
[
{
"action": "deduplicate",
"rules": "file,line,warnclass,function"
},
{
"action": "skip",
"rules": "icontains(file, 'third_party') or icontains(file, 'external')"
}
]

=== Работа с регулярными выражениями ===
В данном примере будут пропущены маркеры, путь к файлу которых НЕ соответствует регулярному выражению. В результате в снимке останутся только маркеры из файлов с расширениями <code>.c</code>, <code>.cpp</code>, <code>.h</code> или <code>.hpp</code>, находящихся в директории <code>/.build/builtins</code>. В данном случае мы дважды экранируем: сначала слэш, а потом точку.
[
{
"action": "skip",
"rules": "nregex(file, \"^/\\\\.build/builtins/.*\\\\.(c|cpp|h|hpp)$\")"
}
]
В результате у нас остаются только подходящие маркеры:
[[File:Edit-markers-8.png|center|thumb|979x979px]]

== Дополнительные опции ==

=== Сохранение отредактированного снимка ===
При импорте снимка можно сохранить результат применения правил:
svacer server import --edit-markers rules.json --save-edited-snapshot result.snap ...
Обязательно должно быть расширение <code>.snap</code> для сохранения.

== Важные замечания ==

# '''Порядок правил''' — правила применяются последовательно в порядке их описания в файле
# '''Валидация''' — при загрузке правил проверяется корректность JSON и соответствие полей
# '''Формат файла''' — файл правил должен иметь расширение <code>.json</code>
# '''Логирование''' — результат применения правил выводится в лог (количество обработанных и удаленных маркеров)
# '''Поле line в change''' — должно быть строкой с неотрицательным числом
# '''Поле warnclass в change''' — может принимать только русские и английские буквы, цифры, а также специальные символы, которые находятся на цифровой панели клавиатуры (и печатаются через Shift)

Review replication

2025-09-15T04:41:31Z

Ruseer: /* История изменений */ новая версия

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-09-15@04:26:40.654d90f2
|
* добавлен флаг <code>--autofix-duplicate-invariants</code> - для дублей инвариантов
* добавлен флаг <code>--autofix-all</code> - для дублей комментариев, инвариантов и потенциально иных проблем
* добавлена команда <code>safe-copy</code>для копирования разметки между бранчами с автоисправлением дублей комментариев и инвариантов
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix
Файл с тремя предикатами, для случая изменения версий go модулей в пакете go-jmespath (<code>jmespath -> go-jmespath</code>)
// common case for function changes
unprocessed() &&
match_loc(warnclass,file,lang,tool,mtid, line) &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )
;;
// handle go-jmespath case
unprocessed() &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
match_loc(warnclass,file,lang,tool,mtid, line, details)
;;
// handle go mod versions
unprocessed() &&
match_loc(warnclass,lang,tool,mtid, line) &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
same_go_path() &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Help:Match

2025-09-05T10:00:05Z

Ruseer: /* Классический режим генерации инвариантов */

== Cопоставления предупреждений ==

=== Описание алгоритма ===
В данной секции описывается алгоритм сопоставления предупреждений используемый Svacer для переноса разметки.

Для каждого предупреждения в снимке (snapshot) вычисляется хэшкод из полей предупреждения и исходных файлов. В терминологии Svacer хэшкод именуется '''инвариантом'''. Инвариант используется для группировки предупреждений из разных снимков в рамках одной ветки. Каждое предупреждение в рамках '''одного снимка''' имеет '''уникальный''' инвариант.

Генерация инвариантов для снимка идет по следующему алгоритму:

Шаг 1 (формируем первый, основной инвариант):

* Пути всех файлов из предупреждений в снимке сортируются лексикографически.
* Для каждого пути вычисляется минимально возможный не конфликтующий суффикс пути (т. е. конец пути содержащий имя файла), имеющий по крайней мере два сегмента (т. е. включающий имя директории). Для Java файлов минимальный путь учитывает имя пакета, объявленного внутри файла (при наличии package declaration внутри). Данный минимальный суффикс добавляется в хэш код инварианта.
* В инвариант добавляются хэш коды следующих полей предупреждения: '''MTid''' (если поле пустое, то используются поля '''Msg''', '''warnClass'''), '''Function''', '''Lang''', '''Tool'''. Поля '''Lang''' и '''Tool''' нормализуются, т. к. разные версии Svace могли иметь отличные именования полей.
* Формируется хэш-код строки кода из объекта сборки. При формировании хэшкода строки все whitespace-ы игнорируются. Если объект сборки отсутствует, то используется поле '''details''' у предупреждения.
* Если для нескольких предупреждений в снимке получился одинаковый инвариант, то конфликтующие предупреждения упорядочиваются по '''line''' и '''locID''' предупреждения (порядковый номер предупреждения в svres или sarif файле, в данном случае полагаемся на детерминизм анализатора). В инвариант добавляется индекс предупреждения в данной конфликтной группе. Таким образом получаем уникальный инвариант для каждого предупреждения в снимке.

Шаг 2 (формируем второй инвариант):

* Пути всех файлов в снимке сортируются лексикографически.
* Для каждого пути вычисляется минимально возможный не конфликтующий путь, содержащий по крайней мере два сегмента (т. е. включающий имя директории). Для Java файлов минимальный путь учитывает имя пакета, объявленного внутри файла (при наличии package declaration внутри). Минимальный путь добавляется в хэш код инварианта.
* В инвариант добавляются хэш коды следующих полей предупреждения: '''MTid''' (если поле пустое, то используется поля '''Msg''', '''warnClass'''), '''Function''', '''Lang''', '''Tool''', '''Details''' (важное отличие от ''шага 1'' — здесь используется поле '''Details''' у предупреждения). Поля '''Lang''' и '''Tool''' нормализуются, т. к. разные версии Svace могли иметь отличные именования полей.
* Предупреждения в снимке делятся на группы по инварианту. В рамках одной группы предупреждения сортируются по '''Function''', строке ('''line''') и '''locID'''. Индекс предупреждения в группе добавляется к инварианту группы. Таким образом получаем уникальный инвариант для каждого предупреждения в снимке.

Шаг 3:

* Если предупреждения на ветке (branch) попали согласно ''инварианту 1'' в разные группы, а ''инварианту 2'' в одну, то для данных предупреждений будет использован ''инвариант 2'', как более строгий.

Шаг 4:

* Проверяется, были ли ручные сопоставления предупреждений на ветке (branch) и инварианты корректируются исходя из таблицы ручных сопоставлений. При ручном сопоставлении предупреждениям назначается уникальный инвариант и запоминается информация об эквивалентности назначенного инварианта инвариантам полученным на шагах 1 и 2.

==== Правила нормализации полей Lang и Tool при импорте *.svres файлов ====
Для поля Lang выполняются следующие преобразования (ключ сравнивается как case-insensitive)
"C_Cpp": "CXX",
"C": "CXX",
"C#": "CSHARP",
"KOTLIN": "KOTLIN",
"cs": "CSHARP",
"CS": "CSHARP",
"Python": "PYTHON",
"Go": "GO",
"go": "GO",
"Java": "JAVA",
"VisualBasic": "VISUALBASIC",
"VB": "VISUALBASIC",
"JS": "JAVASCRIPT",
Поле Tool нормализуется к значениям из следующего списка посредством case-insensitive сравнения (если значение не из списка, то не меняется)
"SvEng"
"SvCpp"
"CSA"
"SpotBugs"
"TagsJavac"
"Roslyn"
"Kotlinc"
При импорте детекторов из sarif или искусственно созданном svres файле нормализация значения Tool не делается.

=== Опции сервера, влияющие на алгоритм генерации инвариантов ===

==== Классический режим генерации инвариантов ====
Для включения режима сопоставления используемого в релизах 8 и ранее можно использовать опцию

<code>svacer-server run --classic-inv-mode</code>

либо определить переменную <code>SVACER_CLASSIC_INV_MODE=true</code>

При использовании данного режима перенос разметки и поведение опций по <code>quality gate</code> и <code>quick stats</code>будет более детерменировано, т.к генерация инвариантов не использует информацию об уже содержащихся снимках на ветке.

'''ВНИМАНИЕ''': измениие алгоритма генерации инвариантов приведет к пересчету всех инвариантов на сервере. Это может занять время. Рекомендуется сделать бэкап базы перед изменением опций.

==== Отключение миграции инвариантов ====
Для отключения операции по пересчету и миграции инвариантов при старте можно использовать переменную окружения
SVACER_NO_INVARIANT_MIGRATION=true

При запуске сервера с данной опцией пересчет инвариантов происходить не будет.

==== Отключение минимизации путей ====
При использовании следующей опции или соответствующей переменной окружения, механизм минимизации путей будет отключен.
--no-path-min

Переменная окружения:
SVACER_NO_PATH_MIN=true|false

==== Отключение шагов 2, 3 ====
Для отключения шагов 2 и 3 необходимо использовать переменную окружения
SVACER_NO_MATCH_BY_CORE=true
{{Note}} Данная опция не рекомендуется, т. к. нарушает совместимость с алгоритмом генерации, используемом в прежних версиях Svacer.

=== Ручное сопоставление предупреждений (экспериментальная возможность) ===
Пользователь может выполнить ручное сопоставление предупреждений из [[Help:UI manual#Сопоставление маркеров|веб-интерфейса]] и CLI. В данной секции описывается механизм ручного сопоставления из CLI.

Для ручного сопоставления предупреждений из CLI пользователь должен использовать команду <code>svacer marker match</code>. Команда требует обязательной аутентификации и пользователь должен иметь права на разметку в проекте и ветке, где хочет выполнить сопоставление. Сопоставить можно предупреждения из '''разных''' снимков '''одной''' ветки. При ручном сопоставлении все предупреждения, которые эквивалентны по инвариантам первому предупреждению или второму, будут автоматически считаться эквивалентными. Одно и то же предупреждение может быть сопоставлено с множеством других предупреждений, но каждое из выбранных предупреждений должно находиться в различных снимках. Нельзя сопоставить два или более предупреждений из одного снимка одному предупреждению из другого снимка.

svacer marker match --user user --password password --host host --project project --branch branch --v1 snapshot1 --v2 snapshot2 id11=id21 id12=id22 id13=id23

Под аргументами операции подразумеваются пары ID маркеров из снимков указанных в параметрах <code>--v1</code> и <code>--v2</code>. Для удобства пользователя, можно использовать числовой ID маркера, который может быть получен через CLI команду

svacer marker list --host host --user user --password pwd --project project

Формат задается опцией <code>--out-format=json|txt|csv</code>. Если формат по умолчанию (txt), то данная команда выдает список предупреждений в виде таблицы

# warn file line review msg
1000 INVARIANT_RESULT /.build/subst.c 7080 Expression 'tl->word->flags | (1 << 21)' is always
true , which may be caused by a logical error
1001 DEREF_AFTER_NULL.LOOP /.build/execute_cmd.c 3327 After having been compared to NULL value at execut
e_cmd.c:3325, pointer 'l' is dereferenced at execu
te_cmd.c:3327.
1002 DEREF_AFTER_NULL.LOOP /.build/variables.c 2749 After having been compared to NULL value at variab
les.c:2656, pointer 'vc' is dereferenced at variab
les.c:2749.
При указании опции <code>--out-file</code> вывод будет направлен в указанный файл.

В таблице первая колонка содержит числовой ID предупреждения, который может быть использован для сопоставления предупреждений.

При использовании команды <code>svacer marker match</code> пользователь может указывать как имя проекта и ветки, так и их ID.

Для получения списка ручных сопоставлений пользователь должен использовать команду <code>svacer marker match-journal</code>

svacer marker match-journal --host host --user user --password password --project project --branch branch

Формат вывода контролируется опцией <code>--out-format</code> и может быть <code>json</code>, текст (<code>txt</code>, default), <code>csv</code>. При указании опции <code>--out-file</code> вывод будет направлен в указанный файл.

# v marker snapshot_id snapshot_name created_by create_ts
2 v1 DEREF_OF_NULL.CONST:test.c:9 b51009b6-cdbe-463a-b324-c87143bb0372 S3 admin Fri Mar 22 08:16:03 UTC 2024
v2 DEREF_OF_NULL.CONST:test.c:8 8a9c4330-c131-44e1-bf09-b1d3a245b317 S1
1 v1 DEREF_OF_NULL.CONST:test.c:8 3c20cd4e-e5d9-479b-b618-7db852ed0133 S2 admin Fri Mar 22 08:01:06 UTC 2024
v2 DEREF_OF_NULL.CONST:test.c:8 8a9c4330-c131-44e1-bf09-b1d3a245b317 S1

Для отмены ручных сопоставлений пользователь должен использовать команду

svacer marker unapply-match --host host --user user --password password --project project --branch branch id1 id2 id2 ...

Где <code>id1, id2, ...</code> — список id операций полученных командой <code>svacer marker match-journal</code>

{{Note}} При отмене ручных сопоставлений вычисляется замыкание всех связанных сопоставлений и, далее, отменяется всё замыкание. Таким образом, если пользователь сопоставил два предупреждения, а потом одно из сопоставленных сопоставил с еще одним новым предупреждением, то при отмене первой операции будет отменена и вторая.

Help:Match

2025-09-05T09:59:00Z

Ruseer: /* Опции сервера, влияющие на алгоритм генерации инвариантов */

== Cопоставления предупреждений ==

=== Описание алгоритма ===
В данной секции описывается алгоритм сопоставления предупреждений используемый Svacer для переноса разметки.

Для каждого предупреждения в снимке (snapshot) вычисляется хэшкод из полей предупреждения и исходных файлов. В терминологии Svacer хэшкод именуется '''инвариантом'''. Инвариант используется для группировки предупреждений из разных снимков в рамках одной ветки. Каждое предупреждение в рамках '''одного снимка''' имеет '''уникальный''' инвариант.

Генерация инвариантов для снимка идет по следующему алгоритму:

Шаг 1 (формируем первый, основной инвариант):

* Пути всех файлов из предупреждений в снимке сортируются лексикографически.
* Для каждого пути вычисляется минимально возможный не конфликтующий суффикс пути (т. е. конец пути содержащий имя файла), имеющий по крайней мере два сегмента (т. е. включающий имя директории). Для Java файлов минимальный путь учитывает имя пакета, объявленного внутри файла (при наличии package declaration внутри). Данный минимальный суффикс добавляется в хэш код инварианта.
* В инвариант добавляются хэш коды следующих полей предупреждения: '''MTid''' (если поле пустое, то используются поля '''Msg''', '''warnClass'''), '''Function''', '''Lang''', '''Tool'''. Поля '''Lang''' и '''Tool''' нормализуются, т. к. разные версии Svace могли иметь отличные именования полей.
* Формируется хэш-код строки кода из объекта сборки. При формировании хэшкода строки все whitespace-ы игнорируются. Если объект сборки отсутствует, то используется поле '''details''' у предупреждения.
* Если для нескольких предупреждений в снимке получился одинаковый инвариант, то конфликтующие предупреждения упорядочиваются по '''line''' и '''locID''' предупреждения (порядковый номер предупреждения в svres или sarif файле, в данном случае полагаемся на детерминизм анализатора). В инвариант добавляется индекс предупреждения в данной конфликтной группе. Таким образом получаем уникальный инвариант для каждого предупреждения в снимке.

Шаг 2 (формируем второй инвариант):

* Пути всех файлов в снимке сортируются лексикографически.
* Для каждого пути вычисляется минимально возможный не конфликтующий путь, содержащий по крайней мере два сегмента (т. е. включающий имя директории). Для Java файлов минимальный путь учитывает имя пакета, объявленного внутри файла (при наличии package declaration внутри). Минимальный путь добавляется в хэш код инварианта.
* В инвариант добавляются хэш коды следующих полей предупреждения: '''MTid''' (если поле пустое, то используется поля '''Msg''', '''warnClass'''), '''Function''', '''Lang''', '''Tool''', '''Details''' (важное отличие от ''шага 1'' — здесь используется поле '''Details''' у предупреждения). Поля '''Lang''' и '''Tool''' нормализуются, т. к. разные версии Svace могли иметь отличные именования полей.
* Предупреждения в снимке делятся на группы по инварианту. В рамках одной группы предупреждения сортируются по '''Function''', строке ('''line''') и '''locID'''. Индекс предупреждения в группе добавляется к инварианту группы. Таким образом получаем уникальный инвариант для каждого предупреждения в снимке.

Шаг 3:

* Если предупреждения на ветке (branch) попали согласно ''инварианту 1'' в разные группы, а ''инварианту 2'' в одну, то для данных предупреждений будет использован ''инвариант 2'', как более строгий.

Шаг 4:

* Проверяется, были ли ручные сопоставления предупреждений на ветке (branch) и инварианты корректируются исходя из таблицы ручных сопоставлений. При ручном сопоставлении предупреждениям назначается уникальный инвариант и запоминается информация об эквивалентности назначенного инварианта инвариантам полученным на шагах 1 и 2.

==== Правила нормализации полей Lang и Tool при импорте *.svres файлов ====
Для поля Lang выполняются следующие преобразования (ключ сравнивается как case-insensitive)
"C_Cpp": "CXX",
"C": "CXX",
"C#": "CSHARP",
"KOTLIN": "KOTLIN",
"cs": "CSHARP",
"CS": "CSHARP",
"Python": "PYTHON",
"Go": "GO",
"go": "GO",
"Java": "JAVA",
"VisualBasic": "VISUALBASIC",
"VB": "VISUALBASIC",
"JS": "JAVASCRIPT",
Поле Tool нормализуется к значениям из следующего списка посредством case-insensitive сравнения (если значение не из списка, то не меняется)
"SvEng"
"SvCpp"
"CSA"
"SpotBugs"
"TagsJavac"
"Roslyn"
"Kotlinc"
При импорте детекторов из sarif или искусственно созданном svres файле нормализация значения Tool не делается.

=== Опции сервера, влияющие на алгоритм генерации инвариантов ===

==== Классический режим генерации инвариантов ====
Для включения режима сопоставления используемого в релизах 8 и ранее можно использовать опцию

<code>svacer-server run --classic-inv-mode</code>

либо определить переменную <code>SVACER_CLASSIC_INV_MODE=true</code>

При использовании данного режима перенос разметки и поведение опций по <code>quality gate</code> и <code>quick stats</code>будет более детерменировано, т.к генерация инвариантов не использует информацию об уже содержащихся снимках на ветке.

==== Отключение миграции инвариантов ====
Для отключения операции по пересчету и миграции инвариантов при старте можно использовать переменную окружения
SVACER_NO_INVARIANT_MIGRATION=true

При запуске сервера с данной опцией пересчет инвариантов происходить не будет.

==== Отключение минимизации путей ====
При использовании следующей опции или соответствующей переменной окружения, механизм минимизации путей будет отключен.
--no-path-min

Переменная окружения:
SVACER_NO_PATH_MIN=true|false

==== Отключение шагов 2, 3 ====
Для отключения шагов 2 и 3 необходимо использовать переменную окружения
SVACER_NO_MATCH_BY_CORE=true
{{Note}} Данная опция не рекомендуется, т. к. нарушает совместимость с алгоритмом генерации, используемом в прежних версиях Svacer.

=== Ручное сопоставление предупреждений (экспериментальная возможность) ===
Пользователь может выполнить ручное сопоставление предупреждений из [[Help:UI manual#Сопоставление маркеров|веб-интерфейса]] и CLI. В данной секции описывается механизм ручного сопоставления из CLI.

Для ручного сопоставления предупреждений из CLI пользователь должен использовать команду <code>svacer marker match</code>. Команда требует обязательной аутентификации и пользователь должен иметь права на разметку в проекте и ветке, где хочет выполнить сопоставление. Сопоставить можно предупреждения из '''разных''' снимков '''одной''' ветки. При ручном сопоставлении все предупреждения, которые эквивалентны по инвариантам первому предупреждению или второму, будут автоматически считаться эквивалентными. Одно и то же предупреждение может быть сопоставлено с множеством других предупреждений, но каждое из выбранных предупреждений должно находиться в различных снимках. Нельзя сопоставить два или более предупреждений из одного снимка одному предупреждению из другого снимка.

svacer marker match --user user --password password --host host --project project --branch branch --v1 snapshot1 --v2 snapshot2 id11=id21 id12=id22 id13=id23

Под аргументами операции подразумеваются пары ID маркеров из снимков указанных в параметрах <code>--v1</code> и <code>--v2</code>. Для удобства пользователя, можно использовать числовой ID маркера, который может быть получен через CLI команду

svacer marker list --host host --user user --password pwd --project project

Формат задается опцией <code>--out-format=json|txt|csv</code>. Если формат по умолчанию (txt), то данная команда выдает список предупреждений в виде таблицы

# warn file line review msg
1000 INVARIANT_RESULT /.build/subst.c 7080 Expression 'tl->word->flags | (1 << 21)' is always
true , which may be caused by a logical error
1001 DEREF_AFTER_NULL.LOOP /.build/execute_cmd.c 3327 After having been compared to NULL value at execut
e_cmd.c:3325, pointer 'l' is dereferenced at execu
te_cmd.c:3327.
1002 DEREF_AFTER_NULL.LOOP /.build/variables.c 2749 After having been compared to NULL value at variab
les.c:2656, pointer 'vc' is dereferenced at variab
les.c:2749.
При указании опции <code>--out-file</code> вывод будет направлен в указанный файл.

В таблице первая колонка содержит числовой ID предупреждения, который может быть использован для сопоставления предупреждений.

При использовании команды <code>svacer marker match</code> пользователь может указывать как имя проекта и ветки, так и их ID.

Для получения списка ручных сопоставлений пользователь должен использовать команду <code>svacer marker match-journal</code>

svacer marker match-journal --host host --user user --password password --project project --branch branch

Формат вывода контролируется опцией <code>--out-format</code> и может быть <code>json</code>, текст (<code>txt</code>, default), <code>csv</code>. При указании опции <code>--out-file</code> вывод будет направлен в указанный файл.

# v marker snapshot_id snapshot_name created_by create_ts
2 v1 DEREF_OF_NULL.CONST:test.c:9 b51009b6-cdbe-463a-b324-c87143bb0372 S3 admin Fri Mar 22 08:16:03 UTC 2024
v2 DEREF_OF_NULL.CONST:test.c:8 8a9c4330-c131-44e1-bf09-b1d3a245b317 S1
1 v1 DEREF_OF_NULL.CONST:test.c:8 3c20cd4e-e5d9-479b-b618-7db852ed0133 S2 admin Fri Mar 22 08:01:06 UTC 2024
v2 DEREF_OF_NULL.CONST:test.c:8 8a9c4330-c131-44e1-bf09-b1d3a245b317 S1

Для отмены ручных сопоставлений пользователь должен использовать команду

svacer marker unapply-match --host host --user user --password password --project project --branch branch id1 id2 id2 ...

Где <code>id1, id2, ...</code> — список id операций полученных командой <code>svacer marker match-journal</code>

{{Note}} При отмене ручных сопоставлений вычисляется замыкание всех связанных сопоставлений и, далее, отменяется всё замыкание. Таким образом, если пользователь сопоставил два предупреждения, а потом одно из сопоставленных сопоставил с еще одним новым предупреждением, то при отмене первой операции будет отменена и вторая.

Help:Utils

2025-08-19T08:18:50Z

Ruseer:

== Утилиты ==
=== pfixer ===
pfixer — утилита для исправления путей при экспорте снимков в файл. Замена путей в существующем снимке опасна, поэтому предлагается делать экспорт снимка с заменой путей. После, при необходимости, исходный снимок можно удалить с сервера. Утилита также работает со снимками в <code>.snap</code> файлах.

'''UPDATE''': начиная с версии <code>>=devel.2025-08-19</code> включает флаг <code>--autofix</code> для исправления ряда проблем с дублями связей разметки и комментариев при импорте. Опцию можно использовать при обнаружении ошибок вида <code>ERROR: duplicate key value violates unique constraint "group_review_comments_idx_group_review_id"</code>

Поддерживаются версии Svacer, начиная с 7-0-0, но в дистрибутив утилита входит с версии 10-0-0. Актуальную версию можно [https://svacer.ispras.ru/releases/utils/pfixer скачать отсюда]

Для работы с утилитой необходимо создать файл содержащий правила замены путей. Это должен быть юниксовый текстовый файл (разделитель строк <code>\n</code>). Его можно указать через опцию <code>--map-file</code> или через stdin. Каждая строчка должна содержать заменяемый префикс и значение, разделённые двоеточием. Если префикс должен быть удалён, для замены используется знак <code>-</code>.

<префикс1>:<замена1>
<префикс2>:<замена2>
<префикс3>:<замена3>
<префикс4>:-

Также есть возможность использовать [https://pkg.go.dev/regexp#Regexp.ReplaceAllString регулярные выражения] (в экспериментальной стадии) из языка Go. В этом случае надо использовать знак '@' в начале строки. Можно использовать $var для ссылок на группы в регулярном выражении.

@<регулярное_выражение1>:<замена>
@<регулярное_выражение2>:-

Все правила упорядочиваются перед заменой, применяется самое длинное подходящее правило. Процесс прерывается в случае, если пути конфликтуют после замены (два пути превратились в один).

Авторизацию на сервере можно передать через опции <code>--credentials <login:password></code> или <code>--token <token></code> — сразу токен авторизации.

Исходный снимок с сервера можно передать в виде URL.

'''Примеры'''

<pre>
pfixer --source http://svacer/mode/review/project/{project}/branch/{branch}/snapshot/{snapshot} --output updated.snap --credentials login:password --map-file map.txt
pfixer --source input.snap --output updated.snap -map-file map.txt --log-file test.log
pfixer --source input.snap --output updated.snap --log-file test.log | cat map.txt
</pre>

=== reviewer ===
Утилита для репликации разметки по декларативно описанным правилам.

Подробнее в отдельной статье: [[Review_replication]]

Help:Utils

2025-08-19T08:13:51Z

Ruseer:

== Утилиты ==
=== pfixer ===
pfixer — утилита для исправления путей при экспорте снимков в файл. Замена путей в существующем снимке опасна, поэтому предлагается делать экспорт снимка с заменой путей. После, при необходимости, исходный снимок можно удалить с сервера. Утилита также работает со снимками в <code>.snap</code> файлах.

'''UPDATE''': начиная с версии <code>devel.2025-08-19@10:36:31.e8cbf274</code> включает флаг <code>--autofix</code> для исправления ряда проблем с дублями связей разметки и комментариев при импорте. Опцию можно использовать при обнаружении ошибок вида <code>ERROR: duplicate key value violates unique constraint "group_review_comments_idx_group_review_id"</code>

Поддерживаются версии Svacer, начиная с 7-0-0, но в дистрибутив утилита входит с версии 10-0-0. Актуальную версию можно [https://svacer.ispras.ru/releases/utils/pfixer скачать отсюда]

Для работы с утилитой необходимо создать файл содержащий правила замены путей. Это должен быть юниксовый текстовый файл (разделитель строк <code>\n</code>). Его можно указать через опцию <code>--map-file</code> или через stdin. Каждая строчка должна содержать заменяемый префикс и значение, разделённые двоеточием. Если префикс должен быть удалён, для замены используется знак <code>-</code>.

<префикс1>:<замена1>
<префикс2>:<замена2>
<префикс3>:<замена3>
<префикс4>:-

Также есть возможность использовать [https://pkg.go.dev/regexp#Regexp.ReplaceAllString регулярные выражения] (в экспериментальной стадии) из языка Go. В этом случае надо использовать знак '@' в начале строки. Можно использовать $var для ссылок на группы в регулярном выражении.

@<регулярное_выражение1>:<замена>
@<регулярное_выражение2>:-

Все правила упорядочиваются перед заменой, применяется самое длинное подходящее правило. Процесс прерывается в случае, если пути конфликтуют после замены (два пути превратились в один).

Авторизацию на сервере можно передать через опции <code>--credentials <login:password></code> или <code>--token <token></code> — сразу токен авторизации.

Исходный снимок с сервера можно передать в виде URL.

'''Примеры'''

<pre>
pfixer --source http://svacer/mode/review/project/{project}/branch/{branch}/snapshot/{snapshot} --output updated.snap --credentials login:password --map-file map.txt
pfixer --source input.snap --output updated.snap -map-file map.txt --log-file test.log
pfixer --source input.snap --output updated.snap --log-file test.log | cat map.txt
</pre>

=== reviewer ===
Утилита для репликации разметки по декларативно описанным правилам.

Подробнее в отдельной статье: [[Review_replication]]

Review replication

2025-07-25T05:28:08Z

Ruseer: /* Пример предиката */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix
Файл с тремя предикатами, для случая изменения версий go модулей в пакете go-jmespath (<code>jmespath -> go-jmespath</code>)
// common case for function changes
unprocessed() &&
match_loc(warnclass,file,lang,tool,mtid, line) &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )
;;
// handle go-jmespath case
unprocessed() &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
match_loc(warnclass,file,lang,tool,mtid, line, details)
;;
// handle go mod versions
unprocessed() &&
match_loc(warnclass,lang,tool,mtid, line) &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
same_go_path() &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Review replication

2025-07-25T05:25:41Z

Ruseer: /* Пример предиката */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix
Файл с тремя предикатами, для случая изменения версий go модулей в пакете go-jmespath
// common case for function changes
unprocessed() &&
match_loc(warnclass,file,lang,tool,mtid, line) &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )
;;
// handle go-jmespath case
unprocessed() &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
match_loc(warnclass,file,lang,tool,mtid, line, details)
;;
// handle go mod versions
unprocessed() &&
match_loc(warnclass,lang,tool,mtid, line) &&
match_source_re(lang, "GO|Go") && match_target_re(lang, "GO|Go") &&
same_go_path() &&
match_suffix_re (function, "(.+/)" /* regexp for prefix */ )

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Review replication

2025-07-25T05:12:54Z

Ruseer: /* Пример */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* Добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, которые по какой-либо причине могут быть в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* В журнал операций добавлены old/new статусы при операции replicate
* Добавлены вспомогательные функции <code>source_review_ct</code> и <code>target_review_ct</code> для получения времени разметки на source и target. Их можно использовать в предикатах
* Добавлено ассоциирование комментария с разметкой при репликации
* Добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* Улучшено HTML-представление отчета
* Добавлен предикат <code>match_prefix_re</code> по аналогии с <code>match_suffix_re</code>
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты <code>same_go_path</code> и <code>match_go_path</code> для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример предиката ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Changelog

2025-07-22T07:30:50Z

Ruseer:

=== Release 11-2-0 ===

* Реализованы исправления связанные со случайными зависаниями сервера
* Добавлено автоматическое удаление архивов и прочих временных файлов при импорте .svace-dir-ов и SARIF файлов через REST API

=== Release 11-1-0 ===
08.07.2025

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность [[Help:Import from Svace#Флаг --baseline|указания baseline]] для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к PostgreSQL в SSL-режиме
* Исправлен ряд ошибок при работе с LDAP
* Команда <code>quickdiff</code> в CLI теперь выдает информацию также о Same и Matched предупреждениях

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Review replication

2025-07-16T07:43:33Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-07-16@07:20:59.90a60fcd
|
* добавлен флаг <code>--autofix-duplicate-comments</code> для удаления дублей комментариев, какие могут быть по какой-либо причине в исходных данных
|-
|devel.2025-07-14@07:20:15.74259281
|
* в журнал операций добавлены old/new статусы при операции replicate
* добавлены вспомогательные функции source_review_ct и target_review_ct для получения времени разметки на source и target. Их можно использовать в предикатах
* добавлено ассоциирования комментария с разметкой при репликации
* добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* улучшено HTML представление отчета
* добавлены предикат match_prefix_re по аналогии с match_suffix_re
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты same_go_path и match_go_path для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Review replication

2025-07-14T07:34:39Z

Ruseer: /* История изменений */ fix version format

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-07-14@07:20:15.74259281
|
* в журнал операций добавлены old/new статусы при операции replicate
* добавлены вспомогательные функции source_review_ct и target_review_ct для получения времени разметки на source и target. Их можно использовать в предикатах
* добавлено ассоциирования комментария с разметкой при репликации
* добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* улучшено HTML представление отчета
* добавлены предикат match_prefix_re по аналогии с match_suffix_re
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты same_go_path и match_go_path для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Review replication

2025-07-14T07:34:11Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|reviewer version devel.2025-07-14@07:20:15.74259281
|
* в журнал операций добавлены old/new статусы при операции replicate
* добавлены вспомогательные функции source_review_ct и target_review_ct для получения времени разметки на source и target. Их можно использовать в предикатах
* добавлено ассоциирования комментария с разметкой при репликации
* добавлен ряд вспомогательных команд
|-
|devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* улучшено HTML представление отчета
* добавлены предикат match_prefix_re по аналогии с match_suffix_re
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты same_go_path и match_go_path для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Help:XSvacer:AIAssistant

2025-07-10T05:00:20Z

Ruseer: spell fix

{{Note|type=warn|text='''Disclaimer'''
* Это экспериментальная Proof of Concept версия, предоставляемая для ознакомления по принципу "как есть".
* Данная функциональность не связана с [https://svace.pages.ispras.ru/svace-website/2025/02/21/ai-assistant.html AI-ассистентом из анализатора Svace]. Функционал AI-ассистента из анализатора Svace будет интегрирован в Svacer в будущих версиях сервера.}}

== Поддержка ИИ-ассистента для разметки предупреждений ==
Данная функциональность позволяет использовать модель машинного обучения (ИИ) для помощи при разметке предупреждений.

ИИ-ассистент предназначен для разметки предупреждений статусами <code style="white-space: pre;">Confirmed</code> и <code style="white-space: pre;">False Positive</code>, которые были предсказаны моделью машинного обучения.

Все данные предупреждений хранятся в Svacer и получаются ИИ-ассистентом с помощью REST API.

=== Где посмотреть ===
* Развернуть у себя, воспользовавшись [[Help:XSvacer:AIAssistant:Deploy|инструкцией по запуску]].
* На нашем демо-стенде: https://svacer-ai-demo.ispras.ru (admin / admin). Сейчас это выглядит как отдельный урезанный интерфейс Svacer, но в следующих релизах будет встроено в основной UI.

== Описание интерфейса ИИ-ассистента==
=== Разметка одного маркера ===
Чтобы разметить один маркер с помощью ИИ-ассистента:
:1. Нажмите кнопку [[File:Icon AI.png|25px]] [[Help:UI manual#Функции правой панели|на правой панели]] или в виджете маркера на [[Help:UI manual#Вкладка с исходным кодом|вкладке с исходным кодом]].
:[[File:221 Правая панель. Переход к ИИ-разметке.png|thumb|none|x200px|Правая панель. Переход к ИИ-разметке]]
:[[File:222 Виджет элемента трассы. Переход к ИИ-разметке.png|thumb|none|x150px|Виджет маркера на вкладке с исходным кодом. Переход к ИИ-разметке]]
:2. В открывшемся окне разметки:
::а) Выберите модель AI, с помощью которой ИИ-ассистент рассчитает статус разметки.
::Спрогнозированный статус и уровень доверия прогнозу отобразятся в этом же окне.
::Если маркер уже размечен и его статус совпадает с прогнозным, то в окне отобразится сообщение об этом и дальнейшая разметка станет недоступна.
::б) Введите комментарий.
::в) Нажмите кнопку '''Применить'''.
:<gallery mode="packed" heights="250px" style="float:left; clear:right; margin-right:1em; margin-left:1em">
223 Окно ИИ-разметки.png|Окно ИИ-разметки
224 Окно ИИ-разметки. Статус совпадает.png|Окно ИИ-разметки. Прогнозный статус совпадает с существующим
</gallery>
 
:Статус, установленный с помощью ИИ-ассистента, отобразится в верхней части правой панели и в виджете маркера на вкладке с исходным кодом с отметкой [[File:Icon AI 2.png|15px]]. Также этой иконкой будет отмечен статус в комментарии, добавленном при разметке, который дополнительно содержит информацию о проведенной разметке: время, имя модели машинного обучения, уровень доверия прогнозу.
:Дополнительная информация также отображается при наведении курсора на иконку [[File:Icon AI 2.png|15px]].
<gallery mode="packed" heights="250px" style="float:left; clear:right; margin-right:1em; margin-left:1em">
225 Правая панель. Результат ИИ-разметки.png|Правая панель. Результат ИИ-разметки
227 Правая панель. Комментарий об ИИ-разметке.png|Правая панель. Комментарий об ИИ-разметке
</gallery>
 
[[File:226 Виджет элемента трассы. Результат ИИ-разметки.png|thumb|none|x150px|Виджет элемента трассы. Результат ИИ-разметки]]

=== Групповая разметка маркеров ===
Чтобы разметить несколько маркеров с помощью ИИ-ассистента одновременно:
:1. Если планируется разметить большое количество маркеров, то для ускорения составления прогноза запустите предварительный рассчет (опционально) – на вкладке [[Help:UI manual#Вкладка «Информация о снимке»|'''Информация о снимке''']] [[Help:UI manual#Функции центральной панели|центральной панели]] нажмите кнопку '''Проанализировать с AI'''.
:Расчет прогнозируемого статуса для каждого маркера запустится в фоновом режиме. В это время на месте кнопки будет отображаться анимированная иконка ожидания.
:[[File:228 Информация о снимке. Предварительный расчет.png|thumb|none|x200px|Информация о снимке. Кнопка перехода к предварительному расчету статусов маркеров]]
:2. Выберите маркеры для разметки – установите флажки в строках [[Help:UI manual#Таблица маркеров|таблицы]].
:3. Нажмите кнопку [[File:Icon AI.png|25px]] (доступна, если выбраны маркеры в таблице).
:4. В открывшемся окне разметки:
::а) Выберите модель AI, с помощью которой ИИ-ассистент рассчитает статус разметки.
::Спрогнозированные статусы и уровни доверия прогнозу отобразятся в этом же окне в таблице маркеров. При этом размеченные ранее маркеры окрашены в цвет, соответствующий выставленному статусу.
::В таблице доступна сортировка значений в столбцах '''Детектор''', '''Файл''', '''Строка''' и '''Уровень доверия''', а в столбце '''Статус разметки''' доступна фильтрация по значению прогнозируемого статуса.
::б) Введите комментарий.
::в) Выберите маркеры, которые требуется разметить, – установите флажки в столбце '''Статус разметки'''.
::Если маркер уже размечен и его статус совпадает с прогнозным, то он недоступен для установки флажка.
::г) Нажмите кнопку '''Применить'''.
:[[File:229 Окно групповой ИИ-разметки.png|thumb|none|x300px|Окно групповой ИИ-разметки]]
:Прогресс разметки отображается в соответствующем окне. Запущенный процесс можно полностью отменить нажатием кнопки '''Отмена'''.
:[[File:56 Окно прогресса разметки.png|thumb|none|x100px|Окно прогресса разметки]]
=== Фильтрация маркеров по режиму разметки ===
По умолчанию в [[Help:UI manual#Таблица маркеров|таблице маркеров]] отображаются все маркеры: как размеченные вручную, так и размеченные с помощью ИИ-ассистента.
Чтобы отобразить маркеры только с одним режимом разметки, воспользуйтесь [[Help:UI manual#Настройка и использование пользовательских фильтров|пользовательскими фильтрами]]:
* для отображения только маркеров, размеченных вручную, выберите фильтр '''Режим разметки''' – '''Вручную''';
* для отображения только маркеров, размеченных с помощью ИИ-ассистента, выберите фильтр '''Режим разметки''' – '''С помощью ИИ'''.
[[File:230 Пользовательские фильтры. Режимы разметки.png|thumb|none|x400px|Пользовательские фильтры. Режимы разметки]]

== Описание модели xgb.joblib ИИ-ассистента ==

Модель обучена на базе 50000+ размеченных предупреждений.

Для предсказания статуса разметки нами используются:
# языковая модель codebert-base для получения эмбеддингов кода;
# метод градиентного бустинга (xgboost) для решения задачи классификации.

Help:XSvacer:AIAssistant

2025-07-09T04:36:57Z

Ruseer:

{{Note|text=Данная функциональность входит в набор расширений XSvacer}}

== Поддержка ИИ-ассистента для разметки предупреждений ==

Данная функциональность позволяет использовать модель машинного обучения (ИИ) для помощи при разметке предупреждений.

ИИ-ассистент предназначен для разметки предупреждений статусами <code style="white-space: pre;">Confirmed</code> и <code style="white-space: pre;">False Positive</code>, которые были предсказаны моделью машинного обучения.

Все данные предупреждений хранятся в Svacer и получаются ИИ-ассистентом с помощью REST API.

'''Внимание''': данная функциональность не связана с функцией AI-ассистент из анализатора Svace https://svace.pages.ispras.ru/svace-website/2025/02/21/ai-assistant.html . Функционал AI-ассистента из анализатора Svace будет интегрирован в Svacer в будущих версиях сервера.

{{Note|text=[[Help:XSvacer:AIAssistant:Deploy|Инструкция по активации и запуску функциональности]] ИИ-ассистента Svacer}}

Посмотреть, не разворачивая у себя, можно на нашем демо-стенде: https://svacer-ai-demo.ispras.ru (admin / admin).

== Описание интерфейса ИИ-ассистента==
=== Разметка одного маркера ===
Чтобы разметить один маркер с помощью ИИ-ассистента:
:1. Нажмите кнопку [[File:Icon AI.png|25px]] [[Help:UI manual#Функции правой панели|на правой панели]] или в виджете маркера на [[Help:UI manual#Вкладка с исходным кодом|вкладке с исходным кодом]].
:[[File:221 Правая панель. Переход к ИИ-разметке.png|thumb|none|x200px|Правая панель. Переход к ИИ-разметке]]
:[[File:222 Виджет элемента трассы. Переход к ИИ-разметке.png|thumb|none|x150px|Виджет маркера на вкладке с исходным кодом. Переход к ИИ-разметке]]
:2. В открывшемся окне разметки:
::а) Выберите модель AI, с помощью которой ИИ-ассистент рассчитает статус разметки.
::Спрогнозированный статус и уровень доверия прогнозу отобразятся в этом же окне.
::Если маркер уже размечен и его статус совпадает с прогнозным, то в окне отобразится сообщение об этом и дальнейшая разметка станет недоступна.
::б) Введите комментарий.
::в) Нажмите кнопку '''Применить'''.
:<gallery mode="packed" heights="250px" style="float:left; clear:right; margin-right:1em; margin-left:1em">
223 Окно ИИ-разметки.png|Окно ИИ-разметки
224 Окно ИИ-разметки. Статус совпадает.png|Окно ИИ-разметки. Прогнозный статус совпадает с существующим
</gallery>
 
:Статус, установленный с помощью ИИ-ассистента, отобразится в верхней части правой панели и в виджете маркера на вкладке с исходным кодом с отметкой [[File:Icon AI 2.png|15px]]. Также этой иконкой будет отмечен статус в комментарии, добавленном при разметке, который дополнительно содержит информацию о проведенной разметке: время, имя модели машинного обучения, уровень доверия прогнозу.
:Дополнительная информация также отображается при наведении курсора на иконку [[File:Icon AI 2.png|15px]].
<gallery mode="packed" heights="250px" style="float:left; clear:right; margin-right:1em; margin-left:1em">
225 Правая панель. Результат ИИ-разметки.png|Правая панель. Результат ИИ-разметки
227 Правая панель. Комментарий об ИИ-разметке.png|Правая панель. Комментарий об ИИ-разметке
</gallery>
 
[[File:226 Виджет элемента трассы. Результат ИИ-разметки.png|thumb|none|x150px|Виджет элемента трассы. Результат ИИ-разметки]]

=== Групповая разметка маркеров ===
Чтобы разметить несколько маркеров с помощью ИИ-ассистента одновременно:
:1. Если планируется разметить большое количество маркеров, то для ускорения составления прогноза запустите предварительный рассчет (опционально) – на вкладке [[Help:UI manual#Вкладка «Информация о снимке»|'''Информация о снимке''']] [[Help:UI manual#Функции центральной панели|центральной панели]] нажмите кнопку '''Проанализировать с AI'''.
:Расчет прогнозируемого статуса для каждого маркера запустится в фоновом режиме. В это время на месте кнопки будет отображаться анимированная иконка ожидания.
:[[File:228 Информация о снимке. Предварительный расчет.png|thumb|none|x200px|Информация о снимке. Кнопка перехода к предварительному расчету статусов маркеров]]
:2. Выберите маркеры для разметки – установите флажки в строках [[Help:UI manual#Таблица маркеров|таблицы]].
:3. Нажмите кнопку [[File:Icon AI.png|25px]] (доступна, если выбраны маркеры в таблице).
:4. В открывшемся окне разметки:
::а) Выберите модель AI, с помощью которой ИИ-ассистент рассчитает статус разметки.
::Спрогнозированные статусы и уровни доверия прогнозу отобразятся в этом же окне в таблице маркеров. При этом размеченные ранее маркеры окрашены в цвет, соответствующий выставленному статусу.
::В таблице доступна сортировка значений в столбцах '''Детектор''', '''Файл''', '''Строка''' и '''Уровень доверия''', а в столбце '''Статус разметки''' доступна фильтрация по значению прогнозируемого статуса.
::б) Введите комментарий.
::в) Выберите маркеры, которые требуется разметить, – установите флажки в столбце '''Статус разметки'''.
::Если маркер уже размечен и его статус совпадает с прогнозным, то он недоступен для установки флажка.
::г) Нажмите кнопку '''Применить'''.
:[[File:229 Окно групповой ИИ-разметки.png|thumb|none|x300px|Окно групповой ИИ-разметки]]
:Прогресс разметки отображается в соответствующем окне. Запущенный процесс можно полностью отменить нажатием кнопки '''Отмена'''.
:[[File:56 Окно прогресса разметки.png|thumb|none|x100px|Окно прогресса разметки]]
=== Фильтрация маркеров по режиму разметки ===
По умолчанию в [[Help:UI manual#Таблица маркеров|таблице маркеров]] отображаются все маркеры: как размеченные вручную, так и размеченные с помощью ИИ-ассистента.
Чтобы отобразить маркеры только с одним режимом разметки, воспользуйтесь [[Help:UI manual#Настройка и использование пользовательских фильтров|пользовательскими фильтрами]]:
* для отображения только маркеров, размеченных вручную, выберите фильтр '''Режим разметки''' – '''Вручную''';
* для отображения только маркеров, размеченных с помощью ИИ-ассистента, выберите фильтр '''Режим разметки''' – '''С помощью ИИ'''.
[[File:230 Пользовательские фильтры. Режимы разметки.png|thumb|none|x400px|Пользовательские фильтры. Режимы разметки]]

== Описание модели xgb.joblib ИИ-ассистента ==

Модель обучена на базе 50000+ размеченных предупреждений.

Для предсказания статуса разметки нами используются:
# языковая модель codebert-base для получения эмбеддингов кода;
# метод градиентного бустинга (xgboost) для решения задачи классификации.

Help:XSvacer:AIAssistant

2025-07-09T04:31:29Z

Ruseer: /* Поддержка ИИ-ассистента для разметки предупреждений */

{{Note|text=Данная функциональность входит в набор расширений XSvacer}}

== Поддержка ИИ-ассистента для разметки предупреждений ==

Данная функциональность позволяет использовать модель машинного обучения (ИИ) для помощи при разметке предупреждений.

ИИ-ассистент предназначен для разметки предупреждений статусами <code style="white-space: pre;">Confirmed</code> и <code style="white-space: pre;">False Positive</code>, которые были предсказаны моделью машинного обучения.

Все данные предупреждений хранятся в Svacer и получаются ИИ-ассистентом с помощью REST API.

'''Внимание''': данная функциональность не связана с функцией AI-ассистент из анализатора Svace https://svace.pages.ispras.ru/svace-website/2025/02/21/ai-assistant.html . Функционал AI-ассистента из анализатора Svace будет интегрирован в Svacer в будущих версиях сервера.

{{Note|text=[[Help:XSvacer:AIAssistant:Deploy|Инструкция по активации и запуску функциональности]] ИИ-ассистента}}

Посмотреть, не разворачивая у себя, можно на нашем демо-стенде: https://svacer-ai-demo.ispras.ru (admin / admin).

== Описание интерфейса ИИ-ассистента==
=== Разметка одного маркера ===
Чтобы разметить один маркер с помощью ИИ-ассистента:
:1. Нажмите кнопку [[File:Icon AI.png|25px]] [[Help:UI manual#Функции правой панели|на правой панели]] или в виджете маркера на [[Help:UI manual#Вкладка с исходным кодом|вкладке с исходным кодом]].
:[[File:221 Правая панель. Переход к ИИ-разметке.png|thumb|none|x200px|Правая панель. Переход к ИИ-разметке]]
:[[File:222 Виджет элемента трассы. Переход к ИИ-разметке.png|thumb|none|x150px|Виджет маркера на вкладке с исходным кодом. Переход к ИИ-разметке]]
:2. В открывшемся окне разметки:
::а) Выберите модель AI, с помощью которой ИИ-ассистент рассчитает статус разметки.
::Спрогнозированный статус и уровень доверия прогнозу отобразятся в этом же окне.
::Если маркер уже размечен и его статус совпадает с прогнозным, то в окне отобразится сообщение об этом и дальнейшая разметка станет недоступна.
::б) Введите комментарий.
::в) Нажмите кнопку '''Применить'''.
:<gallery mode="packed" heights="250px" style="float:left; clear:right; margin-right:1em; margin-left:1em">
223 Окно ИИ-разметки.png|Окно ИИ-разметки
224 Окно ИИ-разметки. Статус совпадает.png|Окно ИИ-разметки. Прогнозный статус совпадает с существующим
</gallery>
 
:Статус, установленный с помощью ИИ-ассистента, отобразится в верхней части правой панели и в виджете маркера на вкладке с исходным кодом с отметкой [[File:Icon AI 2.png|15px]]. Также этой иконкой будет отмечен статус в комментарии, добавленном при разметке, который дополнительно содержит информацию о проведенной разметке: время, имя модели машинного обучения, уровень доверия прогнозу.
:Дополнительная информация также отображается при наведении курсора на иконку [[File:Icon AI 2.png|15px]].
<gallery mode="packed" heights="250px" style="float:left; clear:right; margin-right:1em; margin-left:1em">
225 Правая панель. Результат ИИ-разметки.png|Правая панель. Результат ИИ-разметки
227 Правая панель. Комментарий об ИИ-разметке.png|Правая панель. Комментарий об ИИ-разметке
</gallery>
 
[[File:226 Виджет элемента трассы. Результат ИИ-разметки.png|thumb|none|x150px|Виджет элемента трассы. Результат ИИ-разметки]]

=== Групповая разметка маркеров ===
Чтобы разметить несколько маркеров с помощью ИИ-ассистента одновременно:
:1. Если планируется разметить большое количество маркеров, то для ускорения составления прогноза запустите предварительный рассчет (опционально) – на вкладке [[Help:UI manual#Вкладка «Информация о снимке»|'''Информация о снимке''']] [[Help:UI manual#Функции центральной панели|центральной панели]] нажмите кнопку '''Проанализировать с AI'''.
:Расчет прогнозируемого статуса для каждого маркера запустится в фоновом режиме. В это время на месте кнопки будет отображаться анимированная иконка ожидания.
:[[File:228 Информация о снимке. Предварительный расчет.png|thumb|none|x200px|Информация о снимке. Кнопка перехода к предварительному расчету статусов маркеров]]
:2. Выберите маркеры для разметки – установите флажки в строках [[Help:UI manual#Таблица маркеров|таблицы]].
:3. Нажмите кнопку [[File:Icon AI.png|25px]] (доступна, если выбраны маркеры в таблице).
:4. В открывшемся окне разметки:
::а) Выберите модель AI, с помощью которой ИИ-ассистент рассчитает статус разметки.
::Спрогнозированные статусы и уровни доверия прогнозу отобразятся в этом же окне в таблице маркеров. При этом размеченные ранее маркеры окрашены в цвет, соответствующий выставленному статусу.
::В таблице доступна сортировка значений в столбцах '''Детектор''', '''Файл''', '''Строка''' и '''Уровень доверия''', а в столбце '''Статус разметки''' доступна фильтрация по значению прогнозируемого статуса.
::б) Введите комментарий.
::в) Выберите маркеры, которые требуется разметить, – установите флажки в столбце '''Статус разметки'''.
::Если маркер уже размечен и его статус совпадает с прогнозным, то он недоступен для установки флажка.
::г) Нажмите кнопку '''Применить'''.
:[[File:229 Окно групповой ИИ-разметки.png|thumb|none|x300px|Окно групповой ИИ-разметки]]
:Прогресс разметки отображается в соответствующем окне. Запущенный процесс можно полностью отменить нажатием кнопки '''Отмена'''.
:[[File:56 Окно прогресса разметки.png|thumb|none|x100px|Окно прогресса разметки]]
=== Фильтрация маркеров по режиму разметки ===
По умолчанию в [[Help:UI manual#Таблица маркеров|таблице маркеров]] отображаются все маркеры: как размеченные вручную, так и размеченные с помощью ИИ-ассистента.
Чтобы отобразить маркеры только с одним режимом разметки, воспользуйтесь [[Help:UI manual#Настройка и использование пользовательских фильтров|пользовательскими фильтрами]]:
* для отображения только маркеров, размеченных вручную, выберите фильтр '''Режим разметки''' – '''Вручную''';
* для отображения только маркеров, размеченных с помощью ИИ-ассистента, выберите фильтр '''Режим разметки''' – '''С помощью ИИ'''.
[[File:230 Пользовательские фильтры. Режимы разметки.png|thumb|none|x400px|Пользовательские фильтры. Режимы разметки]]

== Описание модели xgb.joblib ИИ-ассистента ==

Модель обучена на базе 50000+ размеченных предупреждений.

Для предсказания статуса разметки нами используются:
# языковая модель codebert-base для получения эмбеддингов кода;
# метод градиентного бустинга (xgboost) для решения задачи классификации.

Changelog

2025-07-07T10:52:37Z

Ruseer: 11-1-0 changelog

=== Release 11-1-0 ===

* Команды <code>--project-group, --if-no-group, --autoclean, --autoclean-svace</code> можно использовать в REST API для импорта svace-dir
* При использовании REST API для импорта svace-dir-ов сервер будет автоматически удалять директории <code>.svace-dir</code> и <code>.svacer</code> если не указаны явные опции <code>--autoclean=false, --autoclean-svace=false</code>
* Добавлена опция запуска сервера <code>--classic-inv-mode</code> для включения режима совместимости по генерации инвариантов с версией <= 8.x.x
* Исправлены ошибки в работе <code>--quality-gate</code>, добавлена возможность учета статусов разметки. Добавлена возможность указания baseline для сравнений при использовании опции <code>--quality-gate</code>
* Исправлены ошибки при подключении к Postgres-у в SSL режиме https://gitlab.ispras.ru/svace/svace-support/-/issues/1217
* Исправлен ряд ошибок при работе с LDAP

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)
* Добавлена возможность [[Help:CLI/cleanup|автоматического удаления снимков]]

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Help:Sarif

2025-06-17T05:41:07Z

Ruseer: /* Использование quality gate */

== Работа с SARIF из CLI ==
Для импорта и экспорта результатов в формате SARIF Svacer предоставляет набор команд <code>svacer sarif2 import</code> и <code>svacer sarif2 export</code>.

Основные возможности данных команд

=== Импорт ===
NAME:
svacer sarif2 import - Import SARIF files to Svacer format

USAGE:
svacer sarif2 import [command options] <path> <path> ... <path>

OPTIONS:
--ssl Connect to the server using https protocol (default: false)
--ssl-ca-certs value Trusted CA cert path. Example: /usr/local/certs/* , /usr/local/certs/ca.crt, /usr/local/certs/ca*.crt
--user value Valid user name
--password value Valid user password
--host value Valid host name with running svace history server (default: localhost) [$SVACER_HOST_NAME]
--port value Defines port for REST API (default: 8080) [$SVACER_API_PORT]
--grpc value Defines port for gRPC API (default: 3002) [$SVACER_GRPC_PORT]
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--quick-stats Report quick stats about uploaded snapshots (default: false)
--out-format value Define format of reported information. Values: text|json. Default: text.
--quality-gate value Specify a quality gate. Format: stat_1:severity_1:N_1,...,stat_k:severity_k:N_k, stat takes values: new, missing, matched, same, total; severity takes the following values: all, critical, major, normal, minor, undefined, <detector name part>; N is a natural number. If the severity of the number N is exceeded, it will out a warning. Also, as a value, you can specify a json or yaml file in which the quality gate is specified.
--quality-gate-exit-code value Specify the exit code of the application in the range from 0 to 125, which will be issued when the quality-gate is exceeded. The default is 0.
--out-file value Target to print report information (by default stdout)
--project-group value [ --project-group value ] Project group where put new project. To set multiple project groups, use this flag multiple times
--if-no-group value Defines if there is no project group with specified name: no-action (ignore project group with warning), add (add new project group), error (throw an error). The default is no-action
--if-no-branch name Defines if there is no branch: clone-{name|id} (clone the branch with given name|id), create-empty (create a new empty branch), return-error (throw an error), name or `ID` of the branch to be cloned. The default is clone-master
--attach value [ --attach value ] Attach file(s) to the snapshot. To add multiple files, use this flag multiple times
--field value [ --field value ] Adds custom field to the snapshot information. Format <field name>:<value>. <value> is treated as JSON string. Multiple occurrences of the same field are processed as array.
--no-clean Do not clean intermediate directory with pre-processed data before import (default: false)
--upload Upload data to the server (default: false)
--project value Set explicit project name. Default value is a name of the directory containing .svace-dir
--branch value Set branch name (default: master)
--snapshot value Set explicit snapshot name (default: <import time>)
--path-prefix value Defines mapping rule for path prefixes in format <file> or line prefix:replacement;prefix:replacement
--store value Defines path to directory for pre-processed data. You may share the same directory for multiple projects. You can define remote store here to upload data to another server in a format remote:<host>:<port> (default: <current working dir>/.svacer-dir)
--pattern value [ --pattern value ] List of patterns to match files. Pattern is matched against full path
--uriBaseId value Specifies the absolute URI with respect to which that relative reference is interpreted (see 3.4.4 in SARIF spec). Format '<name>=<path>,<name>=<path>,...
--base-dir value Base dir to resolve relative path in artifacts
--include-contents Import/export artifact contents (source code) when it is available (default: false)
--resolver value Defines path to file with custom path resolver.
User should provide file containing function with signature:

// Return (<resolved path>, true) if path is resolved. Return ("", false) if default (built-in) path resolver should be used
// Function can use Go packages regexp, filepath, strings, fmt
func ResolvePath (s string) (string, bool)
--map-severity value Defines relation between SARIF and Svacer checker severity.
Expected format <sarif level|*>:<svacer level>,<sarif level>:<svacer level>,...
All values are case-insensitive. Asterisk matches any severity. All rules are applied from left to right
Example: note:minor,error:critical,*:major
--autoclean Remove .svacer-dir after successfull upload (default: false)
--help Show help (default: false)

Пример импорта c включением содержимого файлов (при наличии его в самом sarif-файле или возможности найти файл в процессе импорта):

svacer sarif2 import --store /tmp/sarif --include-contents /path/to/sarif/file.sarif

Если sarif-файл содержит относительные пути, то можно указать опцию <code>--base-dir</code> для поиска файлов относительно указанной директории.

Далее полученный intermediate store можно загрузить командой upload как и для импорта svres. Также можно скомбинировать import с upload:

svacer sarif2 import --upload --store /tmp/sarif --include-contents /path/to/sarif/file.sarif

==== Использования флага <code>--resolver</code> ====
В случае, если исходные файлы лежат в иных локациях и простым образом указать <code>--base-dir</code> или <code>--uriBaseId</code> нельзя (допустим, пути Windows-specific а импорт идет на Linux), то пользователь может указать параметр <code>--resolver</code> с путем к файлу, где написана функция конверсии путей. Файл должен содержать Go функцию

func ResolvePath (s string) (string, bool) {
// пользовательская логика преобразования пути. Возвращать "", false, если надо применить обычные правила
}

Функция обрабатывается в ходе импорта Sarif, для выполнения используется функционал https://github.com/traefik/yaegi Пользователь может использовать пакеты <code>fmt, regexp, strings</code>

==== Мэппинг severity ====
Для задания правил отображения checker severity при импорте Sarif, пользователь может использовать флаг <code>--map-severity</code>. Флаг ожидает значение в виде строки в формате <code><sarif level|*>:<svacer level>,<sarif level>:<svacer level></code>

Пример:
--map-severity note:minor,error:critical,*:major

==== Импорт трасс ====
Конструкции SARIF <code>сodeFlow</code> и <code>relatedLocations</code> импортируются в трассы в концепции Svacer.

Location в исходных конструкциях SARIF должен содержать номер строки. Если location задан через offset, то при импорте может получится некорректная строка.

=== Использование quality gate ===
Смотрите секцию про <code>quality-gate</code> в [https://svacer.ispras.ru/mediawiki/index.php?title=Help:Import_from_Svace#%D0%98%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_--full-paths Help:Import from Svace]
=== Экспорт ===
NAME:
svacer sarif2 export - Export snapshot(s) to SARIF format

USAGE:
svacer sarif2 export [command options] [arguments...]

OPTIONS:
--ssl Connect to the server using https protocol (default: false)
--ssl-ca-certs value Trusted CA cert path. Example: /usr/local/certs/* , /usr/local/certs/ca.crt, /usr/local/certs/ca*.crt
--user value Valid user name
--password value Valid user password
--host value Valid host name with running svace history server (default: localhost) [$SVACER_HOST_NAME]
--port value Defines port for REST API (default: 8080) [$SVACER_API_PORT]
--grpc value Defines port for gRPC API (default: 3002) [$SVACER_GRPC_PORT]
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--with-viewer-uri Add hostedViewerUri property to results. Works only if server is running with --public-url option (default: false)
--project value Project name or ID. Default value is master
--branch value Branch name or ID (default: master)
--snapshot value Snapshot name or ID. Default value is latest snapshot (default: <latest>)
--include-contents Import/export artifact contents (source code) when it is available (default: false)
--out value, -o value Set explicit output filename (or "-" for stdout)
--comment-template value [DEPRECATED]Set sarif result comments template
--single-code-flow Generate SARIF report with single code flow (default: false)
--with-taxonomies Generate SARIF report with taxonomies (default: false)
--help Show help (default: false)

Полный список опций может быть получен при выполнении команд:
svacer sarif2 import --help
svacer sarif2 export --help

Пример экспорта с включением содержимого файлов в артефакты:
svacer sarif2 export --host localhost --user admin --password admin --include-contents --project bash --out /tmp/out.sarif

Экспорт в SARIF включает дополнительные данные в <code>properties</code> объект у соответствующего SARIF объекта. Дополнительные данные состоят из:

* информация о проекте, ветке и снимке
* информация о разметке (статус, severity, action, кем была выполнена и дата)
* информация о детекторе (severity, reliability, warnClass и прочая информация)
* дополнительные поля от маркера (mtid, invariant, function и т. д.)
* тэги (метки)
* комментарии

Для генерации <code>fingerprints</code> используется <code>invariant</code> маркера. Для генерации <code>partialFingerprints</code> используется поле <code>details</code> у маркера.

Трасса отображается в <code>codeFlows</code>.

В качестве <code>logicalLocations</code> используется поле <code>function</code>.

==== Оценка размера экспортированного файла ====
Снимок с примерно 34 тысячами предупреждений, содержащий разметку и комментарии для ядра Linux при экспорте с включением исходного кода производит SARIF файл размером 450Мб (в сжатом виде получается порядка 70Мб).

Help:Import from Svace

2025-06-17T05:34:07Z

Ruseer: /* Использование quality gate */

== CLI команды ==
svacer import --svace <path-to-svace>
svacer upload

Эти две команды импортируют результаты анализа из '''.svace-dir''' в текущей директории и загрузят их на сервер Svacer по адресу '''localhost:8080'''.

== Процесс импорта ==
Процесс импорта результатов работы статического анализатора Svace состоит из двух шагов:
# Дедупликация данных, предобработка, конвертирование во внутренний формат и сохранение результатов в промежуточном хранилище (svacer import).
# Загрузка данных из промежуточного хранилища на сервер (svacer upload).

Можно импортировать результаты и из других статических анализаторов, поддерживающих [[Help:Sarif#Загрузка на сервер из SARIF|формат SARIF]].

=== Промежуточное хранилище ===
Промежуточное хранилище используется для хранения результатов, подготовленных для загрузки на сервер. При импорте данных в промежуточное хранилище снимкам назначается уникальный ID, задается имя проекта и ветки.
Промежуточное хранилище можно использовать для аккумулирования результатов нескольких запусков анализатора, в том числе для различных проектов.
По умолчанию, промежуточное хранилище создается в директории '''.svacer-dir''' рядом с директорией '''.svace-dir.'''
Параллельный доступ к хранилищу из разных экземпляров Svacer '''не допускается'''. Если необходимо использовать разделяемое хранилище и конкурентный доступ, Svacer следует запускать в режиме удаленного промежуточного хранилища.
Процедура импорта c промежуточным хранилищем по умолчанию (размещается в '''<path to project>/.svacer-dir'''):

svacer import --svace <path to svace> [path to project]

где '''<path to svace>''' — путь к исполняемому файлу svace из дистрибутива svace, '''[path to project]''' — путь к проекту (директории, содержащей .svace-dir). Его можно не указывать, тогда в качестве пути к проекту будет использована текущая директория.

Процедура импорта с явным указанием размещения промежуточного хранилища:

svacer import --store <path to store> --svace <path to svace> <path to project>

=== Пользовательские атрибуты ===
При импорте данных можно ассоциировать пользовательские строковые атрибуты со снимком. Значения атрибутов доступно посредством публичного REST API и интерфейса командной строки. Это позволяет связать дополнительные данные с результатами (например commit ID). Пользовательские атрибуты нельзя модифицировать после импорта данных на сервер.
Пользовательские атрибуты экспортируются и импортируются как часть информации при использовании функциональности по экспорту и импорту снимков.

Пользовательский атрибут может быть передан при использовании команды import посредством опции '''--field <name>:<value>'''. Опция может быть указана несколько раз в командной строке.

svacer import ... --field f1:val1 --field f2:val2 ...

Если одно и тоже поле указано несколько раз, то значения поля сохраняются как JSON массив строк.
'''Допустимое имя''' пользовательского атрибута состоит из латинских букв, цифр, знаков подчеркивание или минуса.

Для получения списка всех пользовательских атрибутов в JSON виде используется следующая команда в командной строке

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''custom_fields'''

Результат операции выдается как JSON объект в stdout. Объект имеет следующую структуру
{
"field name1":"value",
"field name2": ["value", "value"..]
}
Для получения значения конкретного пользовательского атрибута используется следующая команда

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''custom_fields --get <field name>'''

Значение атрибута выводится в stdout как JSON строка или массив.
=== Клонирование ветки ===
При импорте данных возможно клонирование ветки (вместе со снимками, разметкой и комментариями) из того же проекта, куда происходит импорт данных.

Для клонирования ветки следует использовать опцию '''--if-no-branch <value>'''

svacer import ... --if-no-branch <value> ...

Значения, которые может принимать опция '''--if-no-branch''':

* '''clone-{name|id}''' — клонировать ветку с заданным именем|id (по умолчанию clone-master)
* '''create-empty''' — создает пустую ветку
* '''return-error''' — возвращает ошибку, если для опции '''--branch <branch_name>''' не существует ветки с именем branch_name

{{Note}} Если не указать данную опцию, то будет автоматически клонироваться ветка master, поэтому для избежания ошибок следует убедиться, что ветка master существует, если данная опция не указана, иначе будет выведена ошибка.

==== Клонирование разметки и комментариев ====
При импорте данных возможно клонирование разметки и комментариев ветки из того же проекта, куда происходит импорт данных.

Для клонирования разметки и комментариев следует использовать опцию '''--clone-review {name|id}'''

svacer import ... --clone-review {name|id} ...

Данная опция принимает имя или id ветки, из которой необходимо склонировать разметку и комментарии.

Приоритет опции '''--clone-review''' выше, чем у опции '''--if-no-branch''', поэтому возможно клонировать снимки из одной ветки, а разметку и комментарии из другой.

Если ветка с таким именем или id не будет найдена, то при загрузке данных ('''svacer upload ...''', либо '''svacer import --upload ...''') загрузка произойдет, но без склонированной разметки.

=== Прикрепление файлов ===
При импорте данных возможно прикрепление файлов размером до 300Мб к снимку. Файлы будут доступны пользователю в веб-интерфейсе и посредством интерфейса командной строки. Прикрепленные файлы фиксируются в момент операции импорта и не могут быть модифицированы после загрузки на сервер. Удалить файлы может администратор посредством веб интерфейса. Основное назначение данной функциональности прикрепление некоторой иммутабельной информации к результатам анализа для использования в интеграциях со сторонними системами.
Прикрепленные файлы являются частью данных, которые экспортируются и импортируются посредством функциональности экспорта и импорта снимков.

Для прикрепления файлов следует использовать опцию '''--attach <file name>'''

svacer import ... --attach file1.txt --attach file2.txt ...

Опция может быть указана несколько раз. После загрузки данных на сервер файлы будут видимы в панели информации о снимке

[[File:SnapshotInfo.png|none|alt=Snapshot Info Window]]

Для получения списка файлов из командной строки следует использовать команду

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''attachments''' --list

Результат работы команды представляет собой JSON массив объектов вида

[{
"id": 11,
"snapshot_id": "d99c23f7-9fb9-4f4e-85ac-2539328947e0",
"lid": 122885,
"short_name": "Makefile",
"description": "/home/ruseer/static-analysis/svacer/Makefile",
"created_by": "importer",
"updated_by": null,
"create_ts": "2022-10-18T06:41:54.532925Z",
"update_ts": null,
"checksum": "9b1e02a276e810829ac2e38fb775c4ff8d269d0f44fd0fbae40f79a0320389ad"
}]

Для получения содержимого файла из командной строки следует использовать команду

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''attachments''' --get <id> <output file>

* Если '''<output file>''' не указан, то результат будет напечатан в stdout;
* Если '''<branch>''' не указан, то будет использован ветка master;
* Если '''<snapshot>''' не указан, то будет использован последний снимок на указанной ветке.

=== Загрузка данных на сервер ===
{{Note|type=warn|text=При загрузке данных на сервер, а также при прочих взаимодействиях клиента Svacer с сервером Svacer, крайне рекомендуется, чтобы версия клиента совпадала с версией сервера. В случае несовпадения версий возможны непредсказуемые ошибки.}}

Для загрузки данных из промежуточного хранилища на сервер используется команда '''upload''':

svacer upload --user <user> --password <pwd> --host <host> --port <rest_port> --grpc <grpc_port> <path_to_store>

Если отсутствуют параметры:
* '''--user''' и '''--password''', то используется специальный системный пользователь '''importer''' — он предназначен для импорта данных на сервер;
* '''--host''', то используется '''locahost''';
* '''--port''' и '''--grpc''', то используются их значения по умолчанию;
При загрузке данных на сервер уже загруженные снимки повторно не загружаются. Разделяемая информация (такая как исходные файлы, где один и тот же файл может использоваться в различных анализах и т.п.) также повторно не загружается.
При сбоях в ходе загрузки проводится повторная загрузка, но при этом загружаются только недостающие данные.

В случае если Svacer запущен с поддержкой SSL/TLS или работает за reverse proxy и доступен по протоколу HTTPS, то для загрузки требуется явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.

svacer upload --host https://<url_without_port> <path_to_store>
svacer upload --ssl --host <url_without_port> <path_to_store>

При этом grpc порт (по умолчанию — 3002), по которому идет загрузка данных, на сервере должен быть доступен.

Для информации о загрузке данных на сервер с авторизацией в LDAP см. [[LDAP configuration#Использование CLI сервера Svacer с поддержкой LDAP|Использование CLI Svacer с поддержкой LDAP]].

При загрузке данных на сервер можно включить печать краткой статистики по загруженным результатам. Данная статистика включает информацию о новых и пропущенных предупреждениях, по сравнению с последним ранее загруженным снимком. Выдача краткой статистики возможно в текстовом или JSON виде. Результаты печатаются в stdout.

svacer upload ... --quick-stats --out-format text ...

Пример вывода
Quick Stats:
Previous snapshot : Snapshot 2022-11-16 10:11:37 +0300
Current snapshot : Snapshot 2022-11-16 10:23:08 +0300
New : 1
Missing : 0
Matched : 1
Same : 0

svacer upload ... --quick-stats --out-format json ...

Пример вывода
{"branch":"391f21d1-2173-449c-9d1a-dd846d2a6471","snapshot":"34a1125d-86a3-45d3-9b41-cb5da24ab96e","snapshotName":"Snapshot 2022-11-21 10:19:06 +0300","lastSnapshot":"59657ae8-c3b6-48bc-b586-a6c0580cdb50","lastSnapshotName":"Snapshot 2022-11-21 10:18:09 +0300","same":2}

Формат JSON определяется protobuf3 схемой (ряд полей носит внутренний характер):
message ImportSummaryContext {
string branch = 1;
string snapshot = 2;
string snapshotName = 9;
string lastSnapshot = 3;
string lastSnapshotName = 4;
int64 new = 5;
int64 missing = 6;
int64 matched = 7;
int64 same = 8;
string qualityGate = 10;
string baseline_branch_name = 11;
string baseline_project_name = 12;
string branch_name = 13;
string project_name = 14;
string project_id = 15;
string baseline_snapshot_id = 16;
string baseline_branch_id = 19;
string baseline_project_id = 20;
string baseline_snapshot_name = 21;
}

По умолчанию, если опция по указанию формата выдачи отсутствует, выдача идет в текстовом режиме.

=== Переименование снимка после импорта ===

При необходимости, имя загруженного снимка можно изменить. Данная опция поддерживается только для пользователей с правами администратора сервера.

svacer container snapshot rename --host <host> --port <port> --user <user name> --password <pwd> --id <snapshot id> --name <snapshot name>

Идентификатор снимка можно посмотреть в веб-интерфейсе или получить посредством public API.

=== Модификация путей в разметке при импорте ===

==== Обычное поведение ====
По умолчанию пути к файлам не меняются, за исключением пути к папки '''.svace-dir''', он будет заменён на '''.build'''. Эту информацию можно увидеть при импорте проекта:

svacer import --clean .svacer-dir
...
info The path prefix of .svace-dir 'C:\work\generate_files\gen_exp' will be trimmed when converting file paths
...

После этого все маркеры из этой папки и дочерних будут в '''Review''' показывать путь вида '''/.build/test500_1.c''' вместо полного пути для файла '''C:\work\generate_files\gen_exp\test500_1.c'''.

[[File:SimpleSourceCode.png|none|alt=Simple Source Code Window]]

==== Использование --path-prefix ====
При необходимости модификацию по умолчанию можно заменить через '''--path-prefix'''.
Значения опции передаются в виде:

--path-prefix "prefix_for_replace1:value1;prefix_for_replace2:value2; ..."

Поддерживается как передача данных сразу в опцию, так и через указание файла содержащего значения. Разумно делать замены для унификации вида проекта, собранного на разных машинах (или из разных папок). При использовании файла допустимо размещать каждую замену на отдельную строчку.

Префиксы путей заменяются только при полном совпадении (включая регистр, даже на Windows).
Для указания двоеточия в префиксе пути используется удвоенное двоеточие, к примеру (для показа преобразований добавлено '''--debug'''):

svacer --debug import --clean --upload --path-prefix "C::\work:work" .svacer-dir
...
INFO Creating regular object store
DEBUG Creating path mapping rule 'C:\work' => 'work'
DEBUG Creating path mapping rule 'C:/work' => 'work'
DEBUG Creating path mapping rule '/C_/work' => 'work'
...

После импорта на сервере можно увидеть файл: '''/work/generate_files/gen_exp/test500_1.c'''

[[File:PathPrefixSourceCode.png|none|alt=PathPrefixSourceCode]]

==== Использование --build-object @auto ====
При импорте конкретного файла *.svres исходный код может быть загружен, при указании опции '''--build-object @auto'''. В случае, если этот файл лежит в папке .svace-dir, исходный код будет взят из нее. При отсутствии папки .svace-dir файлы будут браться по абсолютным путям из файла *.svres.
Для указания конкретных директорий поиска подходящих файлов из *.svres следует использовать опцию '''--source-tree''', которую можно указать несколько раз, чтобы задать несколько корневых директорий. Поиск в этих директориях будет происходить только в случае, когда по путям из файла *.svres были найдены не все файлы. В случае успешного сопоставления, на сервер будут загружены соответствующие файлы из директории source tree.

==== Использование --full-paths ====
Допустимо также полное отключение модификаций путей, для этого импорт надо производить с опцией '''--full-paths'''. Опция блокирует как модификацию по умолчанию '''.build''', так и явные указания через '''--path-prefix'''.

svacer --debug import --clean --upload --full-paths .svacer-dir

После загрузки на сервере будет виден только полный путь: '''/C_/work/generate_files/gen_exp/test500_1.c'''.

[[File:FullPathsSourceCode.png|none|alt=FullPathsSourceCode window]]

Пути из Windows преобразуются в стиль Linux с небольшим преобразованием символов.

=== Использование quality gate ===

Возможна проверка новых, пропущенных, одинаковых, измененных предупреждений, для этого надо производить импорт с опцией '''--quality-gate'''.

--quality-gate value Specify a quality gate. Format: stat_1:severity_1:N_1:[statuses_1],...,stat_k:severity_k:N_k:[statuses_k], stat takes values: new, missing, matched, same, total; severity takes the following values: all, critical, major, normal, minor, undefined, <detector name part>; N is a natural number; statuses - an optional field, specified in square brackets with a separator ";" possible values - confirmed, false_positive, wont_fix, unclear, undecided, when specifying statuses, the quality gate will be searched only for markers that have exactly these statuses, for example [confirmed;wont_fix;undecided]. If the severity of the number N is exceeded, it will out a warning. Also, as a value, you can specify a json or yaml file in which the quality gate is specified.

Флаг принимает на вход тип предупреждений (stat), severity, их количество (N) и их статусы (statuses).

* stat задает тип предупреждений. Возможные значения:
** '''new''' (присутствует в новом снимке, но отсутствует в старом)
** '''missing''' (присутствует в старом снимке, но отсутствует в новом)
** '''matched''' (присутствуют изменения в файлах не повлиявшие на выданное предупреждение)
** '''same''' (одинаковые)
** '''total''' (сумма всех вышеперечисленных)
* severity задается либо непосредственным его указанием ('''critical''', '''major''', '''normal''', '''minor''', '''undefined'''), либо '''all''' (все severity), либо частью имени детектора в формате postgres ILIKE https://www.postgresql.org/docs/current/functions-matching.html
* N - порог, после которого вызывается срабатывание. Не включает данное число (т.е. если указать 5, то при нахождении 6 и более вызывается срабатывание quality-gate)
* statuses - '''опциональное''' поле, в котором можно указать какие статусы (разметку) учитывать при нахождении предупреждений. Возможные значения '''confirmed''', '''false_positive''', '''wont_fix''', '''unclear''', '''undecided'''. Задаются в квадратных скобках с разделителем ";". Например, [confirmed;wont_fix]. Если не указать данное поле, то будут учитываться все статусы. При указании в command line рекомендуется значение опции <code>--quality-gate</code> экранировать в двойные кавычки. Принципы учета статусов:
** Если предупреждение размечено в новом снимке (значение не '''undecided'''), разметка берется из нового предупреждения
** Если в новом снимке нет разметки у данного предупреждения, а в старом есть, то берется разметка из старого предупреждения
** В остальных случаях у данного предупреждения разметка равна '''undecided'''.

Пример:
--quality-gate "total:critical:0:[confirmed;wont_fix],new:all:10"
Тогда опция сработает, если либо:

1) статическим анализатором будут найдены общее количество предупреждений (новых, пропущенных, одинаковых, измененных) с '''severity:critical''' и статусами '''confirmed''' и '''won't fix'''

2) статическим анализатором будут найдены новые предупреждения с любым статусом и severity

Пример вывода:
Quality gate exceed:
Previous snapshot : Snapshot 2025-06-16 15:37:09 +0300
Current snapshot : Snapshot 2025-06-16 15:37:39 +0300
Stat : total
Severity : Critical
Severity Statuses : confirmed wont_fix
Severity Threshold : 0
Found Severity : 3
Также quality-gate можно задать файлом в формате json или yaml (не yml).

Пример json файла:

<code>["total:all:1", "total:proc:1"]</code>

Пример yaml файла:
- "total:all:1"
- "total:proc:1"

==== Флаг --quality-gate-exit-code ====
В случае срабатывания quality gate можно указать какой exit code будет возвращен
--quality-gate-exit-code value Specify the exit code of the application in the range from 0 to 125, which will be issued when the quality-gate is exceeded. The default is 0.
Принимает значения от 0 до 125. '''Внимание''': значение по умолчанию 0, поэтому без явного задания exit code провал quality-gate-а не вернет не нулевой статус и при использовании в CI/CD pipline не будет помечен как failed. Так сделано для упрощения внедрения quality-gate опции в существующие pipeline-ы. Вначале можно проанализировать логи и если данные корректны, то добавить опцию <code>--quality-gate-exit-code</code> с не нулевым значением.

==== Флаг --quality-gate-verbose ====
Если необходимо выводить информацию и об успешно прошедших quality gate, то нужно добавить флаг --quality-gate-verbose, тогда в конце будет вывод успешно прошедших quality gate

Пример вывода:
Quality gate exceed:
Previous snapshot : Snapshot 2025-06-16 15:37:39 +0300
Current snapshot : Snapshot 2025-06-16 16:10:33 +0300
Stat : total
Severity : Critical
Severity Statuses : confirmed wont_fix
Severity Threshold : 0
Found Severity : 3
The result of comparison of those who have completed quality gate:
Previous snapshot : Snapshot 2025-06-16 15:37:39 +0300
Current snapshot : Snapshot 2025-06-16 16:10:33 +0300
Stat : new
Severity : All
Severity Threshold : 10
Found Severity : 0

==== Флаг --baseline ====
Если сравнение необходимо проводить не с предыдущим снимком в этой же ветке, то можно указать флаг '''--baseline''' (также работает для флага <code>--quick-stats</code>)
--baseline value A snapshot to compare (--quality-gate and/or --quick-stats). Format: {project}:::{branch}:::{snapshot} or {project}:::{branch} or {project} use UUID or name. By default, snapshot is the last added, branch is master. If the flag is not specified, then the comparison will be with the latest snapshot from the branch where the snapshot is loaded.
Указывается в формате <code>{project}:::{branch}:::{snapshot}</code> или <code>{project}:::{branch}</code> или <code>{project}</code>, используя имена или UUID. По умолчанию используется ветка master (если указан только проект) и последний добавленный снимок (если снимок не указан).

При указании данного флага меняется вывод:

* В текстовом формате добавляются строки об имени проекта, ветки и снимка, с которым сравнивался загружаемый снимок.
* В json формате добавляются имена и id проекта,ветки и снимка, с которым сравнивался загружаемый снимок.
* '''Внимание''': если baseline не может быть точно определен (ошибка в имени проекта, ветки и т.п), то импорт не производится и выдается ошибка.

'''Флаг --out-file'''

Для указания файла, в который необходимо загрузить результаты quality gate, используете опцию --out-file (по умолчанию вывод идет в stdout)

'''Флаг --out-format'''

Для указания в каком формате вывести результаты quality gate используйте опцию --out-format. Принимает значения text (человекочитаемый) и json. По умолчанию text

Help:Import from Svace

2025-06-17T05:27:36Z

Ruseer: /* Загрузка данных на сервер */ (update protobuf scheme)

== CLI команды ==
svacer import --svace <path-to-svace>
svacer upload

Эти две команды импортируют результаты анализа из '''.svace-dir''' в текущей директории и загрузят их на сервер Svacer по адресу '''localhost:8080'''.

== Процесс импорта ==
Процесс импорта результатов работы статического анализатора Svace состоит из двух шагов:
# Дедупликация данных, предобработка, конвертирование во внутренний формат и сохранение результатов в промежуточном хранилище (svacer import).
# Загрузка данных из промежуточного хранилища на сервер (svacer upload).

Можно импортировать результаты и из других статических анализаторов, поддерживающих [[Help:Sarif#Загрузка на сервер из SARIF|формат SARIF]].

=== Промежуточное хранилище ===
Промежуточное хранилище используется для хранения результатов, подготовленных для загрузки на сервер. При импорте данных в промежуточное хранилище снимкам назначается уникальный ID, задается имя проекта и ветки.
Промежуточное хранилище можно использовать для аккумулирования результатов нескольких запусков анализатора, в том числе для различных проектов.
По умолчанию, промежуточное хранилище создается в директории '''.svacer-dir''' рядом с директорией '''.svace-dir.'''
Параллельный доступ к хранилищу из разных экземпляров Svacer '''не допускается'''. Если необходимо использовать разделяемое хранилище и конкурентный доступ, Svacer следует запускать в режиме удаленного промежуточного хранилища.
Процедура импорта c промежуточным хранилищем по умолчанию (размещается в '''<path to project>/.svacer-dir'''):

svacer import --svace <path to svace> [path to project]

где '''<path to svace>''' — путь к исполняемому файлу svace из дистрибутива svace, '''[path to project]''' — путь к проекту (директории, содержащей .svace-dir). Его можно не указывать, тогда в качестве пути к проекту будет использована текущая директория.

Процедура импорта с явным указанием размещения промежуточного хранилища:

svacer import --store <path to store> --svace <path to svace> <path to project>

=== Пользовательские атрибуты ===
При импорте данных можно ассоциировать пользовательские строковые атрибуты со снимком. Значения атрибутов доступно посредством публичного REST API и интерфейса командной строки. Это позволяет связать дополнительные данные с результатами (например commit ID). Пользовательские атрибуты нельзя модифицировать после импорта данных на сервер.
Пользовательские атрибуты экспортируются и импортируются как часть информации при использовании функциональности по экспорту и импорту снимков.

Пользовательский атрибут может быть передан при использовании команды import посредством опции '''--field <name>:<value>'''. Опция может быть указана несколько раз в командной строке.

svacer import ... --field f1:val1 --field f2:val2 ...

Если одно и тоже поле указано несколько раз, то значения поля сохраняются как JSON массив строк.
'''Допустимое имя''' пользовательского атрибута состоит из латинских букв, цифр, знаков подчеркивание или минуса.

Для получения списка всех пользовательских атрибутов в JSON виде используется следующая команда в командной строке

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''custom_fields'''

Результат операции выдается как JSON объект в stdout. Объект имеет следующую структуру
{
"field name1":"value",
"field name2": ["value", "value"..]
}
Для получения значения конкретного пользовательского атрибута используется следующая команда

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''custom_fields --get <field name>'''

Значение атрибута выводится в stdout как JSON строка или массив.
=== Клонирование ветки ===
При импорте данных возможно клонирование ветки (вместе со снимками, разметкой и комментариями) из того же проекта, куда происходит импорт данных.

Для клонирования ветки следует использовать опцию '''--if-no-branch <value>'''

svacer import ... --if-no-branch <value> ...

Значения, которые может принимать опция '''--if-no-branch''':

* '''clone-{name|id}''' — клонировать ветку с заданным именем|id (по умолчанию clone-master)
* '''create-empty''' — создает пустую ветку
* '''return-error''' — возвращает ошибку, если для опции '''--branch <branch_name>''' не существует ветки с именем branch_name

{{Note}} Если не указать данную опцию, то будет автоматически клонироваться ветка master, поэтому для избежания ошибок следует убедиться, что ветка master существует, если данная опция не указана, иначе будет выведена ошибка.

==== Клонирование разметки и комментариев ====
При импорте данных возможно клонирование разметки и комментариев ветки из того же проекта, куда происходит импорт данных.

Для клонирования разметки и комментариев следует использовать опцию '''--clone-review {name|id}'''

svacer import ... --clone-review {name|id} ...

Данная опция принимает имя или id ветки, из которой необходимо склонировать разметку и комментарии.

Приоритет опции '''--clone-review''' выше, чем у опции '''--if-no-branch''', поэтому возможно клонировать снимки из одной ветки, а разметку и комментарии из другой.

Если ветка с таким именем или id не будет найдена, то при загрузке данных ('''svacer upload ...''', либо '''svacer import --upload ...''') загрузка произойдет, но без склонированной разметки.

=== Прикрепление файлов ===
При импорте данных возможно прикрепление файлов размером до 300Мб к снимку. Файлы будут доступны пользователю в веб-интерфейсе и посредством интерфейса командной строки. Прикрепленные файлы фиксируются в момент операции импорта и не могут быть модифицированы после загрузки на сервер. Удалить файлы может администратор посредством веб интерфейса. Основное назначение данной функциональности прикрепление некоторой иммутабельной информации к результатам анализа для использования в интеграциях со сторонними системами.
Прикрепленные файлы являются частью данных, которые экспортируются и импортируются посредством функциональности экспорта и импорта снимков.

Для прикрепления файлов следует использовать опцию '''--attach <file name>'''

svacer import ... --attach file1.txt --attach file2.txt ...

Опция может быть указана несколько раз. После загрузки данных на сервер файлы будут видимы в панели информации о снимке

[[File:SnapshotInfo.png|none|alt=Snapshot Info Window]]

Для получения списка файлов из командной строки следует использовать команду

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''attachments''' --list

Результат работы команды представляет собой JSON массив объектов вида

[{
"id": 11,
"snapshot_id": "d99c23f7-9fb9-4f4e-85ac-2539328947e0",
"lid": 122885,
"short_name": "Makefile",
"description": "/home/ruseer/static-analysis/svacer/Makefile",
"created_by": "importer",
"updated_by": null,
"create_ts": "2022-10-18T06:41:54.532925Z",
"update_ts": null,
"checksum": "9b1e02a276e810829ac2e38fb775c4ff8d269d0f44fd0fbae40f79a0320389ad"
}]

Для получения содержимого файла из командной строки следует использовать команду

'''svacer access''' --project <project name> --branch <branch name> --snapshot <name or id> --user <user name> --password <password> '''attachments''' --get <id> <output file>

* Если '''<output file>''' не указан, то результат будет напечатан в stdout;
* Если '''<branch>''' не указан, то будет использован ветка master;
* Если '''<snapshot>''' не указан, то будет использован последний снимок на указанной ветке.

=== Загрузка данных на сервер ===
{{Note|type=warn|text=При загрузке данных на сервер, а также при прочих взаимодействиях клиента Svacer с сервером Svacer, крайне рекомендуется, чтобы версия клиента совпадала с версией сервера. В случае несовпадения версий возможны непредсказуемые ошибки.}}

Для загрузки данных из промежуточного хранилища на сервер используется команда '''upload''':

svacer upload --user <user> --password <pwd> --host <host> --port <rest_port> --grpc <grpc_port> <path_to_store>

Если отсутствуют параметры:
* '''--user''' и '''--password''', то используется специальный системный пользователь '''importer''' — он предназначен для импорта данных на сервер;
* '''--host''', то используется '''locahost''';
* '''--port''' и '''--grpc''', то используются их значения по умолчанию;
При загрузке данных на сервер уже загруженные снимки повторно не загружаются. Разделяемая информация (такая как исходные файлы, где один и тот же файл может использоваться в различных анализах и т.п.) также повторно не загружается.
При сбоях в ходе загрузки проводится повторная загрузка, но при этом загружаются только недостающие данные.

В случае если Svacer запущен с поддержкой SSL/TLS или работает за reverse proxy и доступен по протоколу HTTPS, то для загрузки требуется явно указать протокол в параметре '''--host''', либо добавить опцию '''--ssl'''.

svacer upload --host https://<url_without_port> <path_to_store>
svacer upload --ssl --host <url_without_port> <path_to_store>

При этом grpc порт (по умолчанию — 3002), по которому идет загрузка данных, на сервере должен быть доступен.

Для информации о загрузке данных на сервер с авторизацией в LDAP см. [[LDAP configuration#Использование CLI сервера Svacer с поддержкой LDAP|Использование CLI Svacer с поддержкой LDAP]].

При загрузке данных на сервер можно включить печать краткой статистики по загруженным результатам. Данная статистика включает информацию о новых и пропущенных предупреждениях, по сравнению с последним ранее загруженным снимком. Выдача краткой статистики возможно в текстовом или JSON виде. Результаты печатаются в stdout.

svacer upload ... --quick-stats --out-format text ...

Пример вывода
Quick Stats:
Previous snapshot : Snapshot 2022-11-16 10:11:37 +0300
Current snapshot : Snapshot 2022-11-16 10:23:08 +0300
New : 1
Missing : 0
Matched : 1
Same : 0

svacer upload ... --quick-stats --out-format json ...

Пример вывода
{"branch":"391f21d1-2173-449c-9d1a-dd846d2a6471","snapshot":"34a1125d-86a3-45d3-9b41-cb5da24ab96e","snapshotName":"Snapshot 2022-11-21 10:19:06 +0300","lastSnapshot":"59657ae8-c3b6-48bc-b586-a6c0580cdb50","lastSnapshotName":"Snapshot 2022-11-21 10:18:09 +0300","same":2}

Формат JSON определяется protobuf3 схемой (ряд полей носит внутренний характер):
message ImportSummaryContext {
string branch = 1;
string snapshot = 2;
string snapshotName = 9;
string lastSnapshot = 3;
string lastSnapshotName = 4;
int64 new = 5;
int64 missing = 6;
int64 matched = 7;
int64 same = 8;
string qualityGate = 10;
string baseline_branch_name = 11;
string baseline_project_name = 12;
string branch_name = 13;
string project_name = 14;
string project_id = 15;
string baseline_snapshot_id = 16;
string baseline_branch_id = 19;
string baseline_project_id = 20;
string baseline_snapshot_name = 21;
}

По умолчанию, если опция по указанию формата выдачи отсутствует, выдача идет в текстовом режиме.

=== Переименование снимка после импорта ===

При необходимости, имя загруженного снимка можно изменить. Данная опция поддерживается только для пользователей с правами администратора сервера.

svacer container snapshot rename --host <host> --port <port> --user <user name> --password <pwd> --id <snapshot id> --name <snapshot name>

Идентификатор снимка можно посмотреть в веб-интерфейсе или получить посредством public API.

=== Модификация путей в разметке при импорте ===

==== Обычное поведение ====
По умолчанию пути к файлам не меняются, за исключением пути к папки '''.svace-dir''', он будет заменён на '''.build'''. Эту информацию можно увидеть при импорте проекта:

svacer import --clean .svacer-dir
...
info The path prefix of .svace-dir 'C:\work\generate_files\gen_exp' will be trimmed when converting file paths
...

После этого все маркеры из этой папки и дочерних будут в '''Review''' показывать путь вида '''/.build/test500_1.c''' вместо полного пути для файла '''C:\work\generate_files\gen_exp\test500_1.c'''.

[[File:SimpleSourceCode.png|none|alt=Simple Source Code Window]]

==== Использование --path-prefix ====
При необходимости модификацию по умолчанию можно заменить через '''--path-prefix'''.
Значения опции передаются в виде:

--path-prefix "prefix_for_replace1:value1;prefix_for_replace2:value2; ..."

Поддерживается как передача данных сразу в опцию, так и через указание файла содержащего значения. Разумно делать замены для унификации вида проекта, собранного на разных машинах (или из разных папок). При использовании файла допустимо размещать каждую замену на отдельную строчку.

Префиксы путей заменяются только при полном совпадении (включая регистр, даже на Windows).
Для указания двоеточия в префиксе пути используется удвоенное двоеточие, к примеру (для показа преобразований добавлено '''--debug'''):

svacer --debug import --clean --upload --path-prefix "C::\work:work" .svacer-dir
...
INFO Creating regular object store
DEBUG Creating path mapping rule 'C:\work' => 'work'
DEBUG Creating path mapping rule 'C:/work' => 'work'
DEBUG Creating path mapping rule '/C_/work' => 'work'
...

После импорта на сервере можно увидеть файл: '''/work/generate_files/gen_exp/test500_1.c'''

[[File:PathPrefixSourceCode.png|none|alt=PathPrefixSourceCode]]

==== Использование --build-object @auto ====
При импорте конкретного файла *.svres исходный код может быть загружен, при указании опции '''--build-object @auto'''. В случае, если этот файл лежит в папке .svace-dir, исходный код будет взят из нее. При отсутствии папки .svace-dir файлы будут браться по абсолютным путям из файла *.svres.
Для указания конкретных директорий поиска подходящих файлов из *.svres следует использовать опцию '''--source-tree''', которую можно указать несколько раз, чтобы задать несколько корневых директорий. Поиск в этих директориях будет происходить только в случае, когда по путям из файла *.svres были найдены не все файлы. В случае успешного сопоставления, на сервер будут загружены соответствующие файлы из директории source tree.

==== Использование --full-paths ====
Допустимо также полное отключение модификаций путей, для этого импорт надо производить с опцией '''--full-paths'''. Опция блокирует как модификацию по умолчанию '''.build''', так и явные указания через '''--path-prefix'''.

svacer --debug import --clean --upload --full-paths .svacer-dir

После загрузки на сервере будет виден только полный путь: '''/C_/work/generate_files/gen_exp/test500_1.c'''.

[[File:FullPathsSourceCode.png|none|alt=FullPathsSourceCode window]]

Пути из Windows преобразуются в стиль Linux с небольшим преобразованием символов.

=== Использование quality gate ===

Возможна проверка новых, пропущенных, одинаковых, измененных предупреждений, для этого надо производить импорт с опцией '''--quality-gate'''.

--quality-gate value Specify a quality gate. Format: stat_1:severity_1:N_1:[statuses_1],...,stat_k:severity_k:N_k:[statuses_k], stat takes values: new, missing, matched, same, total; severity takes the following values: all, critical, major, normal, minor, undefined, <detector name part>; N is a natural number; statuses - an optional field, specified in square brackets with a separator ";" possible values - confirmed, false_positive, wont_fix, unclear, undecided, when specifying statuses, the quality gate will be searched only for markers that have exactly these statuses, for example [confirmed;wont_fix;undecided]. If the severity of the number N is exceeded, it will out a warning. Also, as a value, you can specify a json or yaml file in which the quality gate is specified.

Флаг принимает на вход тип предупреждений (stat), severity, их количество (N) и их статусы (statuses).

* stat задает тип предупреждений. Возможные значения:
** '''new''' (присутствует в новом снимке, но отсутствует в старом)
** '''missing''' (присутствует в старом снимке, но отсутствует в новом)
** '''matched''' (присутствуют изменения в файлах не повлиявшие на выданное предупреждение)
** '''same''' (одинаковые)
** '''total''' (сумма всех вышеперечисленных)
* severity задается либо непосредственным его указанием ('''critical''', '''major''', '''normal''', '''minor''', '''undefined'''), либо '''all''' (все severity), либо частью имени детектора в формате postgres ILIKE https://www.postgresql.org/docs/current/functions-matching.html
* N - порог, после которого вызывается срабатывание. Не включает данное число (т.е. если указать 5, то при нахождении 6 и более вызывается срабатывание quality-gate)
* statuses - '''опциональное''' поле, в котором можно указать какие статусы (разметку) учитывать при нахождении предупреждений. Возможные значения '''confirmed''', '''false_positive''', '''wont_fix''', '''unclear''', '''undecided'''. Задаются в квадратных скобках с разделителем ";". Например, [confirmed;wont_fix]. Если не указать данное поле, то будут учитываться все статусы. Принципы учета статусов:
** Если предупреждение размечено в новом снимке (значение не '''undecided'''), разметка берется из нового предупреждения
** Если в новом снимке нет разметки у данного предупреждения, а в старом есть, то берется разметка из старого предупреждения
** В остальных случаях у данного предупреждения разметка равна '''undecided'''.

Пример:
--quality-gate "total:critical:0:[confirmed;wont_fix],new:all:10"
Тогда опция сработает, если либо:

1) статическим анализатором будут найдены общее количество предупреждений (новых, пропущенных, одинаковых, измененных) с '''severity:critical''' и статусами '''confirmed''' и '''won't fix'''

2) статическим анализатором будут найдены новые предупреждения с любым статусом и severity

Пример вывода:
Quality gate exceed:
Previous snapshot : Snapshot 2025-06-16 15:37:09 +0300
Current snapshot : Snapshot 2025-06-16 15:37:39 +0300
Stat : total
Severity : Critical
Severity Statuses : confirmed wont_fix
Severity Threshold : 0
Found Severity : 3
Также quality-gate можно задать файлом в формате json или yaml (не yml).

Пример json файла:

<code>["total:all:1", "total:proc:1"]</code>

Пример yaml файла:
- "total:all:1"
- "total:proc:1"

==== Флаг --quality-gate-exit-code ====
В случае срабатывания quality gate можно указать какой exit code будет возвращен
--quality-gate-exit-code value Specify the exit code of the application in the range from 0 to 125, which will be issued when the quality-gate is exceeded. The default is 0.
Принимает значения от 0 до 125 (по умолчанию 0)

==== Флаг --quality-gate-verbose ====
Если необходимо выводить информацию и об успешно прошедших quality gate, то нужно добавить флаг --quality-gate-verbose, тогда в конце будет вывод успешно прошедших quality gate

Пример вывода:
Quality gate exceed:
Previous snapshot : Snapshot 2025-06-16 15:37:39 +0300
Current snapshot : Snapshot 2025-06-16 16:10:33 +0300
Stat : total
Severity : Critical
Severity Statuses : confirmed wont_fix
Severity Threshold : 0
Found Severity : 3
The result of comparison of those who have completed quality gate:
Previous snapshot : Snapshot 2025-06-16 15:37:39 +0300
Current snapshot : Snapshot 2025-06-16 16:10:33 +0300
Stat : new
Severity : All
Severity Threshold : 10
Found Severity : 0

==== Флаг --baseline ====
Если сравнение необходимо проводить не с предыдущим снимком в этой же ветке, то можно указать флаг '''--baseline''' (также работает для флага --quick-stats)
--baseline value A snapshot to compare (--quality-gate and/or --quick-stats). Format: {project}:::{branch}:::{snapshot} or {project}:::{branch} or {project} use UUID or name. By default, snapshot is the last added, branch is master. If the flag is not specified, then the comparison will be with the latest snapshot from the branch where the snapshot is loaded.
Указывается в формате {project}:::{branch}:::{snapshot} или {project}:::{branch} или {project}, используя имена или UUID. По умолчанию используется ветка master (если указан только проект) и последний добавленный снимок (если снимок не указан).

При указании данного флага меняется вывод:

* В текстовом формате добавляются строки об имени проекта, ветки и снимка, с которым сравнивался загружаемый снимок.
* В json формате добавляются имена и id проекта,ветки и снимка, с которым сравнивался загружаемый снимок.

'''Флаг --out-file'''

Для указания файла, в который необходимо загрузить результаты quality gate, используете опцию --out-file (по умолчанию вывод идет в stdout)

'''Флаг --out-format'''

Для указания в каком формате вывести результаты quality gate используйте опцию --out-format. Принимает значения text (человекочитаемый) и json. По умолчанию text

Review replication

2025-06-03T09:41:04Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|version devel.2025-06-03@09:35:03.ab170f00
|
* Исправлена работа при репликации разметки между разными проектами/ветками
|-
|devel.2025-05-26@06:18:01.853591f1
|
* улучшено HTML представление отчета
* добавлены предикат match_prefix_re по аналогии с match_suffix_re
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты same_go_path и match_go_path для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Changelog

2025-06-02T08:58:02Z

Ruseer:

=== Release 11-0-0 ===
19.05.2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code> с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов

Help:Match

2025-06-02T08:57:23Z

Ruseer: /* Классический режим генерации инвариантов */

== Cопоставления предупреждений ==

=== Описание алгоритма ===
В данной секции описывается алгоритм сопоставления предупреждений используемый Svacer для переноса разметки.

Для каждого предупреждения в снимке (snapshot) вычисляется хэшкод из полей предупреждения и исходных файлов. В терминологии Svacer хэшкод именуется '''инвариантом'''. Инвариант используется для группировки предупреждений из разных снимков в рамках одной ветки. Каждое предупреждение в рамках '''одного снимка''' имеет '''уникальный''' инвариант.

Генерация инвариантов для снимка идет по следующему алгоритму:

Шаг 1 (формируем первый, основной инвариант):

* Пути всех файлов из предупреждений в снимке сортируются лексикографически.
* Для каждого пути вычисляется минимально возможный не конфликтующий суффикс пути (т. е. конец пути содержащий имя файла), имеющий по крайней мере два сегмента (т. е. включающий имя директории). Для Java файлов минимальный путь учитывает имя пакета, объявленного внутри файла (при наличии package declaration внутри). Данный минимальный суффикс добавляется в хэш код инварианта.
* В инвариант добавляются хэш коды следующих полей предупреждения: '''MTid''' (если поле пустое, то используются поля '''Msg''', '''warnClass'''), '''Function''', '''Lang''', '''Tool'''. Поля '''Lang''' и '''Tool''' нормализуются, т. к. разные версии Svace могли иметь отличные именования полей.
* Формируется хэш-код строки кода из объекта сборки. При формировании хэшкода строки все whitespace-ы игнорируются. Если объект сборки отсутствует, то используется поле '''details''' у предупреждения.
* Если для нескольких предупреждений в снимке получился одинаковый инвариант, то конфликтующие предупреждения упорядочиваются по '''line''' и '''locID''' предупреждения (порядковый номер предупреждения в svres или sarif файле, в данном случае полагаемся на детерминизм анализатора). В инвариант добавляется индекс предупреждения в данной конфликтной группе. Таким образом получаем уникальный инвариант для каждого предупреждения в снимке.

Шаг 2 (формируем второй инвариант):

* Пути всех файлов в снимке сортируются лексикографически.
* Для каждого пути вычисляется минимально возможный не конфликтующий путь, содержащий по крайней мере два сегмента (т. е. включающий имя директории). Для Java файлов минимальный путь учитывает имя пакета, объявленного внутри файла (при наличии package declaration внутри). Минимальный путь добавляется в хэш код инварианта.
* В инвариант добавляются хэш коды следующих полей предупреждения: '''MTid''' (если поле пустое, то используется поля '''Msg''', '''warnClass'''), '''Function''', '''Lang''', '''Tool''', '''Details''' (важное отличие от ''шага 1'' — здесь используется поле '''Details''' у предупреждения). Поля '''Lang''' и '''Tool''' нормализуются, т. к. разные версии Svace могли иметь отличные именования полей.
* Предупреждения в снимке делятся на группы по инварианту. В рамках одной группы предупреждения сортируются по '''Function''', строке ('''line''') и '''locID'''. Индекс предупреждения в группе добавляется к инварианту группы. Таким образом получаем уникальный инвариант для каждого предупреждения в снимке.

Шаг 3:

* Если предупреждения на ветке (branch) попали согласно ''инварианту 1'' в разные группы, а ''инварианту 2'' в одну, то для данных предупреждений будет использован ''инвариант 2'', как более строгий.

Шаг 4:

* Проверяется, были ли ручные сопоставления предупреждений на ветке (branch) и инварианты корректируются исходя из таблицы ручных сопоставлений. При ручном сопоставлении предупреждениям назначается уникальный инвариант и запоминается информация об эквивалентности назначенного инварианта инвариантам полученным на шагах 1 и 2.

==== Правила нормализации полей Lang и Tool при импорте *.svres файлов ====
Для поля Lang выполняются следующие преобразования (ключ сравнивается как case-insensitive)
"C_Cpp": "CXX",
"C": "CXX",
"C#": "CSHARP",
"KOTLIN": "KOTLIN",
"cs": "CSHARP",
"CS": "CSHARP",
"Python": "PYTHON",
"Go": "GO",
"go": "GO",
"Java": "JAVA",
"VisualBasic": "VISUALBASIC",
"VB": "VISUALBASIC",
"JS": "JAVASCRIPT",
Поле Tool нормализуется к значениям из следующего списка посредством case-insensitive сравнения (если значение не из списка, то не меняется)
"SvEng"
"SvCpp"
"CSA"
"SpotBugs"
"TagsJavac"
"Roslyn"
"Kotlinc"
При импорте детекторов из sarif или искусственно созданном svres файле нормализация значения Tool не делается.

=== Опции сервера, влияющие на алгоритм генерации инвариантов ===

==== Отключение миграции инвариантов ====
Для отключения операции по пересчету и миграции инвариантов при старте можно использовать переменную окружения
SVACER_NO_INVARIANT_MIGRATION=true

При запуске сервера с данной опцией пересчет инвариантов происходить не будет.

==== Отключение минимизации путей ====
При использовании следующей опции или соответствующей переменной окружения, механизм минимизации путей будет отключен.
--no-path-min

Переменная окружения:
SVACER_NO_PATH_MIN=true|false

==== Отключение шагов 2, 3 ====
Для отключения шагов 2 и 3 необходимо использовать переменную окружения
SVACER_NO_MATCH_BY_CORE=true
{{Note}} Данная опция не рекомендуется, т. к. нарушает совместимость с алгоритмом генерации, используемом в прежних версиях Svacer.

=== Ручное сопоставление предупреждений (экспериментальная возможность) ===
Пользователь может выполнить ручное сопоставление предупреждений из [[Help:UI manual#Сопоставление маркеров|веб-интерфейса]] и CLI. В данной секции описывается механизм ручного сопоставления из CLI.

Для ручного сопоставления предупреждений из CLI пользователь должен использовать команду <code>svacer marker match</code>. Команда требует обязательной аутентификации и пользователь должен иметь права на разметку в проекте и ветке, где хочет выполнить сопоставление. Сопоставить можно предупреждения из '''разных''' снимков '''одной''' ветки. При ручном сопоставлении все предупреждения, которые эквивалентны по инвариантам первому предупреждению или второму, будут автоматически считаться эквивалентными. Одно и то же предупреждение может быть сопоставлено с множеством других предупреждений, но каждое из выбранных предупреждений должно находиться в различных снимках. Нельзя сопоставить два или более предупреждений из одного снимка одному предупреждению из другого снимка.

svacer marker match --user user --password password --host host --project project --branch branch --v1 snapshot1 --v2 snapshot2 id11=id21 id12=id22 id13=id23

Под аргументами операции подразумеваются пары ID маркеров из снимков указанных в параметрах <code>--v1</code> и <code>--v2</code>. Для удобства пользователя, можно использовать числовой ID маркера, который может быть получен через CLI команду

svacer marker list --host host --user user --password pwd --project project

Формат задается опцией <code>--out-format=json|txt|csv</code>. Если формат по умолчанию (txt), то данная команда выдает список предупреждений в виде таблицы

# warn file line review msg
1000 INVARIANT_RESULT /.build/subst.c 7080 Expression 'tl->word->flags | (1 << 21)' is always
true , which may be caused by a logical error
1001 DEREF_AFTER_NULL.LOOP /.build/execute_cmd.c 3327 After having been compared to NULL value at execut
e_cmd.c:3325, pointer 'l' is dereferenced at execu
te_cmd.c:3327.
1002 DEREF_AFTER_NULL.LOOP /.build/variables.c 2749 After having been compared to NULL value at variab
les.c:2656, pointer 'vc' is dereferenced at variab
les.c:2749.
При указании опции <code>--out-file</code> вывод будет направлен в указанный файл.

В таблице первая колонка содержит числовой ID предупреждения, который может быть использован для сопоставления предупреждений.

При использовании команды <code>svacer marker match</code> пользователь может указывать как имя проекта и ветки, так и их ID.

Для получения списка ручных сопоставлений пользователь должен использовать команду <code>svacer marker match-journal</code>

svacer marker match-journal --host host --user user --password password --project project --branch branch

Формат вывода контролируется опцией <code>--out-format</code> и может быть <code>json</code>, текст (<code>txt</code>, default), <code>csv</code>. При указании опции <code>--out-file</code> вывод будет направлен в указанный файл.

# v marker snapshot_id snapshot_name created_by create_ts
2 v1 DEREF_OF_NULL.CONST:test.c:9 b51009b6-cdbe-463a-b324-c87143bb0372 S3 admin Fri Mar 22 08:16:03 UTC 2024
v2 DEREF_OF_NULL.CONST:test.c:8 8a9c4330-c131-44e1-bf09-b1d3a245b317 S1
1 v1 DEREF_OF_NULL.CONST:test.c:8 3c20cd4e-e5d9-479b-b618-7db852ed0133 S2 admin Fri Mar 22 08:01:06 UTC 2024
v2 DEREF_OF_NULL.CONST:test.c:8 8a9c4330-c131-44e1-bf09-b1d3a245b317 S1

Для отмены ручных сопоставлений пользователь должен использовать команду

svacer marker unapply-match --host host --user user --password password --project project --branch branch id1 id2 id2 ...

Где <code>id1, id2, ...</code> — список id операций полученных командой <code>svacer marker match-journal</code>

{{Note}} При отмене ручных сопоставлений вычисляется замыкание всех связанных сопоставлений и, далее, отменяется всё замыкание. Таким образом, если пользователь сопоставил два предупреждения, а потом одно из сопоставленных сопоставил с еще одним новым предупреждением, то при отмене первой операции будет отменена и вторая.

Review replication

2025-05-26T08:45:56Z

Ruseer: /* История изменений */

== Репликация разметки по правилам (экспериментальная функциональность) ==
При использовании разных версий Svace (или иных анализаторов), разных настроек CI/CD и прочих факторах возможны ситуации, когда снимки (snapshots) в рамках одной ветки (branch) могут иметь различные инварианты и разметка автоматически не переносится. Для решения задачи переноса разметки в таких случаях разработана утилита '''reviewer''', которая позволяет применить декларативно описанные правила переноса к существующей разметке. В дальнейшем данная функциональность будет включена в Svacer и доступна в веб-интерфейсе.

Использование утилиты подразумевает использование CLI команд <code>svacer markup2 export</code> и <code>svacer markup2 import</code> ([[Markup2|описание markup2]]) для выгрузки и импортирования разметки. Утилита reviewer обеспечивает модификацию выгружаемой разметки с целью копирования существующей разметки на неразмеченные элементы. Правила копирования задаются с использованием булевых выражений и набора предопределенных предикатов.

=== Описание утилиты ===
Утилита reviewer предназначена для Svacer версии 10 и выше. Утилита собрана под Linux, скачать можно [https://svacer.ispras.ru/releases/utils/reviewer отсюда].

==== История изменений ====
{| class="wikitable"
|+
!Версия
!Детали
|-
|devel.2025-05-26@06:18:01.853591f1
|
* улучшено HTML представление отчета
* добавлены предикат match_prefix_re по аналогии с match_suffix_re
|-
|devel.2025-04-22@06:39:21.a3bc1bc1
|
* Добавлены предикаты same_go_path и match_go_path для упрощения написания правил при переносе разметки для Go проектов, где версии модулей меняются
|-
|devel.2025-04-21@04:53:47.15a3d5c0
|
* Добавлена версия
* Добавлена генерация журнала изменений
* Добавлена генерация информации о снимках при работе с сервером
* В результат записываются только обновленные разметки
* Добавлена возможность указания снимков в качестве фильтра (при условии работы с сервером)
|}

==== Использование ====
NAME:
reviewer - Svacer review help tool

USAGE:
reviewer [global options] command [command options] [arguments...]

VERSION:
devel.2025-04-21@04:53:47.15a3d5c0

COMMANDS:
syntax Prints help information about rule syntax
invariants Get information about invariants from branch. Output format is ReviewModificationJournal.SnapshotList with invariants
replicate Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

help, h Shows a list of commands or help for one command

GLOBAL OPTIONS:
--debug Enabled debug output (default: false)
--log-file value Define log file for output
--host value Defines URL to svacer server. Format: <nowiki>http://host:port</nowiki>
--user value User login. When using env variable SVACER_AUTH_CREDS the format is SVACER_AUTH_CREDS=<login>:<password> (default: admin) [$SVACER_AUTH_CREDS]
--password value User password
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--token value Defines access token for svacer server [$SVACER_AUTH_TOKEN]
--help Show help (default: false)
--version Print version the program (default: false)

Основная команда — '''replicate''', она позволяет применить декларативные правила к разметке, полученной либо с сервера, либо из файла, куда ранее была выгружена командой <code>svacer markup2 export</code>. Результат работы команды — файл с разметкой, предназначенный для загрузки в Svacer посредством команды <code>svacer markup2 import</code>

NAME:
reviewer replicate - Replicate non-empty review to invariants according to rules.
Review can be loaded either from file(s) or from server.

Review is replicated from source project/branch or file to target project/branch or file.

If no target project/branch or file is specified, replication is applied to source project/branch or file. This can be used to copy review within the same container.

Result is written to stdout or file. Reviewer does not update data on server.

USAGE:
reviewer replicate [command options] <file name> - path to result file

OPTIONS:
--project value Project name or id
--branch value Branch name or id (default: master)
--target-project value Project name or id of the target project
--target-branch value Branch name or id of the target branch (default: master)
--source-snapshot value Snapshot name or id. Replicate reviews only from given snapshot. Host, project and branch must be provided
--target-snapshot value Snapshot name or id. Replicate reviews only to given snapshot. Host, project and branch must be provided
--file value Load review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--target-file value Load target review from file instead of server. File must be in 'json with new line separator' format. File may be gzipped (must have *.gz extension)
--rule value Path to file containing replicate rules
--html Produce HTML report describing applied changes. Report is saved to <result file name>.html (default: false)
--verbose Verbose output of rule applications (default: false)
--process-all Process all reviews, even with non-default values (default: false)
--skip-comments Skip comments while replicating review information (default: false)
--skip-status Skip review status and copy only comments while replicating review information (default: false)
--journal value Write journal of modifications to specified file
--help Show help (default: false)

Опция '''--journal''' позволяет указать файл, куда будет записана информация о проведенных изменениях в JSON формате. Пример такого файла

{
"actions": [
{
"source_invariant": "LX/DOWQxqWSdqMw1zBGr/A",
"target_invariant": "7YlVnmb/kAkwyxNBjCagiQ",
"rule": "unprocessed() && // ensure target has no review\n match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same\n match_suffix_re (function, \"(.+/)\" /* regexp for prefix */ ) // trim prefix and match suffix",
"source_id": "1",
"target_id": "13"
}
]
}

=== Шаги применения утилиты ===
'''Задача:''' в проекте myproject на ветке master необходимо перенести существующую разметку по некоторым правилам. Сервер запущен на localhost на порту 8080.

'''Шаги решения:'''

1. Опционально, но рекомендуется выгрузить разметку с ветки в файл, используя команду

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin export --project myproject --branch master --uncompressed --format json --export-all /tmp/myproject.json</nowiki>

2. Написать правила переноса разметки (предикатов переноса) в файл <code>/tmp/map.txt</code>

3. Если разметка была выгружена (шаг 1 выполнен), то применить утилиту reviewer '''с загрузкой данных из файла'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

reviewer replicate --file /tmp/myproject.json --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json

4. Если разметка не была выгружена (шаг 1 пропущен) применить утилиту reviewer '''с загрузкой данных с сервера'''. Флаг <code>--html</code> создаст дополнительно HTML с информацией об изменениях, имя файла <code>/tmp/out.json.html</code>. Журнал изменений будет записан в файл <code>replicate_journal.json</code>

<nowiki>reviewer --host=http://localhost:8080 --user admin --password admin replicate --project myproject --branch master --rule /tmp/map.txt --journal /tmp/replicate_journal.json --html /tmp/out.json</nowiki>

5. Проанализировать созданный журнал изменений и файл <code>/tmp/out.json.html</code>

6. Если результат устраивает, то загрузить обновленную разметку в сервер из файла <code>/tmp/out.json</code>

<nowiki>svacer markup2 --host=http://localhost:8080 --user admin --password admin import --project myproject --branch master /tmp/out.json</nowiki>

'''Примечания'''

Разметка в Svacer привязана к инвариантам. Инвариант это некоторый хэш, формируемый из полей предупреждения. Алгоритм формирования хэша описан в [[Help:Match#Описание алгоритма|этой статье]]. В рамках одного снимка все инварианты всегда уникальны.

Команда <code>markup2 export</code> с флагом <code>--export-all</code> выгружает все инварианты с ветки с информацией о разметке и комментариях.

При экспорте разметка на инварианте представлена как объект, соответствующий схеме, описанной в статье [[Markup2]]. Технически это:

* статус (тройка <code>status, severity, action</code>)
* набор комментариев
* массив locations, которые определяют множество мест, имеющих один и тот же инвариант

=== Алгоритм переноса разметки ===
Входные данные (разметка), полученные из файла или с сервера разбиваются на два вектора source и target. В source включаются все элементы с разметкой, отличной от разметки по умолчанию. В target включаются все оставшиеся элементы. Порядок элементов в source и target соответствует порядку объектов во входных данных (файле).

Если указана опция <code>--process-all</code> , то в source и target включаются все элементы (данную опцию следует использовать для случаев, если мы хотим заместить существующую разметку, а не перенести разметку на неразмеченные элементы)

Процедура проходит по всем парам <code>(source_item,target_item)</code> и для каждой пары вычисляет предикаты из файла с правилами в порядке их определения. Если какой-либо предикат вычислен в true, то происходит копирование статусов разметки и комментариев с <code>source_item</code> на <code>target_item</code>. Во избежание перезаписи разметки можно в правилах использовать предикат <code>unprocessed()</code> описанный ниже.

==== Файл задания предикатов переноса ====
Формат файла: UTF-8. Правила разделяются <code>;;</code>. В качестве комментариев допустимы <code>/**/</code> и <code>//</code>

Правила — это булевы выражение в синтаксисе [https://expr-lang.org/docs/language-definition go-expr], выражения использует операторы <code>&&, ||, !</code>, скобки и следующие дополнительные предикаты:

* <code>unprocessed()</code> — проверка, что target еще не содержит разметки. Рекомендуется использовать, чтобы избежать перезаписи разметки, если несколько правил сработали; при наличии такого предиката разметка будет скопирована лишь один раз для первого сработавшего предиката;

* <code>processed()</code> — проверка, что target уже содержит какую-либо не дефолтную разметку;

* <code>match_loc(field1, field2, ...)</code> — проверка, содержат ли locations в source и target хотя бы один общий location, который совпадает по указанным полям. Возможные поля: <code>warnclass, function, details, invariant, line, file, mtid, tool, lang</code>;

:Пример: <code>match_loc(warnclass,file,lang,tool,line)</code>

* <code>match_loc_strict(field1, field2, ...)</code> — проверка, содержат ли locations source и target одинаковые location по указанным полям;

:Пример: <code>match_loc_strict(warnclass,file,lang,tool,line)</code>

* <code>match_source_re(field, value)</code> — проверка, содержит ли location в source запись, где field совпадает с value. Value — Golang regexp;

* <code>match_target_re(field, value)</code> — проверка, содержит ли location в target запись где field совпадает с value. Value — Golang regexp;

* <code>source_review(status[, severity, action])</code> — проверка, если разметка source соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>target_review(status[, severity, action])</code> — проверка, если разметка target соответствует указанным параметрам. <code>severity, action</code> можно опускать, шаблон <code>"*"</code> соответствует всему;

* <code>match_source_range(lower_bound,upper_bound)</code> — проверка, если в source есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_target_range(lower_bound,upper_bound)</code> — проверка, если в target есть location, где line попадает в указанный диапазон. Значение <code>-1</code> означает отсутствие границы;

* <code>match_suffix_re(field, source_prefix[,target_prefix])</code> — проверка, есть ли location в source и target, который содержит общий суффикс. Суффикс вычисляется путем отрезания префикса source_prefix и target_prefix. Если target_prefix не указан, то считается, что он равен source_prefix. Префикс определяется как Go regexp;

* <code>match_source_id(id1, id2, ...)</code> — проверка, если внутренний id source разметки совпадает с одним из аргументов;

* <code>match_target_id(id1, id2, ...)</code> — проверка, если внутренний id target разметки совпадает с одним из аргументов;

* <code>source_review_ct() time.Time</code> — возвращает время создания разметки в source;

* <code>target_review_ct() time.Time</code> — возвращает время создания разметки в target;

* <code>source_reviewed_by() string</code> — возвращает автора разметки в source;

* <code>target_reviewed_by() string</code> — возвращает автора разметки в target.

==== Пример ====
// Перенос разметки для Go, где поменялся формат поля function в последних Svace

unprocessed() && // ensure target has no review
match_loc(warnclass,file,lang,tool,mtid, line) && // ensure main fields are the same
match_suffix_re (function, "(.+/)" /* regexp for prefix */ ) // trim prefix and match suffix

==== HTML отчет о результатах переноса ====
При использовании опции <code>--html</code>утилита формирует HTML файл с информацией о разметке и операциях по переносу. Файл предназначен для отладки процесса переноса. В будущем, в Svacer UI будет предусмотрен специальный интерфейс для просмотра результатов переноса.
[[File:ReviewerHTML1.png|none|thumb]]

При наличии переноса разметки в столбце с Review будет запись Review Source со ссылкой на элемент, откуда была перенесена разметка.
[[File:ReviewerHTMLReport2.png|none|thumb]]

При раскрытии элемента Review Source будут представлены основные поля location, соответствующих исходной разметке, откуда был сделан перенос.

Markup2

2025-05-19T06:38:47Z

Ruseer: /* Описание команд импорта, экспорта и копирования */

== Public REST API для экспорта, импорта и копирования разметки ==
Релиз 10.х Svacer включает новый API, предназначенный для экспорта, импорта и копирования разметки.

Релиз 11.х Svacer добавил журнал групповых операций связанных с импортом разметки и возможность отката внесенных изменений. Для журнала групповых операций доступно public API.

# Импорт, экспорт и копирование разметки
POST /api/public/markup/import
POST /api/public/markup/export
POST /api/public/markup/copy

# Работа с журналом групповых операций по разметки
GET /api/public/markup/list_operations
DELETE /api/public/markup/list_operations
POST /api/public/markup/undo

Разметка описывается посредством protobuf схемы:

// Represents exported review (review itself + comments)
// Review is associated with invariant and has list of locations
message Review {

// Defines model for concrete location of the review
message Location {
string warnClass = 1;
string file = 2;
uint32 line = 3;
string details = 4;
string mtid = 5;
string function = 10;
bytes content_hash = 6;
bytes trace_hash = 7;
bytes marker_hash = 8;
bytes line_hash = 9;
string tool = 11;
string lang = 12;
}
// Defines model for comment
message Comment {
string text = 1;
optional string format = 2;
google.protobuf.Timestamp create_ts = 3;
optional google.protobuf.Timestamp update_ts = 4;
string createdBy = 5;
string origin_id = 6;
optional uint64 review_id = 7; // refers to Review.id field
optional string created_by_id = 8;
}
// Defines model for review itself
message ReviewData {
string status = 1;
string severity = 2;
string action = 3;
string origin_id = 4;
google.protobuf.Timestamp create_ts = 5;
string created_by = 6;
optional string created_by_id = 7;
optional string created_from = 8;
}
// Invariant of the marker
string invariant = 1;
// Review information associated with markers having given invariant
optional ReviewData review_data = 2;
// List of comments associated with all markers having given invariant
repeated Comment comments = 3;
// List of locations associated with given invariant. Locations can be used to apply fuzzy matching of review with existing data when there is no invariant match
repeated Location locations = 4;
// Export-specific ID, comments can refer to this id if comment is associated with review operation
uint64 id = 5;
// Meta-information about export, when exporting to file field is initialized only for the first element
optional ReviewExportMeta meta = 6;
}

// Defines meta-information about exported review
message ReviewExportMeta {
message Container {
string id = 1;
string name = 2;
}
google.protobuf.Timestamp create_ts = 1; // timestamp when export was produced (UTC)
string created_by = 2; // user who triggered export
string svacer_version = 3; // svacer version
optional Container project = 4; // source container (project)
optional Container branch = 5; // source container (branch)
map<string,string> properties = 6; // extra properties
}
Актуальную версию схемы можно получить из Svacer по API: <code>GET /api/public/markup/schema</code>.

{{Note|type=reminder|text=При сериализации в JSON используются proto-имена полей. При работе с данными из Go рекомендуется использовать [https://pkg.go.dev/google.golang.org/protobuf/encoding/protojson protojson] для сериализации и десериализации.}}

Svacer поддерживает два формата для экспортирования/импортирования разметки:

* JSON с разделением по newline-ам. Каждая строка представляет собой объект типа '''Review''' (указано выше) сериализованный в JSON
* Бинарный формат: последовательность блоков <code>[lenght little endian][proto]</code>, где первый блок содержит длину следующего блока в формате <code>u32 little endian</code>, а второй блок содержит proto-сериализацию объекта '''Review'''

В обоих случаях при выгрузке разметки первый элемент типа '''Review''' будет содержать мета-информацию об исходном контексте, откуда была выгружена разметка.

Разметка привязывается к инварианту маркера и может содержать собственно разметку (статус маркера) и совокупность комментариев, связанных с данным маркером. При выгрузке разметки также добавляется информация о конкретных локациях предупреждений, ассоциированных с инвариантом. В будущих версиях данная информация будет использоваться для переноса разметки при отсутствии прямого совпадения инвариантов.

=== Экспорт разметки ===
POST /api/public/markup/export

* Параметры передаются в '''body''' запроса
* Запрос должен иметь токен аутентификации
* Пользователь должен иметь доступы на Public API и экспорт разметки из ветки, откуда производится экспорт

Формат body:
{
"source": ["<project name>","<branch name>"],
"source_id": "<branch id>",
"skip_comments": <true|false>,
"skip_review": <true|false>,
"format": "<json|proto>",
"export_all": <true|false>,
"compressed": <true|false>,
"filters" : [ {
"pattern": "<regular expression>",
"ids": ["<snapshot id>", "<snapshot id>"]
}
]
}

* Пользователь должен указать либо '''source''' элемент, либо '''source_id'''
* Опция '''skip_comments''' позволяет игнорировать комментарии при выгрузке разметки
* Опция '''skip_review''' позволяет игнорировать статусы маркеров при выгрузке разметки (т. е. выгружать только комментарии)
* Опция '''export_all''' позволяет выгрузить пустую разметку (т. е. статусы Undecided/Unspecified/Undecided). Это позволяет получить список всех инвариантов для ветки и использовать данные для генерации требуемой разметки для импорта
* Метод возвращает gzipped файл содержащий разметку в указанном формате если <code>compressed = true</code>
* Поле <code>filters</code> позволяет указать набор фильтров для снимков. Все фильтры применяются по принципу AND. Поле <code>pattern</code> в фильтре задает фильтрацию по имени снимка, поле <code>ids</code> — по ID снимков.

=== Импорт разметки ===
POST /api/public/markup/import

* Параметры передаются в '''query''' запроса
* Запрос должен быть формата '''multipart/form-data''', поле '''file''' должно содержать файл с разметкой
* Запрос должен иметь токен аутентификации
* Пользователь должен иметь доступы на импорт разметки. Если пользователь '''не имеет''' атрибута '''review master''', то перезапись текущей разметки от '''review master''' не будет производится (т. е. обычный пользователь не сможет изменить разметку review master-а через импорт).

Query параметры:

project — <project name> — имя проекта
branch — <branch name> — имя бранча
target_id — <branch id> — id бранча. Должно быть либо id бранча, либо имя проекта + имя бранча. Приоритет — id бранча
format — <proto|json> — формат импортируемой разметки. Если не указан, будет определяться автоматически
overwrite — <none|force|last> — по умолчанию last — контролирует логику применения разметки к бранчу при импорте
skip_comments — <true|false> — по умолчанию false — игнорировать комментарии
skip_review — <true|false> — по умолчанию false — игнорировать статус разметки (импорт только комментариев)
response_with_result — <true|false> — вернуть детальный список разметок, которые были применены, в формате JSON с newline-разделителями. Если не указан, то возвращается краткий статус
compressed — <true|false> — формат файла с разметкой, если true то подразумевается gzip-compressed файл

Настоятельно рекомендуется явно указывать параметр '''overwrite'''.

В случае успеха метод возвращает body со следующими данными:

{"total":<total number of loaded reviews>,"applied_reviews":<applied reviews>,"applied_comments":<applied comments>,"skipped_reviews":<skipped reviews>,"duplicate_reviews":<duplicate reviews>,"duplicate_comments":<duplicate comments}
<json representation of applied review>*

Первая строка body содержит JSON с информацией о выполненных действиях. Если был указан параметр '''response_with_result''', то дальше будут идти newline-separated JSON представления примененных review.

==== Алгоритм импорта ====

* Блокируются операции по разметке и импорту на целевой бранч
* Выгружается текущая разметка бранча с комментариями
* Загруженная разметка сопоставляется с текущей и формируется список разметки для применения. Дублирующая разметка и комментарии игнорируются
* Перезапись разметки контролируется параметром '''overwrite'''. Если значение '''none''', то разметка не перезаписывается при наличии разметки в целевом бранче. Если значение '''force''', то разметка будет перезаписана. Если значение '''last''', то разметка будет перезаписана, если загруженная разметка имеет более новую дату
* Пустая разметка (Undecided/Unspecified/Undecided) явным образом не применяется к инварианту, если разметка отсутствует на бранче
* Сформированный список применяется к бранчу. При выборе маркера, куда добавлять комментарий, выбирается маркер из наиболее раннего снимка, где маркер с соответствующим инвариантом появился

'''Допустимые значения полей разметки:'''

* Status — <code>"Confirmed", "Won't fix", "False Positive", "Unclear", "Undecided"</code>
* Severity — <code>"Unspecified", "Critical", "Major", "Minor"</code>
* Action — <code>"Undecided", "Fix required", "Fix submitted", "Ignore"</code>

=== Копирование разметки ===

POST /api/public/markup/copy

* Параметры передаются в '''body''' запроса
* Запрос должен иметь токен аутентификации
* Пользователь должен иметь доступы на Public API, экспорт снимков (для исходной ветки), импорт разметки (для целевой ветки), разрешения '''Update any review''' и '''Update any comment''' (для перезаписи разметки и комментариев ревью мастера)

Формат body:

{
"source": ["<project name>","<branch name>"],
"source_id": "<branch id>",
"target": ["<project name>","<branch name>"],
"target_id": "<branch id>",
"skip_comments": <true|false> — по умолчанию false,
"skip_review": <true|false> — по умолчанию false,
"overwrite": "<none|last|force>",
"response_with_result": <true|false>
}

В случае успеха, метод возвращает body со следующими данными

{"total":<total number of loaded reviews>,"applied_reviews":<applied reviews>,"applied_comments":<applied comments>,"skipped_reviews":<skipped reviews>,"duplicate_reviews":<duplicate reviews>,"duplicate_comments":<duplicate comments}
<json representation of applied review>*

Первая строка body содержит JSON с информацией о выполненных действиях. Если был указан параметр '''response_with_result''', то дальше будут идти newline-separated JSON представления примененных review.

== Журнал групповых операций (для версии 11.х.х и выше) ==
Импорт разметки а также использование групповой разметки (из UI или посредством API) фиксирует операции в журнале групповых операций. Для работы с журналом доступно public REST API:

# Получения списка групповых операций
GET /api/public/markup/list_operations

# Удаление записи из журнала групповых операций
DELETE /api/public/markup/list_operations

# Отмена изменений, внесенных групповой операцией
POST /api/public/markup/undo

Описание параметров доступно в Swagger.

Семантика операции Undo следующая:

* Разметка, внесенная групповой операцией, удаляется. Если она была активной, то ставится предыдущая активная разметка
* Комментарии, внесенные групповой операцией, будут удалены только если они не модифицировались после групповой операции
* По умолчанию при отмене операции происходит проверка, является ли она последней групповой операцией на данной ветке. Если она не является последней, то будет ошибка (для принудительной отмены используется параметр <code>check_order</code>)
* Статус разметок может меняться в зависимости от порядка применений нескольких операций Undo

Для экономии памяти рекомендуется периодически удалять записи из журнала групповых операций.

== CLI API для импорта/экспорта/копирования разметки ==

Данное API является '''экспериментальным''' и может меняться. Основные аргументы будут сохранены. По умолчанию команды под '''markup2''' скрыты. Использовать можно, указывая их явно. Для получения помощи запустить:

# Импорт, экспорт, копирование разметки
svacer markup2 --help
svacer markup2 copy --help
svacer markup2 import --help
svacer markup2 export --help

# Работа с журналом групповых операций
svacer markup2 list --help
svacer markup2 undo --help
svacer markup2 delete --help

=== Описание работы с журналом групповых операций ===
При использовании операций по импорту разметки или использовании API/UI для выполнения групповых операций по разметке информация о выполненных операциях будет занесена в журнал групповых операций. Журнал фиксирует дату, пользователя и все внесенные изменения: изменение самой разметки и добавленные комментарии.

===== Просмотр журнала операций =====
svacer markup2 --host <host url> --user admin --password admin list

id status target action description ts user
94 APPLIED local/b1 import-review import comments as part of raw result import 2025-04-24 13:19:30.675 +0300 MSK admin
91 APPLIED bash/master batch-review batch review operation 2025-04-18 16:09:17.963822 +0300 MSK admin
89 APPLIED dxr-test/master batch-review batch review operation 2025-04-18 14:21:42.82489 +0300 MSK admin
87 APPLIED Lua_clone2/v5.3 copy-review copy review from 61c4290b-d06a-484f-b980-8d7cbb660fb4 to 0588686d-a1da-4f11-b948-d07a9d12fb60 2025-04-18 12:57:09.49 +0300 MSK admin
86 APPLIED Lua_clone1/v5.3 import-review import review by request from WEB or REST API; client address: 10.10.168.102:52020, user agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 YaBrowser/25.2.0.0 Safari/537.36 2025-04-18 12:54:17.239 +0300 MSK admin
85 APPLIED Lua/v5.3 batch-review batch review operation

===== Отмена операции =====
svacer markup2 --host localhost:8080 --user admin --password admin undo --id=94

2025-05-14T11:47:33.559+0300 info Log file location /tmp/svacer-client-2025-05-14.log
2025-05-14T11:47:33.560+0300 info Scheme not found in the provided host (localhost:8080), assume 'http'
2025-05-14T11:47:33.560+0300 info Querying server configuration from <nowiki>http://localhost:8080/api/public/server/info</nowiki>
2025-05-14T11:47:33.560+0300 info Server version: [11-0-0]
2025-05-14T11:47:33.599+0300 info Unapplied batch review operations [94]

===== Удаление записей из журнала =====
{{Note|type=warn|text=Удаление записей из журнала не отменяет внесенных изменений (т. е. разметки и комментариев), но после удаления записей из журнала отмена соответствующих изменений будет невозможна}}

Для удаления можно использовать разный набор условий

NAME:
svacer markup2 delete - Delete entries from batch review operation list. ATTENTION: you cannot undo batch operation if you remove it

USAGE:
svacer markup2 delete [command options] [arguments...]

DESCRIPTION:
When multiple flags are used to specify conditions, all conditions will be applied in order: --id, (--from, --to), --keep-last-n
Flag --last will override values of --from and --to

OPTIONS:
--id value [ --id value ] ID of the batch operation
--from value Set start date for the report. Expected format '2006-01-02 15:04:05' in local timezone
--to value Set end date for the report. Expected format '2006-01-02 15:04:05' in local timezone
--last value Delete operations for the specified last period of time. Possible values: @hour, @day, @week, @month, @year
--keep-last-n value Keep last N entries (default: 0)
--help Show help (default: false)

Пример: оставим последние 10 операций в журнале

svacer markup2 --host localhost:8080 --user admin --password admin delete --keep-last-n 10

2025-05-14T11:51:31.121+0300 info Log file location /tmp/svacer-client-2025-05-14.log
2025-05-14T11:51:31.121+0300 info Scheme not found in the provided host (localhost:8080), assume 'http'
2025-05-14T11:51:31.121+0300 info Querying server configuration from <nowiki>http://localhost:8080/api/public/server/info</nowiki>
2025-05-14T11:51:31.122+0300 info Server version: [11-0-0]
2025-05-14T11:51:31.146+0300 info Deleted 37 entries from the list

=== Описание команд импорта, экспорта и копирования ===
NAME:
svacer markup2 - CLI API for exporting, importing and copying review information

USAGE:
svacer markup2 command [command options] [arguments...]

COMMANDS:
import Import markup from file and apply to specified branch
export Export markup to file or stdout. Command needs either branch ID or project and branch name. When exporting to file, data is gzipped.
copy Copy markup between branches
help, h Shows a list of commands or help for one command

OPTIONS:
--ssl Connect to the server using https protocol (default: false)
--ssl-ca-certs value Trusted CA cert path. Example: /usr/local/certs/* , /usr/local/certs/ca.crt, /usr/local/certs/ca*.crt
--user value Valid user name
--password value Valid user password
--oidc-client value ClientID for login with OpenID Connect protocol
--oidc-secret value Client's secret for login with OpenID Connect protocol
--host value Valid host name with running svace history server (default: localhost) [$SVACER_HOST_NAME]
--port value Defines port for REST API (default: 8080) [$SVACER_API_PORT]
--grpc value Defines port for gRPC API (default: 3002) [$SVACER_GRPC_PORT]
--ldap_server value Server for LDAP authentication [$SVACER_LDAP_SERVER]
--conn_file value Use connection file [$SVACER_CONN_FILE]
--dry-run Do actions but don't commit result to database (default: false)
--help Show help (default: false)

==== Импорт разметки из файла ====

NAME:
svacer markup2 import - Import markup from file and apply to specified branch

USAGE:
svacer markup2 import [command options] <file> - path to file to import. If file is not specified, data is loaded from stdin

OPTIONS:
--project value Target project name
--branch value Target branch name
--branch-id value Target branch ID
--skip-review Import comments only (default: false)
--skip-comments Import review only (default: false)
--overwrite value Overwrite mode: none, force, last
--out value Write information about applied reviews to given file (in json format). If not specified, result is printed to stdout
--verbose-out Include information about applied reviews (default: false)
--format value Specify explicit format for data. If not specified, format will be detected from content
--description value Specify optional description the given import operation. If not specified, unique ID will be generated based on hostname, user and time
--generated-by value Optional tool generated review information
--help Show help (default: false)

При импорте разметки используя флаги <code>--description</code> и <code>--generated-by</code> можно задать дополнительную информацию, связанную с данной разметкой. Она будет занесена в журнал операций импорта.

==== Экспорт разметки в файл ====

NAME:
svacer markup2 export - Export markup to file or stdout. Command needs either branch ID or project and branch name. Use --snapshot-id and --snapshot to filter results by snapshots (filters are applied by AND rule)

USAGE:
svacer markup2 export [command options] <file name or empty> - if no file name is specified, result is printed to stdout

OPTIONS:
--project value Source project name
--branch value Source branch name. Branch name will be resolved against source project (default: master)
--branch-id value Source branch ID
--skip-review Export comments only (default: false)
--skip-comments Export review only (default: false)
--format value Format: json or proto. If format is not specified, proto is used. If output file is not specified and format is not specified, json will be used.
--uncompressed Get data in raw format without gzip compression (default: false)
--export-all Export empty (undecided) review (default: false)
--snapshot-id value [ --snapshot-id value ] Filter results by snapshots with specified IDs. When using --snapshot flag, results will be filtered by name pattern as well
--snapshot value Filter results by snapshots matching pattern. Pattern is matched against snapshot name. When using --snapshot-id flag, results will be filtered by ID as well
--help

Для экспорта разметки из конкретных снимков можно использовать флаги <code>--snapshot-id</code> или <code>--snapshot</code>.

==== Копирование разметки ====
NAME:
svacer markup2 copy - Copy markup between branches

USAGE:
svacer markup2 copy [command options] [arguments...]

OPTIONS:
--target-project value Target project name
--target-branch value Target branch name
--target-branch-id value Target branch ID
--source-project value Source project name
--source-branch value Source branch name
--source-branch-id value Source branch ID
--skip-review Copy comments only (default: false)
--skip-comments Copy review only (default: false)
--overwrite value Overwrite mode: none, force, last
--out value Write information about applied reviews to given file (in json format). If not specified, result is printed to stdout
--verbose-out Include information about applied reviews (default: false)
--help Show help (default: false)

==== Примеры использования ====
svacer markup2 --user admin --password admin copy --overwrite=force --source-project bash --target-project bash --source-branch master --target-branch bash_clone
2024-11-15T13:19:41.735+0300 info Log file location /tmp/svacer-1543671068.log
2024-11-15T13:19:41.735+0300 info Quering server configuration from <nowiki>http://localhost:8080/api/public/server/info</nowiki>
2024-11-15T13:19:41.745+0300 info Server version: [devel]
{"total":771,"applied_reviews":0,"applied_comments":0,"skipped_reviews":771,"duplicate_reviews":771,"duplicate_comments":5}

svacer markup2 --user admin --password admin import --overwrite=force --project bash --branch bash_clone /tmp/out.json
2024-11-15T13:20:17.433+0300 info Log file location /tmp/svacer-1480510331.log
2024-11-15T13:20:17.433+0300 info Quering server configuration from <nowiki>http://localhost:8080/api/public/server/info</nowiki>
2024-11-15T13:20:17.435+0300 info Server version: [devel]
{"total":771,"applied_reviews":0,"applied_comments":0,"skipped_reviews":771,"duplicate_reviews":771,"duplicate_comments":5}

2024-11-15T15:46:06.809+0300 info Log file location /tmp/svacer-1792255677.log
2024-11-15T15:46:06.809+0300 info Quering server configuration from <nowiki>http://localhost:8080/api/public/server/info</nowiki>
2024-11-15T15:46:06.810+0300 info Server version: [devel]
{"invariant":"+1vB4JXkME3AAcbXR7tezA", "review_data":{"status":"Confirmed", "severity":"Unspecified", "action":"Undecided", "create_ts":"2024-10-16T14:44:07.233554Z", "created_by":"admin", "created_from":"1c8cea92-7708-4bb9-9a88-40325f39efe8"}, "locations":[{"warnClass":"PROC_USE.VULNERABLE", "file":"/.build/jobs.c", "line":4207, "details":"b043c5a63bf9d432c816f2cb421c907fe912bf16", "mtid":"SvEng.L.1", "function":"run_sigchld_trap", "content_hash":"s4AMYzKR8Ol8k4OODPpOlPUsSWI=", "marker_hash":"XiVQmRu8HmhzOnq1+XY7AaujT+o=", "tool":"SvEng", "lang":"C_Cpp"}], "id":"699", "meta":{"create_ts":"2024-11-15T12:46:06.835078490Z", "created_by":"admin", "svacer_version":"devel.2024-11-15@15:45:34.a290bc7e", "project":{"id":"0fd645aa-8e70-4a4f-b68b-766c4f337bf2", "name":"bash"}, "branch":{"id":"8925df5a-7a98-4f07-bc88-ee4ea5b43813", "name":"master"}}}

Changelog

2025-05-19T05:32:44Z

Ruseer: /* Release 11-0-0 */

=== Release 11-0-0 ===
май 2025

* Убраны излишние сообщения в логе сервера о login/logout операциях. Они будут выводиться только при запуске сервера с опцией <code>--debug</code>
* Команды CLI <code>svacer sarif *</code> были убраны, для [[Help:Sarif|импорта и экспорта]] следует использовать <code>svacer sarif2 *</code>
* Экспорт SARIF теперь включает все комментарии как отдельные объекты в <code>Properties</code>
* При экспорте в SARIF теперь экспортируются поля <code>Labels, Orig function</code>
* Импорт SARIF теперь корректным образом учитывает relatedLocations и формирует трассу
* Импорт SARIF теперь автоматически импортирует исходники, если они включены в сам SARIF файл
* Добавлена возможность указания [[Help:Sarif#Мэппинг severity|мэппинга severity]] детекторов при импорте из SARIF
* Добавлен механизм указания правил резолвинга путей при импортировании исходного кода вместе с SARIF файлом
* Экспорт исходников из снимка будет доступен только при наличии исходников на сервере
* Добавлен [[Help:Match#Классический режим генерации инвариантов|режим работы]] сервера где генерация инвариантов для переноса разметки соответствует режиму Svacer <=8.x.x. Режим включается через опции <code>--classic-inv-mode</code> или переменную окружения <code>SVACER_CLASSIC_INV_MODE=true|false</code>
* Добавлены флаги <code>--autoclean</code>, <code>--autoclean-svace</code> в команду <code>svacer import</code> для автоматического удаления <code>.svace-dir / .svacer-dir</code> после успешного импорта и загрузки данных на сервер
* Улучшена поддержка [[OIDC]]
* Улучшена поддержка [[LDAP configuration|LDAP]]
* Добавлена интеграция с хранилищем секретов [[Infisical]]
* Добавлена [[Notifications|служба нотификаций]] пользователей через почтовые сообщения и мессенджер telegram
* Добавлен механизм аутентификации и [[Help:UI manual#Управление токенами доступа|управления]] персональными токенами доступа
* Добавлен механизм упоминания пользователей через специальную конструкцию @login в комментариях к разметке
* В разделе Статистика добавлен дашборд с [[Release notes 11-0-0#Изменения в разделе Статистика|Общей статистикой]], содержащей метрики по последним импортированным снимкам в ветках проектов
* В статистике по активности пользователей добавлена возможность просмотра панели с актуальной информацией о маркере и опция показа только действий с актуальной разметкой
* Большинство CLI команд, работающих с сервером, теперь делают явный logout после завершения.
* Svacer при импорте результатов Svace автоматически импортирует файлы <code>*.warn, *.err</code>с предупреждениями от самого анализатора Svace. Автоматический импорт не будет происходить при размере этих файлов более 30Мб (большой размер может свидетельствовать о проблемах в ходе анализа)
* Переменная окружения <code>SVACER_CACHE_DIR</code> теперь учитывается во всех местах (ранее в ряде случаев мог неявно использоваться <code>$HOME/.cache</code>)

=== Release 10-0-1 ===
17.02.2025

* Исправлена ошибка с временной таблицей при обработке планов автомиграции разметки при импорте результатов (ERROR: relation "loaded_review" already exists)

=== Release 10-0-0 ===
16.01.2025

* Множество изменений в UI, смотрите [[Release notes 10-0-0]]
* Сделали [[Help:Installation#rpm|dnf/yum репозиторий]] для RPM-пакетов Svacer
* Реализована возможность [[Markup2|экспорта, импорта и копирования разметки посредством Public REST API и CLI]]
* Реализован дополнительный экспериментальный механизм [[Help:UI manual#Настройка интерфейса|генерации PDF на основе HTML]]. Генерация PDF переведена на асинхронный режим с показом нотификации пользователю
* Добавлена возможность очистки всей разметки и/или комментариев на ветке проекта
* Улучшения функциональности просмотра маркеров в встроенном IDE Theia
* Добавлена функциональность по [[Help:UI manual#Глобальный поиск|глобальному поиску]] маркеров, комментариев и снимков по различным атрибутам
* Добавлена возможность [[Help:UI manual#Просмотр статистики|получения статистики]] по маркерам и активностям пользователей при разметке
* В API fullmarkers добавлен параметр <code>labels: true/false</code> для выгрузки меток маркера
* Реализован Public API для получения/добавления/удаления меток маркеров
* Настройки LDAP и прочие настройки аутентификации добавлены в единый конфигурационный файл
* Добавлена возможность удаления кода из снимка при частичном импорте в Svacer
* Добавлена опция minVersion, maxVersion для TLS при запуске сервера Svacer
* Добавлена поддержка групп проектов при импорте снимков в CLI
* При импорте снимков реализована поддержка автоматического определения пути префикса для переноса разметки
* Исправлен ряд ошибок в импорте и генерации [[Help:Sarif|SARIF]]
* Исправлены ошибки в копировании разметки между ветками, клонировании проектов и веток
* Добавлена возможность отключения бэкграунд задач по очистке мусора
* Добавлено экспериментальное CLI API для просмотра асинхронных задач на генерацию PDF
* Добавлена возможность визуализации производительности сервера на основе [https://github.com/arl/statsviz statsviz]
* Добавлена поддержка относительных путей в svres файле
* Добавлена возможность ожидания завершения операций по очистки мусора при выполнении операций по импорту результатов анализа
* Добавлена поддержка CWE таксономий при экспорте [[Help:Sarif|SARIF]]
* Добавлена переменная окружения SVACER_TOKEN_LIFETIME для управления временем жизни токена аутентификации
* Добавлена переменная окружения SVACER_RESET_ADMIN_PASSWORD для явного указания желаемого пароля при операции по сбросу пароля администратора
* Добавлен [[Notifications|механизм нотификаций пользователей]] о внутренних событиях Svacer (экспериментальный функционал)

=== Release 9-0-2 ===
22.07.2024

* Еще некоторые исправления, связанные с миграцией данных
* Исправлена проблема с навигацией по Go to Definition

=== Release 9-0-1 ===
15.07.2024

* Исправлены ошибки в клонировании проектов, приводящие к размножению записей в некоторых внутренних таблицах
* Различные исправления, связанные с миграцией данных
* Исправлена работа ряда CLI команд с включенным TLS на сервере
* Исправлен ряд ошибок в генерации PDF

=== Release 9-0-0 ===
04.06.2024

* Множество изменений в UI, смотрите [[Release notes 9-0-0]]
* Svacer разделен на два исполняемых файла: <code>svacer-server</code> — сервер и <code>svacer</code> — клиент
* {{Note}}Object store заменен на другую реализацию. Конвертация данных запускается автоматически при апгрейде и требует примерно 2х-2.2х дискового пространства, после конвертации старый object store будет удален. Время конвертации зависит от объема данных и скорости диска
* {{Note}}Изменен [[Help:Match|алгоритм сопоставления предупреждений]]. При старте сервера будет произведена регенерация всех инвариантов во всех ветках. Это может занять продолжительное время (зависит от мощности сервера и объемов данных)
* Добавлена возможность [[Help:Match#Ручное сопоставление предупреждений (экспериментальная возможность)|ручного сопоставления предупреждений]] для переноса разметки
* Добавлена экспериментальная поддержка [[OIDC|OpenID]] протокола для аутентификации
* Добавлена экспериментальная возможность [[Help:CLI#Слияние снимков из CLI (экспериментальная опция)|слияния снимков через CLI]]
* Исправлены баги в [[Help:Sarif|импорте Sarif]], добавлена поддержка импорта с относительными путями к файлам (флаг <code>--base-dir</code>)
* Лог сервера работает в режиме append, прежние данные не затираются
* Добавлена возможность передачи токена аутентификации в клиент Svacer через переменную окружения <code>SVACER_AUTH_TOKEN=token</code>
* Добавлена возможность передачи логина и пароля в клиент Svacer через переменную окружения <code>SVACER_AUTH_CREDS=login:password</code>
* Добавлен public REST endpoint для импорта <code>.svace-dir</code> на стороне сервера
* Добавлена возможность импорта <code>.svace-dir</code> из веб-интерфейса
* Добавлены [[Metrics|метрики]] для Prometheus, доступны при запуске сервера с переменной окружения <code>SVACER_TRACE_OPTIONS=prom_metrics_on</code> на <code>/api/metrics</code>
* Добавлена очистка БД от мусора с возможностью настройки периодичности данной операции через переменную окружения <code>SVACER_GC_PERIOD=val</code> где val — duration в формате <code>hhmmss</code> или [https://en.wikipedia.org/wiki/Cron Cron]
* Добавлена возможность клонирования проектов
* Добавлен импорт <code>*warn, *.err</code> файлов из <code>.svace-dir</code>, которые содержат диагностические сообщения от Svace
* Добавлена возможность [[Help:CLI#Ограничение числа запросов|ограничения числа запросов]] на сервер с указанием параметров в переменной окружения <code>SVACER_SERVER_THROTTLE_PARAMS</code>
* Добавлен шаблон для импорта разметки из кода на Go: <code>DEFAULT_GO</code>
* Добавлена возможность [[Help:CLI#Аутентификация из файла|аутентификации из файла]]
* Исправлены проблемы безопасности
* Добавлена возможность просмотра исходного кода снимка с предупреждениями анализатора во внешней IDE собранной на базе [https://theia-ide.org/ Theia IDE]
* К команде automigrate add в CLI добавлен флаг <code>skip-exist</code>, чтобы при добавлении паттерна, который уже существует, не выдавало ошибки
* К команде upload (import с флагом upload) с указанием флага <code>quality-gate</code> теперь можно добавить флаг <code>quality-gate-verbose</code>. Если его указать, то также будет выведен результат успешных проверок quality-gate
* Улучшения в поддержке протокола LDAP

=== Release 8-0-1 ===
22.01.2024

* Исправлена работа в изолированной от сети среде. Загрузка Web UI больше не требует доступа к публичным CDN
* Добавлена поддержка функций при указании пользовательского фильтра
* Добавлено API для управления пользовательскими фильтрами. Детали и пример использования можно найти здесь: https://gitlab.ispras.ru/svacer-public/api-go-examples/-/tree/master/api-ui-settings
* Исправлено отображение Checker Severity при экспорте в SARIF. Теперь Critical -> error; Major, Normal -> warning; Minor -> note; any other -> warning

=== Release 8-0-0 ===
21.11.2023

* Множество изменений в UI. Смотрите обзор в [[Release notes 8-0-0]]
* Добавлен новый импорт и экспорт из SARIF в command line с поддержкой исходного кода в SARIF файлах и импортом описания детекторов из SARIF
* Добавлены группы проектов
* Переделана модель ролей и доступов. Добавлен CLI для управления ролями и доступами
* Добавлена возможность настройки автопереноса разметки между ветками, в том числе в разных проектах
* Импорт/экспорт снимков включает информацию о детекторах
* Исправлена работа интерфейса с Undefined детекторами (т. е. детекторами, информация о которых отсутствует в Svacer)
* Добавлено экспериментальное API по управлению детекторами и конфигурациями детекторов
* Добавлена очистка исходного кода от Svacer-specific комментариев перед экспортом разметки в код
* Добавлена возможность включения режима обязательного комментария при разметке кода. Комментарий будет сгруппирован с операцией разметки и будет иметь ссылку на нее
* Утилита миграции со старого svace-сервера больше не поддерживается. При необходимости миграции используйте утилиту из прошлых релизов Svacer
* Добавлена Swagger документация на API
* Добавлено хранение истории изменений комментариев
* Опция <code>--pathPrefix</code> поддерживает файлы в JSON формате вида: <code>[{ "prefix": "/some/path", "replace": "/test" }, ...]</code>
* При использовании операции по обновлению <code>pathPrefix</code> на сервере, данные о прежнем <code>pathPrefix</code> запоминаются в мета-информации о снимке
* Добавлена возможность переименования снимков в UI
* Sensitive информация (детали подключения к БД с данными аутентификации) убрана из UI и API
* ОС в docker-образе Svacer обновлена с Ubuntu 18 до Ubuntu 22
* Улучшена логика автоопределения портов и протоколов при соединении с сервером из Svacer CLI

=== Release 7-0-1 ===
23.05.2023

* Исправлена проблема с фильтрацией предупреждений для C# проектов

=== Release 7-0-0 ===
16.05.2023

* Убрана зависимость от PostgreSQL из .deb и .rpm пакетов, чтобы проще было ставить Svacer только как клиент
* Сделан пакет для Windows (.msi) и документация по установке и запуску на Windows
* Теперь, если при svacer import и svacer sarif не указан путь к проекту, им считается текущая директория
* Информация о разметке и блокировках теперь обновляется автоматически при изменении в другом браузере (табе) или другим пользователем
* UI для пользовательских фильтров улучшен и перенесен в правую верхнюю часть экрана
* UI для выбора проекта, ветки и снимка теперь находится на одном уровне
* Улучшен UI для режима сравнения снимков
* Добавлена возможность работать одновременно с несколькими открытыми файлами в режиме Code, это поведение можно изменить в настройках профиля пользователя
* В левой навигационной панели детекторы теперь по умолчанию группируются по серьезности, это поведение можно изменить в настройках профиля пользователя
* Профиль текущего пользователя теперь можно смотреть/редактировать только через меню в правом верхнем углу
* Добавлена возможность копирования в системном логе и журнале
* Для пользователя теперь запоминается последний контекст (проект/ветка/снимок), с которым он работал, он автоматически открывается при старте новой сессии
* Групповая разметка теперь делается единой транзакцией, в случае ошибок или отмены все изменения откатываются
* Добавлено предупреждение при использовании некорректных путей при использовании REST API с префиксом /api
* Поддержка указания паролей из файла или pipe-а при использование Svacer CLI
* Добавлена поддержка multi-tab code view для режима просмотра кода объекта сборки
* Добавлена поддержка сохранения информации об удаленных детекторах при загрузке информации о детекторах из новой версии Svace
* Исправлен импорт результатов анализа, если сборка проводилась с опцией --disable-dxr
* Исправлены проблемы при импорте и прикреплении нескольких файлов к снимку
* Исправлены ошибки с входом в систему пользователей LDAP (специальные символы в пароле, вход по атрибуту mail)
* Добавлена возможность использования резервных серверов LDAP
* Добавлена возможность автоматического назначения пользователям LDAP роли Svacer, в зависимости от принадлежности пользователя к LDAP группе
* Добавлены новые public запросы на получение маркеров/снимков/проектов с учетом заданных параметров фильтрации
* Добавлена поддержка TLS при работе сервера по протоколам HTTP и gRPC
* Добавлена возможность загрузки статистики по общему количеству предупреждений и по количеству размеченных предупреждений для проектов и веток через REST API
* Добавлена вкладка выбора проектов в расширении VSCode
* Убрана возможность использовать всплывающее окно в VScode для добавления/редактирования/удаления комментариев, установки ревью-статусов, локов и т.д.

=== Release 6-0-3 ===
25.01.2023

* RPM-пакет теперь при сборке упаковывается в gzip вместо zstd для обратной совместимости со старыми дистрибутивами
* Если short url некорректен, то Svacer теперь будет возвращать корректный http error NotFound
* Если путь к лог файлу явно не указан, то svacer.log будет создаваться во временной директории. Это решает проблемы при запуске Svacer из директорий с запретом на запись. Путь к лог файлу будет печататься в stdout
* Лог файлы не будут создаваться, когда используется опция --help
* Исправлены проблемы при миграции схемы данных, когда в PostgreSQL используется SSL подключение
* Добавлены описания детекторов из последнего релиза Svace, которые были пропущены в релизе 6-0-2
* Исправлена работа Svacer за proxy-сервером, где выставляется Header "X-Content-Type-Options nosniff"
* Добавлены кнопки для скачивания системного лога и журнала из web-интерфейса
* Поправлен ряд ошибок валидации схемы при экспорте в SARIF
* Исправлено поведение при наличии нескольких хуков в конфигурационном файле
* В информацию о маркере для хуков добавлены checker severity и reliability
* Исправлен случайный порядок URL для маркеров при использовании public API для получения URL-ов
* На главную страницу добавлена кнопка "Помощь", которая открывает документацию
* При использовании команд навигации в режиме "Browse code" текущий файл теперь корректно подсвечивается в дереве файлов
* В диалоге групповой разметки убран индикатор изменений в виде кружочка, наличие изменений можно определить по активности кнопок "Apply" и "Reset"
* Кнопка обновления в верхнем меню теперь корректно обновляет информацию на странице Settings/Project
* Различные небольшие исправления в пользовательском интерфейсе

=== Release 6-0-2 ===
16.12.2022

* Исправлена проблема в UI с сохраненными пользовательскими фильтрами

=== Release 6-0-1 ===
13.12.2022

* Добавлено описание ряда детекторов, которые есть в последнем релизе Svace 3.3.2 но были пропущены в Svacer
* Исправлено вылетание в Login Screen при удалении нотификации из панели нотификаций
* Исправлено появление белого экрана при клике на детектор, информация о котором отсутствует
* Ряд различных небольших исправлений в UI
* Промежуточное хранилище будет очищаться по умолчанию при использовании команды import

=== Release 6-0-0 ===
30.11.2022

* Добавлено копирование комментариев при копировании разметки
* Комментарии добавлены к отчету в формате csv
* Добавлена возможность вводить пароль с клавиатуры для консольных команд
* Добавлена возможность импортировать разметку из объекта сборки (из ранее загруженных данных)
* Добавлена возможность импортировать разметку сразу после загрузки на сервер (опция для команды svacer upload)
* Добавлена возможность загружать исходный код не из папки .svace-dir
* Добавлена возможность бэкапа и восстановление объектного хранилища в сервер PostgresSQL
* Добавлена возможность создания отчета по проекту в формате PDF через интерфейс командной строки и посредством REST API
* Добавлена возможность подавления предупреждений через inline комментарии в коде
* Добавлена возможность подавления предупреждений по идентификатору предупреждения через command line и REST API
* Добавлена возможность ассоциировать организацию с пользователем и реестр организаций
* Добавлена фильтрация списка комментариев по пользователю в правой панели веб-интерфейса
* Добавлен поиск пользователей по его атрибутам в панели управления пользователями
* Добавлена возможность заполнения данных профиля LDAP пользователя данными, полученными от LDAP сервера
* Добавлена возможность прикреплять файлы к снимкам при импорте результатов (данные файлы составляют часть экспортируемых данных при экспорте снимков)
* Добавлена возможность ассоциировать пользовательские атрибуты типа "строка" или массив строк со снимком при импорте данных (данные атрибуты составляют часть экспортируемых данных при экспорте снимков)
* Добавлены command line операции по получению прикрепленных файлов и пользовательских атрибутов со снимков
* Добавлена возможность группового добавления комментариев
* Добавлена возможность указания сетевого интерфейса для работы WEB и GRPC серверов
* Добавлен вывод краткой статистики по загруженному снимку при команде upload. Поддерживается текстовой и JSON форматы вывода
* Существенно расширены возможности по интеграции Visual Studio Code с сервером Svacer
* Добавлен флаг --git в команду import. При наличии такого флага, ищется ближайший git репозиторий содержащий .svace-dir и при наличии такого - используется путь к гит репозиторию для замены путей на префикс .build.
* Portable PostgreSQL больше не входит в поставку. Вместо него поставляется docker-compose.yml файл для запуска PostgreSQL в докер-контейнере
* Добавлено больше данных и информации об ошибках в вывод команды svacer import
* Изменение Public API: добавлена точка входа /api/public/login
* Операции по импорту и экспорту снимков доступны теперь обычным пользователям (не администраторам) при использовании command line интерфейса
* Операция по экспорту снимков доступна обычному пользователю из веб-интерфейса (импорт все еще требует роль администратора для веб-интерфейса)
* Операции по экспорту снимков переведены на асинхронный режим. Нотификация о готовности будет показана пользователю и доступна в панели нотификаций
* Обновлено описание детекторов в соответствии с релизом Svace 3.3.2
* Исправлена ошибка обработки корневых сертификатов при подключении к LDAP серверу по протоколу ldaps
* Исправлено ошибочное создание дубликатов локальных учетных записей LDAP пользователей (case sensitive login)
* Различные исправления в пользовательском интерфейсе с целью оптимизации производительности
* Добавлены пропущенные проверки ролей при работе с веб-интерфейсом
* Svacer больше не создает временные файлы в директории с исполняемым файлом
* Устаранены задержки при удалении веток и проектов