Edit markers (command line) - Revision history

Akuzmin: move experimental note to the message box

2025-12-03T12:57:09Z

move experimental note to the message box

← Older revision		Revision as of 15:57, 3 December 2025
Line 1:		Line 1:
	== Обзор ~~[ВНИМАНИЕ: экспериментальная функциональность]~~ ==		{{Note\|type=warn\|text=Экспериментальная функциональность}}
			== Обзор ==
	Функциональность '''edit-markers''' позволяет автоматически обрабатывать маркеры при импорте данных с помощью правил, заданных в JSON-файле. Поддерживаются три типа операций:		Функциональность '''edit-markers''' позволяет автоматически обрабатывать маркеры при импорте данных с помощью правил, заданных в JSON-файле. Поддерживаются три типа операций:

Ruseer: Added experimental tag

2025-11-25T06:46:29Z

Added experimental tag

← Older revision		Revision as of 09:46, 25 November 2025
Line 1:		Line 1:
	== Обзор ==		== Обзор [ВНИМАНИЕ: экспериментальная функциональность] ==
	Функциональность '''edit-markers''' позволяет автоматически обрабатывать маркеры при импорте данных с помощью правил, заданных в JSON-файле. Поддерживаются три типа операций:		Функциональность '''edit-markers''' позволяет автоматически обрабатывать маркеры при импорте данных с помощью правил, заданных в JSON-файле. Поддерживаются три типа операций:

Gribunin: edit-markers change descriptions to more correct description

2025-11-19T09:05:36Z

edit-markers change descriptions to more correct description

← Older revision		Revision as of 12:05, 19 November 2025
Line 4:		Line 4:
	* '''skip''' — пропуск (удаление) маркеров, соответствующих условию		* '''skip''' — пропуск (удаление) маркеров, соответствующих условию
	* '''change''' — изменение полей маркеров		* '''change''' — изменение полей маркеров
	* '''deduplicate''' — объединение дублирующихся маркеров. У маркеров, подходящих под правило, ~~объединяется трасса~~ и остается только один (~~случайный~~) ~~маркер с объединенной трассой, остальные~~ маркеры удаляются.		* '''deduplicate''' — объединение дублирующихся маркеров. У маркеров, подходящих под правило, объединяются уникальные трассы и остается только один маркер с наименьшим порядковым номером предупреждения (local_id) в файле результатов анализа. Остальные маркеры удаляются.
	Все операции происходят на стороне клиента до загрузки данных на сервер. При импорте результатов Svace, а также sarif (без указания флага --upload) изменяется .svacer-dir. Директория .svace-dir остается неизменной. Снимок остается неизменным при импорте.		Все операции происходят на стороне клиента до загрузки данных на сервер. При импорте результатов Svace, а также sarif (без указания флага --upload) изменяется .svacer-dir. Директория .svace-dir остается неизменной. Снимок остается неизменным при импорте.

Line 112:		Line 112:

	== Примеры ==		== Примеры ==
	~~Все примеры~~ используют снимок [https://svacer.ispras.ru/mediawiki/images/6/66/Bash.zip bash]. Детекторы в данном снимке выглядят так:		Часть примеров используют снимок [https://svacer.ispras.ru/mediawiki/images/6/66/Bash.zip bash]. Детекторы в данном снимке выглядят так:
	[[File:Edit-markers-1.png\|center\|thumb\|967x967px]]		[[File:Edit-markers-1.png\|center\|thumb\|967x967px]]

Line 150:		Line 150:

	=== Удаление дубликатов ===		=== Удаление дубликатов ===
	Если необходимо объединить несколько детекторов в один по одинаковым полям, то возможно сделать следующее действие (в качестве полей rules можно указать 8 возможных значений, см. описание deduplicate):		Если необходимо объединить несколько детекторов в один по одинаковым полям, то возможно сделать следующее действие (в качестве полей rules можно указать 8 возможных значений, см. описание deduplicate).
			Например, в снимке содержится множество одинаковых детекторов в одном файле на одной строке.
			[[File:Edit-markers-dedup.png\|center\|thumb\|933x933px]]
			Применив следующее правило все маркеры, которые находятся в одном файле, с одним детектором и на одной строке объединятся в один: выберется один с наименьшим порядковым номером предупреждения в файле результатов анализа (local_id) и у него будет объединенные уникальные трассы всех остальных маркеров.
	[		[
	{		{
	"action": "deduplicate",		"action": "deduplicate",
	"rules": "file,warnclass"		"rules": "file,warnclass,line"
	}		}
	]		]
	Тогда все маркеры, которые находятся в одном файле и с одним warnclass объединятся в один: случайным образом выберется один из них и у него будет объединенный trace всех остальных маркеров.		[[File:Edit-markers-dedup2.png\|center\|thumb\|948x948px]]
	[[File:Edit-markers-4.png\|center\|thumb\|~~961x961px~~]]		В данном примере у всех маркеров <code>UNUSED_FIELD</code> на строке 11 в файле <code>AddInstruction.cs</code> была трасса состоящая из трёх ролей: detected, info, Current function name. Роль detected полностью совпадала во всех маркерах, она была включена один раз, а все остальные роли добавились в объединенный маркер. Оставшиеся дублирующие маркеры были удалены.
	~~Для данного примера видно, что все маркеры из файла~~ <code>/.~~build/alias.c~~</code> ~~объединились в~~ один ~~(так как у них был один warnclass) и его trace содержит~~ все ~~записи других маркеров~~. ~~Аналогично произошло и с остальными маркерами, которые находились в одном файле и имели одинаковые warnclass~~.

	=== Комплексный пример ===		=== Комплексный пример ===

Gribunin: edit-markers change descriptions to more correct description

2025-11-18T18:13:38Z

edit-markers change descriptions to more correct description

← Older revision		Revision as of 21:13, 18 November 2025
Line 218:		Line 218:

	=== Работа с регулярными выражениями ===		=== Работа с регулярными выражениями ===
	~~Фильтрация по сложным паттернам путей.~~ В данном ~~случае~~ будут пропущены маркеры, ~~которые~~ НЕ ~~находятся~~ в <code>/.~~build/builtins~~</code>, ~~а также у них расширение не~~ <code>c, cpp, h, hpp</code> ~~(то есть оставляем только те маркеры~~, ~~которые находятся~~ в ~~папке~~ <code>/.build/builtins</code> ~~с расширением <code>c, cpp, h, hpp</code>)~~. В данном случае мы дважды экранируем: сначала слэш, а потом точку.		В данном примере будут пропущены маркеры, путь к файлу которых НЕ соответствует регулярному выражению. В результате в снимке останутся только маркеры из файлов с расширениями <code>.c</code>, <code>.cpp</code>, <code>.h</code> или <code>.hpp</code>, находящихся в директории <code>/.build/builtins</code>. В данном случае мы дважды экранируем: сначала слэш, а потом точку.
	[		[
	{		{
Line 242:		Line 242:
	# '''Логирование''' — результат применения правил выводится в лог (количество обработанных и удаленных маркеров)		# '''Логирование''' — результат применения правил выводится в лог (количество обработанных и удаленных маркеров)
	# '''Поле line в change''' — должно быть строкой с неотрицательным числом		# '''Поле line в change''' — должно быть строкой с неотрицательным числом
	# '''Поле warnclass в change''' — может принимать только русские~~, английский~~ буквы, цифры, а также специальные символы, которые находятся на цифровой панели клавиатуры (и печатаются через Shift)		# '''Поле warnclass в change''' — может принимать только русские и английские буквы, цифры, а также специальные символы, которые находятся на цифровой панели клавиатуры (и печатаются через Shift)

Akuzmin: minor fixes

2025-11-18T13:18:03Z

minor fixes

← Older revision		Revision as of 16:18, 18 November 2025
Line 12:		Line 12:

	=== Импорт результатов Svace ===		=== Импорт результатов Svace ===
	<code>svacer import --edit-markers <файл_правил.json> [другие опции]</code>		<code>svacer import --edit-markers <файл_правил.json> [другие опции]</code>

	Применяет правила редактирования к маркерам при импорте результатов анализа Svace.		Применяет правила редактирования к маркерам при импорте результатов анализа Svace.
Line 45:		Line 45:
	...		...
	{		{
	"action": "skip",		"action": "skip",
	"rules": "file == 'test.cpp' and line > 100"		"rules": "file == 'test.cpp' and line > 100"
	}		}
	...		...
Line 54:		Line 54:
	...		...
	{		{
	~~<nowiki> </nowiki>~~"action": "change",		"action": "change",
	~~<nowiki> </nowiki>~~"rules": "warnclass == 'UNREACHABLE_CODE'",		"rules": "warnclass == 'UNREACHABLE_CODE'",
	~~<nowiki> </nowiki>~~"change": {		"change": {
	~~<nowiki> </nowiki>~~ "warnclass": "IGNORED",		"warnclass": "IGNORED",
	~~<nowiki> </nowiki>~~ "msg": "Код помечен как недостижимый"		"msg": "Код помечен как недостижимый"
	~~<nowiki> </nowiki>~~}		}
	}		}
	...		...
Line 147:		Line 147:
	Указанные маркеры изменили свой детектор и описание.		Указанные маркеры изменили свой детектор и описание.

	~~'''~~Серьезность, Надежность и CWE привязаны к названию warnclass (детектора), поэтому, если указать''' '''несуществующий warnclass, то данные поля пропадут.~~'''~~		{{Note\|text=Серьезность, Надежность и CWE привязаны к названию warnclass (детектора), поэтому, если указать''' '''несуществующий warnclass, то данные поля пропадут.}}

	=== Удаление дубликатов ===		=== Удаление дубликатов ===
Line 157:		Line 157:
	}		}
	]		]
	Тогда все маркеры, которые находятся в одном файле и с одним warnclass объединятся в один (случайным образом выберется один) и у него будет объединенный trace всех ~~остальным~~ маркеров.		Тогда все маркеры, которые находятся в одном файле и с одним warnclass объединятся в один: случайным образом выберется один из них и у него будет объединенный trace всех остальных маркеров.
	[[File:Edit-markers-4.png\|center\|thumb\|961x961px]]		[[File:Edit-markers-4.png\|center\|thumb\|961x961px]]
	Для данного примера видно, что все маркеры из файла <code>/.build/alias.c</code> объединились в один (так как у них был один warnclass) и их trace содержит все записи других маркеров. Аналогично произошло и с остальными маркерами, которые находились в одном файле и имели одинаковые warnclass.		Для данного примера видно, что все маркеры из файла <code>/.build/alias.c</code> объединились в один (так как у них был один warnclass) и его trace содержит все записи других маркеров. Аналогично произошло и с остальными маркерами, которые находились в одном файле и имели одинаковые warnclass.

	=== Комплексный пример ===		=== Комплексный пример ===
Line 177:		Line 177:
	}		}
	]		]
	При сравнении с исходным снимком можно заметить, что 91 предупреждение, у которых инструмент был <code>CSA</code> удалены из измененного снимка.		При сравнении с исходным снимком можно заметить, что 91 предупреждение, у которых инструмент был <code>CSA</code>, удалены из измененного снимка.
	[[File:Edit-markers-5.png\|center\|thumb\|979x979px]]		[[File:Edit-markers-5.png\|center\|thumb\|979x979px]]
	Также были изменены маркеры, в соответствии с правилами.		Также были изменены маркеры, в соответствии с правилами.
Line 232:		Line 232:
	=== Сохранение отредактированного снимка ===		=== Сохранение отредактированного снимка ===
	При импорте снимка можно сохранить результат применения правил:		При импорте снимка можно сохранить результат применения правил:
	svacer server import --edit-markers rules.json --save-edited-snapshot result.snap ...		svacer server import --edit-markers rules.json --save-edited-snapshot result.snap ...
	Обязательно должно быть расширение <code>.snap</code> для сохранения.		Обязательно должно быть расширение <code>.snap</code> для сохранения.

Gribunin: add info edit-markers version snapshot

2025-11-17T16:37:26Z

add info edit-markers version snapshot

← Older revision		Revision as of 19:37, 17 November 2025
Line 5:		Line 5:
	* '''change''' — изменение полей маркеров		* '''change''' — изменение полей маркеров
	* '''deduplicate''' — объединение дублирующихся маркеров. У маркеров, подходящих под правило, объединяется трасса и остается только один (случайный) маркер с объединенной трассой, остальные маркеры удаляются.		* '''deduplicate''' — объединение дублирующихся маркеров. У маркеров, подходящих под правило, объединяется трасса и остается только один (случайный) маркер с объединенной трассой, остальные маркеры удаляются.
	Все операции происходят на стороне клиента до загрузки данных на сервер. При импорте результатов Svace, а также sarif (без указания флага --upload) изменяется .svacer-dir. Директория .svace-dir остается неизменной. Снимок остается неизменным при импорте.		Все операции происходят на стороне клиента до загрузки данных на сервер. При импорте результатов Svace, а также sarif (без указания флага --upload) изменяется .svacer-dir. Директория .svace-dir остается неизменной. Снимок остается неизменным при импорте.

			Данный функционал работает со снимками, созданными Svacer версии 7-0-0 и новее. Если у вас более старый снимок, то импортируйте и экспортируйте его для возможности работы с edit-markers.

	== Использование ==		== Использование ==

Gribunin: /* Примеры */

2025-11-17T15:44:34Z

Примеры

← Older revision		Revision as of 18:44, 17 November 2025
Line 126:		Line 126:

	<code>[ { "action": "skip", "rules": "icontains(file, '/.build/lib')" } ]</code>		<code>[ { "action": "skip", "rules": "icontains(file, '/.build/lib')" } ]</code>

			Также после применения edit-markers в информации о снимке указывается, какие правила были применены
			[[File:Edit-marker.png\|center\|thumb\|971x971px]]

	=== Изменение класса предупреждений ===		=== Изменение класса предупреждений ===

Gribunin: /* Примеры */

2025-11-17T15:42:04Z

Примеры

← Older revision		Revision as of 18:42, 17 November 2025
Line 110:		Line 110:

	== Примеры ==		== Примеры ==
	Все примеры используют снимок [~~./Https~~://svacer.ispras.ru/mediawiki/images/6/66/Bash.zip bash]. Детекторы в данном снимке выглядят так:		Все примеры используют снимок [https://svacer.ispras.ru/mediawiki/images/6/66/Bash.zip bash]. Детекторы в данном снимке выглядят так:
	[[File:Edit-markers-1.png\|center\|thumb\|967x967px]]		[[File:Edit-markers-1.png\|center\|thumb\|967x967px]]

Gribunin: /* Примеры */

2025-11-17T15:40:36Z

Примеры

← Older revision		Revision as of 18:40, 17 November 2025
Line 110:		Line 110:

	== Примеры ==		== Примеры ==
	Все примеры используют снимок bash. Детекторы в данном снимке выглядят так:		Все примеры используют снимок [./Https://svacer.ispras.ru/mediawiki/images/6/66/Bash.zip bash]. Детекторы в данном снимке выглядят так:
	[[File:Edit-markers-1.png\|center\|thumb\|967x967px]]		[[File:Edit-markers-1.png\|center\|thumb\|967x967px]]

Gribunin: /* Работа с регулярными выражениями */

2025-11-17T15:37:56Z

Работа с регулярными выражениями

← Older revision		Revision as of 18:37, 17 November 2025
Line 213:		Line 213:

	=== Работа с регулярными выражениями ===		=== Работа с регулярными выражениями ===
	Фильтрация по сложным паттернам путей. В данном случае будут пропущены маркеры, которые НЕ находятся в <code>/.build/builtins</code>, а также у них расширение не <code>c, cpp, h, hpp</code> (то есть оставляем только те маркеры, которые находятся в папке <code>/.build/builtins</code> с расширением <code>c, cpp, h, hpp</code>. В данном случае мы дважды экранируем: сначала слэш, а потом точку.		Фильтрация по сложным паттернам путей. В данном случае будут пропущены маркеры, которые НЕ находятся в <code>/.build/builtins</code>, а также у них расширение не <code>c, cpp, h, hpp</code> (то есть оставляем только те маркеры, которые находятся в папке <code>/.build/builtins</code> с расширением <code>c, cpp, h, hpp</code>). В данном случае мы дважды экранируем: сначала слэш, а потом точку.
	[		[
	{		{