Help:XSvacer:Webide: Difference between revisions
(review and fixes) |
M.vinogradov (talk | contribs) mNo edit summary |
||
(4 intermediate revisions by 2 users not shown) | |||
Line 1: | Line 1: | ||
{{Note|text=Данная функциональность входит в набор расширений XSvacer}} | |||
= Поддержка среды разработки Theia IDE = | = Поддержка среды разработки Theia IDE = | ||
Данная функциональность даёт возможность просматривать исходный код снимка с предупреждениями анализатора во внешней IDE. | Данная функциональность даёт возможность просматривать исходный код снимка с предупреждениями анализатора во внешней IDE. | ||
Line 26: | Line 26: | ||
# Перезапустить Svacer с флагом <code style="white-space: pre;">--xsvacer.features webide</code> | # Перезапустить Svacer с флагом <code style="white-space: pre;">--xsvacer.features webide</code> | ||
# ''Опционально.'' Для ускорения первого запуска IDE: | # ''Опционально.'' Для ускорения первого запуска IDE: | ||
## Скачать [https:// | ## Скачать [https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar архив с docker-образом] | ||
## Загрузить docker-образ из архива на docker-хост: <code style="white-space: pre;">docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar</code> | ## Загрузить docker-образ из архива на docker-хост: <code style="white-space: pre;">docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar</code> | ||
После этого у пользователей с указанными правами должна появиться кнопка "Открыть в IDE" на панели с информацией о снимке. | После этого у пользователей с указанными правами должна появиться кнопка "Открыть в IDE" на панели с информацией о снимке. | ||
{{Note}} IDE с исходным кодом снимков будут запускаться в новых вкладках браузера. Обычно все браузеры блокируют автоматическое открытие вкладки и показывают соответствующее предупреждение. | |||
Например, в Firefox: | Например, в Firefox: | ||
Line 86: | Line 86: | ||
При возникновении ошибки на одном из этапов запуска IDE артефакты, созданные на предыдущих этапах, останутся в системе. В дальнейшем они могут быть использованы при повторном запуске IDE, если причина возникновения ошибки была устранена. | При возникновении ошибки на одном из этапов запуска IDE артефакты, созданные на предыдущих этапах, останутся в системе. В дальнейшем они могут быть использованы при повторном запуске IDE, если причина возникновения ошибки была устранена. | ||
Причиной возникновения ошибки "ide not ready" может стать высокая загруженность или недостаточная производительность docker-хоста, на котором запускается контейнер с IDE. В связи с этим процесс IDE внутри контейнера может запускаться дольше, чем указано в настойках <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck</code>. В этом случае рекомендуется попробовать повторно запустить IDE через короткий промежуток времени | {{Note|type=reminder|text=Причиной возникновения ошибки "ide not ready" может стать высокая загруженность или недостаточная производительность docker-хоста, на котором запускается контейнер с IDE. В связи с этим процесс IDE внутри контейнера может запускаться дольше, чем указано в настойках <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck</code>. В этом случае рекомендуется попробовать повторно запустить IDE через короткий промежуток времени}} | ||
Ещё одной причиной возникновения данной ошибки может стать сетевая недоступность docker-контейнера при подключении к удалённому docker-хосту. В таком случае рекомендуется проверить: | Ещё одной причиной возникновения данной ошибки может стать сетевая недоступность docker-контейнера при подключении к удалённому docker-хосту. В таком случае рекомендуется проверить: | ||
Line 108: | Line 108: | ||
Для запуска IDE в окне браузера нужно указать адрес | Для запуска IDE в окне браузера нужно указать адрес | ||
<code style="white-space: pre;"><nowiki>http[s]://svacer-host/xvacer/webide/snapshots/{snapshot_id}/{ide_id}/</nowiki></code> | :<code style="white-space: pre;"><nowiki>http[s]://svacer-host/xvacer/webide/snapshots/{snapshot_id}/{ide_id}/</nowiki></code> | ||
{{Note}} Завершающий слеш обязателен! | |||
=== Перезапуск IDE === | === Перезапуск IDE === | ||
Line 143: | Line 143: | ||
XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_CONTAINER_HOSTCONFIG_AUTOREMOVE=false | XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_CONTAINER_HOSTCONFIG_AUTOREMOVE=false | ||
{{Note|type=error|text=При использовании версии Svacer 9.0.0 установка <code>autoremove: false</code> вызывает ошибку запуска. Исправлено в версии [[Svacer#Релизы|9.0.1]].'''}} | |||
При корректной остановке (например SIGTERM) Svacer автоматически остановит все запущенные docker-контейнеры IDE. | При корректной остановке (например SIGTERM) Svacer автоматически остановит все запущенные docker-контейнеры IDE. | ||
Line 153: | Line 153: | ||
== REST API для работы с IDE == | == REST API для работы с IDE == | ||
{{Note|text=На этапе внедрения расширений XSvacer REST API может меняться. Следите за анонсами!}} | |||
После активации функциональности становятся доступны http-ресурсы для управления IDE: | После активации функциональности становятся доступны http-ресурсы для управления IDE: | ||
Line 278: | Line 278: | ||
== Конфигурация == | == Конфигурация == | ||
Управление настройками функциональности осуществляется с помощью конфигурационного yaml-файла <code | Управление настройками функциональности осуществляется с помощью конфигурационного yaml-файла <code>svacer.cfg</code> | ||
Раздел конфигурации для управления функциональностью | Раздел конфигурации для управления функциональностью — <code style="white-space: pre;">xsvacer/webide</code> | ||
Раздел содержит перечисление доступных конфигураций запуска экземпляров Theia IDE <code style="white-space: pre;">xsvacer/webide/theia</code>. При наличии нескольких активных конфигураций Theia IDE пользователь сможет выбрать какую из них использовать при запуске IDE с исходными файлами снимка. | Раздел содержит перечисление доступных конфигураций запуска экземпляров Theia IDE <code style="white-space: pre;">xsvacer/webide/theia</code>. При наличии нескольких активных конфигураций Theia IDE пользователь сможет выбрать какую из них использовать при запуске IDE с исходными файлами снимка. | ||
Line 292: | Line 292: | ||
... | ... | ||
Запуск IDE основывается на запуске docker-контейнеров, содержащих соответствующие сборки IDE. Поэтому необходимо также [[Help:XSvacer:Docker|настроить доступ к docker-хосту]] в разделе <code style="white-space: pre;">xsvacer/docker</code>, иначе функциональность WebIDE не сможет работать корректно. | |||
В случае отсутствия файла <code>svacer.cfg</code> или отсутствии раздела <code style="white-space: pre;">xsvacer/webide</code> будет использоваться [[Help:XSvacer:Webide#Конфигурация_по_умолчанию_используемая_в_svacer|конфигурация по умолчанию]]. | |||
=== Конфигурация запуска Theia IDE === | === Конфигурация запуска Theia IDE === | ||
{{Note|text=На этапе внедрения расширений XSvacer конфигурация функциональностей может меняться. Следите за анонсами!}} | |||
Конфигурации запуска Theia IDE добавляются в виде полей в разделе <code style="white-space: pre;">xsvacer/webide</code>. Название поля является идентификатором конфигурации запуска. Например, идентификатор по номеру используемой версии IDE: | Конфигурации запуска Theia IDE добавляются в виде полей в разделе <code style="white-space: pre;">xsvacer/webide</code>. Название поля является идентификатором конфигурации запуска. Например, идентификатор по номеру используемой версии IDE: | ||
xsvacer: | xsvacer: | ||
webide: | webide: | ||
Line 320: | Line 321: | ||
|bool | |bool | ||
|Конфигурация запуска неактивна. Неактивная конфигурация не доступна для запуска экземпляра IDE | |Конфигурация запуска неактивна. Неактивная конфигурация не доступна для запуска экземпляра IDE | ||
|true (переопределяется в конфигурации | |true (переопределяется в конфигурации default) | ||
|- | |- | ||
|order | |order | ||
Line 334: | Line 335: | ||
|sourcesroot | |sourcesroot | ||
|string | |string | ||
|Путь к папке, содержащей исходные коды снимков на машине со | |Путь к папке, содержащей исходные коды снимков на машине со Svacer | ||
|${USER_CACHE_DIR}/svacer-snapshot-sources | |${USER_CACHE_DIR}/svacer-snapshot-sources | ||
|- | |- | ||
|dockerhostsourcesroot | |dockerhostsourcesroot | ||
|string | |string | ||
|Путь к папке, содержащей исходные коды снимков на хосте docker | |Путь к папке, содержащей исходные коды снимков на хосте docker. Нужен при использовании удалённого docker-хоста, т. к. в таком случае папка с исходными кодами скорее всего будет доступна по адресу, отличающемуся от <code style="white-space: pre;">sourcesroot</code> | ||
| | | | ||
|- | |- | ||
|dockerhostpathseparator | |dockerhostpathseparator | ||
|string | |string | ||
|Разделитель пути на хосте docker | |Разделитель пути на хосте docker. По умолчанию <code style="white-space: pre;">"/"</code> | ||
| | | | ||
|- | |- | ||
Line 350: | Line 351: | ||
|golang template string | |golang template string | ||
|Шаблон названия sarif-файла с предупреждениями анализатора. В шаблон передаётся структура [[Help:XSvacer:Webide#Структуры_передаваемые_в_поля_с_golang-шаблонами_строк|sarifFileContext]] | |Шаблон названия sarif-файла с предупреждениями анализатора. В шаблон передаётся структура [[Help:XSvacer:Webide#Структуры_передаваемые_в_поля_с_golang-шаблонами_строк|sarifFileContext]] | ||
| | |<nowiki>"{{.Context.ProjectName}}.{{.Context.BranchName}}.sarif"</nowiki> | ||
|} | |} | ||
==== Параметры менеджера запуска IDE ==== | ==== Параметры менеджера запуска IDE ==== | ||
Конфигурация менеджера запуска IDE. На данный момент доступен только | Конфигурация менеджера запуска IDE. На данный момент доступен только стандартный менеджер (<code style="white-space: pre;">type: default</code>) | ||
{| class="wikitable" | {| class="wikitable" | ||
Line 393: | Line 394: | ||
|docker/hostid | |docker/hostid | ||
|string | |string | ||
|Идентификатор хоста docker | |Идентификатор хоста docker, описанного в <code style="white-space: pre;">xsvacer/docker/hosts</code>. Запуск docker-контейнера с IDE будет выполнен на этом хосте | ||
|default | |default | ||
|- | |- | ||
Line 399: | Line 400: | ||
|golang template string | |golang template string | ||
|Шаблон для формирования названия контейнера IDE для выбранного снимка. В шаблон передаётся структура [[Help:XSvacer:Webide#Структуры_передаваемые_в_поля_с_golang-шаблонами_строк|TheiaDockerContainerStartContext]] | |Шаблон для формирования названия контейнера IDE для выбранного снимка. В шаблон передаётся структура [[Help:XSvacer:Webide#Структуры_передаваемые_в_поля_с_golang-шаблонами_строк|TheiaDockerContainerStartContext]] | ||
|"theia-1-46- | |<nowiki>"theia-1-46-{{.StartArgs.SnapshotID}}"</nowiki> | ||
|- | |- | ||
|docker/containerconfiglabels | |docker/containerconfiglabels | ||
|[]map | |[]map | ||
|Список | |Список меток docker-контейнера. Дополняет список меток в <code style="white-space: pre;">docker/container/config/labels</code> | ||
| | | | ||
- "com.docker.compose.project": svacer | |||
|- | |- | ||
|docker/image/ | |docker/image/ | ||
Line 424: | Line 425: | ||
|docker/image/sourcetype | |docker/image/sourcetype | ||
|enum: repository/file | |enum: repository/file | ||
|Тип источника для загрузки образа в docker-хост | |Тип источника для загрузки образа в docker-хост | ||
* | * repository — будет вызван docker pull образа <code>{image/name}:{image/tag}</code> | ||
* | * file — будет вызван docker load с URL <code>image/sourcefileurl</code> | ||
|file | |file | ||
|- | |- | ||
|docker/image/sourcefileurl | |docker/image/sourcefileurl | ||
|url | |url | ||
| | |URL откуда будет загружен docker-образ если <code style="white-space: pre;">image/sourcetype == "file"</code> | ||
URL может содержать: | |||
* путь к локальному файлу: схема <code>file://</code> | |||
* http/https-адрес: схема <code>http://</code> или <code>https://</code> | |||
|https:// | |https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar | ||
|- | |- | ||
|docker/container/ | |docker/container/ | ||
Line 451: | Line 452: | ||
|Список переменных среды, которые будут установлены в контейнере | |Список переменных среды, которые будут установлены в контейнере | ||
| | | | ||
- THEIA_WEBVIEW_EXTERNAL_ENDPOINT=<nowiki>{{hostname}}</nowiki> | |||
|- | |- | ||
|docker/container/hostconfig/ | |docker/container/hostconfig/ | ||
Line 467: | Line 468: | ||
| | | | ||
| | | | ||
"3000/tcp": | |||
:- hostport: 0 | |||
|- | |- | ||
|docker/container/networkconfig/ | |docker/container/networkconfig/ | ||
Line 551: | Line 552: | ||
=== Конфигурация по умолчанию === | === Конфигурация по умолчанию === | ||
Данная настройка применяется по умолчанию для запуска Theia IDE, если в конфигурационном файле svacer.cfg отсутствует раздел <code style="white-space: pre;">xsvacer/webide</code> | Данная настройка применяется по умолчанию для запуска Theia IDE, если в конфигурационном файле svacer.cfg отсутствует раздел <code style="white-space: pre;">xsvacer/webide</code> | ||
<pre style="white-space: pre;"> | <pre style="white-space: pre;"> | ||
Line 572: | Line 573: | ||
tag: 1.46.0.sarif.clang | tag: 1.46.0.sarif.clang | ||
sourcetype: file | sourcetype: file | ||
sourcefileurl: https:// | sourcefileurl: https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar | ||
containerconfiglabels: | containerconfiglabels: | ||
- "com.docker.compose.project": svacer | - "com.docker.compose.project": svacer | ||
Line 594: | Line 595: | ||
</pre> | </pre> | ||
По умолчанию используется docker-хост с идентификатором <code>default</code>. Согласно настройке этого хоста, по умолчанию предполагается взаимодействие с докером через unix-сокет <code style="white-space: pre;">unix:///var/run/docker.sock</code>. Соответственно пользователь, под которым запускается Svacer, должен иметь доступ к этому сокету (https://docs.docker.com/engine/install/linux-postinstall/). | |||
{{Note|text=При наличии раздела <code style="white-space: pre;">xsvacer/webide</code> в конфигурационном файле svacer.cfg будут применены только настройки из этого раздела. Настройки по умолчанию будут полностью проигнорированы}} | |||
=== Изменение конфигурационных параметров с помощью переменных окружения === | === Изменение конфигурационных параметров с помощью переменных окружения === | ||
Значения атрибутов конфигурации могут быть изменены с помощью переменных окружения <code style="white-space: pre;"> | Значения атрибутов конфигурации могут быть изменены с помощью переменных окружения | ||
XSVACER_WEBIDE_THEIA_{id конфигурации ide}[_параметр]={значение параметра}</code> | |||
Например, для активации rootless-хоста <code style="white-space: pre;">xsvacer/hosts/local</code> и переключения запуска IDE с идентификатором <code style="white-space: pre;">default</code> на этот хост можно указать такие значения переменных окружения при запуске Svacer: | |||
XSVACER_DOCKER_HOSTS_LOCAL_DISABLED=false | XSVACER_DOCKER_HOSTS_LOCAL_DISABLED=false | ||
XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_HOSTID=local | XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_HOSTID=local | ||
Line 609: | Line 613: | ||
В процессе использования функциональности IDE создаются следующие артефакты: | В процессе использования функциональности IDE создаются следующие артефакты: | ||
# Исходные файлы снимков скачиваются в | # Исходные файлы снимков скачиваются в корневые папки, заданные в параметре <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/sourcesroot</code> | ||
# Артефакты docker: | # Артефакты docker: | ||
#* образы и контейнеры создаются на хостах, указанных в конфигурации docker-хостов в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/hostid</code> | #* образы и контейнеры создаются на хостах, указанных в конфигурации docker-хостов в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/hostid</code> | ||
#* названия docker-образов будут соответствовать параметрам в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/image</code> | #* названия docker-образов будут соответствовать параметрам в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/image</code> | ||
#* названия docker-контейнеров будут соответствовать параметру <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/containernametemplate</code> | #* названия docker-контейнеров будут соответствовать параметру <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/containernametemplate</code> | ||
#* наборы меток doker-контейнеров будут содержать: | #* наборы меток doker-контейнеров будут содержать: | ||
#*: метки, перечисленные в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/containerconfiglabels</code> | #*: метки, перечисленные в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/containerconfiglabels</code> | ||
#*: метки, перечисленные в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/container/config/labels</code> | #*: метки, перечисленные в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/container/config/labels</code> | ||
#*: метки с названиями <code style="white-space: pre;">svacer.service.id</code>, <code style="white-space: pre;">svacer.service.type</code>, <code style="white-space: pre;">svacer.theia.start_args</code> | #*: метки с названиями <code style="white-space: pre;">svacer.service.id</code>, <code style="white-space: pre;">svacer.service.type</code>, <code style="white-space: pre;">svacer.theia.start_args</code> | ||
# При использовании rootless-хоста docker | # При использовании rootless-хоста docker будут созданы папки согласно [[Help:XSvacer:Docker#Специфичные настройки для rootless-хоста|настройкам]] | ||
== Рекомендации == | == Рекомендации == | ||
Line 624: | Line 628: | ||
=== Предварительная загрузка docker-образа с IDE === | === Предварительная загрузка docker-образа с IDE === | ||
По умолчанию параметр | По умолчанию параметр | ||
xsvacer/webide/theia/1-46-0/docker/image/sourcefileurl | |||
Содержит значение | |||
https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar | |||
По этому адресу находится архив с docker-образом для Theia IDE. | |||
Если docker-образ ещё не был загружен, то загрузка начнётся при первой попытке запуска IDE. Т. к. этот процесс занимает длительное время, то запрос запуска IDE тоже будет выполняться долго. | |||
Для ускорения первого запуска IDE докер образ можно загрузить на хост docker вручную. Для этого необходимо: | |||
# Скачать файл архива | |||
# Скачать файл архива | # Выполнить команду <code style="white-space: pre;">docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar</code> | ||
# Выполнить команду <code style="white-space: pre;">docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar</code> | |||
== Информация о docker-образе Theia IDE == | == Информация о docker-образе Theia IDE == | ||
Docker-образ, используемый по умолчанию, построен на базе [https://theia-ide.org/ Eclipse Theia IDE] версии | Docker-образ, используемый по умолчанию, построен на базе [https://theia-ide.org/ Eclipse Theia IDE] версии [https://github.com/eclipse-theia/theia-blueprint/tree/v1.46.0 1.46.0]. | ||
При этом была изменена компоновка расширений | При этом была изменена компоновка расширений Theia. Результат выполнения <code>git diff</code>: | ||
<pre style="white-space: pre;"> | <pre style="white-space: pre;"> | ||
Line 672: | Line 685: | ||
Команда построения docker-образа: | Команда построения docker-образа: | ||
docker build -t theia-blueprint:1.46.0.sarif.clang -f browser.Dockerfile . | |||
docker build -t theia-blueprint:1.46.0.sarif.clang -f browser.Dockerfile . | |||
Команда экспорта docker-образа: | Команда экспорта docker-образа: | ||
docker image save theia-blueprint:1.46.0 > /path/to/tar/theia-blueprint.1.46.0.docker.command.tar | |||
docker image save theia-blueprint:1.46.0 > /path/to/tar/theia-blueprint.1.46.0.docker.command.tar | |||
== Известные проблемы == | == Известные проблемы == | ||
Line 687: | Line 696: | ||
Для просмотра sarif-файла, содержащего предупреждения анализатора и разметку, используется плагин [https://open-vsx.org/extension/MS-SarifVSCode/sarif-viewer SARIF Viewer]. При просмотре sarif-файла открывается webview плагина со списком предупреждений анализатора. | Для просмотра sarif-файла, содержащего предупреждения анализатора и разметку, используется плагин [https://open-vsx.org/extension/MS-SarifVSCode/sarif-viewer SARIF Viewer]. При просмотре sarif-файла открывается webview плагина со списком предупреждений анализатора. | ||
В Theia IDE для открытия webview применяется [https://developer.mozilla.org/en_US/docs/Web/API/Service_Worker_API Service Worker API]. В целях обеспечения безопасности применение Service Worker API [https://developer.mozilla.org/en-US/docs/Web/API/Service_Worker_API/Using_Service_Workers#setting_up_to_play_with_service_workers | В Theia IDE для открытия webview применяется [https://developer.mozilla.org/en_US/docs/Web/API/Service_Worker_API Service Worker API]. В целях обеспечения безопасности применение Service Worker API [https://developer.mozilla.org/en-US/docs/Web/API/Service_Worker_API/Using_Service_Workers#setting_up_to_play_with_service_workers требует], чтобы доступ к web-приложению осуществлялся по HTTPS, либо приложение размещалось на localhost. | ||
Поэтому для решения данной проблемы | Поэтому для решения данной проблемы Svacer должен открываться по HTTPS или быть доступен по адресу <code style="white-space: pre;"><nowiki>http://localhost:...</nowiki></code> |
Latest revision as of 14:53, 15 July 2024
Поддержка среды разработки Theia IDE
Данная функциональность даёт возможность просматривать исходный код снимка с предупреждениями анализатора во внешней IDE.
По умолчанию запускается IDE, собранная на основе Theia IDE.
Активация функциональности
Для активации функциональности необходимо указать флаг --xsvacer.features webide
при запуске Svacer.
При запуске функциональности Webide также будет запущена функциональность docker.
При активации функциональности:
- становится доступным REST API управления IDE для просмотра исходного кода снимков проектов
- в пользовательском интерфейсе на вкладке "Информация о снимке" появляется кнопка "Открыть в IDE"
- устанавливается подключение к хосту docker, на котором будут запускаться контейнеры с экземплярами IDE
Быстрый запуск функциональности с настройками по умолчанию
Для того, чтобы начать пользоваться функциональностью запуска IDE без изменения конфигурационных параметров, нужно выполнить следующие действия:
- Настройка доступа к docker-хосту:
- Запустить docker со настройками по умолчанию (dockerd должен слушать unix-сокет
unix:///var/run/docker.sock
— https://docs.docker.com/reference/cli/dockerd/#daemon-socket-option) - Проверить, что у пользователя под которым будет запускаться Svacer есть доступ к unix-сокету docker-хоста
unix:///var/run/docker.sock
— https://docs.docker.com/engine/install/linux-postinstall
- Запустить docker со настройками по умолчанию (dockerd должен слушать unix-сокет
- Настроить права доступа у пользователей, которые смогут запускать IDE: требуются разрешения на проект/ветку "Просмотр маркеров" и "Экспорт разметки"
- Перезапустить Svacer с флагом
--xsvacer.features webide
- Опционально. Для ускорения первого запуска IDE:
- Скачать архив с docker-образом
- Загрузить docker-образ из архива на docker-хост:
docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar
После этого у пользователей с указанными правами должна появиться кнопка "Открыть в IDE" на панели с информацией о снимке.
IDE с исходным кодом снимков будут запускаться в новых вкладках браузера. Обычно все браузеры блокируют автоматическое открытие вкладки и показывают соответствующее предупреждение.
Например, в Firefox:
В таком случае нужно дать разрешение на открытие вкладки с IDE:
При необходимости изменения настроек подключения к docker-хосту:
- Скопировать конфигурацию docker по умолчанию в раздел
xsvacer
конфигурационного файла svacer.cfg - Внести требуемые изменения в конфигурацию раздела
xsvacer/docker
При необходимости изменения настроек запуска IDE:
- Скопировать конфигурацию webide по умолчанию в раздел
xsvacer
конфигурационного файла svacer.cfg - Внести требуемые изменения в конфигурацию раздела
xsvacer/webide
Принцип работы
Функциональность запуска IDE для просмотра исходного кода снимков становится доступной пользователю, если соблюдаются условия:
- Функциональность активна: при запуске Svacer указан флаг
--xsvacer.features webide
; - В конфигурации функциональности
xsvacer/webide/theia
есть хотя бы одна активная (disabled: false
) конфигурация IDE - У пользователя Svacer имеются разрешения "Просмотр маркеров" и "Экспорт разметки" на проект, в котором находится снимок, для которого нужно запустить IDE
В противном случае в пользовательском интерфейсе будет отсутствовать кнопка "Открыть в IDE".
Запуск IDE
Запуск производится путём вызова http-метода POST /api/snapshots/{snapshot_id}/ide
с телом запроса {"ideId": "идентификатор IDE"}
Последовательность действий, выполняемых при запуске IDE:
- Производится проверка: была ли уже запущена указанная IDE для указанного снимка:
- Если запущена: производится проверка доступности IDE (отвечает на запросы):
- Если IDE доступна: действие не требуется. Процесс запуска завершается
- Если IDE недоступна: продолжается процесс запуска. IDE будет перезапущена
- Если запущена: производится проверка доступности IDE (отвечает на запросы):
- Создаётся "корневая папка снимка", предназначенная для хранения исходного кода снимка и предупреждений анализатора с разметкой в виде sarif-файла. Название папки соответствует id снимка. Папка создаётся по пути заданному в параметре конфигурации IDE
xsvacer/webide/theia/{идентификатор конфигурации}/sourcesroot
- Исходный код снимка скачивается в "корневую папку снимка"
- Производится экспорт маркеров и разметки в виде sarif-файла в "корневую папку снимка". Название sarif-файла формируется с помощью шаблона, заданного в параметре конфигурации IDE
xsvacer/webide/theia/{идентификатор конфигурации}/sariffiletemplate
- Производится настройка и запуск docker-контейнера в соответствии с настройками
xsvacer/webide/theia/{идентификатор конфигурации}/docker
:- Проверяется наличие на docker-хосте образа IDE, указанного в
xsvacer/webide/theia/{идентификатор конфигурации}/docker/image
. Если docker-образ отсутствует, он будет загружен на хост - Проверяется наличие на docker-хосте контейнера с IDE для снимка:
- Если docker-контейнер не существует, то он будет создан и запущен
- Если docker-контейнер существует и находится:
- в статусе
running
— процесс запуска IDE продолжается - в статусе
created
,exited
илиpaused
— контейнер будет запущен - в других статусах — вернётся соответствующая ошибка и процесс запуска IDE прервётся
- в статусе
- Проверяется наличие на docker-хосте образа IDE, указанного в
- После успешного запуска docker-контейнера осуществляется ожидание окончания запуска процесса IDE в контейнере в соответствии с настройками
xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck
- Если за отведённое время ответ от IDE получен — процесс запуска завершается
- Если ответ не получен — вернётся ошибка
ide not ready
При возникновении ошибки на одном из этапов запуска IDE артефакты, созданные на предыдущих этапах, останутся в системе. В дальнейшем они могут быть использованы при повторном запуске IDE, если причина возникновения ошибки была устранена.
xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck
. В этом случае рекомендуется попробовать повторно запустить IDE через короткий промежуток времениЕщё одной причиной возникновения данной ошибки может стать сетевая недоступность docker-контейнера при подключении к удалённому docker-хосту. В таком случае рекомендуется проверить:
- Сетевую доступность docker-хоста
- Настройки фаервола на docker-хосте
- Настройки биндинга docker-контейнера c IDE
xsvacer/webide/theia/{идентификатор конфигурации}/docker/container/hostconfig/portbindings
- Контейнер должен быть подключён к доступному сетевому интерфейсу
Использование IDE: проксирование запросов
После успешного запуска docker-контейнера IDE станут доступны ресурсы с префиксом /xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/
Все запросы, направленные к ресурсам /xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/*
, будут проксироваться в соответствующий контейнер IDE.
Например, если docker-контейнер c IDE theia__default
для снимка xxx
запущен и слушает порт 35353
на хосте docker-host
, то будет происходить проксирование:
GET http://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/
⇒GET http://docker-host:35353/
POST http://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/socket.io/?...
⇒POST http://docker-host:35353/socket.io/?...
GET ws://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/socket.io/?...
⇒GET ws://docker-host:35353/socket.io/?...
Для запуска IDE в окне браузера нужно указать адрес
http[s]://svacer-host/xvacer/webide/snapshots/{snapshot_id}/{ide_id}/
Завершающий слеш обязателен!
Перезапуск IDE
В процессе работы Svacer следит за состоянием запущенных IDE. При попытке повторного запуска IDE проверяется её доступность: если IDE отвечает на запросы, то повторный запуск не производится и обработка запроса завершается.
Также работоспособность IDE контролируется при использовании IDE в момент проксирования запросов в docker-контейнер: если IDE доступна, то запрос проксируется.
Если IDE перестанет отвечать на запросы, то будет произведена попытка её перезапуска. В этом случае происходит та же последовательность действий, что и при первоначальном запуске IDE.
Зачастую потеря связи обусловлена остановкой docker-контейнера с IDE. В таком случае docker-контейнер будет перезапущен.
Если же недоступность IDE обусловлена другими причинами, то запрос на запуск/проксирование продолжит возвращать ошибку до устранения причин неработоспособности.
Остановка IDE
Запуск производится путём вызова http-метода
DELETE /api/snapshots/{snapshot_id}/ide
с телом запроса {"ideId": "идентификатор IDE"}
. В ходе обработки запроса останавливается docker-контейнер IDE.
По умолчанию установлен параметр конфигурации
xsvacer/webide/theia/default/docker/container/hostconfig/autoremove: true
Это означает, что после остановки docker-контейнер будет автоматически удалён.
Чтобы изменить это поведение, настройка
xsvacer/webide/theia/default/{id конфигурации}/container/hostconfig/autoremove
должна быть установлена в false
на момент запуска docker-контейнера IDE. Это можно сделать, например, установив значение переменной окружения
XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_CONTAINER_HOSTCONFIG_AUTOREMOVE=false
autoremove: false
вызывает ошибку запуска. Исправлено в версии 9.0.1.При корректной остановке (например SIGTERM) Svacer автоматически остановит все запущенные docker-контейнеры IDE.
Подключение к IDE после некорректного завершения Svacer
При запуске Svacer осуществляет поиск запущенных docker-контейнеров IDE на доступных docker-хостах. При восстановлении связи с запущенными docker-контейнерами IDE и последующей корректной остановке Svacer все docker-контейнеры IDE будут остановлены.
REST API для работы с IDE
После активации функциональности становятся доступны http-ресурсы для управления IDE:
Ресурс | Описание |
---|---|
GET /xsvacer/webide/api/ide |
Получение списка доступных для запуска IDE.
Ответ: [ { "id": "string", "name": "string", "order": 0 } ]
|
GET /xsvacer/webide/api/snapshots/{snapshot_id}/ide/{ide_id} |
Запрос описания экземпляра IDE, запущенного для снимка.
Параметры:
Ответ: { "id": { "ide_id": { "ide_type": "string" "config_id": "string", }, "snapshot_id": "string" }, "properties": { "url": "string" }, "start_args": { "snapshot_id": "string", "user": "string", "user_id": "string" } } |
POST /xsvacer/webide/api/snapshots/{snapshot_id}/ide |
Запуск IDE для просмотра исходных кодов снимка
Параметры:
Запрос: { "ideId": "string" }
Ответ: { "ideId": "string" }
|
PUT /api/snapshots/{snapshot_id}/ide |
Команда управления экземпляром IDE снимка
Параметры:
Запрос: { "action": "string", "ideId": "string" }
Доступные действия:
Ответ: пустой |
DELETE /xsvacer/webide/api/snapshots/{snapshot_id}/ide |
Остановка экземпляра IDE снимка
Параметры:
Запрос: { "ideId": "string" }
Ответ: пустой |
/xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/* |
Прокси для запросов экземпляра IDE снимка |
Формат идентификатора IDE
{тип ide}__{идентификатор конфигурации}
Например, для default-конфигурации Theia IDE: theia__default
Конфигурация
Управление настройками функциональности осуществляется с помощью конфигурационного yaml-файла svacer.cfg
Раздел конфигурации для управления функциональностью — xsvacer/webide
Раздел содержит перечисление доступных конфигураций запуска экземпляров Theia IDE xsvacer/webide/theia
. При наличии нескольких активных конфигураций Theia IDE пользователь сможет выбрать какую из них использовать при запуске IDE с исходными файлами снимка.
xsvacer: webide: theia: config1: ... config2: ...
Запуск IDE основывается на запуске docker-контейнеров, содержащих соответствующие сборки IDE. Поэтому необходимо также настроить доступ к docker-хосту в разделе xsvacer/docker
, иначе функциональность WebIDE не сможет работать корректно.
В случае отсутствия файла svacer.cfg
или отсутствии раздела xsvacer/webide
будет использоваться конфигурация по умолчанию.
Конфигурация запуска Theia IDE
Конфигурации запуска Theia IDE добавляются в виде полей в разделе xsvacer/webide
. Название поля является идентификатором конфигурации запуска. Например, идентификатор по номеру используемой версии IDE:
xsvacer: webide: theia: 1-46-0: name: Theia blueprint web IDE (v1.46.0) ...
Базовые параметры конфигурации запуска
Название | Тип данных | Описание | Значение в конфигурации по умолчанию |
---|---|---|---|
disabled | bool | Конфигурация запуска неактивна. Неактивная конфигурация не доступна для запуска экземпляра IDE | true (переопределяется в конфигурации default) |
order | int | Порядковый номер в списке выбора конфигурации запуска | 0 |
name | string | Название конфигурации | Theia blueprint web IDE (v1.46.0) |
sourcesroot | string | Путь к папке, содержащей исходные коды снимков на машине со Svacer | ${USER_CACHE_DIR}/svacer-snapshot-sources |
dockerhostsourcesroot | string | Путь к папке, содержащей исходные коды снимков на хосте docker. Нужен при использовании удалённого docker-хоста, т. к. в таком случае папка с исходными кодами скорее всего будет доступна по адресу, отличающемуся от sourcesroot
|
|
dockerhostpathseparator | string | Разделитель пути на хосте docker. По умолчанию "/"
|
|
sariffiletemplate | golang template string | Шаблон названия sarif-файла с предупреждениями анализатора. В шаблон передаётся структура sarifFileContext | "{{.Context.ProjectName}}.{{.Context.BranchName}}.sarif" |
Параметры менеджера запуска IDE
Конфигурация менеджера запуска IDE. На данный момент доступен только стандартный менеджер (type: default
)
Название | Тип данных | Описание | Значение в конфигурации по умолчанию |
---|---|---|---|
manager | map | Конфигурация менеджера запуска IDE | |
manager/type | enum: default | Тип менеджера запуска IDE | default |
Параметры запуска docker-контейнеров с IDE
Данные параметры используются для настройки запуска docker-контейнеров с IDE
Название | Тип данных | Описание | Значение в конфигурации по умолчанию |
---|---|---|---|
docker/ | map | Настройки создания docker-контейнера с IDE | |
docker/hostid | string | Идентификатор хоста docker, описанного в xsvacer/docker/hosts . Запуск docker-контейнера с IDE будет выполнен на этом хосте
|
default |
docker/containernametemplate | golang template string | Шаблон для формирования названия контейнера IDE для выбранного снимка. В шаблон передаётся структура TheiaDockerContainerStartContext | "theia-1-46-{{.StartArgs.SnapshotID}}" |
docker/containerconfiglabels | []map | Список меток docker-контейнера. Дополняет список меток в docker/container/config/labels
|
- "com.docker.compose.project": svacer |
docker/image/ | map | Параметры docker-образа из которого будет запущен контейнер | |
docker/image/name | string | Название образа | theia-blueprint |
docker/image/tag | string | Тег образа | 1.46.0.sarif.clang |
docker/image/sourcetype | enum: repository/file | Тип источника для загрузки образа в docker-хост
|
file |
docker/image/sourcefileurl | url | URL откуда будет загружен docker-образ если image/sourcetype == "file"
URL может содержать:
|
https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar |
docker/container/ | map | Свойства docker-контейнера | |
docker/container/config | map | Конфигурация контейнера. Соответствует структуре https://github.com/moby/moby/blob/v24.0.7/api/types/container/config.go#L70 | |
docker/container/config/env | []string | Список переменных среды, которые будут установлены в контейнере |
- THEIA_WEBVIEW_EXTERNAL_ENDPOINT={{hostname}} |
docker/container/hostconfig/ | map | Параметры хостинга контейнера. Соответствует структуре https://github.com/moby/moby/blob/v24.0.7/api/types/container/hostconfig.go#L379 | |
docker/container/hostconfig/autoremove | bool | true | |
docker/container/hostconfig/portbindings | map |
"3000/tcp":
| |
docker/container/networkconfig/ | map | Сетевые настройки контейнера. Соответствуют структуре https://github.com/moby/moby/blob/v24.0.7/api/types/network/network.go#L104 |
Параметры проверки доступности healthcheck
Данные параметры используются для проверки доступности IDE после запуска docker-контейнера
Название | Тип данных | Описание | Значение в конфигурации по умолчанию |
---|---|---|---|
healthcheck | map | Параметры проверки доступности IDE | |
healthcheck/starttoreadyretries | int | Количества попыток проверки до ошибки доступности | 10 |
healthcheck/starttoreadyperiod | golang duration string | Интервал проверки | 200ms |
Структуры передаваемые в поля с golang-шаблонами строк
sarifFileContext { Time time.Time Context: { ProjectID *string BranchID *string SnapshotID *string MarkerID *string ProjectName *string BranchName *string SnapshotName *string MarkerName *string CreatedBy null.String CreatedByID null.String CreateTs null.Time } } TheiaDockerContainerStartContext { IdeID: { IdeType string ConfigID string }, StartArgs: { SnapshotID string UserID string User string }, Context: { ProjectID *string BranchID *string SnapshotID *string MarkerID *string ProjectName *string BranchName *string SnapshotName *string MarkerName *string CreatedBy null.String CreatedByID null.String CreateTs null.Time } }
Конфигурация по умолчанию
Данная настройка применяется по умолчанию для запуска Theia IDE, если в конфигурационном файле svacer.cfg отсутствует раздел xsvacer/webide
xsvacer: webide: theia: 1-46-0: &1-46-0 disabled: true order: 0 name: Theia blueprint web IDE (v1.46.0) sourcesroot: ${USER_CACHE_DIR}/svacer-snapshot-sources sariffiletemplate: "{{.Context.ProjectName}}.{{.Context.BranchName}}.sarif" manager: type: default docker: hostid: default # идентификатор используемого docker-хоста containernametemplate: "theia-1-46-{{.StartArgs.SnapshotID}}" image: name: theia-blueprint tag: 1.46.0.sarif.clang sourcetype: file sourcefileurl: https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar containerconfiglabels: - "com.docker.compose.project": svacer container: config: env: - THEIA_WEBVIEW_EXTERNAL_ENDPOINT={{hostname}} hostconfig: autoremove: true portbindings: "3000/tcp": - hostport: 0 networkconfig: healthcheck: starttoreadyretries: 10 starttoreadyperiod: 200ms default: <<: *1-46-0 order: 0 disabled: false
По умолчанию используется docker-хост с идентификатором default
. Согласно настройке этого хоста, по умолчанию предполагается взаимодействие с докером через unix-сокет unix:///var/run/docker.sock
. Соответственно пользователь, под которым запускается Svacer, должен иметь доступ к этому сокету (https://docs.docker.com/engine/install/linux-postinstall/).
xsvacer/webide
в конфигурационном файле svacer.cfg будут применены только настройки из этого раздела. Настройки по умолчанию будут полностью проигнорированыИзменение конфигурационных параметров с помощью переменных окружения
Значения атрибутов конфигурации могут быть изменены с помощью переменных окружения
XSVACER_WEBIDE_THEIA_{id конфигурации ide}[_параметр]={значение параметра}
Например, для активации rootless-хоста xsvacer/hosts/local
и переключения запуска IDE с идентификатором default
на этот хост можно указать такие значения переменных окружения при запуске Svacer:
XSVACER_DOCKER_HOSTS_LOCAL_DISABLED=false XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_HOSTID=local
Очистка системы: удаление артефактов функциональности
В процессе использования функциональности IDE создаются следующие артефакты:
- Исходные файлы снимков скачиваются в корневые папки, заданные в параметре
xsvacer/webide/theia/{id конфигурации}/sourcesroot
- Артефакты docker:
- образы и контейнеры создаются на хостах, указанных в конфигурации docker-хостов в
xsvacer/webide/theia/{id конфигурации}/docker/hostid
- названия docker-образов будут соответствовать параметрам в
xsvacer/webide/theia/{id конфигурации}/docker/image
- названия docker-контейнеров будут соответствовать параметру
xsvacer/webide/theia/{id конфигурации}/docker/containernametemplate
- наборы меток doker-контейнеров будут содержать:
- метки, перечисленные в
xsvacer/webide/theia/{id конфигурации}/docker/containerconfiglabels
- метки, перечисленные в
xsvacer/webide/theia/{id конфигурации}/docker/container/config/labels
- метки с названиями
svacer.service.id
,svacer.service.type
,svacer.theia.start_args
- метки, перечисленные в
- образы и контейнеры создаются на хостах, указанных в конфигурации docker-хостов в
- При использовании rootless-хоста docker будут созданы папки согласно настройкам
Рекомендации
Предварительная загрузка docker-образа с IDE
По умолчанию параметр
xsvacer/webide/theia/1-46-0/docker/image/sourcefileurl
Содержит значение
https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar
По этому адресу находится архив с docker-образом для Theia IDE.
Если docker-образ ещё не был загружен, то загрузка начнётся при первой попытке запуска IDE. Т. к. этот процесс занимает длительное время, то запрос запуска IDE тоже будет выполняться долго.
Для ускорения первого запуска IDE докер образ можно загрузить на хост docker вручную. Для этого необходимо:
- Скачать файл архива
- Выполнить команду
docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar
Информация о docker-образе Theia IDE
Docker-образ, используемый по умолчанию, построен на базе Eclipse Theia IDE версии 1.46.0.
При этом была изменена компоновка расширений Theia. Результат выполнения git diff
:
diff --git a/browser.Dockerfile b/browser.Dockerfile index efe591e..a4ebb6a 100644 --- a/browser.Dockerfile +++ b/browser.Dockerfile @@ -42,7 +42,7 @@ RUN chmod g+rw /home && \ RUN apt-get update && apt-get install -y wget apt-transport-https && \ wget -O - https://packages.adoptium.net/artifactory/api/gpg/key/public | tee /usr/share/keyrings/adoptium.asc && \ echo "deb [signed-by=/usr/share/keyrings/adoptium.asc] https://packages.adoptium.net/artifactory/deb $(awk -F= '/^VERSION_CODENAME/{print$2}' /etc/os-release) main" | tee /etc/apt/sources.list.d/adoptium.list && \ - apt-get update && apt-get install -y git openssh-client openssh-server bash libsecret-1-0 temurin-17-jdk maven && \ + apt-get update && apt-get install -y git openssh-client openssh-server bash libsecret-1-0 clangd && \ apt-get purge -y wget && \ apt-get clean diff --git a/package.json b/package.json index 9044595..9d0dcc8 100644 --- a/package.json +++ b/package.json @@ -54,10 +54,8 @@ "theiaPluginsDir": "plugins", "theiaPlugins": { "eclipse-theia.builtin-extension-pack": "https://open-vsx.org/api/eclipse-theia/builtin-extension-pack/1.83.1/file/eclipse-theia.builtin-extension-pack-1.83.1.vsix", - "ms-vscode.js-debug": "https://open-vsx.org/api/ms-vscode/js-debug/1.83.1/file/ms-vscode.js-debug-1.83.1.vsix", - "ms-vscode.js-debug-companion": "https://open-vsx.org/api/ms-vscode/js-debug-companion/1.1.2/file/ms-vscode.js-debug-companion-1.1.2.vsix", - "vscjava.vscode-java-pack": "https://open-vsx.org/api/vscjava/vscode-java-pack/0.25.11/file/vscjava.vscode-java-pack-0.25.11.vsix", - "vscjava.vscode-java-dependency": "https://open-vsx.org/api/vscjava/vscode-java-dependency/0.21.2/file/vscjava.vscode-java-dependency-0.21.2.vsix" + "llvm-vs-code-extensions.vscode-clangd": "https://open-vsx.org/api/llvm-vs-code-extensions/vscode-clangd/0.1.26/file/llvm-vs-code-extensions.vscode-clangd-0.1.26.vsix", + "ms-sarifvscode.sarif-viewer": "https://open-vsx.org/api/MS-SarifVSCode/sarif-viewer/3.4.2/file/MS-SarifVSCode.sarif-viewer-3.4.2.vsix" }, "theiaPluginsExcludeIds": [ "ms-vscode.js-debug-companion",
Команда построения docker-образа:
docker build -t theia-blueprint:1.46.0.sarif.clang -f browser.Dockerfile .
Команда экспорта docker-образа:
docker image save theia-blueprint:1.46.0 > /path/to/tar/theia-blueprint.1.46.0.docker.command.tar
Известные проблемы
При открытии sarif-файла в IDE открывается пустая панель "SARIF Results"
Для просмотра sarif-файла, содержащего предупреждения анализатора и разметку, используется плагин SARIF Viewer. При просмотре sarif-файла открывается webview плагина со списком предупреждений анализатора.
В Theia IDE для открытия webview применяется Service Worker API. В целях обеспечения безопасности применение Service Worker API требует, чтобы доступ к web-приложению осуществлялся по HTTPS, либо приложение размещалось на localhost.
Поэтому для решения данной проблемы Svacer должен открываться по HTTPS или быть доступен по адресу http://localhost:...