Help:XSvacer:Webide: Difference between revisions

From Svacer Wiki
No edit summary
mNo edit summary
 
(14 intermediate revisions by 2 users not shown)
Line 1: Line 1:
{{Note|text=Данная функциональность входит в набор расширений XSvacer}}
= Поддержка среды разработки Theia IDE =
= Поддержка среды разработки Theia IDE =
'''Примечание:''' данная функциональность входит в набор расширений XSvacer.


Данная функциональность даёт возможность просматривать исходный код снимка с предупреждениями анализатора во внешней IDE.
Данная функциональность даёт возможность просматривать исходный код снимка с предупреждениями анализатора во внешней IDE.


По умолчанию запускается IDE собранная на основе Theia IDE (https://theia-ide.org/).
По умолчанию запускается IDE, [[#Информация_о_docker-образе_Theia_IDE|собранная]] на основе [https://theia-ide.org/ Theia IDE].


== Активация функциональности ==
== Активация функциональности ==
Для активации функциональности необходимо указать флаг <code>--xsvacer.features webide</code> при запуске svacer.
Для активации функциональности необходимо указать флаг <code style="white-space: pre;">--xsvacer.features webide</code> при запуске Svacer.
 
При запуске функциональности Webide также будет запущена функциональность [[Help:XSvacer:Docker|docker]].
 
При активации функциональности:
* становится доступным REST API управления IDE для просмотра исходного кода снимков проектов
* в пользовательском интерфейсе на вкладке "Информация о снимке" появляется кнопка "Открыть в IDE"
* устанавливается подключение к хосту docker, на котором будут запускаться контейнеры с экземплярами IDE
 
=== Быстрый запуск функциональности с настройками по умолчанию ===
 
Для того, чтобы начать пользоваться функциональностью запуска IDE без изменения конфигурационных параметров, нужно выполнить следующие действия:
# Настройка доступа к docker-хосту:
## Запустить docker со настройками по умолчанию (dockerd должен слушать unix-сокет <code style="white-space: pre;">unix:///var/run/docker.sock</code> — https://docs.docker.com/reference/cli/dockerd/#daemon-socket-option)
## Проверить, что у пользователя под которым будет запускаться Svacer есть доступ к unix-сокету docker-хоста <code style="white-space: pre;">unix:///var/run/docker.sock</code> — https://docs.docker.com/engine/install/linux-postinstall
# Настроить права доступа у пользователей, которые смогут запускать IDE: требуются разрешения на проект/ветку "Просмотр маркеров" и "Экспорт разметки"
# Перезапустить Svacer с флагом <code style="white-space: pre;">--xsvacer.features webide</code>
# ''Опционально.'' Для ускорения первого запуска IDE:
## Скачать [https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar архив с docker-образом]
## Загрузить docker-образ из архива на docker-хост: <code style="white-space: pre;">docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar</code>
 
После этого у пользователей с указанными правами должна появиться кнопка "Открыть в IDE" на панели с информацией о снимке.
 
{{Note}} IDE с исходным кодом снимков будут запускаться в новых вкладках браузера. Обычно все браузеры блокируют автоматическое открытие вкладки и показывают соответствующее предупреждение.
 
Например, в Firefox:
 
[[File:Firefox popup notification ru.png]]
 
В таком случае нужно дать разрешение на открытие вкладки с IDE:
 
[[File:Firefox popup notification expanded ru.png|x150px]]
 
 
При необходимости изменения настроек подключения к docker-хосту:
# Скопировать [[Help:XSvacer:Docker#Конфигурация_по_умолчанию|конфигурацию docker по умолчанию]] в раздел <code>xsvacer</code> конфигурационного файла svacer.cfg
# Внести требуемые изменения в конфигурацию раздела <code>xsvacer/docker</code>
 
При необходимости изменения настроек запуска IDE:
# Скопировать [[#Конфигурация_по_умолчанию|конфигурацию webide по умолчанию]] в раздел <code>xsvacer</code> конфигурационного файла svacer.cfg
# Внести требуемые изменения в конфигурацию раздела <code>xsvacer/webide</code>
 
== Принцип работы ==
 
Функциональность запуска IDE для просмотра исходного кода снимков становится доступной пользователю, если соблюдаются условия:
# Функциональность активна: при запуске Svacer указан флаг <code style="white-space: pre;">--xsvacer.features webide</code>;
# В [[Help:XSvacer:Webide#Конфигурация|конфигурации]] функциональности <code style="white-space: pre;">xsvacer/webide/theia</code> есть хотя бы одна активная (<code style="white-space: pre;">disabled: false</code>) конфигурация IDE
# У пользователя Svacer имеются разрешения "Просмотр маркеров" и "Экспорт разметки" на проект, в котором находится снимок, для которого нужно запустить IDE
 
В противном случае в пользовательском интерфейсе будет отсутствовать кнопка "Открыть в IDE".
 
=== Запуск IDE ===
 
Запуск производится путём вызова http-метода <code style="white-space: pre;">POST /api/snapshots/{snapshot_id}/ide</code> с телом запроса <code style="white-space: pre;">{"ideId": "идентификатор IDE"}</code>
 
Последовательность действий, выполняемых при запуске IDE:
 
# Производится проверка: была ли уже запущена указанная IDE для указанного снимка:
#* Если запущена: производится проверка доступности IDE (отвечает на запросы):
#** Если IDE доступна: действие не требуется. Процесс запуска завершается
#** Если IDE недоступна: продолжается процесс запуска. IDE будет перезапущена
# Создаётся "корневая папка снимка", предназначенная для хранения исходного кода снимка и предупреждений анализатора с разметкой в виде sarif-файла. Название папки соответствует id снимка. Папка создаётся по пути заданному в параметре конфигурации IDE <code>xsvacer/webide/theia/{идентификатор конфигурации}/sourcesroot</code>
# Исходный код снимка скачивается в "корневую папку снимка"
# Производится экспорт маркеров и разметки в виде sarif-файла в "корневую папку снимка". Название sarif-файла формируется с помощью шаблона, заданного в параметре конфигурации IDE <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/sariffiletemplate</code>
# Производится настройка и запуск docker-контейнера в соответствии с настройками <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/docker</code>:
## Проверяется наличие на docker-хосте образа IDE, указанного в <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/docker/image</code>. Если docker-образ отсутствует, он будет загружен на хост
## Проверяется наличие на docker-хосте контейнера с IDE для снимка:
##* Если docker-контейнер не существует, то он будет создан и запущен
##* Если docker-контейнер существует и находится:
##** в статусе <code>running</code> — процесс запуска IDE продолжается
##** в статусе <code>created</code>, <code>exited</code> или <code>paused</code> — контейнер будет запущен
##** в других статусах — вернётся соответствующая ошибка и процесс запуска IDE прервётся
# После успешного запуска docker-контейнера осуществляется ожидание окончания запуска процесса IDE в контейнере в соответствии с настройками <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck</code>
#* Если за отведённое время ответ от IDE получен — процесс запуска завершается
#* Если ответ не получен — вернётся ошибка <code>ide not ready</code>
 
При возникновении ошибки на одном из этапов запуска IDE артефакты, созданные на предыдущих этапах, останутся в системе. В дальнейшем они могут быть использованы при повторном запуске IDE, если причина возникновения ошибки была устранена.
 
{{Note|type=reminder|text=Причиной возникновения ошибки "ide not ready" может стать высокая загруженность или недостаточная производительность docker-хоста, на котором запускается контейнер с IDE. В связи с этим процесс IDE внутри контейнера может запускаться дольше, чем указано в настойках <code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck</code>. В этом случае рекомендуется попробовать повторно запустить IDE через короткий промежуток времени}}
 
Ещё одной причиной возникновения данной ошибки может стать сетевая недоступность docker-контейнера при подключении к удалённому docker-хосту. В таком случае рекомендуется проверить:
# Сетевую доступность docker-хоста
# Настройки фаервола на docker-хосте
# Настройки биндинга docker-контейнера c IDE
::<code style="white-space: pre;">xsvacer/webide/theia/{идентификатор конфигурации}/docker/container/hostconfig/portbindings</code>
::Контейнер должен быть подключён к доступному сетевому интерфейсу
 
=== Использование IDE: проксирование запросов ===
 
После успешного запуска docker-контейнера IDE станут доступны ресурсы с префиксом <code style="white-space: pre;">/xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/</code>
 
Все запросы, направленные к ресурсам <code style="white-space: pre;">/xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/*</code>, будут проксироваться в соответствующий контейнер IDE.
 
Например, если docker-контейнер c IDE <code style="white-space: pre;">theia__default</code> для снимка <code style="white-space: pre;">xxx</code> запущен и слушает порт <code style="white-space: pre;">35353</code> на хосте <code style="white-space: pre;">docker-host</code>, то будет происходить проксирование:
:<code style="white-space: pre;"><nowiki>GET http://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/</nowiki></code> &rArr; <code style="white-space: pre;"><nowiki>GET http://docker-host:35353/</nowiki></code>
:<code style="white-space: pre;"><nowiki>POST http://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/socket.io/?...</nowiki></code> &rArr; <code style="white-space: pre;"><nowiki>POST http://docker-host:35353/socket.io/?...</nowiki></code>
:<code style="white-space: pre;"><nowiki>GET ws://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/socket.io/?...</nowiki></code> &rArr; <code style="white-space: pre;"><nowiki>GET ws://docker-host:35353/socket.io/?...</nowiki></code>
 
Для запуска IDE в окне браузера нужно указать адрес
 
:<code style="white-space: pre;"><nowiki>http[s]://svacer-host/xvacer/webide/snapshots/{snapshot_id}/{ide_id}/</nowiki></code>
 
{{Note}} Завершающий слеш обязателен!
 
=== Перезапуск IDE ===
 
В процессе работы Svacer следит за состоянием запущенных IDE. При попытке повторного запуска IDE проверяется её доступность: если IDE отвечает на запросы, то повторный запуск не производится и обработка запроса завершается.
 
Также работоспособность IDE контролируется при использовании IDE в момент проксирования запросов в docker-контейнер: если IDE доступна, то запрос проксируется.
 
Если IDE перестанет отвечать на запросы, то будет произведена попытка её перезапуска. В этом случае происходит та же последовательность действий, что и при [[Help:XSvacer:Webide#Запуск IDE|первоначальном запуске IDE]].
 
Зачастую потеря связи обусловлена остановкой docker-контейнера с IDE. В таком случае docker-контейнер будет перезапущен.
 
Если же недоступность IDE обусловлена другими причинами, то запрос на запуск/проксирование продолжит возвращать ошибку до устранения причин неработоспособности.
 
=== Остановка IDE ===
 
Запуск производится путём вызова http-метода
DELETE /api/snapshots/{snapshot_id}/ide
с телом запроса <code style="white-space: pre;">{"ideId": "идентификатор IDE"}</code>. В ходе обработки запроса останавливается docker-контейнер IDE.


'''Примечание:''' при запуске функциональности <code>webide</code> также будет запущена функциональность <code>docker</code>.
По умолчанию установлен параметр конфигурации


После этого становится доступным REST API управления IDE для просмотра снимков проектов, в пользовательском интерфейсе появляется кнопка "Открыть в IDE", устанавливается подключение к хосту docker'а, на котором будут запускаться контейнеры с экземплярами IDE.
xsvacer/webide/theia/default/docker/container/hostconfig/autoremove: true
 
Это означает, что после остановки docker-контейнер будет автоматически удалён.
 
Чтобы изменить это поведение, настройка
xsvacer/webide/theia/default/{id конфигурации}/container/hostconfig/autoremove
 
должна быть установлена в <code>false</code> на момент запуска docker-контейнера IDE. Это можно сделать, например, установив значение переменной окружения
 
XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_CONTAINER_HOSTCONFIG_AUTOREMOVE=false
 
{{Note|type=error|text=При использовании версии Svacer 9.0.0 установка <code>autoremove: false</code> вызывает ошибку запуска. Исправлено в версии [[Svacer#Релизы|9.0.1]].'''}}
 
При корректной остановке (например SIGTERM) Svacer автоматически остановит все запущенные docker-контейнеры IDE.
 
=== Подключение к IDE после некорректного завершения Svacer ===
 
При запуске Svacer осуществляет поиск запущенных docker-контейнеров IDE на доступных docker-хостах. При восстановлении связи с запущенными docker-контейнерами IDE и последующей корректной остановке Svacer все docker-контейнеры IDE будут остановлены.


== REST API для работы с IDE ==
== REST API для работы с IDE ==


После активации функциональности становятся доступны http-ресурсы для управления IDE снимков:
{{Note|text=На этапе внедрения расширений XSvacer REST API может меняться. Следите за анонсами!}}


{| class="wikitable"
После активации функциональности становятся доступны http-ресурсы для управления IDE:
 
{| class="mw-collapsible mw-collapsed wikitable"
|+ style=white-space:nowrap | REST API управления IDE
|-
!Ресурс
!Ресурс
!Описание                                                 
!Описание                                                 
|-
|-
|<pre style="white-space: pre;">
|<pre style="white-space: pre;">
GET /api/ide
GET /xsvacer/webide/api/ide
</pre>
</pre>
|Получение списка доступных для запуска IDE.
|Получение списка доступных для запуска IDE.
Line 35: Line 177:
]
]
</pre>
</pre>
<code>id</code> - идентификатор IDE
:<code style="white-space: pre;">id</code> идентификатор IDE
<code>name</code> - название IDE
:<code style="white-space: pre;">name</code> название IDE
<code>order</code> - порядковый номер IDE в списке
:<code style="white-space: pre;">order</code> порядковый номер IDE в списке
|-
|-
|<pre style="white-space: pre;">
|<pre style="white-space: pre;">
GET /api/snapshots/{snapshot_id}/ide/{ide_id}
GET /xsvacer/webide/api/snapshots/{snapshot_id}/ide/{ide_id}
</pre>
</pre>
|Запрос описания экземпляра IDE, запущенного для снимка.  
|Запрос описания экземпляра IDE, запущенного для снимка.  
'''Параметры:'''
'''Параметры:'''
<code>snapshot_id</code> - идентификатор снимка
:<code style="white-space: pre;">snapshot_id</code> идентификатор снимка
<code>ide_id</code> - идентификатор IDE
:<code style="white-space: pre;">ide_id</code> идентификатор IDE
'''Ответ'''
'''Ответ:'''
<pre style="white-space: pre;">
<pre style="white-space: pre;">
{
{
Line 68: Line 210:
|-
|-
|<pre style="white-space: pre;">
|<pre style="white-space: pre;">
POST /api/snapshots/{snapshot_id}/ide
POST /xsvacer/webide/api/snapshots/{snapshot_id}/ide
</pre>
</pre>
|Запуск IDE для просмотра исходных кодов снимка
|Запуск IDE для просмотра исходных кодов снимка
'''Параметры:'''
'''Параметры:'''
<code>snapshot_id</code> - идентификатор снимка
:<code style="white-space: pre;">snapshot_id</code> идентификатор снимка
'''Запрос:'''
'''Запрос:'''
<pre style="white-space: pre;">
<pre style="white-space: pre;">
Line 79: Line 221:
}
}
</pre>
</pre>
<code>ideId</code> - идентификатор IDE
:<code style="white-space: pre;">ideId</code> идентификатор IDE
'''Ответ:'''
'''Ответ:'''
<code>"string"</code> - идентификатор IDE
<pre style="white-space: pre;">
{
  "ideId": "string"
}
</pre>
:<code style="white-space: pre;">ideId</code> идентификатор IDE
|-
|-
|<pre style="white-space: pre;">
|<pre style="white-space: pre;">
Line 87: Line 234:
</pre>
</pre>
|Команда управления экземпляром IDE снимка
|Команда управления экземпляром IDE снимка
Доступные действия:
* <code>update_markup</code> - обновление предупреждений и разметки (sarif-файла)
'''Параметры:'''
'''Параметры:'''
<code>snapshot_id</code> - идентификатор снимка
:<code style="white-space: pre;">snapshot_id</code> идентификатор снимка
'''Запрос:'''
'''Запрос:'''
<pre style="white-space: pre;">
<pre style="white-space: pre;">
Line 98: Line 243:
}
}
</pre>
</pre>
<code>action</code> - действие
:<code style="white-space: pre;">action</code> действие
<code>ideId</code> - идентификатор IDE
:<code style="white-space: pre;">ideId</code> идентификатор IDE
'''Ответ:'''
'''Доступные действия:'''
<code>"string"</code> - идентификатор IDE
* <code style="white-space: pre;">update_markup</code> — обновление предупреждений и разметки (sarif-файла)
'''Ответ:''' пустой
|-
|-
|<pre style="white-space: pre;">
|<pre style="white-space: pre;">
DELETE /api/snapshots/{snapshot_id}/ide
DELETE /xsvacer/webide/api/snapshots/{snapshot_id}/ide
</pre>
</pre>
|Остановка экземпляра IDE снимка
|Остановка экземпляра IDE снимка
'''Параметры:'''
:<code style="white-space: pre;">snapshot_id</code> — идентификатор снимка
'''Запрос:'''
<pre style="white-space: pre;">
{
  "ideId": "string"
}
</pre>
:<code style="white-space: pre;">ideId</code> — идентификатор IDE
'''Ответ:''' пустой
|-
|-
|/snapshots/{snapshot_id}/ide/{ide_id}/*
|<pre style="white-space: pre;">
|Прокси экземпляра IDE снимка
/xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/*
</pre>
|Прокси для запросов экземпляра IDE снимка
|}
|}


Формат идентификатора IDE <code>{тип ide}__{идентификатор конфигурации}</code>. Например для <code>default</code>-конфигурации Theia IDE: <code>theia__default</code>
=== Формат идентификатора IDE ===


== Принцип работы ==
<code style="white-space: pre;">{тип ide}__{идентификатор конфигурации}</code>


=== Запуск IDE ===
Например, для default-конфигурации Theia IDE: <code style="white-space: pre;">theia__default</code>
 
=== Использование IDE ===
 
=== Остановка IDE ===


== Конфигурация ==
== Конфигурация ==


Управление настройками функциональности осуществляется с помощью конфигурационного yaml-файла <code>svacer.cfg</code>.
Управление настройками функциональности осуществляется с помощью конфигурационного yaml-файла <code>svacer.cfg</code>


Раздел конфигурации для управления функциональностью - <code>xsvacer/webide</code>.
Раздел конфигурации для управления функциональностью <code style="white-space: pre;">xsvacer/webide</code>


Раздел содержит перечисление настроек доступных конфигураций для запуска экземпляров Theia IDE <code>xsvacer/webide/theia</code>. При наличии нескольких активных конфигураций запуска Theia IDE пользователь сможет выбрать какую из них использовать при запуске IDE с исходными файлами снимка.
Раздел содержит перечисление доступных конфигураций запуска экземпляров Theia IDE <code style="white-space: pre;">xsvacer/webide/theia</code>. При наличии нескольких активных конфигураций Theia IDE пользователь сможет выбрать какую из них использовать при запуске IDE с исходными файлами снимка.


  xsvacer:
  xsvacer:
Line 138: Line 292:
         ...
         ...


'''Внимание!''' Запуск IDE основывается на запуске docker-контейнеров, содержащих соответствующие сборки IDE. Поэтому помимо настройки функциональности в разделе <code>xsvacer/webide</code> необходимо также настроить доступ к docker-хосту в разделе <code>xsvacer/docker</code> ([[Help:XSvacer:Docker]]). В противном случае функциональность webide не сможет работать корректно.
Запуск IDE основывается на запуске docker-контейнеров, содержащих соответствующие сборки IDE. Поэтому необходимо также [[Help:XSvacer:Docker|настроить доступ к docker-хосту]] в разделе <code style="white-space: pre;">xsvacer/docker</code>, иначе функциональность WebIDE не сможет работать корректно.


'''Примечание:''' в случае отсутствия файла <code>svacer.cfg</code> или отсутствии раздела <code>xsvacer/webide</code>, будет использоваться конфигурация по умолчанию (см. ниже)
В случае отсутствия файла <code>svacer.cfg</code> или отсутствии раздела <code style="white-space: pre;">xsvacer/webide</code> будет использоваться [[Help:XSvacer:Webide#Конфигурация_по_умолчанию_используемая_в_svacer|конфигурация по умолчанию]].


=== Конфигурация запуска Theia IDE ===
=== Конфигурация запуска Theia IDE ===


'''Внимание!''' На этапе внедрения расширений XSvacer конфигурация функциональностей может меняться. Следите за анонсами!
{{Note|text=На этапе внедрения расширений XSvacer конфигурация функциональностей может меняться. Следите за анонсами!}}
 
Конфигурации запуска Theia IDE добавляются в виде полей в разделе <code style="white-space: pre;">xsvacer/webide</code>. Название поля является идентификатором конфигурации запуска. Например, идентификатор по номеру используемой версии IDE:


Конфигурации запуска Theia IDE добавляются в виде полей в разделе <code>xsvacer/webide</code>. Название поля является идентификатором конфигурации запуска. Например идентификатор по номеру используемой версии IDE:
  xsvacer:
  xsvacer:
   webide:
   webide:
Line 166: Line 321:
|bool
|bool
|Конфигурация запуска неактивна. Неактивная конфигурация не доступна для запуска экземпляра IDE
|Конфигурация запуска неактивна. Неактивная конфигурация не доступна для запуска экземпляра IDE
|true (переопределяется в конфигурации <code>default</code>)         
|true (переопределяется в конфигурации default)         
|-
|-
|order
|order
Line 180: Line 335:
|sourcesroot
|sourcesroot
|string
|string
|Путь к папке содержащей исходные коды снимков на машине со svacer'ом
|Путь к папке, содержащей исходные коды снимков на машине со Svacer
|${USER_CACHE_DIR}/svacer-snapshot-sources                 
|${USER_CACHE_DIR}/svacer-snapshot-sources                 
|-
|-
|dockerhostsourcesroot
|dockerhostsourcesroot
|string
|string
|Путь к папке содержащей исходные коды снимков на хосте docker. Нужен при использовании удалённого docker-хоста, т.к. в таком случае папка с исходными кодами скорее всего будет доступна по адресу, отличающемуся от <code>sourcesroot</code>
|Путь к папке, содержащей исходные коды снимков на хосте docker. Нужен при использовании удалённого docker-хоста, т. к. в таком случае папка с исходными кодами скорее всего будет доступна по адресу, отличающемуся от <code style="white-space: pre;">sourcesroot</code>
|                                                         
|                                                         
|-
|-
|dockerhostpathseparator
|dockerhostpathseparator
|string
|string
|Разделитель пути на хосте docker. По умолчанию <code>"/"</code>.
|Разделитель пути на хосте docker. По умолчанию <code style="white-space: pre;">"/"</code>
|                                                         
|                                                         
|-
|-
|sariffiletemplate
|sariffiletemplate
|golang template string
|golang template string
|Шаблон названия sarif-файла с предупреждениями анализатора. В шаблон передаётся структура <code>sarifFileContext</code>
|Шаблон названия sarif-файла с предупреждениями анализатора. В шаблон передаётся структура [[Help:XSvacer:Webide#Структуры_передаваемые_в_поля_с_golang-шаблонами_строк|sarifFileContext]]
|"<nowiki>{{.Context.ProjectName}}.{{.Context.BranchName}}</nowiki>.sarif"
|<nowiki>"{{.Context.ProjectName}}.{{.Context.BranchName}}.sarif"</nowiki>
|}
|}


==== Параметры менеджера запуска IDE ====
==== Параметры менеджера запуска IDE ====


Конфигурация менеджера запуска IDE. На данный момент доступен только "стандартный" менеджер (<code>type: default</code>)
Конфигурация менеджера запуска IDE. На данный момент доступен только стандартный менеджер (<code style="white-space: pre;">type: default</code>)


{| class="wikitable"
{| class="wikitable"
Line 239: Line 394:
|docker/hostid
|docker/hostid
|string
|string
|Идентификатор хоста docker, описанного в <code>xsvacer/docker/hosts</code>. Запуск docker-контейнера с IDE будет выполнен на этом хосте
|Идентификатор хоста docker, описанного в <code style="white-space: pre;">xsvacer/docker/hosts</code>. Запуск docker-контейнера с IDE будет выполнен на этом хосте
|default                                             
|default                                             
|-
|-
|docker/containernametemplate
|docker/containernametemplate
|golang template string
|golang template string
|Шаблон для формирования названия контейнера IDE для выбранного снимка. В шаблон передаётся структура <code>TheiaDockerContainerStartContext</code> (см. ниже)
|Шаблон для формирования названия контейнера IDE для выбранного снимка. В шаблон передаётся структура [[Help:XSvacer:Webide#Структуры_передаваемые_в_поля_с_golang-шаблонами_строк|TheiaDockerContainerStartContext]]
|"theia-1-46-<nowiki>{{.StartArgs.SnapshotID}}</nowiki>"           
|<nowiki>"theia-1-46-{{.StartArgs.SnapshotID}}"</nowiki>
|-
|-
|docker/containerconfiglabels
|docker/containerconfiglabels
|[]map
|[]map
|Список "меток" docker-контейнера. Дополняет список меток в <code>docker/container/config/labels</code>
|Список меток docker-контейнера. Дополняет список меток в <code style="white-space: pre;">docker/container/config/labels</code>
|
|
- "com.docker.compose.project": svacer             
- "com.docker.compose.project": svacer             
|-
|-
|docker/image/
|docker/image/
Line 270: Line 425:
|docker/image/sourcetype
|docker/image/sourcetype
|enum: repository/file
|enum: repository/file
|Тип источника для загрузки образа в docker-хост.
|Тип источника для загрузки образа в docker-хост
* <code>repository</code> - будет вызван <code>docker pull</code> образа <code>{image/name}:{image/tag}</code>
* repository будет вызван docker pull образа <code>{image/name}:{image/tag}</code>
* <code>file</code> - будет вызван <code>docker load</code> с url'ом <code>image/sourcefileurl</code>
* file будет вызван docker load с URL <code>image/sourcefileurl</code>
|file                                               
|file                                               
|-
|-
|docker/image/sourcefileurl
|docker/image/sourcefileurl
|url
|url
|Url откуда будет загружен docker-образ если <code>image/sourcetype == "file"</code>
|URL откуда будет загружен docker-образ если <code style="white-space: pre;">image/sourcetype == "file"</code>
Url может содержать:
URL может содержать:
- путь к локальному файлу: схема <code>file://</code>
* путь к локальному файлу: схема <code>file://</code>
- http/https-адрес: схема <code>http://</code> или <code>https://</code>
* http/https-адрес: схема <code>http://</code> или <code>https://</code>
|https://nextcloud.ispras.ru/index.php/s/gr7pa4RDJBBqAPy/download/theia-blueprint.1.46.0.sarif.clang.tar  
|https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar
|-
|-
|docker/container/
|docker/container/
Line 297: Line 452:
|Список переменных среды, которые будут установлены в контейнере
|Список переменных среды, которые будут установлены в контейнере
|
|
- THEIA_WEBVIEW_EXTERNAL_ENDPOINT=<nowiki>{{hostname}}</nowiki>     
- THEIA_WEBVIEW_EXTERNAL_ENDPOINT=<nowiki>{{hostname}}</nowiki>     
|-
|-
|docker/container/hostconfig/
|docker/container/hostconfig/
Line 313: Line 468:
|
|
|
|
"3000/tcp":                                         
"3000/tcp":                                         
  - hostport: 0                                     
:- hostport: 0                                     
|-
|-
|docker/container/networkconfig/
|docker/container/networkconfig/
Line 395: Line 550:
  }
  }


=== Конфигурация по умолчанию используемая в svacer ===
=== Конфигурация по умолчанию ===


Данная настройка применяется по умолчанию для запуска Theia IDE, если в конфигурационном файле svacer.cfg отсутствует раздел <code>xsvacer/webide</code>:
Данная настройка применяется по умолчанию для запуска Theia IDE, если в конфигурационном файле svacer.cfg отсутствует раздел <code style="white-space: pre;">xsvacer/webide</code>


xsvacer:
<pre style="white-space: pre;">
  docker:
xsvacer:
    hosts:
  webide:
      default: # конфигурация docker-хоста, действующая по умолчанию
    theia:
        type: external
      1-46-0: &1-46-0
      ...
        disabled: true
        order: 0
  webide:
        name: Theia blueprint web IDE (v1.46.0)
    theia:
        sourcesroot: ${USER_CACHE_DIR}/svacer-snapshot-sources
      1-46-0: &1-46-0
        sariffiletemplate: "<nowiki>{{.Context.ProjectName}}.{{.Context.BranchName}}</nowiki>.sarif"
        disabled: true
        manager:
        order: 0
          type: default
        name: Theia blueprint web IDE (v1.46.0)
        docker:
        sourcesroot: ${USER_CACHE_DIR}/svacer-snapshot-sources
          hostid: default # идентификатор используемого docker-хоста
        sariffiletemplate: "<nowiki>{{.Context.ProjectName}}.{{.Context.BranchName}}</nowiki>.sarif"
          containernametemplate: "theia-1-46-<nowiki>{{.StartArgs.SnapshotID}}</nowiki>"
        manager:
          image:
          type: default
            name: theia-blueprint
        docker:
            tag: 1.46.0.sarif.clang
          hostid: default # идентификатор используемого docker-хоста
            sourcetype: file
          containernametemplate: "theia-1-46-<nowiki>{{.StartArgs.SnapshotID}}</nowiki>"
            sourcefileurl: https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar
          image:
          containerconfiglabels:
            name: theia-blueprint
            - "com.docker.compose.project": svacer
            tag: 1.46.0.sarif.clang
          container:
            sourcetype: file
            config:
            sourcefileurl: https://nextcloud.ispras.ru/index.php/s/gr7pa4RDJBBqAPy/download/theia-blueprint.1.46.0.sarif.clang.tar
              env:
          containerconfiglabels:
                - THEIA_WEBVIEW_EXTERNAL_ENDPOINT=<nowiki>{{hostname}}</nowiki>
            - "com.docker.compose.project": svacer
            hostconfig:
          container:
              autoremove: true
            config:
              portbindings:
              env:
                "3000/tcp":
                - THEIA_WEBVIEW_EXTERNAL_ENDPOINT=<nowiki>{{hostname}}</nowiki>
                  - hostport: 0
            hostconfig:
            networkconfig:
              autoremove: true
        healthcheck:
              portbindings:
          starttoreadyretries: 10
                "3000/tcp":
          starttoreadyperiod: 200ms
                  - hostport: 0
      default:
            networkconfig:
        <<: *1-46-0
        healthcheck:
        order: 0
          starttoreadyretries: 10
        disabled: false
          starttoreadyperiod: 200ms
</pre>
      default:
        <<: *1-46-0
        order: 0
        disabled: false


'''Внимание!''' По умолчанию используется docker-хост с идентификатором <code>default</code>. Согласно настройке этого хоста, по умолчанию предполагается взаимодействие с докером через unix-сокет <code>unix:///var/run/docker.sock</code>. Соответственно пользователь, под которым запускается svacer должен иметь доступ к этому сокету (https://docs.docker.com/engine/install/linux-postinstall/).
По умолчанию используется docker-хост с идентификатором <code>default</code>. Согласно настройке этого хоста, по умолчанию предполагается взаимодействие с докером через unix-сокет <code style="white-space: pre;">unix:///var/run/docker.sock</code>. Соответственно пользователь, под которым запускается Svacer, должен иметь доступ к этому сокету (https://docs.docker.com/engine/install/linux-postinstall/).


'''Внимание!''' При наличии раздела <code>xsvacer/webide</code> в конфигурационном файле <code>svacer.cfg</code>, будут применены только настройки из этого раздела. Настройки по умолчанию будут полностью проигнорированы.
{{Note|text=При наличии раздела <code style="white-space: pre;">xsvacer/webide</code> в конфигурационном файле svacer.cfg будут применены только настройки из этого раздела. Настройки по умолчанию будут полностью проигнорированы}}


=== Изменение конфигурационных параметров с помощью переменных окружения ===
=== Изменение конфигурационных параметров с помощью переменных окружения ===


Значения атрибутов конфигурации могут быть изменены с помощью переменных окружения <code>XSVACER_WEBIDE_THEIA_{id конфигурации ide}[_параметр]={значение параметра}</code>
Значения атрибутов конфигурации могут быть изменены с помощью переменных окружения
 
XSVACER_WEBIDE_THEIA_{id конфигурации ide}[_параметр]={значение параметра}</code>
 
Например, для активации rootless-хоста <code style="white-space: pre;">xsvacer/hosts/local</code> и переключения запуска IDE с идентификатором <code style="white-space: pre;">default</code> на этот хост можно указать такие значения переменных окружения при запуске Svacer:


Например, для активации rootless-хоста <code>xsvacer/hosts/local</code> и переключения запуска IDE с идентификатором <code>default</code> на этот хост, можно указать такие значения переменных окружения при запуске svacer'а:
  XSVACER_DOCKER_HOSTS_LOCAL_DISABLED=false
  XSVACER_DOCKER_HOSTS_LOCAL_DISABLED=false
  XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_HOSTID=local
  XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_HOSTID=local
== Очистка системы: удаление артефактов функциональности ==
В процессе использования функциональности IDE создаются следующие артефакты:
# Исходные файлы снимков скачиваются в корневые папки, заданные в параметре <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/sourcesroot</code>
# Артефакты docker:
#* образы и контейнеры создаются на хостах, указанных в конфигурации docker-хостов в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/hostid</code>
#* названия docker-образов будут соответствовать параметрам в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/image</code>
#* названия docker-контейнеров будут соответствовать параметру <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/containernametemplate</code>
#* наборы меток doker-контейнеров будут содержать:
#*: метки, перечисленные в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/containerconfiglabels</code>
#*: метки, перечисленные в <code style="white-space: pre;">xsvacer/webide/theia/{id конфигурации}/docker/container/config/labels</code>
#*: метки с названиями <code style="white-space: pre;">svacer.service.id</code>, <code style="white-space: pre;">svacer.service.type</code>, <code style="white-space: pre;">svacer.theia.start_args</code>
# При использовании rootless-хоста docker будут созданы папки согласно [[Help:XSvacer:Docker#Специфичные настройки для rootless-хоста|настройкам]]


== Рекомендации ==
== Рекомендации ==
Line 460: Line 628:
=== Предварительная загрузка docker-образа с IDE ===
=== Предварительная загрузка docker-образа с IDE ===


По умолчанию параметр <code>xsvacer/webide/theia/1-46-0/docker/image/sourcefileurl</code> содержит значение <code>https://nextcloud.ispras.ru/index.php/s/gr7pa4RDJBBqAPy/download/theia-blueprint.1.46.0.sarif.clang.tar</code>. По этому адресу находится архив с docker-образом для Theia IDE.
По умолчанию параметр  
 
xsvacer/webide/theia/1-46-0/docker/image/sourcefileurl
 
Содержит значение  
 
https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar
 
По этому адресу находится архив с docker-образом для Theia IDE.
 
Если docker-образ ещё не был загружен, то загрузка начнётся при первой попытке запуска IDE. Т. к. этот процесс занимает длительное время, то запрос запуска IDE тоже будет выполняться долго.
 
Для ускорения первого запуска IDE докер образ можно загрузить на хост docker вручную. Для этого необходимо:
 
# Скачать файл архива
# Выполнить команду <code style="white-space: pre;">docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar</code>
 
== Информация о docker-образе Theia IDE ==
 
Docker-образ, используемый по умолчанию, построен на базе [https://theia-ide.org/ Eclipse Theia IDE] версии [https://github.com/eclipse-theia/theia-blueprint/tree/v1.46.0 1.46.0].
 
При этом была изменена компоновка расширений Theia. Результат выполнения <code>git diff</code>:
 
<pre style="white-space: pre;">
diff --git a/browser.Dockerfile b/browser.Dockerfile
index efe591e..a4ebb6a 100644
--- a/browser.Dockerfile
+++ b/browser.Dockerfile
@@ -42,7 +42,7 @@ RUN chmod g+rw /home && \
RUN apt-get update && apt-get install -y wget apt-transport-https && \
    wget -O - https://packages.adoptium.net/artifactory/api/gpg/key/public | tee /usr/share/keyrings/adoptium.asc && \
    echo "deb [signed-by=/usr/share/keyrings/adoptium.asc] https://packages.adoptium.net/artifactory/deb $(awk -F= '/^VERSION_CODENAME/{print$2}' /etc/os-release) main" | tee /etc/apt/sources.list.d/adoptium.list && \
-    apt-get update && apt-get install -y git openssh-client openssh-server bash libsecret-1-0 temurin-17-jdk maven && \
+    apt-get update && apt-get install -y git openssh-client openssh-server bash libsecret-1-0 clangd && \
    apt-get purge -y wget && \
    apt-get clean
 
diff --git a/package.json b/package.json
index 9044595..9d0dcc8 100644
--- a/package.json
+++ b/package.json
@@ -54,10 +54,8 @@
  "theiaPluginsDir": "plugins",
  "theiaPlugins": {
    "eclipse-theia.builtin-extension-pack": "https://open-vsx.org/api/eclipse-theia/builtin-extension-pack/1.83.1/file/eclipse-theia.builtin-extension-pack-1.83.1.vsix",
-    "ms-vscode.js-debug": "https://open-vsx.org/api/ms-vscode/js-debug/1.83.1/file/ms-vscode.js-debug-1.83.1.vsix",
-    "ms-vscode.js-debug-companion": "https://open-vsx.org/api/ms-vscode/js-debug-companion/1.1.2/file/ms-vscode.js-debug-companion-1.1.2.vsix",
-    "vscjava.vscode-java-pack": "https://open-vsx.org/api/vscjava/vscode-java-pack/0.25.11/file/vscjava.vscode-java-pack-0.25.11.vsix",
-    "vscjava.vscode-java-dependency": "https://open-vsx.org/api/vscjava/vscode-java-dependency/0.21.2/file/vscjava.vscode-java-dependency-0.21.2.vsix"
+    "llvm-vs-code-extensions.vscode-clangd": "https://open-vsx.org/api/llvm-vs-code-extensions/vscode-clangd/0.1.26/file/llvm-vs-code-extensions.vscode-clangd-0.1.26.vsix",
+    "ms-sarifvscode.sarif-viewer": "https://open-vsx.org/api/MS-SarifVSCode/sarif-viewer/3.4.2/file/MS-SarifVSCode.sarif-viewer-3.4.2.vsix"
  },
  "theiaPluginsExcludeIds": [
    "ms-vscode.js-debug-companion",
</pre>
 
Команда построения docker-образа:
docker build -t theia-blueprint:1.46.0.sarif.clang -f browser.Dockerfile .
 
Команда экспорта docker-образа:
docker image save theia-blueprint:1.46.0 > /path/to/tar/theia-blueprint.1.46.0.docker.command.tar
 
== Известные проблемы ==
 
=== При открытии sarif-файла в IDE открывается пустая панель "SARIF Results" ===


Если docker-образ ещё не был загружен, то загрузка начнётся при первой попытке запуска IDE. Т.к. этот процесс занимает длительное время, то запрос запуска IDE тоже будет выполняться долго.
Для просмотра sarif-файла, содержащего предупреждения анализатора и разметку, используется плагин [https://open-vsx.org/extension/MS-SarifVSCode/sarif-viewer SARIF Viewer]. При просмотре sarif-файла открывается webview плагина со списком предупреждений анализатора.


Для ускорения первого запуска IDE, докер образ можно загрузить в хост docker'а вручную. Для этого необходимо:
В Theia IDE для открытия webview применяется [https://developer.mozilla.org/en_US/docs/Web/API/Service_Worker_API Service Worker API]. В целях обеспечения безопасности применение Service Worker API [https://developer.mozilla.org/en-US/docs/Web/API/Service_Worker_API/Using_Service_Workers#setting_up_to_play_with_service_workers требует], чтобы доступ к web-приложению осуществлялся по HTTPS, либо приложение размещалось на localhost.
# Скачать файл архива;
# Выполнить команду <code>docker image load -i /path/to/tar/theia-blueprint.1.46.0.sarif.clang.tag</code>;


== docker-образ Theia IDE ==
Поэтому для решения данной проблемы Svacer должен открываться по HTTPS или быть доступен по адресу <code style="white-space: pre;"><nowiki>http://localhost:...</nowiki></code>

Latest revision as of 14:53, 15 July 2024

Данная функциональность входит в набор расширений XSvacer

Поддержка среды разработки Theia IDE

Данная функциональность даёт возможность просматривать исходный код снимка с предупреждениями анализатора во внешней IDE.

По умолчанию запускается IDE, собранная на основе Theia IDE.

Активация функциональности

Для активации функциональности необходимо указать флаг --xsvacer.features webide при запуске Svacer.

При запуске функциональности Webide также будет запущена функциональность docker.

При активации функциональности:

  • становится доступным REST API управления IDE для просмотра исходного кода снимков проектов
  • в пользовательском интерфейсе на вкладке "Информация о снимке" появляется кнопка "Открыть в IDE"
  • устанавливается подключение к хосту docker, на котором будут запускаться контейнеры с экземплярами IDE

Быстрый запуск функциональности с настройками по умолчанию

Для того, чтобы начать пользоваться функциональностью запуска IDE без изменения конфигурационных параметров, нужно выполнить следующие действия:

  1. Настройка доступа к docker-хосту:
    1. Запустить docker со настройками по умолчанию (dockerd должен слушать unix-сокет unix:///var/run/docker.sockhttps://docs.docker.com/reference/cli/dockerd/#daemon-socket-option)
    2. Проверить, что у пользователя под которым будет запускаться Svacer есть доступ к unix-сокету docker-хоста unix:///var/run/docker.sockhttps://docs.docker.com/engine/install/linux-postinstall
  2. Настроить права доступа у пользователей, которые смогут запускать IDE: требуются разрешения на проект/ветку "Просмотр маркеров" и "Экспорт разметки"
  3. Перезапустить Svacer с флагом --xsvacer.features webide
  4. Опционально. Для ускорения первого запуска IDE:
    1. Скачать архив с docker-образом
    2. Загрузить docker-образ из архива на docker-хост: docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar

После этого у пользователей с указанными правами должна появиться кнопка "Открыть в IDE" на панели с информацией о снимке.

Note  IDE с исходным кодом снимков будут запускаться в новых вкладках браузера. Обычно все браузеры блокируют автоматическое открытие вкладки и показывают соответствующее предупреждение.

Например, в Firefox:

В таком случае нужно дать разрешение на открытие вкладки с IDE:


При необходимости изменения настроек подключения к docker-хосту:

  1. Скопировать конфигурацию docker по умолчанию в раздел xsvacer конфигурационного файла svacer.cfg
  2. Внести требуемые изменения в конфигурацию раздела xsvacer/docker

При необходимости изменения настроек запуска IDE:

  1. Скопировать конфигурацию webide по умолчанию в раздел xsvacer конфигурационного файла svacer.cfg
  2. Внести требуемые изменения в конфигурацию раздела xsvacer/webide

Принцип работы

Функциональность запуска IDE для просмотра исходного кода снимков становится доступной пользователю, если соблюдаются условия:

  1. Функциональность активна: при запуске Svacer указан флаг --xsvacer.features webide;
  2. В конфигурации функциональности xsvacer/webide/theia есть хотя бы одна активная (disabled: false) конфигурация IDE
  3. У пользователя Svacer имеются разрешения "Просмотр маркеров" и "Экспорт разметки" на проект, в котором находится снимок, для которого нужно запустить IDE

В противном случае в пользовательском интерфейсе будет отсутствовать кнопка "Открыть в IDE".

Запуск IDE

Запуск производится путём вызова http-метода POST /api/snapshots/{snapshot_id}/ide с телом запроса {"ideId": "идентификатор IDE"}

Последовательность действий, выполняемых при запуске IDE:

  1. Производится проверка: была ли уже запущена указанная IDE для указанного снимка:
    • Если запущена: производится проверка доступности IDE (отвечает на запросы):
      • Если IDE доступна: действие не требуется. Процесс запуска завершается
      • Если IDE недоступна: продолжается процесс запуска. IDE будет перезапущена
  2. Создаётся "корневая папка снимка", предназначенная для хранения исходного кода снимка и предупреждений анализатора с разметкой в виде sarif-файла. Название папки соответствует id снимка. Папка создаётся по пути заданному в параметре конфигурации IDE xsvacer/webide/theia/{идентификатор конфигурации}/sourcesroot
  3. Исходный код снимка скачивается в "корневую папку снимка"
  4. Производится экспорт маркеров и разметки в виде sarif-файла в "корневую папку снимка". Название sarif-файла формируется с помощью шаблона, заданного в параметре конфигурации IDE xsvacer/webide/theia/{идентификатор конфигурации}/sariffiletemplate
  5. Производится настройка и запуск docker-контейнера в соответствии с настройками xsvacer/webide/theia/{идентификатор конфигурации}/docker:
    1. Проверяется наличие на docker-хосте образа IDE, указанного в xsvacer/webide/theia/{идентификатор конфигурации}/docker/image. Если docker-образ отсутствует, он будет загружен на хост
    2. Проверяется наличие на docker-хосте контейнера с IDE для снимка:
      • Если docker-контейнер не существует, то он будет создан и запущен
      • Если docker-контейнер существует и находится:
        • в статусе running — процесс запуска IDE продолжается
        • в статусе created, exited или paused — контейнер будет запущен
        • в других статусах — вернётся соответствующая ошибка и процесс запуска IDE прервётся
  6. После успешного запуска docker-контейнера осуществляется ожидание окончания запуска процесса IDE в контейнере в соответствии с настройками xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck
    • Если за отведённое время ответ от IDE получен — процесс запуска завершается
    • Если ответ не получен — вернётся ошибка ide not ready

При возникновении ошибки на одном из этапов запуска IDE артефакты, созданные на предыдущих этапах, останутся в системе. В дальнейшем они могут быть использованы при повторном запуске IDE, если причина возникновения ошибки была устранена.

Причиной возникновения ошибки "ide not ready" может стать высокая загруженность или недостаточная производительность docker-хоста, на котором запускается контейнер с IDE. В связи с этим процесс IDE внутри контейнера может запускаться дольше, чем указано в настойках xsvacer/webide/theia/{идентификатор конфигурации}/healthcheck. В этом случае рекомендуется попробовать повторно запустить IDE через короткий промежуток времени

Ещё одной причиной возникновения данной ошибки может стать сетевая недоступность docker-контейнера при подключении к удалённому docker-хосту. В таком случае рекомендуется проверить:

  1. Сетевую доступность docker-хоста
  2. Настройки фаервола на docker-хосте
  3. Настройки биндинга docker-контейнера c IDE
xsvacer/webide/theia/{идентификатор конфигурации}/docker/container/hostconfig/portbindings
Контейнер должен быть подключён к доступному сетевому интерфейсу

Использование IDE: проксирование запросов

После успешного запуска docker-контейнера IDE станут доступны ресурсы с префиксом /xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/

Все запросы, направленные к ресурсам /xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/*, будут проксироваться в соответствующий контейнер IDE.

Например, если docker-контейнер c IDE theia__default для снимка xxx запущен и слушает порт 35353 на хосте docker-host, то будет происходить проксирование:

GET http://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/GET http://docker-host:35353/
POST http://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/socket.io/?...POST http://docker-host:35353/socket.io/?...
GET ws://svacer-host/xsvacer/webide/snapshots/xxx/ide/theia__default/socket.io/?...GET ws://docker-host:35353/socket.io/?...

Для запуска IDE в окне браузера нужно указать адрес

http[s]://svacer-host/xvacer/webide/snapshots/{snapshot_id}/{ide_id}/

Note  Завершающий слеш обязателен!

Перезапуск IDE

В процессе работы Svacer следит за состоянием запущенных IDE. При попытке повторного запуска IDE проверяется её доступность: если IDE отвечает на запросы, то повторный запуск не производится и обработка запроса завершается.

Также работоспособность IDE контролируется при использовании IDE в момент проксирования запросов в docker-контейнер: если IDE доступна, то запрос проксируется.

Если IDE перестанет отвечать на запросы, то будет произведена попытка её перезапуска. В этом случае происходит та же последовательность действий, что и при первоначальном запуске IDE.

Зачастую потеря связи обусловлена остановкой docker-контейнера с IDE. В таком случае docker-контейнер будет перезапущен.

Если же недоступность IDE обусловлена другими причинами, то запрос на запуск/проксирование продолжит возвращать ошибку до устранения причин неработоспособности.

Остановка IDE

Запуск производится путём вызова http-метода

DELETE /api/snapshots/{snapshot_id}/ide

с телом запроса {"ideId": "идентификатор IDE"}. В ходе обработки запроса останавливается docker-контейнер IDE.

По умолчанию установлен параметр конфигурации

xsvacer/webide/theia/default/docker/container/hostconfig/autoremove: true

Это означает, что после остановки docker-контейнер будет автоматически удалён.

Чтобы изменить это поведение, настройка

xsvacer/webide/theia/default/{id конфигурации}/container/hostconfig/autoremove

должна быть установлена в false на момент запуска docker-контейнера IDE. Это можно сделать, например, установив значение переменной окружения

XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_CONTAINER_HOSTCONFIG_AUTOREMOVE=false
При использовании версии Svacer 9.0.0 установка autoremove: false вызывает ошибку запуска. Исправлено в версии 9.0.1.

При корректной остановке (например SIGTERM) Svacer автоматически остановит все запущенные docker-контейнеры IDE.

Подключение к IDE после некорректного завершения Svacer

При запуске Svacer осуществляет поиск запущенных docker-контейнеров IDE на доступных docker-хостах. При восстановлении связи с запущенными docker-контейнерами IDE и последующей корректной остановке Svacer все docker-контейнеры IDE будут остановлены.

REST API для работы с IDE

На этапе внедрения расширений XSvacer REST API может меняться. Следите за анонсами!

После активации функциональности становятся доступны http-ресурсы для управления IDE:

REST API управления IDE
Ресурс Описание
GET /xsvacer/webide/api/ide
Получение списка доступных для запуска IDE.

Ответ:

[
  {
    "id": "string",
    "name": "string",
    "order": 0
  }
]
id — идентификатор IDE
name — название IDE
order — порядковый номер IDE в списке
GET /xsvacer/webide/api/snapshots/{snapshot_id}/ide/{ide_id}
Запрос описания экземпляра IDE, запущенного для снимка.

Параметры:

snapshot_id — идентификатор снимка
ide_id — идентификатор IDE

Ответ:

{
  "id": {
    "ide_id": {
      "ide_type": "string"
      "config_id": "string",
    },
    "snapshot_id": "string"
  },
  "properties": {
    "url": "string"
  },
  "start_args": {
    "snapshot_id": "string",
    "user": "string",
    "user_id": "string"
  }
}
POST /xsvacer/webide/api/snapshots/{snapshot_id}/ide
Запуск IDE для просмотра исходных кодов снимка

Параметры:

snapshot_id — идентификатор снимка

Запрос:

{
  "ideId": "string"
}
ideId — идентификатор IDE

Ответ:

{
  "ideId": "string"
}
ideId — идентификатор IDE
PUT /api/snapshots/{snapshot_id}/ide
Команда управления экземпляром IDE снимка

Параметры:

snapshot_id — идентификатор снимка

Запрос:

{
  "action": "string",
  "ideId": "string"
}
action — действие
ideId — идентификатор IDE

Доступные действия:

  • update_markup — обновление предупреждений и разметки (sarif-файла)

Ответ: пустой

DELETE /xsvacer/webide/api/snapshots/{snapshot_id}/ide
Остановка экземпляра IDE снимка

Параметры:

snapshot_id — идентификатор снимка

Запрос:

{
  "ideId": "string"
}
ideId — идентификатор IDE

Ответ: пустой

/xsvacer/webide/snapshots/{snapshot_id}/ide/{ide_id}/*
Прокси для запросов экземпляра IDE снимка

Формат идентификатора IDE

{тип ide}__{идентификатор конфигурации}

Например, для default-конфигурации Theia IDE: theia__default

Конфигурация

Управление настройками функциональности осуществляется с помощью конфигурационного yaml-файла svacer.cfg

Раздел конфигурации для управления функциональностью — xsvacer/webide

Раздел содержит перечисление доступных конфигураций запуска экземпляров Theia IDE xsvacer/webide/theia. При наличии нескольких активных конфигураций Theia IDE пользователь сможет выбрать какую из них использовать при запуске IDE с исходными файлами снимка.

xsvacer:
  webide:
    theia:
      config1:
        ...
      config2:
        ...

Запуск IDE основывается на запуске docker-контейнеров, содержащих соответствующие сборки IDE. Поэтому необходимо также настроить доступ к docker-хосту в разделе xsvacer/docker, иначе функциональность WebIDE не сможет работать корректно.

В случае отсутствия файла svacer.cfg или отсутствии раздела xsvacer/webide будет использоваться конфигурация по умолчанию.

Конфигурация запуска Theia IDE

На этапе внедрения расширений XSvacer конфигурация функциональностей может меняться. Следите за анонсами!

Конфигурации запуска Theia IDE добавляются в виде полей в разделе xsvacer/webide. Название поля является идентификатором конфигурации запуска. Например, идентификатор по номеру используемой версии IDE:

xsvacer:
  webide:
    theia:
      1-46-0:
        name: Theia blueprint web IDE (v1.46.0)
        ...

Базовые параметры конфигурации запуска

Название Тип данных Описание Значение в конфигурации по умолчанию
disabled bool Конфигурация запуска неактивна. Неактивная конфигурация не доступна для запуска экземпляра IDE true (переопределяется в конфигурации default)
order int Порядковый номер в списке выбора конфигурации запуска 0
name string Название конфигурации Theia blueprint web IDE (v1.46.0)
sourcesroot string Путь к папке, содержащей исходные коды снимков на машине со Svacer ${USER_CACHE_DIR}/svacer-snapshot-sources
dockerhostsourcesroot string Путь к папке, содержащей исходные коды снимков на хосте docker. Нужен при использовании удалённого docker-хоста, т. к. в таком случае папка с исходными кодами скорее всего будет доступна по адресу, отличающемуся от sourcesroot
dockerhostpathseparator string Разделитель пути на хосте docker. По умолчанию "/"
sariffiletemplate golang template string Шаблон названия sarif-файла с предупреждениями анализатора. В шаблон передаётся структура sarifFileContext "{{.Context.ProjectName}}.{{.Context.BranchName}}.sarif"

Параметры менеджера запуска IDE

Конфигурация менеджера запуска IDE. На данный момент доступен только стандартный менеджер (type: default)

Название Тип данных Описание Значение в конфигурации по умолчанию
manager map Конфигурация менеджера запуска IDE
manager/type enum: default Тип менеджера запуска IDE default

Параметры запуска docker-контейнеров с IDE

Данные параметры используются для настройки запуска docker-контейнеров с IDE

Название Тип данных Описание Значение в конфигурации по умолчанию
docker/ map Настройки создания docker-контейнера с IDE
docker/hostid string Идентификатор хоста docker, описанного в xsvacer/docker/hosts. Запуск docker-контейнера с IDE будет выполнен на этом хосте default
docker/containernametemplate golang template string Шаблон для формирования названия контейнера IDE для выбранного снимка. В шаблон передаётся структура TheiaDockerContainerStartContext "theia-1-46-{{.StartArgs.SnapshotID}}"
docker/containerconfiglabels []map Список меток docker-контейнера. Дополняет список меток в docker/container/config/labels

- "com.docker.compose.project": svacer

docker/image/ map Параметры docker-образа из которого будет запущен контейнер
docker/image/name string Название образа theia-blueprint
docker/image/tag string Тег образа 1.46.0.sarif.clang
docker/image/sourcetype enum: repository/file Тип источника для загрузки образа в docker-хост
  • repository — будет вызван docker pull образа {image/name}:{image/tag}
  • file — будет вызван docker load с URL image/sourcefileurl
file
docker/image/sourcefileurl url URL откуда будет загружен docker-образ если image/sourcetype == "file"

URL может содержать:

  • путь к локальному файлу: схема file://
  • http/https-адрес: схема http:// или https://
https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar
docker/container/ map Свойства docker-контейнера
docker/container/config map Конфигурация контейнера. Соответствует структуре https://github.com/moby/moby/blob/v24.0.7/api/types/container/config.go#L70
docker/container/config/env []string Список переменных среды, которые будут установлены в контейнере

- THEIA_WEBVIEW_EXTERNAL_ENDPOINT={{hostname}}

docker/container/hostconfig/ map Параметры хостинга контейнера. Соответствует структуре https://github.com/moby/moby/blob/v24.0.7/api/types/container/hostconfig.go#L379
docker/container/hostconfig/autoremove bool true
docker/container/hostconfig/portbindings map

"3000/tcp":

- hostport: 0
docker/container/networkconfig/ map Сетевые настройки контейнера. Соответствуют структуре https://github.com/moby/moby/blob/v24.0.7/api/types/network/network.go#L104

Параметры проверки доступности healthcheck

Данные параметры используются для проверки доступности IDE после запуска docker-контейнера

Название Тип данных Описание Значение в конфигурации по умолчанию
healthcheck map Параметры проверки доступности IDE
healthcheck/starttoreadyretries int Количества попыток проверки до ошибки доступности 10
healthcheck/starttoreadyperiod golang duration string Интервал проверки 200ms

Структуры передаваемые в поля с golang-шаблонами строк

sarifFileContext {
    Time    time.Time
	Context: {
        ProjectID  *string
        BranchID   *string
        SnapshotID *string
        MarkerID   *string

        ProjectName  *string
        BranchName   *string
        SnapshotName *string
        MarkerName   *string
        CreatedBy    null.String
        CreatedByID  null.String
        CreateTs     null.Time
    }
}

TheiaDockerContainerStartContext {
	IdeID: {
        IdeType  string
        ConfigID string
    },
	StartArgs: {
        SnapshotID string
        UserID     string
        User       string
    },
	Context: {
        ProjectID  *string
        BranchID   *string
        SnapshotID *string
        MarkerID   *string

        ProjectName  *string
        BranchName   *string
        SnapshotName *string
        MarkerName   *string
        CreatedBy    null.String
        CreatedByID  null.String
        CreateTs     null.Time
    }
}

Конфигурация по умолчанию

Данная настройка применяется по умолчанию для запуска Theia IDE, если в конфигурационном файле svacer.cfg отсутствует раздел xsvacer/webide

xsvacer:
  webide:
    theia:
      1-46-0: &1-46-0
        disabled: true
        order: 0
        name: Theia blueprint web IDE (v1.46.0)
        sourcesroot: ${USER_CACHE_DIR}/svacer-snapshot-sources
        sariffiletemplate: "{{.Context.ProjectName}}.{{.Context.BranchName}}.sarif"
        manager:
          type: default
        docker:
          hostid: default # идентификатор используемого docker-хоста
          containernametemplate: "theia-1-46-{{.StartArgs.SnapshotID}}"
          image:
            name: theia-blueprint
            tag: 1.46.0.sarif.clang
            sourcetype: file
            sourcefileurl: https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar
          containerconfiglabels:
            - "com.docker.compose.project": svacer
          container:
            config:
              env:
                - THEIA_WEBVIEW_EXTERNAL_ENDPOINT={{hostname}}
            hostconfig:
              autoremove: true
              portbindings:
                "3000/tcp":
                  - hostport: 0
            networkconfig:
        healthcheck:
          starttoreadyretries: 10
          starttoreadyperiod: 200ms
      default:
        <<: *1-46-0
        order: 0
        disabled: false

По умолчанию используется docker-хост с идентификатором default. Согласно настройке этого хоста, по умолчанию предполагается взаимодействие с докером через unix-сокет unix:///var/run/docker.sock. Соответственно пользователь, под которым запускается Svacer, должен иметь доступ к этому сокету (https://docs.docker.com/engine/install/linux-postinstall/).

При наличии раздела xsvacer/webide в конфигурационном файле svacer.cfg будут применены только настройки из этого раздела. Настройки по умолчанию будут полностью проигнорированы

Изменение конфигурационных параметров с помощью переменных окружения

Значения атрибутов конфигурации могут быть изменены с помощью переменных окружения

XSVACER_WEBIDE_THEIA_{id конфигурации ide}[_параметр]={значение параметра}

Например, для активации rootless-хоста xsvacer/hosts/local и переключения запуска IDE с идентификатором default на этот хост можно указать такие значения переменных окружения при запуске Svacer:

XSVACER_DOCKER_HOSTS_LOCAL_DISABLED=false
XSVACER_WEBIDE_THEIA_DEFAULT_DOCKER_HOSTID=local

Очистка системы: удаление артефактов функциональности

В процессе использования функциональности IDE создаются следующие артефакты:

  1. Исходные файлы снимков скачиваются в корневые папки, заданные в параметре xsvacer/webide/theia/{id конфигурации}/sourcesroot
  2. Артефакты docker:
    • образы и контейнеры создаются на хостах, указанных в конфигурации docker-хостов в xsvacer/webide/theia/{id конфигурации}/docker/hostid
    • названия docker-образов будут соответствовать параметрам в xsvacer/webide/theia/{id конфигурации}/docker/image
    • названия docker-контейнеров будут соответствовать параметру xsvacer/webide/theia/{id конфигурации}/docker/containernametemplate
    • наборы меток doker-контейнеров будут содержать:
      метки, перечисленные в xsvacer/webide/theia/{id конфигурации}/docker/containerconfiglabels
      метки, перечисленные в xsvacer/webide/theia/{id конфигурации}/docker/container/config/labels
      метки с названиями svacer.service.id, svacer.service.type, svacer.theia.start_args
  3. При использовании rootless-хоста docker будут созданы папки согласно настройкам

Рекомендации

Предварительная загрузка docker-образа с IDE

По умолчанию параметр

xsvacer/webide/theia/1-46-0/docker/image/sourcefileurl

Содержит значение

https://svacer.ispras.ru/docker/images/theia-blueprint.1.46.0.sarif.clang.tar

По этому адресу находится архив с docker-образом для Theia IDE.

Если docker-образ ещё не был загружен, то загрузка начнётся при первой попытке запуска IDE. Т. к. этот процесс занимает длительное время, то запрос запуска IDE тоже будет выполняться долго.

Для ускорения первого запуска IDE докер образ можно загрузить на хост docker вручную. Для этого необходимо:

  1. Скачать файл архива
  2. Выполнить команду docker image load -i /path/to/theia-blueprint.1.46.0.sarif.clang.tar

Информация о docker-образе Theia IDE

Docker-образ, используемый по умолчанию, построен на базе Eclipse Theia IDE версии 1.46.0.

При этом была изменена компоновка расширений Theia. Результат выполнения git diff:

diff --git a/browser.Dockerfile b/browser.Dockerfile
index efe591e..a4ebb6a 100644
--- a/browser.Dockerfile
+++ b/browser.Dockerfile
@@ -42,7 +42,7 @@ RUN chmod g+rw /home && \
 RUN apt-get update && apt-get install -y wget apt-transport-https && \
     wget -O - https://packages.adoptium.net/artifactory/api/gpg/key/public | tee /usr/share/keyrings/adoptium.asc && \
     echo "deb [signed-by=/usr/share/keyrings/adoptium.asc] https://packages.adoptium.net/artifactory/deb $(awk -F= '/^VERSION_CODENAME/{print$2}' /etc/os-release) main" | tee /etc/apt/sources.list.d/adoptium.list && \
-    apt-get update && apt-get install -y git openssh-client openssh-server bash libsecret-1-0 temurin-17-jdk maven && \
+    apt-get update && apt-get install -y git openssh-client openssh-server bash libsecret-1-0 clangd && \
     apt-get purge -y wget && \
     apt-get clean

diff --git a/package.json b/package.json
index 9044595..9d0dcc8 100644
--- a/package.json
+++ b/package.json
@@ -54,10 +54,8 @@
   "theiaPluginsDir": "plugins",
   "theiaPlugins": {
     "eclipse-theia.builtin-extension-pack": "https://open-vsx.org/api/eclipse-theia/builtin-extension-pack/1.83.1/file/eclipse-theia.builtin-extension-pack-1.83.1.vsix",
-    "ms-vscode.js-debug": "https://open-vsx.org/api/ms-vscode/js-debug/1.83.1/file/ms-vscode.js-debug-1.83.1.vsix",
-    "ms-vscode.js-debug-companion": "https://open-vsx.org/api/ms-vscode/js-debug-companion/1.1.2/file/ms-vscode.js-debug-companion-1.1.2.vsix",
-    "vscjava.vscode-java-pack": "https://open-vsx.org/api/vscjava/vscode-java-pack/0.25.11/file/vscjava.vscode-java-pack-0.25.11.vsix",
-    "vscjava.vscode-java-dependency": "https://open-vsx.org/api/vscjava/vscode-java-dependency/0.21.2/file/vscjava.vscode-java-dependency-0.21.2.vsix"
+    "llvm-vs-code-extensions.vscode-clangd": "https://open-vsx.org/api/llvm-vs-code-extensions/vscode-clangd/0.1.26/file/llvm-vs-code-extensions.vscode-clangd-0.1.26.vsix",
+    "ms-sarifvscode.sarif-viewer": "https://open-vsx.org/api/MS-SarifVSCode/sarif-viewer/3.4.2/file/MS-SarifVSCode.sarif-viewer-3.4.2.vsix"
   },
   "theiaPluginsExcludeIds": [
     "ms-vscode.js-debug-companion",

Команда построения docker-образа:

docker build -t theia-blueprint:1.46.0.sarif.clang -f browser.Dockerfile .

Команда экспорта docker-образа:

docker image save theia-blueprint:1.46.0 > /path/to/tar/theia-blueprint.1.46.0.docker.command.tar

Известные проблемы

При открытии sarif-файла в IDE открывается пустая панель "SARIF Results"

Для просмотра sarif-файла, содержащего предупреждения анализатора и разметку, используется плагин SARIF Viewer. При просмотре sarif-файла открывается webview плагина со списком предупреждений анализатора.

В Theia IDE для открытия webview применяется Service Worker API. В целях обеспечения безопасности применение Service Worker API требует, чтобы доступ к web-приложению осуществлялся по HTTPS, либо приложение размещалось на localhost.

Поэтому для решения данной проблемы Svacer должен открываться по HTTPS или быть доступен по адресу http://localhost:...