На production и development серверах установлен pilot-0.2-1.svn2053.el5. В данной версии добавлена поддержка групп задач и автоматическое добавление расширений, необходимых для выбранных пакетов программного обеспечения в требованиях задачи. Для работы необходим pilot-cli-0.2-1.svn2014.el5 или старше.

На development pilot установлена версия pilot-0.1dev-r1632 (pilot-0.1-1.svn1632.el5), содержащая много изменений в логике работы с сертификатами, используемыми для запуска заданий. Данная версия сохраняет обратную совместимость с pilot-cli-0.1-1.svn1213.el5, однако весь новый функционал доступен только при использовании pilot-cli-0.1-1.svn1634 и выше (есть в development-репозитории). В частности, этот пакет содержит программы pilot-delegation-*, а так же новые версии программ pilot-job-submit и некоторых других, поддерживающих работу с делегациями (параметр -D/--delegation). В целом работа с делегациями является пока еще достаточно сырой, поэтому возможно появление неожиданных проблем, или нарушение нормальной работы старых функций. Пожалуйста, сообщайте о всех проблемах через билеты.

На development pilot установлена новая отладочная версия pilot-0.1dev-r1414. В данной версии произошла большая реорганизация внутренних алгоритмов работы pilot, которая должна улучшить производительность и сократить потребление памяти системой. Для пользователя произошли следующие важные изменения:

• Появились новые состояния заданий и задач:
  • Для задач:
    • Состояние starting. Задача находится в этом состоянии, если производится попытка ее запуска на ресурс. В случае завершения этой попытки задача переходит в состояние running или aborted.
    • Состояние pending. Задача находится в этом состоянии, если предыдущая попытка запуска задачи была прервана (например, перезагрузкой сервиса).
      Эти состояния не попадают в записи accounting log.
  • Для заданий:
    • Состояния starting, pausing, aborting. Задание находится в этом состоянии после получения запроса на запуск/приостановку/отмену до тех пор, пока соответствующее действие не будет завершено. Данные состояния не попадают в accounting log.
    • Состояние partial. Задание было выполнено не полностью (часть задач завершилась успешно, часть - нет или не была запущена, но пользователь не отменял выполнение задания). Данное состояние попадает в accounting log как job_aborted.
• Появилась поддержка частичного выполнения заданий, задания которые были выполнены не полностью получают статус partial. В данный момент она включена для всех заданий, без возможности отключения.

Поскольку изменений было много, ожидается наличие оставшихся и новых ошибок, просьба сообщать о них, когда вы будете с ними сталкиваться.

На development pilot установлена версия pilot-0.1-1.svn1100.el5, поддерживающая matchmaking по большому количеству параметров из информационной системы, виртуальным организациям, а так же требованиям к установленному ПО (см. документацию). Эта версия требует правильной настройки информационной системы на сайтах. Если ваш сайт настроен неправильно, то с большой вероятностью он не будет пригоден для запуска задач. Настроить сайт нужно в соответствии с актуальной версией инструкции по настройке информационной системы. Критичными параметрами являеются:

• Наличие всех очередей всех кластеров в ng:Cluster/ng:SubCluster/ng:Queue
• Наличие всех поддерживаемых VO во всех ACL. Обратите внимание: в настоящее время тесты запускаются от VO gridnnn.
• Если вы публикуете софт, то обязательно наличие элементов Name и Version.

На development-сервере теперь стоит pilot-0.1-1.svn1066.el5. Это сильно экспериментальный релиз с достаточно сильно переработанными внутренностями, поэтому возможна сильная нестабильность сервиса. Заметные для пользователя улучшения:

• Практически мгновенный старт задач.
• Более быстрое изменение состояний задач/заданий для многошаговых задач.
• Скорее всего, частичное решение проблемы #596.

С сегодняшнего дня сервры pilot не принимают на выоплнение задачи, посланные с сертификатами без voms-расширений (клиенты получают ошибку 401 при попытке запустить задачу, или провести matchmaking).

09.04.2010 будет прекращена работа сервиса https://tb01.ngrid.ru:15053/

Новый адрес для development-сервиса pilot: https://tb02.ngrid.ru:5053/ Новый development-сервис уже установлен и запущен, рекомендуется переключить все сервисы на него в ближайшее время.

Обновления старого development-сервиса pilot, расположенного по адресу https://tb01.ngrid.ru:15053/ больше производиться не будут.

Изменения:

• Поддержка кодов выхода программ. Коды завершения программ доступны через новый атрибут exit_code в ответе о состоянии задачи. (См. документацию.).
• Остановка выполнения задания в случае не успешного завершения задач. Критерий успешности код возврата, не превышающий новый параметр max_success_code из описания задачи. (См. документацию.)
• Опрос состояния задач через wsrf-query теперь происходит только в том случае, если информация о задачах "давно" не поступала через WS-N.
• Полноценные whitelist и blacklist для хостов
• Много внутренних изменений и исправлений старых пропущенных ошибок.

Для работы с параметром max_success_code необходим pilot_cli версии [735] и выше, бинарный дистрибутив есть в обычном месте.

Начиная с версии [702] пилот использует WS-Notification для получения информации о состоянии задач. Для работы этой версии необходим python-globusws версии [624] и выше, работа через globusrun-ws от Globus Toolkit временно не поддерживается.

Важные изменения:

• Идентификаторы заданий теперь не являются числовыми.
• Есть возможность смотреть состояние заданий и задач, которые были удалены, если известны их URI.
• Опрос состояния задач происходит параллельно в несколько процессов, что повышает скорость работы сервера.
• Появились таймауты на запуск задач и опрос их состояния. В конфигурации по умолчанию, которая используется на tb01.ngrid.ru, запуск задачи (обмен информацией между globusrun-ws и сервисом globus) должен уложиться в 15 секунд, иначе запуск считается неудачным. Ответ на запрос о состоянии задачи должен занимать не более 15 секунд, в противном случае он считается неудачным. Получение 3 неудачных ответов о состоянии задачи подряд приводит к аборту задачи.

Экземпляр сервиса pilot по адресу https://tb01.ngrid.ru:5053/ был обновлен до версии [583]. Данная версия работает с matchmaking, а так же предоставляет информацию об аккаунтинге. Для работы необходим pilot_cli версии [553] или выше.

Начиная с [553] появилась работающая команда pilot-job-matchmake. Для использования требуется новая версия pilot_cli, которая доступна в обычных местах. Сервер на https://tb01.ngrid.ru:15053/ также был обновлен до версии [553].

Отладочная версия сервера Pilot работает по адресу https://tb01.ngrid.ru:15053/, для работы всегда рекомендуется использовать последнюю версию pilot_cli из subversion или последний бинарный дистрибутив pilot_cli.

Внимание: сервисы pilot начиная с версии [315] требуют обновления pilot_cli до версии [315] и выше для правильной работы в связи с изменением формата времени (добавление микросекунд). Не забудьте обновить pilot_cli.

В pilot_cli версии [314] и выше появилась новая команда pilot-server-version, работающая с сервисом версии [314] и выше, позволяющая узнать версию сервиса pilot, с которым вы общаетесь.

Сегодня вышла версия pilot и pilot_cli [249], поддерживающие описания заданий/задач в формате PilotJsonJobDescription. Сервис на tb01.ngrid.ru обновлен до последней версии. Дистрибутив pilot_cli, как обычно, есть в http://www.ngrid.ru/sw/pilot_cli/

Далее здесь будут публиковаться изменения в текущих версиях pilot и pilot_cli, которые могут быть интересны кому-либо кроме авторов pilot. О существенных изменениях так же будет сообщаться в рассылку devel.