Разработка системы хранения, контроля и визуализации информации Трекового детектора переходного излучения в эксперименте ATLAS (ЦЕРН)

Припроведениисовременныхэкспериментов? в области физики-элементарных, частицученым — приходитсясталкиваться! с беспрецедентным* объемом1 данных, подлежащих упорядоченному хранению, обработкеграфическою визуализации и анализу. Данные экспериментаразличны позначению^ и целям, использования. Современные экспериментальные установки являются сложными* детекторамии программнымикомплексамипризванными решать фундаментальные задачи;

В ноябре 2009/ года в Европейском Центре: Ядерных Исследований? (ЦЕРН)[:1] состоялся запуск крупнейшего в мире ускорителя заряженных частиц — БольшогоАдронного Коллайдера (L11С)[2]. На ускорителе установлены четыре крупных экспериментасамымкрупным из которых является ATLAS[3]. Объем физических данных, производимый детектором ATLAS ежедневно, равен приблизительно Г Терабайт, и более 3 тысяч физиков со всего мира должны иметь к ним до ступ для о бработки и — анализа. Проект LHG является уникальным. Весь комплекс: построен с. применением ' современных? уникальных" технологий и позволяет достигать, недоступных ранее показателей. С марта 2010 г. на ускорителе проводились столкновения протонов с полной энергией 7 ТэВ, приэтом было достигнуто пиковое.

•2 Л 1 значение светимости 2−10 смс. С ноября по декабрь коллайдер работал с пучками ядер свинца. Ядра разгонялись до энергии 1,38 ТэВ в расчете на.

25 лкаждый нуклон и светимость столкновений, достигала 3 • 10 см с. В 2014 г. на ускорителе планируется достичь энергии столкновений протонных пучков 14 ТэВ с рекордно высокой светимостью 1034 см" 2с" 1.

Среди важнейших задач, которые предполагается решать в эксперименте при изучении протон-протонных взаимодействий:

• Обнаружение и измерение параметров, Хиггс бозона — калибровочной частицы, котораяявляется ключевой в механизме образования масс элементарных частиц.

• Поиск суперсимметричных партнеров известных элементарных частиц.

• Обнаружение процессовуказывающих на возможное существование скрытых размерностей пространства-времени:

Поиск различных- «экзотических» частица и состояний: мини-черных дыр, частиц с необычными" квантовыми числами и т. п.

Дляполучения физических результатов эксперимента ATLAS" обеспечиваются-управление и контроль рабочих, систем детектора, а также операции сбораупорядоченного хранения и обработки экспериментальных данных. Работы в этих областях ведутся в каждом из поддетекторов эксперимента: Данная работа направлена на исследование, анализ и разработку программного обеспеченияконтроля и управления одного из основных детекторов установки. ATLAS — Трекового Детектора Переходного Излучения TRT (Transition Radiation’Tracker) [4], который используется для измерения координат трекова кроме этого — для идентификации электронов. Созданная1 система, обеспечивает безопасную* последовательную работу детектора, а также предоставляет инструменты, оценкикачества регистрируемых экспериментальных данных.

Во время набора экспериментальных данных необходимо в автоматизированном режиме контролировать состояние рабочих систем детектора. Также необходимо в режиме экспресс-оффлайн контролировать и мониторировать конфигурации системы сбора данных, включая хранение, управление и визуализацию параметров настройки (пороги напряжения, временные задержки и т. д.) компонентов считывающей электроники и триггера. Состояние систем детектора и конфигурация системы сбора данных непосредственно влияют на качество регистрируемых данных, которое также необходимо мониторировать.

Для обеспечения бесперебойной работы детектора TRT, а также гарантии качества регистрируемых им данных необходимо осуществлять контроль рабочих систем детектора и мониторировать около 400 000 каналов, информации и более 22 600 компонентов считывающей электроники. Работа с таким объемом данных требует внедрения автоматических программных средств.

В работе впервые была реализована программная система для мониторинга и контроля конфигураций рабочих систем и контроля качества регистрируемых данных детектора TRT в эксперименте ATLAS. Были выполнены внедрение и надежная поддержка разработанного программного обеспечения. В системе были учтены следующие положения:

— В условиях длительного этапа подготовки эксперимента и эксплуатации, система учитывает возможные модификации для удовлетворения изменяющимся требованиям в процессе разработки и эксплуатации;

— Система обладает достаточной модульностью для успешной интеграции с существующими компонентами;

Основными методами исследований, используемыми в работе, являлись методы структурного и функционального анализа, и теории алгоритмов.

Современное программное обеспечение крупных физических экспериментов основывается на наборе различного рода программных сред, компонентов и модулей. Существует больше количество задач и целей, решаемых при помощи программных средств. При разработке программного модуля, входящего в состав инфраструктуры эксперимента, следует учесть существование большого числа различного рода данных и соответствующих программных служб. Например, технические данные, данные геометрии установки, базы данных системы сбора данных и системы контроля физической установки. Базы данных могут быть как, реального времени, так и автономные. Также существуют данные событий, условий и конфигураций. Используются. различные службы управления-данными:

Особенности программного обеспечения в области крупных экспериментов заключаются в следующем:

— Большоечисло* данных, подлежащих регистрации, хранению, обработке и визуализации,.

— Широкий ряд программных систем предназначен для выполнения обработки данных в реальном времени,.

— Пользователи разрабатывают свои собственные программные модули" в единой программной' среде, обеспечивающей основной" функционал и единую геометрию эксперимента, а также содержащей необходимые библиотеки и интерфейсы доступа к данным и программным службам.

Поскольку в программном, обеспечении эксперимента широко принято использование распределенных информационных ресурсов, наиболее-рациональной", являетсясервисно-ориентированная архитектура.. Таким, образом, может быть реализованы принципы многократного использования функциональных элементов, ликвидации дублирования функциональности в программном обеспечении, унификации типовых операционных процессов. Компоненты программы" могут быть распределены по разным узлам сети, и предлагаются как независимые, слабо связанные, заменяемые сервисы-приложения. Модель предполагает инкапсуляцию деталей реализации конкретного компонента от остальных компонентов. В условиях проведения крупных экспериментов, когда программные компоненты разрабатываются разными рабочими группами на разных языках программирования и платформах следование модели позволяет реализовать интерфейсы, обеспечивающие доступ к функционалу модуля со стороны других модулей.

Разрабатываемые в эксперименте уникальные программные средства реализуют функции управления хранящимися данными, возможности просмотра, передачи данных между базами данных и электроникой, возможности создания' кортежей конфигурационных данных и т. д. Хранящиеся данные подлежат анализу и"обработке.

Существует условное разделение программного* обеспечения на программное обеспечение реального времени и автономное. Критерием разделения-является достижения требуемого соотношения времени отклика и точности и детализации обработки данных. В соответствии с этим разделением ведутся разработки программного обеспечения. В том случае, если результаты обработки данных должны незамедлительно вносить изменения в режим работы систем эксперимента, программное обеспечение работает в режиме реального времени. К таким данным относятся критические данные системы контроля детектора. Это могут быть сигналы тревог, в случае, если ключевые параметры работы какой-либо системы вышли за допустимые пределы. Также к системам реального времени относится «система* триггера, вырабатывающая сигнал, разрешающий запись экспериментальных данных, в случае если результатом экспресс обработки является заключение, что данное физическое событие представляет интерес для данного исследования.

Большая часть экспериментальных данных представляет интерес для последующей обработки. При обработке такого рода данных приоритет смещается от скорости вынесения результата в сторону точности вынесенного результата и глубины детализации рассмотрения данных. В таком случае речь идет об автономных данных.

Для обработки экспериментальных данных, а также проведения специальных вычислений используются специальные вычислительные среды. Вычислительная среда эксперимента призвана решать широкий спектр задач, связанных с физическими вычислениями и обработкой? экспериментальных данных: эмуляция физических процессов и работы, эксперимента, разработка программных триггеров — систем экспресс-обработки поступающих, данных, с целью выработки^ сигнала записи" интересующих физических событий, программы реконструкции физических процессов по: полученным экспериментальным результатам, программы физического анализа данных, визуализация иг т.д. Вычислительная ^ среда эксперимента- - программное обеспечение, включающеенеобходимые и часто используемые алгоритмы, данные, механизмы и программные модули для обработки данных конкретного эксперимента. Вычислительная среда эксперимента является* основой' для разработки, собственных приложений пользователями. и предоставляет единый интерфейс доступа к основным вычислительным возможностям и сервисам, однакопри, этом не включает средства управления. Использование такой среды позволяет реализовывать единые алгоритмы, как, например, алгоритмы, связанные* с геометрией эксперимента. Вычислительная, среда эксперимента решает следующие основные задачи:

— Структура программного"-обеспечения, куда разработчики встраивают свой код;

— Обеспечение основного функционала;

— Обеспечивает единый подход к созданию программных модулей.

Примером удачной реализации такой средыявляется система Gaudi[5], созданнаяи ориентированная для работы в эксперименте LHCb[6] на ускорителе LHC. Система Gaudi была взята за основу при создании среды эксперимента ATLAS — Athena[7]. Система Athena предоставляет разработчику следующие возможности: алгоритмы, работа с объектами данных, специальные службы, преобразование данных, работа с параметрами алгоритмов и служб, поддержка управлением заданиями.

Среда Athena представляет единый интерфейс, обеспечивающий доступ ко всем данным, необходимым для выполнения физического анализа. Кроме того, система Athena представляет возможности мониторинга в реальном времени физических событий и статистической информации, характеризующей работу детектора и подсистемы c6opas данных DAQ (Data Acquisition System)[8].

Все уровни обработки данных эксперимента ATLAS, начиная от триггера высокого уровня, до эмуляции, событий, реконструкции^ и анализа происходят в рамках среды Athena. Данный подход наиболее удобен разработчикам кода и пользователям, так как позволяет тестировать и запускать алгоритмический код, с гарантией, что вся геометрия детектора и условия будут одинаковы для всех типов приложений: эмуляция, реконструкция, анализ, визуализация.

Для реализации функций эмуляции физических процессов и работы экспериментов разрабатываются специальные системы эмуляции. В области физики элементарных частиц основными системами являются Pythia[9] и Geant4[10]. Pythia — программа моделирования процессов столкновения элементарных частиц^ при высоких энергиях на ускорителях элементарных частиц. Geant4 (англ. GEometry ANd Tracking — геометрия и трекинг) является программой для моделирования прохождения элементарных частиц через вещество с использованием методов Монте-Карло. Система разработана в ЦЕРНе на объектно-ориентированном языке программирования С++ и является дальнейшим развитием предыдущих версий Geant.

При обработке данных и анализе полученных результатов в ряде случаев разрабатывается программное обеспечение, оценивающее результат по набору заданных критериев. В большинстве случаев проверка результатов работы систем и качества-полученных экспериментальных данных требует творческой оценки группы специалистов. В этом случае ставится задача представления экспериментальных данных наглядным и удобным для восприятия4, пользователя способом. И в случае большого' объема таких данных, ставится задача^ осоздании5 и использовании графических средств представления данных, предоставляющих возможности управления, детализацией^ представления иориентированных на представления данных конкретной^ системы. Системы графического представления данных должны представлять, изображения с. учетом реальной геометрии" целевой системы. Общим подходом является использование специальных систем, содержащих набор графических библиотек и примитивов, а также предоставляющих специальные языковые и интерактивные средства разработки. Системы визуализации эксперимента, выполняющие в большинстве случаев роль, дисплеев событий, разрабатываются, практически во" всех крупных экспериментах. Дисплей, событий, — программное' средство графического представления наблюдаемого физического явления:

В рамках эксперимента ATLASведутся разработки программных средств графической визуализации экспериментальных данных. Система 1 разработки ROOT[ll], используемая, в качестве основной среды обработки данных экспериментов на ускорителе LHG, содержит большое число библиотек, описывающих графические примитивы, и предоставляет широкие возможности для работы с гистограммами и графиками. Однако для визуализации треков элементарных частиц разрабатываются более сложные системы, ориентированные на архитектуру и геометрию детектора. Примерами, таких систем в эксперименте ATLASявляются: Atlantis[12], PERSINT[13] и Virtual Point 1 [14]. Данные системы предоставляют графическое изображение компонентов детектора и, наложенные на них, треки частиц. При этом системы PERSINT и Virtual Point 1 работают в. режиме трехмерной графики. Системы работают с данными представленными системой Athena.

Данные физических событий детектора TRT могут быть представлены при помощи вышеперечисленных средств визуализации эксперимента ATLAS. Однако существовала необходимость, при помощю единого графического интерфейса представлять с детализацией до уровня различных структурных компонентов детектора данные^ физических событий, статистические данные, характеризующие качество полученных физическим данных, а также данные об используемых конфигурациях систем и условиях эксплуатации. В рамках данной работы было создано программное обеспечение для визуализации данных детектора TRT. Данная программа визуализации используется как универсальное средство мониторинга детектора на этапах тестирования, ввода в эксплуатацию и работы в штатном режиме.

При создании инфраструктуры хранения экспериментальных данных, к основным задачам относятся организация структурированного хранения данных с реализацией возможности совместного использования различных по типу и назначению баз данных, а также реализация рационального доступа к данным. Такая организация позволит в дальнейшем полностью восстановить процесс эксперимента и предоставит ученым всю необходимую информацию.

В основе систем хранения экспериментальных данных как правило лежат стандартные РСУБД[15] (Oracle[16], MySQL[17] и т. д.). На основе стандартных РСУБД могут разрабатываться надстройки, ориентирующие систему хранения на экспериментальные данные. Также в рамках СУБД реализуются оптимальные и эффективные схемы организации хранения данных (таблицы, представления, хранимые процедуры, хранимые типы и т. д.). В ряде случаев и специфических задач используются файловые системы хранения[15] на основе технологии XML[18] и файлов уникального типа.

В области экспериментальной? физикииспользуются два широких подхода, кранениюданных: хранение данные на основе использования файлов и использования реляционных баз данных[19]. Оба подхода хранения дополняют друг друга и используются5 совместно. Файловое хранение-обычноиспользуется для больших' наборов экспериментальных данных., Хранилища на основе баз данных используетсякогда требуется! одновременнаязаписьмногимипользователями-, поддержкам транзакций-, когда? обработка^ дынныхнеотъемлемо? распределеннаяобычно с централизованной": записью" данных: и распределенным, чтением, когда требуется^ индексация? длявыполнения" быстрых запросов? на умеренных объемах данных, и где требуетсяструктурированнаяархивное-: хранение и поиск на основе? запросов. Конкретная реализация систем хранения экспериментальных данных не тривиальна и решаются в" рамках отдельного эксперимента: Обычно на основе реляционных СУБД создаютсясистемы, храненияпри этом внутренняя структура реализована в виде множества связанных таблиц, реализующих: как" функции непосредственно хранения данных, так и механизмы рационального доступа и поиска. Также в реляционных базахданных хранятсяссылки навнешние файлы данных.

Экспериментальныетданные событиш поступают с большойчастотой порядка гигабайт в секунду. При этом первично полученные данные позднее пройдут несколько этаповавтономной обработки. Наиболее рациональным способом хранениятаких данных является запись их в большиефайлы необработанных данных с уникальными именами, которые впоследствиибудут обработаны[7]. При этом соответствующие условия, при которых был получен такой файл, а именно данные использованных конфигураций-рабочих систем и т. д., записываются в реляционные базы данных. Также N реляционная база данных хранит ссылки на файлы данных, соответствующие каждому набору данных условий, таким образом, каталогизируя файлы. В: качестве указателявнешнего файла данных может выступать, например, номер экспериментального запуска. Таким образом, система хранения данных современных экспериментов представляет собой комбинированное хранение на’основе файловых и реляционных баз данных. Данный подход используетсяв • экспериментах на ускор>ителе LHC. Такаяорганизация-позволяет эффективно записывать большой объем данных событий, при этом-одновременнаяподдержка реляционных баз данных условий, позволяет эффективно выполнять запросы и получать необходимый, файл данных.

В" эксперименте ATLAS на ускорителе5 LHC при1 реализации' систем хранения-активно используются? системы COOL[20] и CORAL[21], созданные в, ЦЕРНе. Программный пакет COOL реализован на основе механизма интервалов истины, т. е.- объекты или ссылки на объекты^ хранящиеся^ базе данных COOL, имеют соответствующее время" так называемых начала и окончания* периода, в течение которогоэти. данные истинны. Система CORAL это программный, пакет, реализующий, основные операции для работы с данными. Основной1 целью при разработке являлось создание программного продукта, осуществляющего доступ к данным, хранящимся, в, СУБД. При этом доступ данных с точки зрения* программиста не должен зависеть. от используемой технологии СУБД.

Вг рамках детектора TRT для хранения^ данных системы, триггера, и сбора данных TDAQ[8], использовалась база, данных OKS (Object Kernel Source)[22], разработанной* в Петербурском институте ядерной физики им. П. Б. Константинова. База данных OKS основана на. использовании файлов XML. Сервер OKS является расширением репозитория базы данныхфайлового хранилища и предоставляет возможности управления множеством файлов XML. В задачи данной диссертационной работы входит замена технологии хранения OKS на использование СУБД Oracle.

Большинство сервисов системы управления детектором DCS (Detector Control Sysytem)[23] в. детекторе TRT реализованы при помощи системы визуализации и управления процессамиPVSS[24] (пер. с нем.

Prozessvisualisierungsund Steuerungs-System). Система PVSS предоставляет возможности построения систем хранения, являясь надстройкой над РСУБД Oracle. Для доступа к данным системы PVSS могут быть использованы запросы SQL и вызовы хранимых процедур Oracle, реализованные при помощи системы CORAL.

В рамках данной работы велась разработка базы данных системы TDAQ детектора TRT на основе СУБД Oracle, а также интерфейсной библиотеки для работы с данными систем TDAQ-и, DCS. В’задачи-проекта входило замена ранее использовавшейся базы данных на основе технологии OKS. Разработка интерфейсной библиотеки связано с необходимостью создания набора приложений для администрирования базы данных и управления конфигурациями системы DAQ. Кроме этого, библиотека позволила" реализовать программные методы автоматического управления конфигурациями и передачи данных между системами DAQ и DCS, а также обеспечила доступ к данным систем для" средств графической визуализации. Реализация библиотеки обеспечила интерфейсный программный слой между внутренней организацией баз данных детектора TRT и внешними приложениями пользователей. Результат анализа представлен в таблице 1.

Таблица 1. Программные средства эксперимента ATLAS.

Основные системы / Типы программных средств Базовые системы и библиотеки Интерфейсы Высокоуровне вые системы.

Системы хранения данных Данные событий Файлы необработанных данных POOL, RAL Athena.

Данные условий и конфигураций Файлы XML OKS Oracle, MySQL COOL CORAL Разделяемые библиотеки С++ OKS, Athena, приложения мониторинга.

Система сбора данных Oracle COOL CORAL Разделяемые библиотеки С++ Athena, приложения мониторинга.

Система контроля детектора Oracle Oracle Stored Procedures, CORAL PVSS.

Программные средства визуализации ROOT GraXML, GeoModel, PERSINT • Atlantis, PERSINT, Virtual Point 1.

Вычислительная среда эксперимента Gaudi, Athena ROOT Athena.

Генераторы событий Pythia, Geant4 ROOT Athena.

Разнообразие используемых средств демонстрирует необходимость разработки большого числа интерфейсов, а также обуславливает проблему согласования форматов данных. Поскольку различные приложения и данные, находятся в сфере ответственности разных пользователей, то наиболее рационально в данном случае будет построение модели на основе сервисно-ориентированной архитектура программного обеспечения, когда предполагается интеграция вновь разрабатываемых модулей к единой программной шине. В рамках эксперимента ATLAS такой шиной является вычислительная среда Athena.

Заключение

.

Выполненное исследование позволило получить ряд новых научно-технических результатов, обеспечивающих процесс разработки и интеграции программных модулей в рамках больших информационных систем, эффективность которых подтверждена опытом эксплуатации в ЦЕРН. Основные результаты:

1. Были разработаны методы хранения большого объема 1 ТБ) конфигурационных данных эксперимента, обеспечивающих безопасный и рациональный механизм ввода новых значений конфигурационных параметров и быстрого поиска условий при которых были получены непосредственно экспериментальные данные. Созданные методы были использованы при разработке программной библиотеки CoolCoralClient для доступа к данным систем сбора данных DAQ и контроля детектора DCS детектора TRT в эксперименте ATLAS.

2. Были разработаны методы графического представления данных эксперимента. Разработанные методы были использованы при создании приложения TRTViewer. Данное приложение ориентировано на архитектуру детектора и может использоваться как средство мониторирования практически всех компонентов детектора. Приложение TRTViewer широко используется на этапах автономного тестирования детектора TRT. Приложение специально разработано как гибкое устройство быстрой диагностики и отладки.

3. Осуществлено внедрение в производственную эксплуатацию в системах мониторинга, контроля детектора и сбора данных всех представленных в данной работе программных модулей. Разработанные средства использовались в качестве основных средств мониторинга и контроля состояния рабочих систем детектора TRT, а также участвовали в процессах контроля качества регистрируемых экспериментальных данных и калибровке считывающей электроники детектора. Детектор TRT вносит большой вклад в получение физических результатов эксперимента ATLAS.

Благодарности.

Ясердечно благодарен моему первому научному руководителю — Чернышеву Юрию Александровичу, без которого эта работа не могла быть выполнена. Будучи" студентом Московского инженерно-физического института (МИФИ), я пришел к Юрию Александровичу на преддипломную практику, где сразу начал работать над. задачами" мониторинга и графической! визуализации экспериментальных данных для. эксперимента ATLAS (ЦЕРН). Под его научным руководством я сначала успешно защитил диплом, а затем продолжил свою работу в аспирантуре МИФИ. Также я хочу выразить огромную благодарность моему научному руководителю, который помог мне завершить работу над диссертацией' и дойти до ее защиты — Шмелевой* Алевтине Павловне. Юрий Александрович и Алевтина Павловна внесли огромный вклад в работу. Спасибо вам за настоящую научную школу.

Также я хотел от всего сердца поблагодарить коллектив кафедры № 40 МИФИ, основаннойш долгое время возглавляемой Борисом Анатольевичем Долгошеиным. Борис Анатольевич был выдающимся ученым и главным идейным создателем Трекового Детектора Переходного Излучения TRT. Я считаю своей большой удачей, что мне посчастливилось работать в его команде.

Я бы хотел поблагодарить замечательных людей, с которыми мне посчастливилось работать в Европейском Центре Ядерных Исследований и без i участия которых эта работа тоже вряд ли была бы возможна: Кристоф Рембсер, Бениамино Ди Джироламо, Анатолий Романюк, Майк Хэнс, Питер Вагнер, Питер Светански, Элзбиета Банас. Отдельно я бы хотел поблагодарить людей, с непосредственно с которыми я работал бок о бок вовремя написания этой работы: Сергея Смирнова и Владимира Тихомирова.

Считаю своим приятным долгом выразить благодарность всем моим соавторам, друзьям и коллегам за искреннюю, дружескую поддержку при подготовке этой работы.

Особая благодарность оппонентам, проделавшим немалый труд при чтении и анализе работы и за отмеченные, безусловно, ценные замечания, а также всем, написавшим отзыв на автореферат.

20.COOL — LCG Conditions Database Project: http.//lcgapp.cem.ch/project/CondDB/ :

21.Papadopoulos, et al., CORAL, A Software-System for Vendor-Neutral Access to Relational Databases, 15th International Conference on Computing In High Energy and Nuclear Physics, Mumbai, India, 2006.

22.SoIoviev, et al., The Configurations Database Challenge in the ATLAS DAQ System, Computing in High Energy Physics and Nuclear Physics, Interlaken, Switzerland, 2004, ATL-COM-DAQ-2004;021.

23 .H.J. Burckhartj «Detector Control System», Fourth-Workshop on Electronics for LHC Experiments, Rome, Italy, 1998, p. 19−23.

24.PVSS-II, http://www.pvss.com.

25.ATLAS CollaborationATLAS Technical Proposal^CERN/LHCC/94−43j CERN, Geneva, Switzerland, 1994.

26.G. Aad, E. Abat,. R. Mashinistov et al., The ATLAS Experiment at the CERN Large Hadron Collider. Journal of Instrumentation 2008.

27.G. Aad, E. Abat,. R. Mashinistov et al., The ATLAS Inner Detector commissioning and calibration. European Physical Journal C 2010, Vol. 70, No. 3, p. 787−821 ;

28.G. Aad, E. Abat,. R'. Mashinistov et al. Expected performance of the ATLAS experiment: detectortrigger and physicsPreprint CERN-OPEN-2008;020, Geneva, CERN, 2009.

29.ATLAS Collaboration, ATLAS magnet system: Technical Design Report 1, ATLAS-TDR-006, CERN, Geneva, 1997. — 101 p.

30. ATLAS Inner Detector Community, Technical Design Report, Volume 1 and 2, ATLAS TDR 4, CERN, Geneva, 1997.

31.G. Aad et al, ATLAS Pixel Detector Electronics and Sensors. Journal of Instrumentation 2008.

32.Е Abat, A Abdesselam,. R. Mashinistov et al. Combined performance tests before installation of the ATLAS Semiconductor and Transition Radiation Tracking Detectors. Journal of Instrumentation 2008.

33.E. Abat, T. N. Addy,. R. Mashinistov et al. The Atlas Transition Radiation Tracker (TRT) proportional drift tube: design and performance. Journal of Instrumentation 2008.

34.P.Cwetanski, A. Romaniouk and V. Sosnovtsev, «Studies of wire offset effects on-gas gain in the ATLAS TRT straw chamber», ATLAS Internal Note ATL-INDET-2000;016, 2000.

35.E. Abat, T. Ni Addy,. R. Mashinistov et al. The ATLAS TRT electronics. Journal of Instrumentation 2008.

36.E. Abat, T. N. Addy,. R. Mashinistov et al. The ATLAS TRT Barrel detector. Journal of Instrumentation 2008.

37.E. Abat, T. N. Addy,. R. Mashinistov et al. The ATLAS TRT end-cap detector. Journal of Instrumentation 2008.

38.G. Aad et al., Drift Time Measurement in the ATLAS Liquid Argon Electromagnetic Calorimeter using Cosmic Muons, European Physical Journal С 2010, Vol. 70, No. 3, p. 755−785.

39.G. Aad et al., Readiness of the ATLAS Tile Calorimeter for LHC collisions, European Physical Journal С 2010, Vol. 70, No. 4, pp. 1193−1236.

40.G. Aad et al., Readiness of the ATLAS Liquid Argon Calorimeter for LHC Collisions, European Physical Journal С 2010, Vol. 70, No. 3, pp. 723−753.

41.G. Aad et al., Commissioning of the ATLAS Muon Spectrometer with Cosmic Rays, European Physical Journal С 2010, Vol. 70, No. 3, pp. 875−916.

42.H.J. Burckhart et al., «Communication between Trigger/DAQ and DCS», International Conference on Computing in High Energy and Nuclear Physics, Beijing (China) September 2001, pp. 109−112.

43 .Б. Ди Джироламо, Р. Ю. Машинистов, Ю. А. Чернышев, Механизм «интервалов истины» в базах данных условий и конфигураций физического эксперимента Atlas. Науч. сессия МИФИ-2008. XII выставка-конференция. Телекоммуникации и новые информационные. Технологии в образовании: Сб. науч. тр. М.: МИФИ, 2008, С. 41−43.

44.A. Amorim, J. Lima, L. Pedro, D. Klose, C. Oliveira, N. Barros. IEEE-NPSS: An Implementation for the ATLAS Conditions Data Management Based on Relational DBMSs. In Proceedings of the 13 th IEEE-NPSS Real Time Conference, 2003, pp. 591- 595.

45.S. Kolos, I. 'Scholtes, P.F. Zema The ATLAS Event Monitoring Service — Peer-to-Peer Data Distribution in High Energy Physics, IEEE Transactions on Nuclear Science, 2008, Vol. 55, No.3, pp. 1610 — 1620.

46.ATLAS HLT/DAQ/DCS Group, ATLAS Technical Design Report: High-Level Trigger, Data Acquisition and Controls, ATLAS-TDR-016, Geneva, CERN, 2003.

47.P. Lichard et al., Evolution of the TRT backend and the new TRT-TTC board, Prepared for 11th Workshop on Electronics for LHC and Future Experiments, Heidelberg, Germany, 2005, http://cdsweb.cern.ch/record/920 977.

48.C. Baxter et al., Progress on the development of a detector mounted analog and digital readout system for the ATLAS TRT, 50th IEEE 2003 Nuclear Science Symposium, Medical Imaging Conference, 13th International Workshop on ' Room Temperature Semiconductor Detectors and Symposium on Nuclear Power Systems, Portland, OR, USA, 2003, Vol.1, pp. 202−205.

49.С. Alexander et al., Progress in the development of the DTMROC time measurement chip for the ATLAS Transition radiation tracker (TRT), IEEE Transactions on Nuclear Science, 2001, Vol. 48, No.3, pp. 514−519.

50.ATLAS-TRT collaboration, T. Akesson et al., Straw tube drift-time properties and electronics parameters for the ATLAS TRT detector, Nuclear Instruments and Methods in Physics Research Section A, Volume 449, Issue 3, 2000, pp. 446 460.

51 .P.Lichard, The new ATLAS TRT Readout System, 6th Workshop on Electronics for LHC Experiments, Krakow, Poland, 2000, pp.434−438.

— 13 552.1. Alexandrov et al., LargeScale and Performance Tests of the ATLAS Online Software, Science Press New York Ltd. Proceedings of CHEP 2001, Beijing, China, pp.570−571.

53.S.Kolos et al., Online Monitoring software framework in the ATLAS experiment, Conference for Computing in High-Energy and Nuclear Physics CI IEP 2003, La Jolla, CA, USA, 2003, -6p. .

54.1. Alexandra vet al-, Online Software for the. ATLAS Test Beam DataAcquisitionSystem, IEEE Transactions on Nuclear Science, 2004; Vol.51, No. 3, pp. 578 584 55.R. I-Iart and V. Khomoutnikov, ATLAS DAQ DCS Communication Software:

User Requirements Document, Nov. 2000, ¦ http://atlasinfo.cern.ch/ATLAS/GROUPS/DAQTRIG/DCS/DDC/ddcurd.pdf 56. PVSS-II, http://www.pvss.com/ '.

57.Soloviev, et al., The Configurations Database Challenge in the ATLAS DAQ System, Computing in High Energy Physics and Nuclear Physics, Interlaken, Switzerland, 2004, ATL-COM-DAQ-2004;021.

58.D. Liko etal., Control in the ATLAS TDAQ System // Computing in High Energy Physics and Nuclear Physics 2004 CHEP 2004, Interlaken, Switzerland, 2004, pp. 159−162.

59.P.Ю. Машинистов, В. И. Метсчко, — С. Ю. Смирнов, В. О. Тихомиров, Компьютерная ферма Грид МИФИ. Инженерная физика. 2008. № 1, С. 54−59.

60.D. Liko et al., The ATI .AS strategy for Distributed Analysis in several Grid infrastructures, Conference for. Computing in High Energy and Nuclear Physics, Mumbai, India, 2006: http://indico.cem:ch/contributionDisplay.py?contribId=263&sessionId=9&confId =048.

61.A C. Железко, Р. Ю. Машинистов и др., Разработка системы визуализации данных трекового детектора1 переходного • излучения в эксперименте Atlas. Науч. сессия МИФИ-2007. Научно-образовательный центр CRDF. V.

Конференция.- Фундаментальные исследования материи в экстремальных состояниях. Физика ядра и элементарных частиц: Сб. науч. тр. М.: МИФИ, 2007, С. 88−90 i.

62. JC OP: http ://itcowww.cern. ch/j сор/.

63.Бородин М. С., Машинистов Р. Ю., Разработка системы хранения и визуализации данных трекового детектора переходного излучения в эксперименте ATLAS. Современные технологии в задачах управления, автоматики и обработки информации, Труды XVII*Международного научно-технического семинара Сентябрь 2008 г., Алушта, ISBN 978−5-80 880 357−2.

64.Р. Ю. Машинистов, Ю. А. Чернышев Ю.А., Разработка программного1 обеспечения хранения данных в вычислительной инфраструктуре физического эксперимента. Открытое образование 2009, № 4, С. 57−62.

65.Б. Ди Джироламо, Р. Ю. Машинистов, А. С. Романюк, Разработка системы хранения данных трекового детектора переходного излучения в эксперименте Atlas. Науч. сессия МИФИ-2007: Сб. науч. тр. В 17 т. М.: МИФИ, 2007, Т. 10. С. 49−50.

66.Р. Ю. Машинистов, Ю. А. Чернышев Ю. А, Методы хранения экспериментальных данных детектора элементарных частиц на примере эксперимента ATLAS на ускорителе LHC (ЦЕРН). Открытое образование 2010, № 2, С. 41−47.

67.G. Aad et al., Charged particle multiplicities in pp interactions measured with the ATLAS detector at the LHC, New Journal of Physics, 2011, Vol.13, -70 pp.

68. G. Aad et al., Measurement of the W -> lnu and Z/gamma* -> 11 production cross sections in proton-proton collisions at у/s =7 TeV with the ATLAS detector, e-Print: arXiv:1010.2130vl [hep-ex], 2010, — 57 pp.