Разработка методов моделирования для оценки производительности суперкомпьютерных систем для параллельных приложений с однородным характером поведения

4.9.

Заключение

.

Использование компьютерной симуляции для получения сведений о характере работы приложения на ещё не построенной вычислительной системе предоставляет исследователю выгодные компромиссы между временем конфигурации, скоростью измерений и количеством/точностью получаемых данных. Из-за масштаба задачи сам процесс моделирования не является тривиальным, однако современные программные решения позволяют выполнить его на доступном оборудовании.

В диссертационной работе рассмотрены вопросы теоретической возможности, целесообразности и практической реализации методов программной симуляции приложений молекулярной динамики для исследования вопросов их функциональности и производительности на вычислительных системах заранее до физической доступности аппаратуры.

Следует отметить, что достигнутая в работе скорость симуляции сравнима с опубликованными для подобных исследований результатами. Однако представленное в работе решение ориентировано на системы с процессорами IA-32, тогда как описанные в литературе параллельные симуляторы в основном нацелены на менее распространённые архитектуры или не ставят перед собой задач исследования производительности.

При выполнении диссертации были получены следующие основные результаты:

• Получены теоретические обоснования применимости разрабатываемого метода к различным классам прикладных приложений и выбран класс задач, на котором будет сфокусирована работа.

• Разработана подключаемая и конфигурируемая модель неоднородных иерархий памяти, позволяющая получить данные о влиянии задержек при обращении к памяти на скорость исполнения программ.

• Разработан инструмент mpi-tracer, предназначенный для исследования влияния коммуникаций MPI на производительность параллельных программ.

• Выработана теоретическая база и создана методика для определения производительности приложений через анализ встроенных в микропроцессоры Intel счётчиков производительности и инструмента Intel VTune Analyzer.

• Отдельные созданные компоненты объединены в единый комплекс на основе Wind River Simics, который был использован для симуляции приложений молекулярной динамики.

Проведенный в работе анализ показывает, что для большого класса практических задач симуляция позволяет получить базовые оценки параметров работы приложений без привлечения натурного эксперимента, зачастую невозможного из-за недоступности оборудования. Для программ с однородным параллелизмом показано, что такой анализ является эффективным.

В процессе исследований и в ходе решения поставленных задач были получены следующие результаты, выносимые на защиту:

• Создан инструмент для моделирования вычислительных систем производительностью до 60 TFLOPS на физическом оборудовании с собственной производительностью в десять раз меньшей.

• Изучена возможность измерения производительности приложений Gromacs и Amber при переходе от использования вычислительных комплексов предыдущего поколения к будущим, проектируемым, системам.

Представленные в диссертационной работе модели для описания производительности параллельных приложений, алгоритмы и реализация модели кэшей, общая схема цикла исследования, а также схема распределения симуляции разработаны и реализованы лично автором. Программа mpi-tracer для сбора трассы MPI-вызовов и анализатор собранных трасс созданы под руководством автора. Работы были выполнены в составе группы симуляции архитектур лаборатории суперкомпьютерных технологий для биомедицины, фармакологии и малоразмерных структур факультета радиотехники и кибернетики Московского физико-технического института, на аппаратуре вычислительного кластера лаборатории.

Важным результатом данной работы является создание комплексной модели вычислительного кластера, позволяющей исследовать различные факторы, влияющие на производительность. Модель являлась адекватной для анализа поведения программ и вычислительных систем, используемых на практике рабочими группами лаборатории и была нацелена на применимость к системам, которые планируется построить в ближайшем будущем. Опытная эксплуатация описанных решений в работе группы симуляции лаборатории суперкомпьютерных технологий для биомедицины, фармакологии и малоразмерных структур МФТИ позволила сделать вывод об их пригодности к практическому использованию для решения существующих задач анализа и оптимизации существующих и будущих программно-аппаратных комплексов.

1. Agarwal Anant Performance Tradeoffs In Multithreaded Processors // IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS. — 1991. — T. 3. — 525−539.

2. Albrecht M. C. (Mike) Introduction to Discrete Event Simulation. — 2010. — URL: http: / /www. albrechts. com/ mike/DES/Introduction-toDES.pdf.

3. Amber 11 Users' Manual / D. A. Case и др. — University of California, 2010.

4. AMD I/O Virtualization Technology (IOMMU) Specification. — Advanced Micro Devices. 2011. — URL: http: / /support. amd. com/us/ProcessorTechDocs/48 882.pdf.

5. Analytic Evaluation of Shared-Memory Architectures / Daniel J. Sorin, Jonathan L. Lemon, Derek L. Eager, Mary K. Vernon // IEEE Transaction on Parallel and Distributed Systems. — 2003. — T. 14. — C. 180.

6. Analytic evaluation of shared-memory systems with ILP processors / Daniel J. Sorin и др. // 25th annual International Symposium on Computer Architecture. — IEEE Computer Society, 1998. — 380−391.

7. Binary translation / Richard L. Sites и др. // Communications of the ACM. — 1993. — Фев. — Т. 36, № 2. — 69−81.

8. Bugnion Edouard, Devine Scott, Rosenblum Mendel Disco: Running commodity operating systems on scalable multiprocessors // ACM Transactions on Computer Systems. — 1997. — 143−156. — URL: http://www.cis.upenn.edu/~cis700−6/04f/papers/bugnion-disco.pdf.

9. Cain Harold W. Precise and Accurate Processor Simulation. — 2002. — URL: http: / /pages. cs. wise. edu/ ~cain/pubs / caecw2002final.pdf.

10. Carlson Trevor E., Heirman Wim, Eeckhout Lieven Sniper: Exploring the Level of Abstraction for Scalable and Accurate Parallel Multi-Core Simulations // International Conference for High Performance Computing, Networking, Storage and Analysis.

11. SC). — Ноя. 2011. — URL: http://www.exascience.com/wp-content/uploads/201l/09/Sc2011carlson-final.pdf.

12. CUDA Parallel Computing Platform. — NVIDIA Corporation. — URL: http: //www. nvidia. com/object /cudahomenew. html (дата обр. 24.09.2012).

13. Dean J., Ghemawat S. MapReduce: Simplified Data Processing on Large Clusters // Proceedings of the 6th Conference on Symposium on Operating Systems Design and Implementation. — 2004. — T. 6. — C. 137—150.

14. Dongarra Jack J. Performance of Various Computers Using Standard Linear Equations Software //. — URL: ftp://netlib2. cs.utk.edu/benchmark/performance.pdf.

15. Dongarra Jack J., Luszczek Piotr, Petitet Antoine The LINPACK benchmark: Past, present, and future. // Concurrency and Computation: Practice and Experience. — 2003. — T. 15. — C. 20.

16. Drepper Ulrich The Cost of Virtualization // ACM Queue. — 2008, — Янв. — 30−35. — URL: http://queue.acm.org/detail. cfm? id=1 348 591.

17. Drepper Ulrich What every programmer should know about memory //. — 2007. — Ноя. — URL: http: / /www. akkadia. org/drepper/cpumemory .pdf (дата обр. 20.06.2012).

18. Drepper Ulrich Что каждый программист должен знать о памяти / пер. С. В. Капустин, М. Ульянов, Н.Ромоданов. — Май 2012. — URL: http ://ruslinux.net/lib. php? name=/MyLDP/ hard/memory/memory.html (дата обр. 20.05.2012).

19. Exploring the performance limits of simultaneous multithreading for memory intensive applications / Evangelia Athanasaki, Nikos Anastopoulos, Kornilios Kourtis, Nectarios Koziris // The Journal of Supercomputing. — 2008. — T. 44, № 1. — 64−97.

20. Fortune S., Wyllie J. Parallelism in Random Access Machines // Proceedings of the 10th ACM Symposium on Theory of Computing. — C. 114—118.

21. Fujimoto Richard M. Parallel discrete event simulation // Commun. ACM. — 1990. — Окт. — T. 33, № 10. — C. 30—53. — ISSN: 10 782. — DOI: 10 .1145/84 537 .84 545. — URL: http: //doi. acm. org/10.1145/84 537.84545.

22. Graphite: A Distributed Parallel Simulator for Multicores / Jason E. Miller и др. // The 16th IEEE International Symposium on High-Performance Computer Architecture (HPCA). — 2010. — Янв.

23. GROMACS: Fast, flexible, and free / David Van Der Spoel и др. // Journal of Computational Chemistry. — 2005. — T. 26, № 16. — 1701−1718. — ISSN: 1096−987X. — DOI: 10.1002/jcc. 20 291. — URL: http://dx.doi.org/10.1002/jcc.20 291.

24. High performance Linpack benchmark. — Netlib. — URL: http: //www.netlib.org/linpack.

25. Hoare C. A. R. Communicating sequential processes // Commun. ACM. — 1978. — Авг. — Т. 21, № 8. — С. 666—677. — ISSN: 0001−0782. — DOI: 10. 1145/359 576. 359 585. — URL: http: // doi.acm.org/10.1145/359 576.359585.

26. HOW to get the L1, L2 Cache Miss of an intel i5 Sandy Bridge. — URL: http: / /software. intel. com / en us / forums/topic / 279 983 (дата обр. 12.10.2012).

27. Hypervisor/Sun4v Reference Materials. — Oracle Corporation. — URL: http: / / kenai. com / projects / hypervisor / pages / ReferenceMaterials (дата обр. 31.01.2013).

28. IA-32 Execution Layer: a two-phase dynamic translator designed to support IA-32 applications on Itanium-based systems / Leonid Baraz и др. //In 36th International Symposium on Microarchitecture. — 2003. — 191−201.

29. Intel® 64 and IA-32 Architectures Software Developer’s Manual. Volume 3B. — Intel Corporation.

30. Intel® Virtualization Technology / F. Leung и др. // Intel Technology Journal. — 2006. — Авг. — Т. 10, вып. 03. — ISSN: 1535−864X. — DOI: 10. 1535 / it j. 1003. 01. — URL: http: www. intel. com/technology/itj/2006/vl0i3/ (дата обр. 20.06.2012).

31. Intel® Virtualization Technology for Directed I/O / D. Abramson и др. // Intel Technology Journal. — 2006. — Авг. — URL: http: //www. intel. com/technology/it j/2006/vl0i3/ (дата обр. 13.10.2012).

32. Intel® VTune™ Amplifier XE. — Intel Corporation. — URL: http: / / software. intel. com / en us / articles / intel — vtuneamplif ier-xe/ (дата обр. 02.07.2012).

33. J. Dongarra J. The MPI Profiling Interface. — URL: http://www. netlib.org/utk/papers/mpi-book/nodel82.html (дата обр. 16.04.2012).

34. KVM wiki. — URL: http: //www. linux-kvm. org/page/Main Page.

35. Leopold Claudia Parallel and Distributed Computing: A Survey of Models, Paradigms, and Approaches. — John Wiley and Sons, 2001. — ISBN: 0−471−358 312−2.

36. Li X, Malek Miroslaw Analysis of Speedup and Communication/Computation Ratio in Multiprocessor Systems // IEEE Real-Time Systems Symposium. — IEEE Computer Society, 1988. — 282−288.

37. Li X., Malek Miroslaw Analysis of Speedup and Communication/Computation Ratio in Multiprocessor Systems // IEEE Real-Time Systems Symposium. — 1988. — 282−288.

38. Liu Jason Parallel Discrete-Event Simulation. — 2009. — URL: http: / / www. eis. f iu. edu/ ~liux/ research /papers /pdeseorms09.pdf (дата обр. 26.03.2012).

39. LogP: A practical Model of Parallel Computation / D.E. Culler и др. // Communications of the ACM. — 1996. — Ноя. — Т. 39, вып. 11. — С. 78—85.

40. Megiddo Nimrod, Modha Dharmendra S. Outperforming LRU with an Adaptive Replacement Cache Algorithm // IEEE Computer. — 2004. — T. 37, № 4. — 58−65.

41. Mellor-Crummey John Models for Understanding Parallel Performance. — Rice University, anp. 2005. — URL: http: / / www. es. rice. edu / ~johnmc / comp528 / lecture notes / Lecture24.pdf.

42. Misra Jayadev Distributed discrete-event simulation // ACM Computing Surveys. — 1986. — T. 18. — 39−65. — URL: http: //www.eis.udel.edu/~cshen/861/papers/p39-misra.pdf.

43. Mosberger David Memory Consistency Models. — 1993. — URL: http://citeseerx.ist.psu.edu/viewdoc/download-?doi=10. 1.1.44.5376.

44. MPI: A Message-Passing Interface Standard. Version 2.2. — Message Passing Interface Forum. Сент. 2009. — URL: http:// www. mpi-forum.org/docs/docs.html.

45. MPICH: high performance and widely portable MPI implementation. — Argonne national laboratory. — URL: http://www.mcs.anl.gov/mpi/mpich.

46. N. Tuck D. M. Tullsen Initial Observations of the Simultaneous Multithreading Pentium 4 Processor / / Proceedings of the 12th International Conference on Parallel Architectures and Compilation Techniques. — 2003. — C. 26—30.

47. N. Zimmermann, G. Jung The three-dimensional solution structure of the lantibiotic mureinbiosynthesis-inhibitor actagardine determined by NMR //. — 1997. — C. 809—819.

48. Open Directory Computers: Emulators: Intel x86 Architecture. — Netscape, 2010. — URL: http: / /www. dmoz. org/Computers/ Emulators/Intelx86Architecture (дата обр. 02.03.2012).

49. OpenACC Home. — URL: http://www.openacc-standard.org/ (дата обр. 24.09.2012).

50. OpenCL The open standard for parallel programming of heterogeneous systems. — Khronos Group. — URL: http: //www. khronos.org/opencl/ (дата обр. 24.09.2012).

51. Performance Prediction and Calibration for a Class of Multiprocessors / Dalibor F. Vrsalovic, Daniel P. Siewiorek,.

52. Zary Segall, Edward F. Gehringer // IEEE Trans. Computers. — 1988. — T. 37, № 11. — 1353−1365.

53. Pin — a dynamic binary instrumentation tool. — URL: http: / / www.pintool.org.

54. Popek Gerald J., Goldberg Robert P. Formal requirements for virtualizable third generation architectures // Communications of the ACM. T. 17. Вып. 7. — Июл. 1974.

55. Pratt Ian Xen and the art of virtualization. — 2006. — URL: http: //www.cl.cam.ac.uk/netos/papers/2006;xen-ols.pdf.

56. Rajwar Ravi Speculation-based techniques for transactional lockfree execution of lock-based programs. — Докт. дисс. University of Wisconsin Madison, 2002.

57. Ray Anton Chemo ff, Hookway Ray DIGITAL FX! 32 Running 32-Bit x86 Applications on Alpha NT // in Proceedings of the USENIX Windows NT Workshop, USENIX Association. — 1997. — 37−42.

58. Riesen Rolf A Hybrid MPI Simulator // CLUSTER. — 2006. — 1−9.

59. Simics: A Full System Simulation Platform / Peter S. Magnusson и др. // Computer. — 2002. — Фев. — Т. 35, вып. 2. — 5058. — ISSN: 0018−9162. — DOl: 10.1109/2.982 916. — URL: http: //portal.acm.org/citation.cfm?id=619 072.621909.

60. Simics Model Builder Guide 4.6. — Wind River, 2011.

61. Simonson Lucanus J., He Lei Micro-architecture Performance Estimation by Formula // SAMOS'05. — 2005. — 192−201.

62. Single Node On-Line Simulation of MPI Applications with SMPI / Pierre-Nicolas Clauss и др. // International Parallel Sz Distributed Processing Symposium. — IEEE. Anchorange (AK), Etats-Unis, май 2011. — URL: http: //hal. inria. fr/inria-527 150/en.

63. SLURM Simple Linux Resource Management System. — URL: https: / / computing. llnl. gov / linux / slurm/ (дата обр. 10.10.2012).

64. Smith James E., Nair Ravi Virtual machines Versatile Platforms for Systems and Processes. — Elsevier, 2005. — ISBN: 978−1-55 860 910−5.

65. SoftSDV: A Presilicon Software Development Environment for the IA-64 Architecture / Richard Uhlig и др. // Intel Technology Journal. — 1999. — 112−126.

66. Southern Gabriel Analysis of SMP VM CPU Scheduling //. — 2008. — URL: http://cs.gmu.edu/~hfoxwell/cs671projects/ southernvl2n. pdf (дата обр. 29.02.2013).

67. System V Application Binary Interface. AMD64 Architecture Processor Supplement. — AMD Corporation. — URL: http: / / www. x86 64. org / documentation / abi. pdf (дата обр. 14.02.2012).

68. The Graph 500 List. — URL: http: / /www. graph500. org (дата обр. 20.02.2013).

69. The Influence of Parallel Decomposition Strategies on the Performance of Multiprocessor Systems / Dalibor F. Vrsalovic, Edward F. Gehringer, Zary Segall, Daniel P. Siewiorek // ISCA. — 1985. — 396−405.

70. The mode of action of the lantibiotic lacticin 3147 a complex mechanism involving specific interaction of two peptides and the cell wall precursor lipid II / Wiedemann I. и др. //. — Июл. 2006. — С. 285—296.

71. Topham Nigel, Jones Daniel High speed CPU simulation using JIT binary translation // mobs. — 2007. — URL: http://homepages. inf.ed.ac.uk/npt/pubs/mobs-07.pdf.

72. Trace-driven simulation of multithreaded applications / Alejandro Rico и др. // ISPASS. — IEEE Computer Society, 2011. — 8796. — ISBN: 978−1-61 284−367−4. — URL: http: //ispass. org/ ispass2011/slides/3l .pdf (дата обр. 01.05.2012).

73. Two-phase trace-driven simulation (TPTS): a fast multicore processor architecture simulation approach / Hyunjin Lee и др. // Software Practice and Experience. — 2010. — T. 40, № 3. — 239−258. — URL: http://www.cs.pitt.edu/cast/papers/lee-spelO.pdf.

74. Using Communication-to-Computation Ratio in Parallel Program Design and Performance Prediction / Mark Crovella и др. // Proceeedings of the Fourth IEEE Symposium on Parallel and Distributed Processing. — Дек. 1992.

75. Valiant L.G. A Bridging Model for parallel computation 11 Communications of the ACM. — 1990. — Авг. — Т. 33(8). — С. 103—111.

76. VirtualBox architecture. — Oracle Corporation. — URL: http: //www. virtualbox. org/wiki/VirtualBoxarchitecture (дата обр. 25.09.2010).

77. VMware ESXi info page. — VMWare. — URL: http: / /www. vmware.com/products/vsphere/esxi-and-esx/index.html.

78. Write Combining Memory Implementation Guidelines. — Intel Corporation, дек. 1998. — URL: http: //download. intel. com/ de s i gn/pent iumi i/applnot s/24 442 201.pdf.

79. YANG Rongzhen Virtual Translation Lookaside Buffer. — Patent Application US 2008/282 055 A1 (US). — 13 ноя. 2008. — URL: http: / /www. patent lens. net/patent lens/patent /US 2008 28 2055Al/en/.

80. Yourst Matt T. PTLsim User’s Guide and Reference: The Anatomy of an x86−64 Out of Order Superscalar Microprocessor. — 2007. — URL: http: //www. ptlsim. org/Documentation/PTLsimManual. pdf.

81. Изучение производительности приложений на вычислительных кластерах с помощью компьютерного моделирования. Методология и руководство к применению / Речистов Г. С. и др. — Спутник+, 2012. — ISBN: 978−5-7417−0469−1.

82. Моделирование и исследование архитектуры многопроцессорной системы с использованием распределённой моделирующей среды Graphite / Г. С. Речистов, A.A. Иванов, П. Л. Шишпор,.

83. B.М. Пентковский // Труды международной суперкомпьютерной конференции и конференции молодых учёных «Научный сервис в сети Интернет. Экзафлопсное будущее». — 2011. —.

84. C. 143—146. — ISBN: 978−5-211−6 229−0. — URL: http-.//agora, guru.ru/abrau2011.

85. Моделирование компьютерного кластера на распределённом симуляторе. Верификация моделей вычислительных узлов и сети кластера / Г. С. Речистов, A.A. Иванов, П. Л. Шишпор,.

86. В. М. Пентковский // Программная инженерия. — 2012. — № 6. — С. 24—29. — ISSN: 2220−3397. — URL: http://novtex.ru/ pi .html.

87. Опыт подготовки студентов в учебно-исследовательской лаборатории МФТИ-«Интел» / Речистов Г. С. и др. // Труды МФТИ. т. 3. — 2011. — С. 168—170.

88. Основы программного моделирования ЭВМ. Учебное пособие / Речистов Г. С. и др. — Издательство МФТИ, дек. 2012. — ISBN: 978−5-7417−0469−1. — URL: http: //iscalare. mipt. ru/ materials/coursematerials (дата обр. 10.12.2012).

89. Реализация инструментария для исследования сетевой производительности MPI-приложений на распределённом симу-ляторе / Н. С. Поливанов, Г. С. Речистов, A.A. Абдухаликов, В. М. Пентковский // Информационные технологии. — 2013. — Янв. — № 1. — С. 46—50.

90. Речистов Г. С. Использование полноплатформенного имитационного моделирования суперкомпьютерной системы для определения производительности счётных приложений // Информационные технологии. — 2013. — Map. — № 3. — С. 29—32.

91. Речистов Г. С. О верхних и нижних границах оценок производительности многомашинных многопроцессорных комплексов на научных приложениях // Труды международной суперкомпьютерной конференции и конференции молодых учёных.

92. Научный сервис в сети Интернет. Поиск новых решений". — Издательство МГУ, 2012. — С. 671—675. — ISBN: 978−5-21 106 394−5. — URL: http ://agora. guru. ru/display. php? conf = abrau2012&page=item011 (дата обр. 26.12.2012).

93. Материалы внедрения результатовработы.