Распределенная синхронизация процессов

Курсовая работа по дисциплине:

Операционные системы Распределенная синхронизация процессов

Введение

программа сетевой интерфейс При работе с данными на современных операционных системах остро стоит проблема в их синхронизации. Проблемы могут происходить, когда к одним и тем же данным получают доступ различные процессы. И даже не столько в случае одновременного изменения. Чтение данных в одном потоке после изменения их другим тоже может давать неверный результат в целом. Так же одной из проблем может являться уменьшение производительности работы в целом. Синхронизация — это некоторые дополнительные издержки.

Цель работы является разработка программы, создающая и запускающая несколько отдельных процессов в определённой последовательности. Информация о каждом запущенном процессе передаётся и принимается через сокеты UDP и записывается в файл.

В целом, задачей разработки являлось создание такого приложения, которое будет удалённо запускать в последовательности отдельные задачи.

В главе «Описание программ» подробно описаны теоретические особенности построения сетевого стека.

В главе «Тексты программ» находятся исходные коды на языке C# и файлы конфигурации процессов в формате INI файлов.

В главе «Выводы» даются результаты о проделанной работе.

Наиболее важными источниками знаний послужил сервис от Microsoft — MSDN, а также книга Гордеева — «Операционные системы».

Задание Создать процессы (отдельные задачи), которые выполняются в последовательности, определяемой графом запуска в соответствии с вариантом задания. Каждая дуга графа соответствует процессу, имя дуги — имя процесса. Вершины графа — точки синхронизации процессов.

Процессы после запуска находятся в ожидании завершения предшествующих им процессов. При выполнении выводят информацию (имя процесса, время запуска и окончания работы), передают управление другим процессам и завершаются. В процессах вводится небольшая временная задержка (несколько секунд) для того, чтобы было легче отследить соответствие запусков и окончаний процессов графу запуска. Для первоначального запуска набора процессов рекомендуется использовать командный файл.

Приём и передача информации о завершении процесса осуществляется через сокеты TCP или UDP. Фактически приём-передача этой информации выступает в роли средства распределённой синхронизации процессов в IP-сети.

Необходимо предусмотреть создание необходимого числа сокетов в каждой задаче и определить корректную нумерацию портов, чтобы обмен был возможен как на локальном компьютере (local host. localdomain) так и при запуске задач на компьютерах с разными IP-адресами в пределах локальной или глобальной TCP/IP-сети. Должна быть предусмотрена возможность изменения IP-адреса компьютера при запуске процесса (ввод из командной строки, файла и т. п.). При демонстрации курсовой работы часть процессов запускается на одном, а остальные — на другом (других) компьютере (компьютерах) ЛВС.

Операционная система — Windows или Linux. Система программирования — Visual C или GNU C. Возможен «гибридный» вариант реализации, когда часть процессов работает под управление ОС Linux, а оставшиеся — под ОС MS Windows. В последнем случае для отладки вне вычислительной сети имеет смысл использовать эмуляторы другой ОС (CYGWIN, WINE) или виртуальные машины.

Граф синхронизации процессов. Вариант #2

Рис. 1. Граф синхронизации процессов На графе отчётливо видно, что существует 11 дуг. Каждая дуга графа соответствует процессу. Вершины графа — точки синхронизации процессов. Имена процессов: a, b, c, d, e, f, g, h, i, m, n.

1. Описание программ

Программа работает под управлением Windows 32 бит. Написана на C# .NET 2.0. Данные в программу поступают по сетевому стеку UDP. Исходные данные лежат в отдельных INI файлах.

Программа состоит из модуля сервера и клиента. Клиент-сервер работает одновременно на одном компьютере. Во время включения программы, проверяется — есть ли у программы родитель — в случае нахождения происходит отправка сообщения и последующая работа. В остальном случае — программа слушает и в зависимости от принятых данных отправляет сообщения. Функции локального управления используются, главным образом, для выполнения подготовительных действий, необходимых для организации взаимодействия двух программ-партнёров.

1.1 Сокеты

В программе широко используются сокеты. В C# сокеты реализованы с помощью класса Socket. Класс Socket обеспечивает широкий набор методов и свойств для сетевых взаимодействий. Socket придерживается шаблона имён платформы .NET Framework для синхронный методов. Для протокола UDP, нет необходимости в отслеживании подключений. Метод Accept обрабатывает любые входящие запросы на подключение и возвращает объект Socket, который может использоваться для передачи данных с удалённого узла. Объект Socket используется для вызова метода Send или Receive. Метод Bind, обращается к Listen, к которому необходимо указать локальный IP-адрес или номер порта. Если требуется произвести подключение к прослушивающему узлу, используется метод Connect. Для обмена данными метод Send или Receive. Когда приём и отправка данных завершены, используется метод Shutdown для того, чтобы отключить объект Socket. После вызова метода Shutdown происходит обращение к методу Close, чтобы освободить все связанные с объектом Socket ресурсы.

Процесс в Windows состоит из следующих компонентов:

· Структура данных, содержащая всю информацию о процессе, в том числе список открытых дескрипторов различных системных ресурсов, уникальный идентификатор процесса, различную статистическую информацию и т. д.;

· Адресное пространство — диапазон адресов виртуальной памяти, которым может пользоваться процесс;

· Исполняемая программа и данные, проецируемые на виртуальное адресное пространство процесса.

Создание Win32 процесса осуществляется вызовом одной из таких функций, как CreateProcess, CreateProcessAsUser (для Win NT/2000) и CreateProcessWithLogonW (начиная с Win2000) и происходит в несколько этапов:

· Открывается файл образа (EXE), который будет выполняться в процессе.

· Если исполняемый файл не является Win32 приложением, то ищется образ поддержки (support image) для запуска этой программы. Например, если запускается cmd.exe.

Процесс завершается если:

· Входная функция первичного потока возвратила управление.

· Один из потоков процесса вызвал функцию ExitProcess.

· Поток другого процесса вызвал функцию TerminateProcess.

· Когда процесс завершается, все Userи GDI-объекты, созданные процессом, уничтожаются, объекты ядра закрываются (если их не использует другой процесс), адресное пространство процесса уничтожается.

1.2 Процессы

Процесс — это объединение нескольких потоков. А объединяет эти потоки единое виртуальное адресное пространство. В этом пространстве размещаются код и данные приложения (обычно это один exe и несколько dll-модулей). Именно единство этого пространства и делает обмен данными между потоками приложения предельно простым. Наоборот, адресные пространства различных процессов независимы и отделены друг от друга (хотя, используя проекции файла в память (memory mapped file), можно создать область памяти, которая будет доступна совместно нескольким процессам). Таким образом, процесс — это несколько потоков (как минимум один) плюс единое виртуальное адресное пространство. Поскольку все потоки процесса работают в едином адресном пространстве, обмен данными между ними крайне прост, однако при этом требуется согласовывать их работу над совместными данными. Собственно, под термином «синхронизация», как правило, имеют в виду именно согласование работы потоков, принадлежащих одному процессу. Этому и будут посвящены следующие части данной статьи. Хотя некоторые из описанных далее приёмов можно использовать и для синхронизации потоков принадлежащих разным процессам, в основном согласование их работы связано с «механизмами взаимосвязи процессов» (inter-process communications, IPC). Действительно, трудно представить ситуацию, когда нам потребовалось бы согласовывать движение потоков без необходимости обмена данными между ними. А для этого, если потоки работают в разных адресных пространствах, требуются специальные механизмы, носящие обобщённое название IPC (проекции файлов в память — один из них). Процесс — это набор потоков, работающих в едином адресном пространстве. Само по себе, адресное пространство без потоков смысла не имеет. Поэтому процесс считается завершённым, как только завершатся все его потоки.

2. Тексты программ

Интерфейс программы разработан с помощью Windows Forms. Интерфейс состоит из главного окна, на котором отображены данные о пользовательских настройках запуска процессов. При загрузке программы происходит заполнение окна конфигурационными данными. После загрузки, программа ищет «потомков» по сети и подключается к ним. Когда подключение установлено — программа проверяет, какой процесс следует запустить, в случае нахождения данных о процессе — запускает его. После завершения процесса — выполнившая программа останавливается. А «родителем» становится программа, которая приняла все данные. «Родитель» начинает процесс поиска своих «потомков». Интерфейс достаточно прост. И не требует от пользователя каких-либо действий, кроме правки конфигурационного файла.

Рис. 2. Скриншот работы 4 процессов на локальном компьютере

2.1 Исходный код

class WriteLog {

public static bool Write (string message) {

try {

const string url = @" \fsStudy_ПО08temp.txt" ;

var text = System.IO.File.AppendText (url);

text.WriteLine (message);

text.Close ();

}

catch {

return false;

} return true;

}

}

internal class Client {

private readonly string Ip;

private readonly int Port;

private readonly string Processname;

private TcpClient _client;

public Client (string ip, int port, string processname) {

Ip = ip;

Port = port;

Processname = processname;

if (SendData ()) {

FormClient.Msg («Данные успешно отправлены!»);

} // Теперь подключаться к потомкам

}

private bool SendData () {

_client = new TcpClient ();

bool flag = true;

try {

_client.Connect (Ip, Port);

byte[] mas = Encoding. UTF8.GetBytes (Processname);

_client.Client.Send (mas);

}

catch {

flag = false;

} return flag;

}

}

public partial class FormClient: Form {

private static readonly string Path = Environment. CurrentDirectory; // текущая директория

#region Списки

private List _childProcessname;

private List _childsIp;

private List _childsPort;

private List _parentProcessname;

private List _serverPort;

private List _serverProcessname;

#endregion

public FormClient () {

InitializeComponent ();

GetInfoFromINIFile ();

var cr = new Thread (OpenPort);

cr.Start ();

//Если родителей нет — подключаюсь к потомкам

if (_parentProcessname.Count == 0 && _serverProcessname.Count > 0) {

string processname = _serverProcessname[0];

const string ip = «127.0.0.1» ;

int port = int. Parse (_serverPort[0]);

new Client (ip, port, processname); //а также выполняем главные процесс А

ConnectToChild ();

}

}

public void OpenPort () {

foreach (string t in _serverPort) {

if (t == «») return;

try {

int port = Convert. ToInt16(t);

//Если родители есть то открываем порт

if (_parentProcessname.Count ≠ 0) {

Msg («Открываю порт «+ port + «для подключения родителей»);

new Servak (port);

}

}

catch {

Msg («Проблема при открытие порта»);

}

}

}

public void ConnectToChild () {

Msg («ищем потомков…»);

//Если потомки есть

if (_childProcessname.Count ≠ 0) {

for (int i = 0; i < _childsPort.Count; i++) {

int port = Convert. ToInt16(_childsPort[i]);

string ip = _childsIp[i];

string processname = _childProcessname[i];

Msg («подключаюсь к потомку «+ processname); // Подключаемся к серверу по serverPort

try {

new Client (ip, port, processname); //подключаемся к потомку

}

catch {

Msg (string.Format («Подключиться к потомку {0} не удалось», processname));

}

}

}

else {

Msg («Потомков нет.»);

}

}

public static void Msg (string mesg) {

if (!WriteLog.Write (mesg)) {

MessageBox.Show («Произошла проблема с записью»);

}

}

private void GetInfoFromINIFile () {

FileInfo[] directorypath = new DirectoryInfo (Path).GetFiles ();

//Заполнение списков

_serverProcessname = new List ();

_serverPort = new List ();

_parentProcessname = new List ();

_childProcessname = new List ();

_childsIp = new List ();

_childsPort = new List ();

//инфо об файлах

foreach (FileInfo info in directorypath) {

string fullname = info. FullName;

var temp = new IniFile (fullname);

string[] readText = File. ReadAllLines (fullname); //временный, зранит все записи

//Читаем все строчки

foreach (string s in readText) {

if (s == «»)

continue;

if (Regex.IsMatch (s, «Server»)) { _serverProcessname.Add (temp.IniReadValue («Server», «Processname»)); _serverPort.Add (temp.IniReadValue («Server», «Port»));

}

//Если найден Parent — добавляем (учитывая что есть 1, 2, …)

else if (Regex.IsMatch (s, «Parent»)){

string parentS = s. Replace («[», «»).Replace («]», «»);

_parentProcessname.Add (temp.IniReadValue (parentS, «Processname»));

}

//то же самое только с Child

else if (Regex.IsMatch (s, «Child»)){

string childS = s. Replace («[», «»).Replace («]», «»);

//Проверка на UTF-8. Глюк возникает, в «s» вводится какая-то очень длинная

if (s.Length > 50)

break; _childProcessname.Add (temp.IniReadValue (childS, «Processname»));

_childsIp.Add (temp.IniReadValue (childS, «Ip»));

_childsPort.Add (temp.IniReadValue (childS, «Port»));

}

}

}

GetText ();

}

private void AddText (string text) {

if (text ≠ «»)

tbxText.Text = tbxText. Text + Environment. NewLine + text;

}

private void GetText () {

AddText (Environment.NewLine + «Серверы»);

foreach (string server in _serverProcessname) {

AddText (server);

}

AddText (Environment.NewLine + «Айпи Серверов «);

foreach (string servPort in _serverPort) {

AddText (servPort);

}

AddText (Environment.NewLine + «Родители»);

foreach (string parent in _parentProcessname) {

AddText (parent);

}

AddText (Environment.NewLine + «Потомки»);

foreach (string child in _childProcessname) {

AddText (child);

}

AddText (Environment.NewLine + «Айпи детей»);

foreach (string s in _childsIp) {

AddText (s);

}

AddText (Environment.NewLine + «Порты детей»);

foreach (string s in _childsPort) {

AddText (s);

}

}

}

public class IniFile{

public string path;

/// Конструктор класса

/// Путь к INI-файлу

public IniFile (string INIPath) {

path = INIPath;

}

[DllImport («kernel32»)]

private static extern long WritePrivateProfileString (string section, string key, string val, string filePath);

[DllImport («kernel32»)]

private static extern int GetPrivateProfileString (string section, string key, string def, StringBuilder retVal, int size, string filePath);

public void IniWriteValue (string Section, string Key, string Value) {

WritePrivateProfileString (Section, Key, Value, path);

}

public string IniReadValue (string section, string key) {

var temp = new StringBuilder (255);

GetPrivateProfileString (section, key, «», temp,

255, path);

return temp. ToString ();

}

}

internal class Processes {

private static void SendData (object data) {

FormClient.Msg («выполняется процесс «+ data);

var fp = new FormPotok {Text = data. ToString ()};

fp.Show ();

for (var millisecondsTimeout = 1; millisecondsTimeout < 100; millisecondsTimeout++) {

fp.progBar.Value = millisecondsTimeout;

Thread.Sleep (millisecondsTimeout);

}

FormClient.Msg («Процесс «+ data + «выполнен»);

new FormClient ().ConnectToChild ();//Теперь передачу на потомков

}

public static void StartPotoks (string name) {

new Thread (SendData).Start (name);

}

}

class Servak {

public Servak (int port) {

FormClient.Msg («Ожидаем запрос к подключению»);

IPEndPoint ipep = new IPEndPoint (IPAddress.Any, port);

Socket newsock = new Socket (AddressFamily.InterNetwork,

SocketType.Stream, ProtocolType. IP);

newsock.Bind (ipep);

newsock.Listen (10);

FormClient.Msg («родитель подключен…»);

Socket client = newsock. Accept ();

var data = new byte[1024];

var recv = client. Receive (data);

string RecvString = Encoding.ASCII.GetString (data, 0, recv);

Processes.StartPotoks (RecvString);

}

}

2.2 Конфигурационный файл

Процесс a

[Server]

Port = 8881

Processname = a

[Child1]

Ip = 127.0.0.1

Port = 8883

Processname = c

[Child2]

Ip = 127.0.0.1

Port = 8884

Processname = d

[Child3]

Ip = 127.0.0.1

Port = 8885

Processname = e

Процесс b

[Server]

Port = 8882

Processname = b

[Child1]

Ip = 127.0.0.1

Port = 8889

Processname = i

[Child2]

Ip = 127.0.0.1

Port = 8888

Processname = h

[Child3]

Ip = 127.0.0.1

Port = 8887

Processname = g

Процесс c

[Server]

Port = 8883

Processname = c

[Parent1]

Processname = a

[Child1]

Ip = 127.0.0.1

Port = 8889

Processname = i

[Child2]

Ip = 127.0.0.1

Port = 8888

Processname = h

[Child3]

Port = 8887

Ip = 127.0.0.1

Processname = g

Процесс n

[Server]

Port = 8892

Processname = n

[Parent1]

Processname = i

[Parent2]

Processname = k

[Parent3]

Processname = m

Процесс d

[Server]

Port = 8884

Processname = d

[Parent1]

Processname = a

[Child1]

Ip = 127.0.0.1

Port = 8886

Processname = f

Процесс e

[Server]

Port = 8885

Processname = e

[Parent1]

Processname = a

[Child1]

Ip = 127.0.0.1

Port = 8890

Processname = k

[Child2]

Ip = 127.0.0.1

Port = 8891

Processname = m

Процесс f

[Server]

Port = 8886

Processname = f

[Parent1]

Processname = d

[Child1]

Ip = 127.0.0.1

Port = 8890

Processname = k

[Child2]

Ip = 127.0.0.1

Port = 8891

Processname = m

Процесс h

[Server]

Port = 8888

Processname = h

[Parent1]

Processname = c

[Parent2]

Processname = b

[Child1]

Ip = 127.0.0.1

Port = 8890

Processname = k

[Child2]

Ip = 127.0.0.1

Port = 8891

Processname = m

Процесс g

[Server]

Port = 8887

Processname = g

[Parent1]

Processname = b

[Parent2]

Processname = c

[Child1]

Ip = 127.0.0.1

Port = 8890

Processname = k

[Child2]

Ip = 127.0.0.1

Port = 8891

Processname = m

Процесс k

[Server]

Port = 8890

Processname = k

[Parent1]

Processname = h

[Parent2]

Processname = g

[Parent3]

Processname = f

[Parent4]

Processname = e

[Child1]

Ip = 127.0.0.1

Port = 8892

Processname = n

Процесс i

[Server]

Port = 8889

Processname = i

[Parent1]

Processname = b

[Parent2]

Processname = c

[Child1]

Ip = 127.0.0.1

Port = 8892

Processname = n

Процесс m

[Server]

Port = 8891

Processname = m

[Parent1]

Processname = h

[Parent2]

Processname = g

[Parent3]

Processname = f

[Parent4]

Processname = e

[Child1]

Ip = 127.0.0.1

Port = 8892

Processname = n

2.3 Результаты тестирования

Открываю порт 8883 для подключения родителей Ожидаем запрос к подключению родитель подключен…

Открываю порт 8889 для подключения родителей Ожидаем запрос к подключению родитель подключен…

ищем потомков…

подключаюсь к потомку c

Данные успешно отправлены!

выполняется процесс c

Процесс c выполнен ищем потомков…

подключаюсь к потомку i

Данные успешно отправлены!

подключаюсь к потомку h

Данные успешно отправлены!

выполняется процесс i

выполняется процесс h

Проблема при открытие порта Процесс i выполнен Открываю порт 8889 для подключения родителей Ожидаем запрос к подключению Проблема при открытие порта ищем потомков…

потомков нет.

Процесс h выполнен Открываю порт 8888 для подключения родителей Ожидаем запрос к подключению Проблема при открытие порта ищем потомков…

потомков нет.

Заключение

Благодаря использованию встроенных средств языка C# удалось создать проект, использующий сетевой стек и сетевые функции Windows. Что в конечном итоге сделало возможным создание программы, которая способна пересылать данные на удалённый компьютер. Следующим этапом стало создание удобного интерфейса. Интерфейс построен с использованием Windows Forms

В программе предусмотрен обмен как на локальном компьютере, так и при запуске на компьютерах с разными IP-адресами в пределах локальной или глобальной TCP/IP-сети. Предусмотрена возможность изменения IP-адреса компьютера при запуске процесса, посредством правки файла конфигурации.

«Гибридный» вариант реализации, когда часть процессов работает под управление ОС Linux, а оставшиеся — под ОС MS Windows не предусмотрена в силу ограничения работы .net framework на первом. Отладка производилась без применения виртуальных машин.

1. Гордеев А. В. Операционные системы СПб. Питер, 2004.

2. Рихтер Д. Ж. CLR via C#. Программирование на платформе.NET Framework 2.0 на языке С#. Мастер-класс. СПб. Питер, 2007

3. MSDN

Process (http://msdn.microsoft.com/ru-ru/library/system.diagnostics.process.aspx)

Socket (http://msdn.microsoft.com/en-us/library/system.net.sockets.udpclient.beginreceive%28VS.80%29.aspx)

4. Wikipedia

UDP (https://ru.wikipedia.org/wiki/UDP)

TCP/IP (https://ru.wikipedia.org/wiki/TCP/IP)

5. Форум stackoverflow.com