Параллелизм как способ параллельной обработки данных

 

 

 

 

 

 

 

Реферат

 

 

на тему:

 

 

«Параллелизм как способ параллельной обработки данных»

 

 

        

 

                                                              Выполнила:

                                                              Студентка группы 21Т-205

                                                              Каримова Юлия Тимирхановна

                                                              Проверила:Черная Елена Викторовна

 

 

 

 

г. Челябинск

2012год

 

 

1. Параллельные вычислительные системы

 

Параллельные вычислительные системы – это физические компьютерные, а также программные системы, реализующие тем или иным способом параллельную обработку данных на многих вычислительных узлах.

Идея распараллеливания вычислений основана на том, что большинство  задач может быть разделено на набор меньших задач, которые  могут быть решены одновременно. Обычно параллельные вычисления требуют координации  действий. Параллельные вычисления существуют в нескольких формах: параллелизм  на уровне битов, параллелизм на уровне инструкций, параллелизм данных, параллелизм  задач. Параллельные вычисления использовались много лет в основном в высокопроизводительных вычислениях, но в последнее время  к ним возрос интерес вследствие существования физических ограничений  на рост тактовой частоты процессоров. Параллельные вычисления стали доминирующей парадигмой в архитектуре компьютеров, в основном в форме многоядерных процессоров.

Писать программы для параллельных систем сложнее, чем для последовательных, так как конкуренция за ресурсы  представляет новый класс потенциальных  ошибок в программном обеспечении (багов), среди которых состояние гонки является самой распространённой. Взаимодействие и синхронизация между процессами представляют большой барьер для получения высокой производительности параллельных систем. В последние годы также стали рассматривать вопрос о потреблении электроэнергии параллельными компьютерами. Характер увеличения скорости программы в результате распараллеливания объясняется законом Амдала.

Если при вычислении не применяются  циклические (повторяющиеся) действия, то N вычислительных модулей никогда  не выполнят работу в N раз быстрее, чем один единственный вычислительный модуль.

Например, для быстрой сортировки массива на двухпроцессорной машине можно разделить массив пополам  и сортировать каждую половину на отдельном процессоре. Сортировка каждой половины может занять разное время, поэтому необходима синхронизация.

 

2. Типы параллелизма    

 

1. Параллелизм на уровне битов

 

Эта форма параллелизма основана на увеличении размера машинного слова. Увеличение размера машинного слова  уменьшает количество операций, необходимых  процессору для выполнения действий над переменными, чей размер превышает  размер машинного слова. К примеру: на 8-битном процессоре нужно сложить два 16-битных целых числа. Для этого вначале нужно сложить нижние 8 бит чисел, затем сложить верхние 8 бит и к результату их сложения прибавить значение флага переноса. Итого 3 инструкции. С 16-битным процессором можно выполнить эту операцию одной инструкцией.

Исторически 4-битные микропроцессоры были заменены 8-битными, затем появились 16-битные и 32-битные. 32-битные процессоры долгое время были стандартом в повседневных вычислениях. С появлением технологии x86–64 для этих целей стали использовать 64-битные процессоры.

 

2. Параллелизм на уровне инструкций

 

Компьютерная программа – это, по существу, поток инструкций, выполняемых процессором. Но можно изменить порядок этих инструкций, распределить их по группам, которые будут выполняться параллельно, без изменения результата работы всей программы. Данный приём известен как параллелизм на уровне инструкций. Продвижения в развитии параллелизма на уровне инструкций в архитектуре компьютеров происходили с середины 1980-х до середины 1990-х.

Современные процессоры имеют  многоступенчатый конвейер команд. Каждой ступени конвейера соответствует  определённое действие, выполняемое  процессором в этой инструкции на этом этапе. Процессор с N ступенями  конвейера может иметь одновременно до N различных инструкций на разном уровне законченности. Классический пример процессора с конвейером – это RISC-процессор с 5-ю ступенями: выборка инструкции из памяти (IF), декодирование инструкции (ID), выполнение инструкции (EX), доступ к памяти (MEM), запись результата в регистры (WB). Процессор Pentium 4 имеет 35-тиступенчатый конвейер.^[4]

Некоторые процессоры, дополнительно  к использованию конвейеров, обладают возможностью выполнять несколько  инструкций одновременно, что даёт дополнительный параллелизм на уровне инструкций. Возможна реализация данного  метода при помощи суперскалярности, когда инструкции могут быть сгруппированы вместе для параллельного выполнения (если в них нет зависимости между данными). Также возможны реализации с использованием явного параллелизма на уровне инструкций: VLIW и EPIC.

 

3. Параллелизм данных

 

Основная идея подхода, основанного  на параллелизме данных, заключается  в том, что одна операция выполняется  сразу над всеми элементами массива  данных. Различные фрагменты такого массива обрабатываются на векторном  процессоре или на разных процессорах  параллельной машины. Распределением данных между процессорами занимается программа. Векторизация или распараллеливание  в этом случае чаще всего выполняется  уже на этапе компиляции – перевода исходного текста программы в машинные команды.

4. Параллелизм задач (многопоточность)

 

Стиль программирования, основанный на параллелизме задач, подразумевает, что вычислительная задача разбивается  на несколько относительно самостоятельных  подзадач и каждый процессор загружается своей собственной подзадачей.

5. Распределенные операционные системы

 

Распределённая ОС, динамически и автоматически распределяя работы по различным машинам системы для обработки, заставляет набор сетевых машин работать как виртуальный унипроцессор. Пользователь распределённой ОС, вообще говоря, не имеет сведений о том, на какой машине выполняется его работа.

Распределённая ОС существует как единая операционная система  в масштабах вычислительной системы. Каждый компьютер сети, работающей под управлением распределённой ОС, выполняет часть функций этой глобальной ОС. Распределённая ОС объединяет все компьютеры сети в том смысле, что они работают в тесной кооперации друг с другом для эффективного использования всех ресурсов компьютерной сети.

Два значения термина «сетевая ОС»

В настоящее время практически  все сетевые операционные системы  ещё очень далеки от идеала истинной распределённости. Степень автономности каждого компьютера в сети, работающей под управлением сетевой операционной системы, значительно выше по сравнению с компьютерами, работающими под управлением распределённой ОС.

В результате сетевая ОС может рассматриваться как набор  операционных систем отдельных компьютеров, составляющих сеть. На разных компьютерах  сети могут выполняться одинаковые или разные ОС. Например, на всех компьютерах  сети может работать одна и та же ОС UNIX. Более реалистичным вариантом  является сеть, в которой работают разные ОС, например, часть компьютеров работает под управлением UNIX, часть – под управлением NetWare, а остальные – под управлением Windows NT и Windows 98. Все эти операционные системы функционируют независимо друг от друга в том смысле, что каждая из них принимает независимые решения о создании и завершении своих собственных процессов и управлении локальными ресурсами. Но в любом случае операционные системы компьютеров, работающих в сети, должны включать взаимно согласованный набор коммуникационных протоколов для организации взаимодействия процессов, выполняющихся на разных компьютерах сети, и разделения ресурсов этих компьютеров между пользователями сети.

Если операционная система  отдельного компьютера позволяет ему  работать в сети, то есть предоставлять  свои ресурсы в общее пользование  и / или использовать ресурсы других компьютеров сети, то такая операционная система отдельного компьютера также называется сетевой ОС.

Таким образом, термин «сетевая операционная система» используется в  двух значениях: как совокупность ОС всех компьютеров сети и как операционная система отдельного компьютера, способного работать в сети. Из этого определения  следует, что такие операционные системы, как, например, Windows NT, NetWare, Solaris, HP-UX, являются сетевыми, поскольку все они обладают средствами, которые позволяют их пользователям работать в сети.

 

 

 

 

 

 

 

 

 

Заключение

 

Наиболее перспективным  и динамичным направлением увеличения скорости решения прикладных задач  является широкое внедрение идей параллелизма в работу вычислительных систем. К настоящему времени спроектированы и опробованы сотни различных  компьютеров, использующих в своей  архитектуре тот или иной вид  параллельной обработки данных. Идея распараллеливания вычислений основана на том, что большинство задач  может быть разделено на набор  меньших задач, которые могут  быть решены одновременно. Обычно параллельные вычисления требуют координации  действий. Параллельные вычисления существуют в нескольких формах: параллелизм  на уровне битов, параллелизм на уровне инструкций, параллелизм данных, параллелизм  задач. Параллельные вычисления использовались много лет в основном в высокопроизводительных вычислениях, но в последнее время  к ним возрос интерес вследствие существования физических ограничений  на рост тактовой частоты процессоров. Параллельные вычисления стали доминирующей парадигмой в архитектуре компьютеров, в основном в форме многоядерных процессоров.

Попытки систематизировать  все множество архитектур начались после опубликования М. Флинном первого варианта классификации вычислительных систем в конце 60-х годов и непрерывно продолжаются по сей день. Классификация очень важна для лучшего понимания исследуемой предметной области, однако нахождение удачной классификации может иметь целый ряд существенных следствий. Классификация должна помогать разобраться с тем, что представляет собой каждая архитектура, как они взаимосвязаны между собой, что необходимо учитывать для написания действительно эффективных программ или же на какой класс архитектур следует ориентироваться для решения требуемого класса задач. Одновременно удачная классификация могла бы подсказать возможные пути совершенствования компьютеров и в этом смысле она должна быть достаточно содержательной. Трудно рассчитывать на нахождение нетривиальных «белых пятен», например, в классификации по стоимости, однако размышления о возможной систематике с точки зрения простоты и технологичности программирования могут оказаться чрезвычайно полезными для определения направлений поиска новых архитектур.

Стремительное развитие науки  и проникновение человеческой мысли  во все новые области вместе с  решением поставленных прежде проблем  постоянно порождает поток вопросов и ставит новые, как правило, более  сложные, задачи. Во времена первых компьютеров казалось, что увеличение их быстродействия в 100 раз позволит решить большинство проблем, однако гигафлопная производительность современных суперЭВМ сегодня является явно недостаточной для многих ученых. Электро и гидродинамика, сейсморазведка и прогноз погоды, моделирование химических соединений, исследование виртуальной реальности – вот далеко не полный список областей науки, исследователи которых используют каждую возможность ускорить выполнение своих программ.

Наиболее перспективным  и динамичным направлением увеличения скорости решения прикладных задач  является широкое внедрение идей параллелизма в работу вычислительных систем. К настоящему времени спроектированы и опробованы сотни различных  компьютеров, использующих в своей  архитектуре тот или иной вид  параллельной обработки данных.

 

 

Список литературы

1. Вл.В. Воеводин, А.П. Капитонова. «Методы описания и классификации вычислительных систем». Издательство МГУ, 1994

2.Головкин Б.А. Параллельные вычислительные системы. М.: Наука. 1980. 520 с.

3.http://ru.wikipedia.org/wiki/%CF%E0%F0%E0%EB%EB%E5%EB%FC%ED%FB%E5_%E2%FB%F7%E8%F1%EB%E8%F2%E5%EB%FC%ED%FB%E5_%F1%E8%F1%F2%E5%EC%FB