Семинары по параллельному программированию Рыбинск, РГАТА 2007
Список семинаров	Форум	Ссылки

Краткое содержание:

1. Существует ли последовательное программирование...?
   Окружающая нас действительность параллельна (обратного не доказано). Компьютер одновременно является как частью окружающего мира, так и средством его моделирования. При взаимодействии компьютера с окружающим, параллельным миром, компьютер не может оставаться и в действительности не остается последовательным. Следовательно, и программировать его нужно в параллельном стиле. Однако данный факт скрыт от программиста, в частности, операционной системой, что позволяет писать последовательные программы. Именно позволяет писать - фактически же программа исполняется и физически и логически параллельно. Обратите внимание - что в основе императивного, последовательного программирования лежит Машина Тьюринга, которая не взаимодействует с внешним миром (изолирована от него) и является полностью последовательным вычислителем. В частности уже этот факт показывает, что теоретический базис параллельного программирования проработан чрезвычайно слабо. Не существует единой общепринятой модели параллельных вычислений.

2. Задачи параллельного программирования
   Среди задач параллельного программирования можно выделить следующие две группы задач:

   Параметр \ Задача	Большая задача	Задача реального времени
   Объем данных	Терабайты\Петабайты	Терабайты\Петабайты
   Тип данных	Статичные данные	Динамические потоки данных
   Реальное время	Нет	Да
   Надежность	Произвольна	Критична
   Число одновременно решаемых задач	Десятки крупных задач	Множество («мелкозернистых») задач
   Режим работы	Пакетный (Offline)	Непрерывный (Online)
   Взаимодействие с внешней средой	Почти отсутствует	Интенсивное
   Требования к производительности	Пиковая производительность для данной задачи	Пиковая пропускная способность
   Примеры	HPC:задачи гидро- и аэродинамики, моделирование климата, моделирование в области астрономии или ядерной физики	DSP, Embedded, телеком:задачи распознавания, планирования, задачи массового обслуживания, диагностики и контроля, задачи управления

3. Параллельные вычислительные системы
   Все множество параллельных вычислительных системы можно разбить на следующие группы:
   • Встроенные системы (нпр., DSP\ПЛИС\Микроконтроллеры)
   • Многоядерные ПК \ Игровые приставки (консоли)
   • Суперкомпьютеры
   • Распределенные системы (нпр., Кластера\GRID-системы)
   • Гетерогенные системы (нпр., gsm-сеть микроконтроллеров)

4. FLOPS и сравнительная табличка
   Про FLOPS читать тут. Интересно посмотреть на сравнение "флопсовой производительности" систем (по убывающей, Tera = 10^12):

   Распределенные GRID системы. SETI@home Суперкомпьютеры. Blue Gene/L Консоли. Sony PlayStation 3 (на базе процессоров Cell) Одноядерные процессоры. Intel PIII 1ГГц КПК. КПК 400 МГц	799 Teraflops 280,6 Teraflops 2 Teraflops 320 Megaflops 1.3 Megaflops

5. Закон Мура. Как маркетологи извратили Закон Гордона Мура.
   Читать тут.

6. Фильм - Исследовательский проект Intel по разработке Терафлопсного многоядерного процессора
   Пересказывать фильм надобности не вижу. Оригинал и озвученный мной перевод будут доступны на сервере кафедры.

7. Flash-презентация - Многоядерный процессор вызов будущему (Eng)
   Flash-презентация (600kb, требует установленного Flash Player).

8. Проблемы многоядерных процессоров
   Очевидно, что многоядерные процессоры - это то с чем всем нам придется работать в ближайщие 5-10 лет, причем как дома, так и на работе. Наряду с очевидной проблемой программирования таких процессоров (а в частности этой проблеме посвящен весь курс и семинары), существуют и другие более "низкоуровневые" проблемы. Одной из таких проблем является задержка (latency). Подробное объяснение что такое задержка и чем она отличается от пропускной способности можно найти здесь.

   Следующая таблица демонстрирует сложность решения проблемы сокращения задержки обращения к памяти:

   Характеристика	1980	Сегодня	Прирост по сравнению с 1980
   Частота (MHz)	6	3000	+500x
   Объем памяти (RAM, MB)	2	2000	+1000x
   Пропускная способность памяти (MB/s)	13	7000 (read) 2000 (write)	+540x +150x
   Задержка памяти (ns)	225	~70	+3x
   Задержка памяти (циклы процессора)	1.4	210	-150x

   
   Ссылка на оригинал, комментарии.
   Обратите внимание, что во-первых, посравнению с другими характеристиками задержку памяти в наносекундах удалось сократить лишь очень не значительно и, более того, задержка обращения к памяти в циклах процессора возрасла за последнее время в 150 раз, это связано с усложнением архитектуры процессора, памяти и шин доступа к памяти.

9. Остались не рассмотренными следующие вопросы
   Именно Вы можете найти ответы на эти вопросы, подготовить доклад и получить плюшку на экзамене по параллельному программированию, который обещает быть не простым.

   Темы докладов необходимо согласовать с Грызловой Т.П.

   1. Каким образом в консолях удалось достичь терафлопсной производительности (процессоры Cell (см. выше)).
   2. Каким образом в многоядерных процессорах удается контролировать температуру и состояние каждого ядра (см. презентацию выше)
   3. Квантовые компьютеры - конкуренты многоядерых процессоров...?

10. Дополнительные статьи и литература:
    Данные статьи и заметки помогут, на мой взгляд, побыстрей "въехать" в тему прикладного параллельного программирования Также обратите внимание на раздел ссылки данного сайта.
    1. Столпы параллелизма Herb Sutter DDJ 2007
    2. Проблемы с потоками Эдвард А. Ли 2006
    3. Google+Параллелизм: экспансия продолжается
    4. Параллельное программирование. Что делать?
    5. Лед тронулся…?