Сетка с облаками для интернета (часть 1)

Изобретение Интернета можно уподобить изобретению колеса — если не по важности события, то хотя бы в том смысле, что это идеальное изобретение. Можно изменить количество спиц, можно надеть на обод шину или оснастить его зубчиками, но смысл от этого не изменится — оно все так же будет крутиться и катиться. Всегда.
Сейчас на смену Интернету грядет грид (англ. grid — «решетка; сеть; единая компьютерная система»), новая информационная технология, которая сможет превратить в суперкомпьютер каждый, даже слабенький, ноутбук. Но для чего обыкновенному пользователю нужен суперкомпьютер?
Эти и другие вопросы не оставляют и профессора Вячеслава Анатольевича Ильина из Научно-исследовательского института ядерной физики (НИИЯФ МГУ), который считается одним из крупнейших российских специалистов по интернет-технологиям. Журнал «В мире науки» обратился к нему с просьбой прокомментировать последние новинки Всемирной паутины.

— Станет ли грид новым Интернетом, и способна ли эта система в такой же степени овладеть массами?
— Сомневаюсь. Удача уже то, что сегодня грид существует как реально действующая инфраструктура. Эту информационную технологию нельзя назвать молодой. Если считать датой ее рождения появление в 1997 г. в США книги Яна Фостера (Ian Foster) и Карла Кессельмана (Carl Kesselman) «Грид: образец новой компьютерной инфраструктуры» (The Grid: Blueprint for a new computing infrastructure), где они изложили основную концепцию гридтехнологии и предложили использовать ее для создания инфраструктуры нового типа, — то ей больше десяти лет. А информационная технология такого возраста — это уже не инновация, а как минимум зрелая разработка.
В конце 1990-х гг. книга Фостера и Кессельмана вызвала в компьютерном сообществе настоящий взрыв интереса к гриду. Многие рассчитывали, что с его появлением произойдет то же самое, что произошло во время революции 1993 г., когда Всемирная паутина была передана из научной сферы коммерческим структурам, в результате чего на свет появился Интернет. Казалось, пройдет немного времени — и грид завоюет сердца массовых пользователей, может быть, заменит Всемирную паутину или по крайней мере станет частью ее повседневной жизни. Но сейчас стало очевидно, что этого не произошло.

— А что это, собственно, такое — грид? Понятно, что он представляет собой систему распределенных вычислений. Но в чем его особенность?
— Вы удивитесь, но в 2003 г. в сообществе, которое концентрируется вокруг этого термина, стали собирать определения, что такое грид. Результат нигде не был опубликован, опрос проводили из интереса, просто для себя, но спектр формулировок оказался очень широким. Я могу дать собственное определение: грид задумывался и был в конце концов реализован как информационная технология совместной работы географически распределенных компьютерных ресурсов и людей. Подчеркну: не только компьютерных ресурсов, но и людей. Конечно, на поверхности — вычисления, для которых ресурсов вашего собственного компьютера недостаточно. Вы посылаете свою задачу в грид, который для вас — черный ящик. Система эту задачу анализирует, определяет, на каких компьютерах она может быть выполнена, ищет свободные ресурсы, посылает задачу туда, производит вычисления, получает результат и пересылает его вам. Но это могут быть не только вычисления, возможны и операции с базами данных. Допустим, в нескольких местах в мире хранятся несколько баз данных по геофизике, а вам надо сделать специальную выборку данных и взглянуть на них собственными глазами. Все это — собрать данные, обработать их нужным образом и передать пользователю — в гриде тоже возможно.
О распределенных вычислениях или, по-другому, распределенном компьютинге начали говорить еще с 1970-х гг., но о его реализации никто даже и не мечтал, пока не стал бурно развиваться Интернет, пока не стали появляться совершенно новые технологические решения. Важной «подпоркой» для реализации грида было начало новой эпохи в компьютерном развитии: в конце 1990-х гг. стало ясно, что все вычисления, все работы с базами данных можно реализовать, основываясь на микропроцессорах. За короткий промежуток времени все эти большие многопроцессорные супермашины, например с конвейерной или векторной обработкой вычислений, ушли в прошлое. Это дало возможность создавать грид-системы.
Возможность, но не более того. Все это могло оказаться очень хорошей, но очень далекой от жизни и невостребованной инфраструктурой, если бы не знаменитый Большой адронный коллайдер, построенный в ЦЕРН. Это, как известно, гигантский и самый технологически сложный за всю историю человечества научный проект, в котором участвуют сотни институтов из множества стран мира, и сооружение которого началось в 1996 г. Однако вплоть до 2000 г. ни на уровне проектирования, ни на уровне финансирования не было речи о компьютерной обработке данных, которые будут получены, как будто такой проблемы вообще не существовало. А это очень серьезная проблема — ведь предполагалось обрабатывать огромное количество «событий»: актов столкновений частиц (протонов и тяжелых ионов). По расчетам конца 1990-х гг., для того чтобы хотя бы передавать полученные данные, нужны были каналы со скоростью масштаба гигабита в секунду.
Причин такого умолчания было несколько. Первая из них в том, что говорить в 1990-х гг. о компьютерах 2005 г. было бессмысленно: никто еще не понимал, какие компьютеры появятся и на что они будут способны. Кроме того, деньги на коллайдер требовались огромные, и смету, конечно же, занижали, чтобы не слишком раздражать страныучастницы. В такойситуации заранее закладывать какие-то средства на вычисления означало подрезать себе крылья, уменьшать возможность того, что проект вообще утвердят. Вот и получилось, что коллайдер начали строить без проекта компьютерного обеспечения обработки и анализа данных.
И тут подоспела грид-технология. В ЦЕРН в 2000 г. ее сразу же подхватили и стали очень серьезно разрабатывать. Конечно, сама идея была технологически очень интересной и подходящей для проекта БАК. Но главное — для коллайдера она оказалась настоящим спасением: все сразу осознали, что это даст возможность уговорить государства на дополнительные траты. Теперь отпала надобность просить деньги на компьютерное обеспечение ЦЕРН, надо было просто сказать: «Вы вкладываете средства не в ЦЕРН, а в свою собственную страну, в развитие собственных компьютерных ресурсов». Это был беспроигрышный аргумент для любого чиновника. И это была не хитрость, не какой-то секрет, все с самого начала все понимали.
И все сработало: грид для БАК создан, эффективно обрабатывает потоки данных с коллайдера. Сейчас это целая система (сотни вычислительных центров, сотни тысяч процессоров, десятки петабайт данных), в которой активно участвуют и российские институты — четыре центра в Москве (НИИЯФ МГУ, ФИАН, ИТЭФ, Курчатовский институт), центры в Дубне (ОИЯИ), Троицке (ИЯИ), Протвине (ИФВЭ), Гатчине (ПИЯФ) и Санкт-Петербурге (СПбГУ).

Окончание статьи - читать.