Samara Portal Technology, Computers

Самарский портал "Технологии, компьютеры"

3 февраля 2010 года в Гидрометцентре России прошло торжественное заседание Учёного совета, посвящённое 80-летию Гидрометцентра России. С вступительным словом к собравшимся обратился исполняющий обязанности руководителя Росгидромета А.В.Фролов (с 15.03.2010 г. – руководитель, прим.ред.). С докладом «Гидрометцентру России 80 лет: итоги и перспективы деятельности» выступил директор Гидрометцентра России, доктор технических наук Р.М.Вильфанд.

4 февраля Роман Менделевич Вильфанд и директор Главного вычислительного центра Росгидромета, кандидат географических наук Владимир Александрович Анцыпович дали интервью журналисту Александру Семёнову, которое началось с поздравлений с достаточно внушительной датой.

Александру Семёнов: Роман Менделевич, с 60-х годов производительность компьютеров выросла в миллиарды раз. А как изменилась точность и заблаговременность прогноза погоды?

Роман Вильфанд: Естественно, зависимость точности прогноза погоды от мощности вычислительной техники непростая, и нельзя один рост в миллиарды раз переносить механически в другие сферы.

Прогнозирования погоды связано с решением сложных систем уравнений гидродинамики. Начало научного прогнозирования погоды датируется серединой XIX века, когда замечательный английский учёный, военачальник, путешественник вице-адмирал Роберт Фицрой, обнаружил, что погода связана с давлением. Человек был очень яркий, в частности, он руководил кругосветным плаванием на английском военном корабле «Бигль», на борту которого находился скромный молодой учёный Чарльз Дарвин. Пять лет длилось плавание. Его итоги были опубликованы в трёх томах, из которых два первых написаны Фицроем, а последний – Дарвином. Благодаря учёному-гидрографу прогноз погоды начал становиться на научный фундамент. До него он делался на другой основе. Позднее очень известная норвежская школа метеорологии разработала систему уравнений, решение которых сегодня и является прогнозом погоды.

Однако подступить к их решению удалось лишь в начале 60-х годов XX века, когда, во-первых, благодаря фундаментальным и прикладным исследованиям мировой науки в области вычислительной математики и физики, в которых огромная роль принадлежит замечательным учёным: А.А. Фридману, И.А. Кибелю, Г.И. Марчуку, А.М. Обухову, А.С. Монину и многим, многим другим, и, во-вторых, в связи с появлением компьютеров, способных хоть на какой-то уровень вычислений в этом плане. Точное решение уравнений в принципе не существует и возможно лишь их приближенное решение. Точность решения системы таких уравнений напрямую связана с вычислительными ресурсами. Мало того, это решение надо получать быстро, поскольку прогноз на завтра нужен сегодня, а не через месяц или через год.

Таким образом, при практическом использовании численных методов прогноза погоды возникает необходимость баланса между желаемой (достижимой) точностью и технологически допустимым временем счёта. Поэтому приходилось упрощать уравнения, чтобы сделать возможным их оперативное решение, хоть и в приближённом виде. Чем мощнее становились наши вычислительные ресурсы, тем меньше нам приходилось упрощать, и наши модели все больше приближались к реальности. В конце концов, буквально 2-3 года назад наши вычислительные возможности позволили ставить «негидростатические» задачи, то есть, учитывать вертикальные потоки в атмосфере. При этом переходе объём вычислений резко возрастает, и ввод в эксплуатацию в 2009 году нового вычислительного комплекса наконец-то позволил выйти на этот уровень и реализовать на практике те теоретические наработки, которые были у учёных Гидрометцентра России к этому моменту.

Мне хотелось бы специально подчеркнуть этот момент. В нашей работе повышение вычислительных мощностей приводит к реальному улучшению прогнозов. Именно поэтому наш вычислительный центр – важнейшая часть нашей работы.

Ещё один очень важный момент – это дискретность описания атмосферных процессов. Всего двадцать лет назад шаг координатной сетки, на которой производился расчёт прогноза, составлял 300 километров. При таких расстояниях вполне можно «пропустить» серьёзные атмосферные процессы, как например циклон, зарождающийся на фронте. Сегодня разрешение в наших моделях – 3 километра, и мы переходим от параметризации конвекции в вертикальных потоках к её явному описанию.

А вот об истории того, как мы подошли к этим совершенно новым возможностям расскажет руководитель нашего вычислительного центра Владимир Александрович Анцыпович.

Владимир Анцыпович: История вычислительного центра Гидрометцентра России начинается в начале шестидесятых годов с ЭВМ М-20. Тогда это был один из наиболее мощных компьютеров (а по тогдашним меркам – суперкомпьютеров) в России с производительностью около 20 тысяч операций в секунду. Он начал работать в 1963 году практически в соседнем помещении с тем, где мы разговариваем. С того момента все компьютеры, попадавшие в наш вычислительный центр, сразу приступали к очень серьёзной работе: 24 часа в сутки на них рассчитывались различные прогностические задачи. Среднее время наработки на отказ тогда не превышало 15 минут, а вычислительные схемы считались примерно час-полтора. Чтобы достичь результата, мы старались с одной стороны повысить время безотказной работы, с другой – развивать отказоустойчивость самих прогностических технологий.

С тех пор конструкторы всех российских (советских) вычислительных машин старались первые серийные образцы компьютеров устанавливать в нашем центре, где им было гарантировано высококачественное тестирование в оперативных условиях. После М-20 у нас работала машина М-220, после неё все модели компьютеров Минск - 2, 22, 32, «Весна», БЭСМ-6, всевозможные модели серии ЕС. Все эти годы наш вычислительный центр был и остаётся своеобразной тестовой площадкой для российских суперкомпьютеров. И это не случайно. Есть очень мало вычислительных центров, где новая техника буквально с первых дней включается в производительную работу в самом напряжённом режиме.

Кроме интенсивного тестирования и эксплуатации вычислительной техники, в нашем вычислительном центре всегда разрабатывались новые методы работы с большими объёмами информации. В шестидесятые годы входную информацию было принято набивать вручную, но мы не могли так поступать, потому что этой информации было очень много и нам надо было вводить её быстро для оперативного расчёта прогнозов. Для решения этой проблемы у нас разрабатывался метод электронного ввода информации непосредственно с каналов связи и программные методы её синтаксического анализа, декодирования, контроля качества.

После ввода информации в ЭВМ и выполнения расчётов надо было представить её в виде, удобном для работы синоптикам. Поэтому мы начали разрабатывать устройства для отображения информации. Здесь тоже было минимум два направления работы – двухкоординатные расчерчивающие устройства и устройства на базе электронно-лучевых трубок. На втором направлении совместно с заводом «Рубин» мы сделали первый отечественный дисплей. Как только появилась необходимость направления подготовленной информации на разные устройства, сразу стали развиваться приёмы, которые на современном ИТ-языке называются драйверами.

Это была прекрасная школа для программистов и компьютерщиков, поэтому в любом мало-мальски серьёзном вычислительном центре Москвы сегодня вы наверняка найдете специалиста, который работал у нас.

Смена компьютеров в нашем вычислительном центре шла своим чередом до 1976 года, когда из-за того, что в СССР было принято решение создавать линию ЕС ЭВМ, практически «схлопнулись» все другие линии разработки. Проблема была ещё и в том, что нас уже не устраивала производительность, доступная на производившейся в СССР (странах СЭВ) вычислительной технике. Поэтому возникла идея закупки зарубежного суперкомпьютера, им стала ЭВМ фирмы CDC. Правда, мы не получили те машины, которые бы нам хотелось, но два компьютера CDC у нас начали работать. Параллельно с ними работали и самые последние модели серии ЕС-1060, 1066.

В 80-е годы у нас появились компьютеры компаний Hitachi и Comparex (аналоги компьютеров IBM). В 1996 году у нас был установлен суперкомпьютер Cray, который успешно проработал до 2005 года, но уже с 2003 года мы начали прорабатывать следующий цикл модернизации нашего оборудования. Поскольку в 2002 году Cray был снят с производства, мы начали разрабатывать кластерные решения и продумывать, как распараллеливать счёт на них. Cray Y-MP, установленный у нас, позволял нам при распараллеливании алгоритмов использовать восемь потоков, а теперь речь пошла о десятках и сотнях процессоров для организации параллельного счёта. Первые кластерные решения, которые были нам доступны, были решения на базе Intel Itanium.

Итак, начиная с 2003-2004 года, мы стали проверять возможности счёта наших задач в кластерных средах. С учётом интереса многих компьютерных компаний к нашей планировавшейся модернизации, у нас появились стенды для такого тестирования многих компаний – IBM, SGI, Fujitsu, Bull – по сути дела все основные производители суперкомпьютеров. Некоторые компании привозили к нам своё оборудование, другие предоставляли возможность удалённого счёта, третьи приглашали к себе наших специалистов – к 2005 году мы досконально изучили ситуацию и смогли написать подробные технические требования для тендера, ориентированного на максимально возможное эффективное использование оборудования в применении конкретно к нашим задачам.

Программа модернизации касалась четырёх наших вычислительных центров: основной вычислительный центр в Москве, два региональных центра в Новосибирске и Хабаровске, которые также занимаются оперативной прогностической деятельностью, и центр Главной геофизической обсерватории в Санкт-Петербурге, который занимается климатическими расчётами. Мы решили на первом этапе провести тендер для Санкт-Петербурга и на основе результатов его работы принимать дальнейшие решения. Оборудование для Санкт-Петербурга поставила компания «Крафтвей», работающая по соглашению с компанией «Силикон-Графикс». В суперкомпьютерах использовались процессоры Intel Itanium 2. Интегратором для трёх остальных вычислительных центров в результате конкурса стала компания IBS.

Сегодня в нашем московском вычислительном центре работают два кластера, у одного из которых пиковая производительность 11 терафлопс (1 терафлопс = 1012 операций/с – производительность достигнута в 1997 г.), у другого – 16 терафлопс. Комплексы в Новосибирске и Хабаровске имеют производительность по 600 гигафлопс (1 гигафлопс = 109 операций/с – производительность достигнута в 1987 г.). Московский комплекс был введен в эксплуатацию в марте 2009 года, а ВЦ в Новосибирске и Хабаровске – осенью 2009 года.

Роман Вильфанд: Я вернусь к тому, на чем закончил свой рассказ. Новые вычислительные возможности позволяют внедрять в прогностические схемы те знания, которые раньше просто не могли быть реализованы. На новых суперкомпьютерах уже считаются две мезомасштабные модели самого современного уровня, а в начале марта они будут эксплуатироваться сначала в опытном, а потом и в оперативном режиме.

Суть мезомасштабных моделей в том, что в них учтены все известные науке физические явления, мы практически ничем не пренебрегаем. Интересно, что такие модели называются «примитивными» в том смысле, что в них нет никаких упрощений. Все описывается максимально детально, но у нас есть, куда развиваться: через три года мы планируем увеличить точность нашего описания атмосферных процессов до одного километра, а к 2014 году (к сочинской олимпиаде) – до 500 метров.

Точность прогнозов зависит от многих факторов, главных – три. Первый – это физический блок, то есть учёт всех физических явлений. Второй – это динамический блок, то есть метод решения этой системы. Но даже при абсолютной точности двух этих блоков в прогнозе все равно будут ошибки, связанные с неточностями начальных данных, на основе которых и решаются наши уравнения.

Для того, чтобы максимально повысить точность начальных данных, приходится решать целый комплекс достаточно сложных задач. Они уточняются путем последовательных приближений при решении прямой и обратной задачи и, в конце концов, сходятся к устойчивому набору данных, которые могут использоваться при прогнозе на пять и даже на десять суток. Естественно, для всех этих масштабных вычислений, которые надо производить практически в режиме реального времени, необходимы очень серьёзные вычислительные мощности.

А если вернуться к вопросу о том, что изменилось за 20 лет, то тогда точность прогноза на завтра была такой же, как сегодня на третий день. Вот что позволяют нам сделать новые компьютеры! Тридцать лет назад совершенно невероятным считался прогноз на пять-шесть дней (о чем не раз мне говорил тогдашний директор Гиродметцентра), а сегодня мы делаем это. Вот результат роста вычислительных возможностей нашего ВЦ!

Но при этом очень важно понимать, что прогноз на шесть дней – это наш предел сегодня. Кстати, в метеорологическом сообществе есть и такое понятие, как предел предсказуемости, которое ввёл в обиход прекрасный американский ученый Эдвард Лоренц. Суть его в том, что детализировать прогноз можно в принципе максимум на 15-20 дней. Это связано с ошибками в начальных данных, от которых никогда нельзя будет избавиться. Если говорить о прогнозах на более долгий срок, то можно прогнозировать только осреднённые, фоновые параметры, например: следующий месяц будет по температуре выше или ниже нормы.

Одно из самых последних и очень интересных направлений нашей работы – это прогнозирование качества самого прогноза. С этой целью можно немного «пошевелить» входные данные и посмотреть, как эти небольшие отклонения скажутся на результате прогноза. Для одних регионов это может привести к незаметным изменениям, а для других – к существенным. Естественно, вероятность реализации прогноза для первого такого региона будет выше, чем для второго. Для каждого прогноза можно делать до 30 таких «вариантных» прогнозов и рассчитать на их основе некий усреднённый прогноз. Такой подход позволяет повысить качество прогнозов. Как Вы понимаете, реализовать все эти планы можно только при наличии очень серьёзных вычислительных ресурсов. В ведущих мировых метеорологических вычислительных центрах такие прогнозы просчитываются 50-60 раз.

Не менее сложная задача – приучить потребителей к таким «вероятностным» прогнозам. Но можно отметить, что за последние 10 лет мы наблюдаем постоянный рост количества таких «разумных» и подготовленных пользователей. Они готовы воспринимать такой вероятностный прогноз, поскольку, прежде всего, он более честен, а кроме того, с его помощью можно продуманно и обоснованно решать задачи оптимизации своих рисков и выгод. Речь идёт о транспортных, строительных организациях и других видах деятельности, которые в существенной степени зависят от прогноза погоды.

Надо признать, что внедрение вероятностного прогноза принимается населением без восторга. Лет сорок назад его пробовали внедрять в США, и потребители его просто не восприняли. Необходимо терпеливо пропагандировать и продвигать его, чтобы дать пользователям возможность привыкнуть к новым реалиям.

Александру Семёнов: Вы помянули американцев, а насколько их прогнозы погоды лучше и точнее российских?

Роман Вильфанд: Это очень интересный вопрос. До того времени, как в нашем вычислительном центре появился суперкомпьютер Cray, мы достаточно сильно отставали от развитых метеорологических служб других стран по точности прогнозирования. Но к 1999-2000 г.г . заметно приблизились к ним, можно сказать, что шли вровень с Германией и занимали в мире 7-9 место. После этого около 10 лет не было обновления компьютерного парка, и мы опять стали отставать. Однако после появления новых вычислительных мощностей в 2008 году, ещё до их ввода в эксплуатацию в полном объёме буквально за несколько месяцев нам удалось сократить отставания в два и может даже больше раз. Таким образом, ответ на ваш вопрос прост: важнейшее значение имеют мощности вычислительного центра. Естественно, не только они, но они – в первую очередь.

Очень важно отметить и ещё один аспект: метеорология уникальная отрасль коллективной деятельности. Между национальными метеорологическими службами не существует никаких коллизий и соперничества, они все работают в режиме тесного сотрудничества. Все мы заинтересованы в том, чтобы службы всех стран работали максимально эффективно и качественно. От этого зависят другие прогнозы. В 90-е годы у нас был очень тяжёлый период, когда сеть метеорологических и аэрологических станций сокращалась, и качество прогнозов ухудшалось, это ухудшение почувствовали и другие страны в своих прогнозах. Атмосфера не знает границ, и качество прогнозов всех стран зависят друг от друга.

Именно поэтому в рамках Всемирной метеорологической организации существует целый ряд стандартов, которые должны выполнять и выполняют все метеослужбы нашей планеты. Все службы ежедневно поставляют информацию в глобальную систему телесвязи. Даже в самые худшие для нашей страны годы мы всегда имели прогнозы и всю информацию от других стран, что позволяло нам продолжать работать. Потребители не почувствовали резкого провала качества наших прогнозов. Все наблюдения и прогнозы любой национальной метеорологической службы всегда доступны всем национальным метеорологическим службам.

Александру Семёнов: И все-таки: на сколько дней вы можете прогнозировать погоду сегодня?

Роман Вильфанд: На пять-шесть дней, а к концу 2010 году планируем довести заблаговременность прогноза до 7 суток. Успешность прогноза на завтрашний день составляет 95-96%, а для каждого последующего дня она понижается на 2-3%. И на шестой день надёжность нашего прогноза резко падает.

Очень важно понимать, что дальнейшее повышение оправдываемости прогноза выше 95-96% сталкивается с колоссальными сложностями. Не то что процент, а каждая сотая доля процента на этом пути даётся с трудом и стоит больших денег. Никогда не удастся дойти до 100-процентной точности, всегда будет существовать некоторая неопредёленность, потому что невозможно полностью исключить неточности входной информации. Можно вспомнить принцип неопределенности Гейзенберга в квантовой механике, которое не позволяет одновременно точно измерять координату и энергию частиц. У нас нет буквального совпадения по смыслу, но некоторую аналогию можно проследить.

Владимир Анцыпович: Мне хотелось бы отметить еще один момент, который подчеркивает значимость высокопроизводительных вычислений в метеорологии. Прогнозы надо делать не только хорошо, но и быстро: по правилам Всемирной метеорологической организации прогноз надо делать за время, не превышающее 10% его срока. Суточный прогноз надо выпускать не более чем за 2 с половиной часа. Естественно, есть разные прогнозы – для определенных регионов, на сутки, на трое суток, на 6-7 суток, но надо всё время помнить, что для каждого из них есть ограничение по времени счёта, а значит необходимы производительные суперкомпьютеры.

И ещё один очень важный момент, можно сказать – залог нашего успеха, который хочется подчеркнуть в заключение нашего разговора. У нас сейчас установлены очень хорошие контакты с корпорацией Intel, поэтому мы оперативно получаем не только самые последние модели процессоров, но, что важно – самые последние данные по развитию вычислительной техники. Мы стараемся оттестировать на наших алгоритмах практически все доступные на современном этапе ИТ-решения в области высокопроизводительных вычислений.

----

Куда движется розница?

Куда движется розница? Статья Владислава Боярова. 19.04.2024 г

Blood, Sweat & Tears, или Кровь, пот и слёзы – часть четвёртая

Blood, Sweat & Tears, или Кровь, пот и слёзы – часть четвёртая. Статья Владислава Боярова. 12.03.2024 г.

«КАТЮША» в «Пастернаке»: «КАТЮША»

«КАТЮША» в «Пастернаке»: «КАТЮША». Статья Владислава Боярова. 08.04.2024 г.

Pantum в Самаре: business as usual

Галопом по вычислительным Европам. Часть 10. Китайский путь и персональная безопасность.

Галопом по вычислительным Европам. Часть 10. Китайский путь и персональная безопасность. Статья Ильи Вайцмана. 11.12.2023 г.