IBM создаст систему аналитики для крупнейшего в мире телескопа

IBM работает над созданием новых технологий дата менеджмента и аналитики для крупнейшего в мире радио телескопа Square Kilometre Array (SKA).

Новый телескоп заработает только в 2024 году, причем он будет производить столько данных, что даже компьютеры будущего будут обрабатывать их с большим трудом, прогнозирует компания. «Это исследовательский проект, в рамках которого целью является создание системы, способной обрабатывать сотни экзабайт данных ежедневно», - заявил Тон Энгберсен (Ton Engbersen), директор проекта со стороны IBM.

Нидерланды выделили IBM и Институту радио астрономии Нидерландов (Netherlands Institute for Radio Astronomy, ASTRON) пятилетний грант на сумму $43,6 млн, покрывающий расходы на создание такой системы.

Работу над SKA ведет консорциум из 20 правительственных агентств. Это будет не только самый крупный, но и самый чувствительный в мире радио телескоп. Возможно, он позволит ученым ответить на вопрос, как именно произошел «Большой взрыв» около 13 млрд лет назад. SKA будет состоять из 3 тыс. небольших антенн, каждая из которых будет производить непрекращающийся поток данных.

Как только SKA заработает на полную мощность, он будет производить более 1 экзабайта данных в день

Как только SKA заработает на полную мощность, он будет производить более 1 экзабайта данных в день (1 экзабайт = 1 млрд гигабайт). По оценкам IBM, эти данные будут превышать по объему ежедневный входящий трафик всемирной паутины. Данные будут сниматься с телескопа, расположенного в Австралии или Южной Африке, а затем суммироваться и рассылаться ученым по всему миру. Обработка информации будет сводиться к сбору пакетов данных от каждой отдельно взятой антенны. Дмитрий Бородачев, DатаРу Облако: Наше преимущество — мультивендорная модель предоставления облачных услуг

По словам Энгберсен, ученые планируют использовать для обработки данных самое современное оборудование, но в проектировании системы им все равно придется шагнуть за рамки существующих технологических возможностей.

Пока также не решено, будут ли данные стекаться в единый центр обработки данных (ЦОД) или таковых будет несколько. Еще одной задачей, которую нужно решить, является обеспечение энергией такого большого количества оборудования. Необходимо настроить и алгоритмы передачи данных в соответствии с конфигурацией оборудования.

В результате высоко производительная система сможет обрабатывать от 300 до 1500 петабайт данных в год. Это в десятки раз больше, чем производит самый крупный научный генератор данных в мире – Большой адронный коллайдер (15 петебайт ежегодно).