Инфраструктура Hadoop – популярное решение для таких задач, как распределённое хранение данных и вычисления Map/Reduce на кластере. Хорошая масштабируемость и развитая экосистема подкупают и обеспечивают Hadoop’у прочное место в инфраструктуре различных информационных систем. Но чем больше ответственности возлагается на этот компонент, тем важнее обеспечивать его отказоустойчивость и high availability.

В докладе я расскажу про обеспечение высокой доступности компонентов Hadoop-кластера. Кроме этого, поговорю:

– о «зоопарке», с которым мы имеем дело;
– о том, зачем обеспечивать высокую доступность: точки отказа системы и последствия отказов;
– средствах и решениях, существующих для этого;
– нашем практическом опыте внедрения: подготовка, деплой, проверки.

Доклад будет наиболее полезен тем, кто уже использует Hadoop (для углубления своих знаний). Другой части аудитории доклад будет интересен с точки зрения обзора архитектурных решений, применяемых в этом программном комплексе.