jokerconf Joker 2017 (03.11.2017 — 04.11.2017)

Дешевле, надёжнее, проще: хранение петабайтов видео и фото в Одноклассниках

img

Доклад о том, как уменьшить избыточность хранения данных и при этом повысить надёжность и доступность системы в целом.

Технический прогресс позволил нам снимать Full HD или даже 4К видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни ГБ/с, а это, в свою очередь, требует инфраструктуры, состоящей из тысяч дисков и сотен серверов.

Ранее для обеспечения требуемого уровня надёжности хранения данных и отказоустойчивости мы были вынуждены хранить 3 реплики данных, по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставили нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью делать это дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов.

Доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделимся опытом эксплуатации системы с тысячами дисков. Расскажем о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.