HBase в Facebook завоевывает все более и более крепкие позиции, в прошлый раз я рассказывал о применении HBase в роли системы хранения данных для их новой системы обмена сообщений. Вторым продуктом, который теперь полноценно использует данную технологию, является система сбора и обработки статистики в реальном времени под названием Insights. Социальные кнопки (см. слева от поста) [...]
С тех пор, как я написал пост про Архитектуру Facebook, я как-то перестал активно следить за развитием событий и, как оказалось, зря. В Facebook ввели новый функционал «социального почтового ящика», агрегирующий входящие сообщения из электронной почты, мессенджеров, SMS и сообщений на сайте Facebook. Изначально они разрабатывали Cassandra именно для использования в этом проекте, но в [...]
В далеком 2008м я уже публиковал статью про архитектуру Twitter, но время летит стремительно и она уже абсолютно устарела. За это время аудитория Twitter росла просто фантастическими темпами и многое поменялось и с технической точки зрения. Интересно что новенького у одного из самых популярных социальных интернет-проектов?
Некоторое время назад Neuronus в одном из комментариев к посту «Hadoop возвращается» не согласился с моим кратким определением HBase как «нереляционная база данных» (позаимствованным, собственно говоря, откуда-то с официального портала продукта). Этот факт подтолкнул меня попытаться найти более корректное определение в англоязычных источниках информации, получилось вполне успешно. Хочется прочитать более детально что к чему? Вперед!
Если Вы являетесь постоянным читателем моего блога, то вполне вероятно, что Вы помните мой старый пост об этом замечательном проекте от Apache Foundation. С тех пор он развивался невероятными темпами и очень многое успело измениться, об этом я и хотел бы сегодня поделиться своими впечатлениями. В дополнение к этому планируется небольшая инструкция по развертыванию Hadoop [...]
Для разработки приложений, работающих с использованием Hadoop, или же алгоритмов для MapReduce framework’а совсем не нужен полномасштабный кластер. На самом же деле для запуска всей системы, описанной мной в одном из предыдущих постов, вполне достаточно одного компьютера и буквально минут 15 свободного времени, как потратить их для решения этой задачи я Вам и поведаю.
Hadoop представляет собой платформу для построения приложений, способных обрабатывать огромные объемы данных. Система основывается на распределенном подходе к вычислениям и хранению информации, основными ее особенностями являются: Масштабируемость: с помощью Hadoop возможно надежное хранение и обработка огромных объемов данных, которые могут измеряться петабайтами; Экономичность: информация и вычисления распределяются по кластеру, построенному на самом обыкновенном оборудовании. Такой [...]
