Совсем недавно я написал практически совсем не технический пост про Dropbox, а тут совершенно случайно наткнулся-таки на техническое выступление их сотрудника на PyCon 2011, которая прошла меньше недели назад. Как не трудно догадаться, залогом успеха Dropbox с технической точки зрения оказался Python. Как же Python оказался в сердце бизнес-модели Dropbox?

С тех пор, как я написал пост про Архитектуру Facebook, я как-то перестал активно следить за развитием событий и, как оказалось, зря.  В Facebook ввели новый функционал «социального почтового ящика», агрегирующий входящие сообщения из электронной почты, мессенджеров, SMS и сообщений на сайте Facebook. Изначально они разрабатывали Cassandra именно для использования в этом проекте, но в [...]

Dropbox — самый простой способ синхронизации файлов между компьютерами и людьми. Очень давно хотел написать пост про Dropbox, наверное с тех пор как начал пользоваться этим сервисом. Хоть они и у всех на слуху, но сами ведут себя довольно скрытно в плане публикации информации о себе. Я даже писал им на почту, чтобы выяснить более подробно [...]

В далеком 2008м я уже публиковал статью про архитектуру Twitter, но время летит стремительно и она уже абсолютно устарела. За это время аудитория Twitter росла просто фантастическими темпами и многое поменялось и с технической точки зрения. Интересно что новенького у одного из самых популярных социальных интернет-проектов?

DISQUS — самая популярная система комментирования и одновременно самое большое в мире Django-приложение. Она установлена более чем на полумиллионе сайтов и блогов, в том числе и очень крупных, таких как Engadget, CNN, MTV, IGN. Основной особенностью в её реализации является тот факт, что DISQUS не является тем сайтом, который хотят увидеть пользователи, он лишь предоставляет механизмы [...]

Гигантский шаг в сторону распределенного будущего был предпринят командой Google App Engine в момент их релиза системы хранения данных с повышенным уровнем репликации. Она направленна на критичные для бизнеса приложения, которые требуют расположения копий данных как минимум в трех датацентрах, полной семантики ACID для групп сущностей и ограниченных гарантий консистентности между группами сущностей.

Facebook поделились новыми цифрами в конце прошлого года. Что обычно происходит за 20 минут на Facebook? Люди делятся миллионом ссылок Отмечают друзей на 1323 тысячах фотографий Приглашают 1 484 000 знакомых на мероприятиях Отправляют 1 587 000 сообщений на стену Пишут 1 851 000 новых статусов 2 миллиона пар людей становятся друзьями Загружается 2.7 миллиона фотографий [...]

В большом бизнесе использование нескольких больших кластеров с финансовой точки зрения более эффективно, чем много маленьких. Чем больше машин в кластере, тем большими наборами данных он может оперировать, больше задач могут выполняться одновременно. Реализация MapReduce в Apache Hadoop столкнулась с потолком масштабируемости на уровне около 4000 машин в кластере. Разрабатывается следующее поколение Apaсhe Hadoop MapReduce,  в [...]

Mollom — это прибыльный SaaS сервис по фильтрации различных форм спама из контента, сгенерированного пользователями: комментариев, постов на форумах и блогах, опросов, контактных и регистрационных форм. Определение спама основано не только на контенте, но и репутации и прошлой активности разместившего его пользователя. Алгоритм машинного обучения Mollom выполняет роль цифрового модератора 24×7 для более 40 тысяч сайтов, [...]

Piccolo — это система для распределенных вычислений, использующая новую ориентированную на данные модель программирования для разработки приложений по параллельным вычислениям в памяти в масштабах дата-центров. В отличии от существующих моделей, основывающихся на потоках данных, Piccolo позволяет вычислениям выполняться на различных машинах, при этом имея общее изменяющееся состояния через интерфейс таблиц пар «ключ-значение». Традиционные ориентированные на данные [...]

25-26 октября прошла конференция HighLoad++ 2010, посвященная разработке высоконагруженных систем. После конференции у меня сразу родились планы на два поста: типичный отчет и описание архитектуры Вконтакте. С порядком написания я, видимо, не прогадал — получился один из самых успешных постов на Insight IT. Остальные доклады на мероприятии были, пожалуй, существенно менее животрепещущими для общественности, но все [...]

Самая популярная социальная сеть в рунете пролила немного света на то, как же она работает. Представители проекта в лице Павла Дурова и Олега Илларионова на конференции HighLoad++ ответили на шквал вопросов по совершенно разным аспектам работы Вконтакте, в том числе и техническим. Спешу поделиться своим взглядом на архитектуру проекта по результатам данного выступления.

На сегодняшний день Facebook является пожалуй самым обсуждаемым интернет-проектом во всем мире. Не смотря на довольно низкий уровень проникновения Facebook в России, темпы захвата аудитории этим проектом мягко говоря поражают. Как же им удается управляться с таким огромным социальным графом и удовлетворять потребности в общении невероятно большого количества людей по всему миру?

Plenty of Fish представляет собой очень популярный сервис онлайн знакомств, насчитывающий более 45 миллионов посетителей в месяц и 30+ миллионов просмотров страниц в сутки (что составляет около 500-600 страниц в секунду). Но это не самая интересная часть истории… Все это управляется единственным человеком при использовании нескольких серверов, при этом он тратит на работу всего пару [...]

Наверняка все прекрасно знают о лидерах интернет-поиска в российской части интернета: про Google, Яндекс или Рамблер сказано уже не мало слов, все много раз о них читали, пользовались, обсуждали — ведь уже прошло больше 10 лет с момента создания каждой из этих поисковых систем и, как следствие, их конкуренции на просторах рунета. Намного меньше же внимания [...]