Зачем мы используем реляционные СУБД, поддерживающие SQL синтаксис? Хранить данные, инкапсулировать работу с данными, делать хитромудрые выборки, сортировки и т.д. Насколько часто Вы (или Ваши разработчики) анализируете определенную задачу на предмет того, какую технологию хранения данных применять? Угадаю — почти никогда. Выбор обычно делается в начале проекта (MySQL, Postgres и т.д.), а потом этот выбор является условием «по умлочанию» для любого рода технических задач, требующих постоянное хранилище.

Сегодня посчастливилось ознакомиться со статьей Майкла Нолла (Michael Noll) о том, как написать распределённое Hadoop приложение на питоне (Python).

Я всегда был большим поклонником распределённой обработки (MapReduce), но, так как в своей работе использую PHP, я подумал, что неплохо бы было портировать этот пример и показать, как можно создавать распределенные приложения на PHP.

Hadoop - распределенная вычислительная платформа, написанная на Java, которая включает в себя компоненты аналогичные Google File System и MapReduse которые позволяют хранить и обрабатывать петабайты данных.

Ваши пользователи качают гигабайты трафика с вашего ресурса? Как увеличить скорость загрузки файлов пользователями и при этом разгрузить ваш сервер ??? Как сделать зеркалирование вашего ресурса затратив при этом минимум средств.

Что предстоит сделать?

На основе открытого решения Openx нам предстоит реализовать масштабируемую систему управления рекламой, которая бы выдерживала нагрузку порядка 20М показов баннеров в сутки, что равнозначно более 40М запросов к web-серверу.