Redis — это очень быстрая key-value база данных. Может использоваться как memcached, но отличие от последней в том, что Redis сохраняет свои данные на диск, то есть может быть использован для хранения данных (что мы успешно и делаем). Основные отличии от других собратьев это возможность хранить более сложные структуры данных — списки и «сеты» и атомарные операции с ними.

Для начала, некоторые поразительные показатели проекта Ebay.com:

- Более 89 миллионов активных пользователей
- 190 миллионов товаров в 50 тыс. категорий
- Более 8 миллиардов URL запросов в день
- Большая динамика развития — сотни новых функциональных улучшений каждые 3 месяца
- 39 стран, 9 языков, 24 часа в сутки, 7 дней в неделю, круглый год
- 70 миллиардов операций чтения/записи в день
- Обработка 50 Тб данных в день
- Анализ 50 Пб данных каждый день

Дальше — 10 основных правил масштабирования от Ebay + презентация

Зачем мы используем реляционные СУБД, поддерживающие SQL синтаксис? Хранить данные, инкапсулировать работу с данными, делать хитромудрые выборки, сортировки и т.д. Насколько часто Вы (или Ваши разработчики) анализируете определенную задачу на предмет того, какую технологию хранения данных применять? Угадаю — почти никогда. Выбор обычно делается в начале проекта (MySQL, Postgres и т.д.), а потом этот выбор является условием «по умлочанию» для любого рода технических задач, требующих постоянное хранилище.

Сегодня посчастливилось ознакомиться со статьей Майкла Нолла (Michael Noll) о том, как написать распределённое Hadoop приложение на питоне (Python).

Я всегда был большим поклонником распределённой обработки (MapReduce), но, так как в своей работе использую PHP, я подумал, что неплохо бы было портировать этот пример и показать, как можно создавать распределенные приложения на PHP.

Hadoop - распределенная вычислительная платформа, написанная на Java, которая включает в себя компоненты аналогичные Google File System и MapReduse которые позволяют хранить и обрабатывать петабайты данных.

Что предстоит сделать?

На основе открытого решения Openx нам предстоит реализовать масштабируемую систему управления рекламой, которая бы выдерживала нагрузку порядка 20М показов баннеров в сутки, что равнозначно более 40М запросов к web-серверу.

Слайды с доклада сделанным John Engates, работающим CTO в Racksp, на LinuxWorld.