15 горячих:
|
Публикации с меткой «hi-performance»
Redis — это очень быстрая key-value база данных. Может использоваться как memcached, но отличие от последней в том, что Redis сохраняет свои данные на диск, то есть может быть использован для хранения данных (что мы успешно и делаем). Основные отличии от других собратьев это возможность хранить более сложные структуры данных — списки и «сеты» и атомарные операции с ними.
 Для начала, некоторые поразительные показатели проекта Ebay.com: - Более 89 миллионов активных пользователей - 190 миллионов товаров в 50 тыс. категорий - Более 8 миллиардов URL запросов в день - Большая динамика развития — сотни новых функциональных улучшений каждые 3 месяца - 39 стран, 9 языков, 24 часа в сутки, 7 дней в неделю, круглый год - 70 миллиардов операций чтения/записи в день - Обработка 50 Тб данных в день - Анализ 50 Пб данных каждый день Дальше — 10 основных правил масштабирования от Ebay + презентация
 Зачем мы используем реляционные СУБД, поддерживающие SQL синтаксис? Хранить данные, инкапсулировать работу с данными, делать хитромудрые выборки, сортировки и т.д. Насколько часто Вы (или Ваши разработчики) анализируете определенную задачу на предмет того, какую технологию хранения данных применять? Угадаю — почти никогда. Выбор обычно делается в начале проекта (MySQL, Postgres и т.д.), а потом этот выбор является условием «по умлочанию» для любого рода технических задач, требующих постоянное хранилище.
 Сегодня посчастливилось ознакомиться со статьей Майкла Нолла (Michael Noll) о том, как написать распределённое Hadoop приложение на питоне (Python). Я всегда был большим поклонником распределённой обработки (MapReduce), но, так как в своей работе использую PHP, я подумал, что неплохо бы было портировать этот пример и показать, как можно создавать распределенные приложения на PHP.
Hadoop - распределенная вычислительная платформа, написанная на Java, которая включает в себя компоненты аналогичные Google File System и MapReduse которые позволяют хранить и обрабатывать петабайты данных.
Что предстоит сделать? На основе открытого решения Openx нам предстоит реализовать масштабируемую систему управления рекламой, которая бы выдерживала нагрузку порядка 20М показов баннеров в сутки, что равнозначно более 40М запросов к web-серверу.
 Слайды с доклада сделанным John Engates, работающим CTO в Racksp, на LinuxWorld.
|
|