Исследования на коленке (Seat-of-the-pants Research)

" Слонов люблю. Они ушасты, Ночные хищники и, не Смотря на то, что любят шастать Ночами - мирные вполне.." В эпиграфе я не просто так затронул тему слонов. Слоны издавна сопровождают большие данные. К примеру мне нравится символ Hadoop. Добрых вам баз данных, юные любители данных! Этой весной стартует уникальный курс, которого еще не было на нашем родном матфаке. Помню, именно такого курса мне не хватало после теоретических знаний по реляционным базам данных (Ох уж эта третья нормальная форма, было дело, ага).  Итак, встречайте, новый с/к вам прочтет IT - лектор Алексей Зиновьев [ Alexey Zinoviev] . Работа с большими объемами данных, правильное проектирование хранилищ - вот суть новых вызов, которые бросает нынешнее время программистам компаний Google, Facebook, Yandex, Вконтакте. Задачи поиска, хранения сообщений миллиарда пользователей, прокладка оптимального маршрута по карте - все это влечет обработку огромных массивов данных. У вас есть шанс оказат...

Добрый день, я - Алексей Зиновьев [ Alexey Zinoviev] , человек, на пути которого встала NoSQL Cassandra. Соцсоревнование NoSQL Один из производителей NoSQL СУБД заказал независимое исследование, мол, какая NoSQL круче. Каждому участнику раздали по одной СУБД, мне же досталась Cassandra . Задача передо мною была поставлена следующая: развернуть кластер Cassandra сначала на тестовых серверах Amazon, а затем на оборудовании, предоставленном заказчиком эксперимента. А также найти оптимальные настройки. После этого необходимо было погонять тесты производительности эмулирующие максимальную нагрузку на кластеры. Именно максимальную, т.е. всех интересовало, как себя кластеры будут вести при пиковых нагрузках, насколько сильно велик будет процент криво записанных данных, падение среднего отклика и т.п. Для тестирования производительности YCSB , среди которых есть стандартная реализация и для Cassandra . В состав тестов YCSB входят загрузка большого числа данных, чтение и запись ...