SQL вопросик

[svu]

Сообщение от vc

По одному ряду 2 миллиарда? А БД лочить будете?

В зависимости от.

Сообщение от ixania

знаем мы когда это "когда" наступает, когда уже некогда

А это вопрос планирования.

[ixania]

Сообщение от svu

А это вопрос планирования.

Какого планирования? фанеры над парижем? кто планирует? основываясь на чем? на ваших же предложениях обрабатывать по одному ряду?
Те кто планируют, делают это на основании тогоже фидбэка от вас.

[svu]

Сообщение от ixania

Какого планирования?

Планирования проекта. Если в проекте значатся серьезные требования по масштабированию, объемам данных - требуется отвести ресурсы (время, разработчиков) на оптимизацию. Это недостаточно очевидно?

[YellowMan]

Сообщение от svu

Если в проекте значатся серьезные требования по масштабированию, объемам данных - требуется отвести ресурсы (время, разработчиков) на оптимизацию.

2 млн. - это не серьезные требования по объемам данных, это детский сад какой-то.
Вот 2 млн. за полчаса + пару тыщ усеров - это уже может быть интересно.

Но модные архитектуры с гламурными словечками не доживут,помрут гораздо раньше.

Сообщение от tadpole

В результате 20-30 тысяч экземпляров бизнес транзакций заливаются в течении шести часов. 4-5 тысяч - в течении получаса.

Гнать поганой метлой

[svu]

Сообщение от YellowMan

2 млн. - это не серьезные требования по объемам данных, это детский сад какой-то.
Вот 2 млн. за полчаса + пару тыщ усеров - это уже может быть интересно.

"в каждой губернии свои масштабы" (с)

[AlexL]

Сообщение от svu

"в каждой губернии свои масштабы" (с)

правильная и красивая архитектура должна быть масштабируема
иначе получается игра в песочнице.

[svu]

Сообщение от AlexL

правильная и красивая архитектура должна быть масштабируема

Согласен. Но и у масштабируемости могут быть разные пределы. Вы часто создаете архитектуры, масштабируемые до размеров гугла? Я - ни разу (и вряд ли осилил бы).

[AlexL]

Сообщение от svu

Согласен. Но и у масштабируемости могут быть разные пределы. Вы часто создаете архитектуры, масштабируемые до размеров гугла? Я - ни разу (и вряд ли осилил бы).

зачем же крайности.. 2 млн записей это не размер гугла это средний проект.. может конечно это от отрасли зависит, но у меня проекты были в самых разных областях - банковской, нефтяной, страховой, авиационной, здравохранения, транспортной.

[YellowMan]

Не ну надо сразу определиться - или для нас табличка в 2М и с десяток усеров - это слишком много и надо придумывать оправдания или это только начало увлекательного пути без конца.

Потому-что пока все что я видел сам и слышал от людей умнее меня - все эти модные словечки ломаются и начинают выделять смазку там где база даже не замечает что ее кто-то пытается пригрузить.

[svu]

Сами по себе 2 млн - это ни о чем не говорит. Вопрос в том, за сколько времени необходимо их обработать. Если за секунду, причем гарантировано - это одно. Если можно часок поковыряться - это совсем другое. Опять же, всякие детали - типа того, можно ли на это время занять машину только этой работой, каков размер записи и сложность алгоритмов ...

svu добавил 05.05.2010 в 10:23

Сообщение от YellowMan

все эти модные словечки ломаются и начинают выделять смазку там где база даже не замечает что ее кто-то пытается пригрузить.

См. выше насчет красоты и скорости.

[AlexL]

Сообщение от svu

Сами по себе 2 млн - это ни о чем не говорит. Вопрос в том, за сколько времени необходимо их обработать. Если за секунду, причем гарантировано - это одно. Если можно часок поковыряться - это совсем другое. Опять же, всякие детали - типа того, можно ли на это время занять машину только этой работой, каков размер записи и сложность алгоритмов ...

на таких объемах час ковыряния это прошлый век, с поправкой насчет неправильноcти архитектуры прошлого, отсталых языков программирования и дохленьких компов.

AlexL добавил 05.05.2010 в 10:31

Сообщение от svu

См. выше насчет красоты и скорости.

красивый код должен быть быстр, иначе в течение длительного ожидания его выполнения теряется его очарование..

ЗЫ. моя первая программка была написана на clipper'87 года, обработка 100 000 записей занимала в среднем 5-8 минут на компе XT.

[svu]

Сообщение от AlexL

красивый код должен быть быстр, иначе в течение длительного ожидания его выполнения теряется его очарование..

Ровно наоборот. Красивый код может (должен?) быть медленным - это дает человеку время помедитировать над его красотой!

svu добавил 05.05.2010 в 10:37

Сообщение от AlexL

час ковыряния это прошлый век

Я Вам в эти записи блобов понапихаю! В каждом блобе по зипу, в каждом зипе по куче хмлей и жпегов!

svu добавил 05.05.2010 в 10:42

Сообщение от AlexL

ЗЫ. моя первая программка была написана на clipper'87 года, обработка 100 000 записей занимала в среднем 5-8 минут на компе XT.

ЗЫ Моя первая программка была написана на фортране и занималась научными вычислениями, а не какими-то там базами данных

[AlexL]

Сообщение от svu

Ровно наоборот. Красивый код может (должен?) быть медленным - это дает человеку время помедитировать над его красотой!

если писать программки для себя и для медитации, то согласен.

Сообщение от svu

Я Вам в эти записи блобов понапихаю! В каждом блобе по зипу, в каждом зипе по куче хмлей и жпегов!

это из вредности что ли ? так приложение потом же этим и поперхнется..

Сообщение от svu

ЗЫ Моя первая программка была написана на фортране и занималась научными вычислениями, а не какими-то там базами данных

мы же об обработке данных здесь пишем.. фортран вообще-то входил в обязательную программу обучения, мы диффуры на нем считали.
я не считаю это большим достижением.

[rojer]

господа, в пылу спора вы потеряли 3 порядка:

vc> Давайте спросим у ораклистов про размеры их таблиц? Как вы будете обрабатывать таблицу с 2-3 млрд рядов?
YellowMan> 2 млн. - это не серьезные требования по объемам данных, это детский сад какой-то.

2-3 миллиарда - это интересно, 2-3 миллиона - ерунда.

[svu]

Сообщение от AlexL

это из вредности что ли ? так приложение потом же этим и поперхнется..

Это я к тому, что нельзя говорить о правильной скорости обработки 2М записей, не уточняя хотя бы примерно их структуру и характер обработки.

Сообщение от AlexL

фортран вообще-то входил в обязательную программу обучения

У нас на этом месте был паскаль на ямахах. А фортраном я развлекался в ФТИ им. Иоффе, сидя рядом с большим бубликом Токамаком и считая данные из него.

svu добавил 05.05.2010 в 11:16

Сообщение от rojer

2-3 миллиарда - это интересно, 2-3 миллиона - ерунда.

Какая разница, если красивое все равно будет тормозить, а быстрое будет уродливо?