Цитата:


А откуда возникает такой объем данных?

.

Иглишь, мазафака, ду ю спик ит?
В рунете принято общаться по русски.

Я к чему - я сильно соменваюсь, что тебе эти 10 млн строк прилетели с КОМ-порта.
Откуда-то же ты их взял?
Скорее всего - из какой-то СУБД. Если со стороны источника не совсем олени - то СУБДой будет что-то скулеподобное, в крайнем случае - ДБФ/Ацесс.
А значит надо использовать средства СУБД - благо все они, как правило, позволяют делать джойны.

.

vladimirmir2012 писал(а) 15. Августа 2013 :: 04:38:


Вот в том-то и дело, что не "пусть".
На малых выборках (и даже выборках средних размеров) ИТ работает просто отлично.

А 10 мегазаписей - в принципе, скорее всего она способна обработать - если менеджер памяти позволит ей отожрать соотв. количество памяти. Но распараллеливания джойна между процами 100% не будет. Подробнее может сказать АДиркс.

А МС-скуль, например, написан так, что он на таких выборках уже может и распределить нагрузку между несколькими процами и, более того, даже на 32-битной оси способен сожрать более 4 гигов памяти.
Так что вместо набивки данными индексированной таблицы разумнее набить данными таблицу скуля и делать необходимые операции там.

Ничего в этом постыдного нет. Каждой задаче свои инструменты.

.

Я чувствую себя лишним в этом монологе.
Dixi.