1С7.70.025, DBF, 1C++ 3.01.19, FormEx 2.0.5.93

Предыстория: была поставлена задача загрузить ~19000 номенклатурных позиций из экселя в базу. При попытке решения задачи штатными методами столкнулся с проблемой непонятного стремительного роста индексного файла таблицы номенклатуры (на этапе 40% файл занимал больше 1ГБ!). При этом сама скорость загрузки экспоненциально падала. Стоит отметить что помимо самой номенклатуры загружались данные еще в 4 подчиненных справочника: единицы, цены, цены поставщиков, остатки на складах поставщиков. Саму операцию все-же удалось завершить в 3 подхода между которыми удалялись и восстанавливались индексные файлы. В итоге было затрачено около 8 часов. Попытка выяснить причины и возможные пути решения привели к мысли создания механизма записи данных напрямую с помощью средств 1С++. В результате, дабы изучить технологии ООП был создан класс, позволяющий осуществлять эту самую операцию.
С применением созданного класса поставленная задача была решена за 12 минут! Правда остался один побочный эффект: индексы все-равно получаются покореженными и справочники ведут себя неадекватно ,) т.е. после загрузки данных необходима переиндексация.

Косяки и вопросы знатокам:
Сам класс доработан только до необходимого уровня для решения поставленной задачи, но при этом содержит несколько явных косяков.
Если справочник имеет реквизит типа "Дата" и для него не передается или передается пустое значение, оно заменяется на дату 01.01.1980, поскольку драйвер матерится и не принимает ни одну из комбинаций:

гЗапрос.ДобПараметр(1,8,0,0);
гЗапрос.УстПараметр(1,Дата(0));
гЗапрос.УстПараметр(1,'00.00.00');
гЗапрос.УстПараметр(1,'  .  .  ');
гЗапрос.УстПараметр(1,'  /  /    ');
...

гЗапрос.ДобПараметр(1,14,10,0);
гЗапрос.УстПараметр(1,"00/00/0000");
гЗапрос.УстПараметр(1,"00-00-0000");
...
 

Вобщем никак у меня не получилось передать ему пустую дату ,(
Что я делаю не так? Вариант ВыполнитьSQL_ИзТЗ и прочие альтернативные конструкции не пробовал, поскольку мне удобнее использовать конструкцию:

Запрос.Подготовить(ТекстЗапроса);
Запрос.ДобПараметр(...);
Запрос.УстПараметр(...);
Запрос.ВыполнитьИнструкцию();
 

Ну и просто недоработки:
а) Длинная периодическая строка урезается до 23 символов на одну секцию (мне пока не надо было)
б) Если код справочника имеет строковую составляющую, то новый код скорее всего получить не удастся
в) не учитываются неопределенные ссылки, т.е. 13 символьные, только полностью типизированные объекты С9


Прошу конструктивной критики в плане оптимизации структуры класса и, если есть, другие замечания и пожелания

Спасибо за внимание!

Uncle, Покажи код стандартной загрузки и структуру справочника номенклатура с указанием признаков отбора и сортировки. Я считаю что 19000 это совсем не много

А почему используется ODBC а не OLEDB? Последнее, вроде, более работоспособное.

leshik писал(а) 14. Мая 2009 :: 18:32:

Завтра покажу, на работе все осталось, хотя в коде ничего необычного нету

1) Константа.ТипБазовойЕдиницыПоУмолчанию и т.д. вынеси в переменные чтобы не считывать постоянно из базы;
2) Я думаю что создание не обернуто в транзакцию - оберни в транзакцию по 10-30 элементов;
3) Покажи код функции глУбратьНепечСимв(Н); Я думаю что там ты используешь что-то типа
Для Сч = 1 По СтрДлина(Н)
А на самом деле СтрДлина(Н) можно вынести перед циклом;
4) гСпрНом.ИспользоватьДату('01.01.1980') вынеси вообще за функцию - эту инструкцию можно применить 1 раз;
5) Зачем обернуто в попытку? Бывает что и не записывается? Транзакция и Попытка вместе не использовать.
Я уверен что твой СТАНДАРТНЫЙ код можно привести к состоянию оочень быстрой загрузки.
Замедление к концу связано с перестроением индексов по реквизитам:
Идентификатор      "Артикул"
                 - Синоним      "Артикул"
                 - Тип      "Строка"
                 - Длина      "30"
                 - Сортировка      "1"
                 - Отбор      "1"
Идентификатор      "ШтрихКод"
                 - Тип      "Число"
                 - Длина      "13"
                 - Сортировка      "1"
                 - Отбор      "0"
Идентификатор      "КодТов"
                 - Тип      "Строка"
                 - Длина      "25"
                 - Сортировка      "1"
                 - Отбор      "0"
Идентификатор      "ВнешнийКод"
                 - Тип      "Число"
                 - Длина      "10"
                 - Сортировка      "1"
                 - Отбор      "1"
Посмотри а правильно ли задана длина реквизитов? Возможно в полях хранится менее длинное содержимое и длину поля можно уменьшить;
Подумай, а везде ли нужен Отбор (это все таки дополнительный индекс). Обычно достаточно бывает Сортировки.

Поторопился ответить, надеюсь никто не успел прочесть тот пост что я сейчас удалил ,))
Так вот, с учетом рекомендаций leshik'a удалось добиться нормальной равномерной и быстрой загрузки всего справочника с нормальной динамикой роста индексного файла. В итоге штатным способом загрузка завершилась за 7:20 мин. С помощью прямого справочника 12 мин. Вот теперь думаю неужели все-таки штатным способом быстрее или у меня просто неоптимизированный класс.....

leshik писал(а) 15. Мая 2009 :: 11:24:

глНеПечатаемыеСимволы = СоздатьОбъект("СписокЗначений");
Для Сч=0 По 31 Цикл
	глНеПечатаемыеСимволы.ДобавитьЗначение(Симв(Сч));
КонецЦикла;


Функция глУбратьНепечСимв(Стр) Экспорт
	Стр_ = "";
	Длина = СтрДлина(Стр);
	Для Сч=1 По Длина Цикл
		Смв = Сред(Стр,Сч,1);
		Если глНеПечатаемыеСимволы.Принадлежит(Смв)=0 Тогда
			Стр_=Стр_+Смв;
		КонецЕсли;
	КонецЦикла;

	Возврат Стр_;
КонецФункции
 

leshik писал(а) 15. Мая 2009 :: 11:33:


Спасибо, попробую, но вообще-то в замере производительности эта операция итак занимает весьма скромную позицию. В аттаче вся обработка

leshik писал(а) 15. Мая 2009 :: 11:45:

пошел курить йоксель 

Йоксель позволил скинуть еще 2 минуты  
А игры с транзакциями (500 строк на одну) позволили довести результат до 1:45