Пытаюсь перенести справочник KLADR (162000 записей) из одной базы в другую. В удаленной базе запросом проверяю наличие по каждому элементу текущей базы (обычный запрос по таблице с условием по наименованию). Запрос возвращает ТЗ с ID элемента или пустую таблицу. Если ТЗ пустая, то эл-та нет в удаленной базе - добавляем новый; если не пустая ТЗ, обновляем всю строку по найденному ID. Так вот после обработки около 39000 элементов запрос возвращает значение типа "Число" (вместо "ТаблицаЗначений") и оно равно -1. При этом 1С постоянно увеличивает потребление памяти (сужу по диспетчеру задач). Как можно объяснить такое явление? Как с ним бороться? Я думаю, что проблема заключается в объекте типа ODBCRecordSet, который и осуществляет общение с удаленной базой.

Да. Небольшие справочники обрабатываются верно и быстро, а вот с этим... А что не то?
Вот такая  функция:

Функция ИДЭлементаСправочника(Справочник, ЭлтСпр, ИмяТаб_Спр, Реж="")
     ТипКода                  = Справочник.ТипКода;
     ДлинаКода           = Справочник.ДлинаКода;
     ДлинаНаименования   = Справочник.ДлинаНаименования;
     КонтрольУникальности= Справочник.КонтрольУникальности;
     Владелец                  = Справочник.Владелец;
     СерииКодов               = Справочник.СерииКодов; 
     
     Если Реж="" Тогда
           РежимПоиска = ОпределитьРежимПоискаЭлемента(Справочник);
     Иначе
           РежимПоиска = Реж;
     КонецЕсли;
     
     ТекстЗапроса = "SELECT Tab1.ID AS ID FROM " + ИмяТаб_Спр + " AS Tab1 (NOLOCK) ";
     
     //Если (СерииКодов = "ВПределахПодчинения") и (Справочник.КоличествоУровней>1) Тогда
     Если ((СерииКодов = "ВПределахПодчинения") и (РежимПоиска = "Код") и (Справочник.КоличествоУровней>1)) или
                 ((Справочник.КоличествоУровней>1) и (РежимПоиска = "Имя")) Тогда
           КонтрРодителя = 1;
     Иначе      
           КонтрРодителя = 0;
     КонецЕсли;
     
     ДлинаПараметра   = 0;
     ТипSQLПараметра  = 14; 
     
     Если ЭлтСпр.ЭтоГруппа() = 1 Тогда
           ЭтоГруппа = "1";
     Иначе
           ЭтоГруппа = "2";
     КонецЕсли;
     
     Если РежимПоиска = "Код" Тогда
           СтрУсловия = "WHERE (Tab1.Code = ?)";
           ДлинаПараметра  = ДлинаКода;
           
           Если ВРЕГ(СокрЛП(ТипКода)) = "ТЕКСТОВЫЙ" Тогда
                 ТипSQLПараметра  = 14;
                 ЗначПарам1  = СокрЛП(Строка(ЭлтСпр.Код));
           Иначе      
                 ТипSQLПараметра  = 4;
                 ЗначПарам1  = Число(ЭлтСпр.Код);
           КонецЕсли;
           
     Иначе
           СтрУсловия = "WHERE (Tab1.Descr = ?)";
           ЗначПарам1     = СокрЛП(ЭлтСпр.Наименование); 
           ДлинаПараметра = ДлинаНаименования;
     КонецЕсли; 
        
     ЗначПарам2 = "";
     Если Владелец.Выбран() = 1 Тогда 
           ИмяТаб_Спр_Влад  = РС.МД.ИмяТаблицыСправочника(Владелец.Идентификатор);
           ТипКодаВладельца = Владелец.ТипКода;
           РежимПоискаВлад  = ОпределитьРежимПоискаЭлемента(Владелец);
           
           Если РежимПоискаВлад = "Код" Тогда
                 ТекстЗапроса = ТекстЗапроса + "INNER JOIN " + ИмяТаб_Спр_Влад + " AS TabOwn (NOLOCK) ON (TabOwn.ID=Tab1.PARENTEXT) ";
                 СтрУсловия   = СтрУсловия + " AND (TabOwn.Code = ?) ";
                 ДлинаПараметра2 = Владелец.ДлинаКода;   
                 
                 Если ТипКодаВладельца = "Текстовый" Тогда
                       ЗначПарам2  = Строка(ЭлтСпр.Владелец.Код);
                       ТипSQLПараметра2  = 14;
                 Иначе      
                       ЗначПарам2  = Число(ЭлтСпр.Владелец.Код);
                       ТипSQLПараметра2  = 4;
                 КонецЕсли;
                 
           Иначе                                          
                 ТекстЗапроса = ТекстЗапроса + "INNER JOIN " + ИмяТаб_Спр_Влад + " AS TabOwn (NOLOCK) ON (TabOwn.ID=Tab1.PARENTEXT) ";
                 СтрУсловия   = СтрУсловия + " AND (TabOwn.Descr = ?) ";
             ЗначПарам2  = СокрЛП(ЭлтСпр.Владелец.Наименование); 
                 ТипSQLПараметра2  = 14;
                 ДлинаПараметра2 = Владелец.ДлинаНаименования;
           КонецЕсли;   
     КонецЕсли;
     
     ЗначПарам3 = "";
     Если КонтрРодителя = 1 Тогда   
           
           Если (ПустоеЗначение(ЭлтСпр.Родитель.Код)=1) и (ПустоеЗначение(ЭлтСпр.Родитель.Наименование)=1) Тогда
                 СтрУсловия = СтрУсловия + " AND (Tab1.ParentID = '" + ПустойИД() + "') AND (Tab1.IsFolder="+ ЭтоГруппа +") "; 
                 
           Иначе
                 Если РежимПоиска = "Код" Тогда    
                       ТекстЗапроса = ТекстЗапроса + "INNER JOIN " + ИмяТаб_Спр + " AS Tab2 (NOLOCK) ON (Tab2.ID=Tab1.ParentID) " ;
                       СтрУсловия   = СтрУсловия + " and (Tab2.Code=?) AND (Tab1.IsFolder=" + СокрЛП(Строка(ЭтоГруппа)) + ") ";
                       
                       Если ТипКода = "Текстовый" Тогда
                             ЗначПарам3  = Строка(ЭлтСпр.Родитель.Код);
                       Иначе      
                             ЗначПарам3  = Число(ЭлтСпр.Родитель.Код);
                       КонецЕсли;    
                       
                 Иначе      
                       ТекстЗапроса = ТекстЗапроса + "INNER JOIN " + ИмяТаб_Спр + " AS Tab2 (NOLOCK) ON (Tab2.ID=Tab1.ParentID) " ;
                       СтрУсловия   = СтрУсловия +  " and (Tab2.Descr=?)AND (Tab1.IsFolder=" + СокрЛП(Строка(ЭтоГруппа)) + ") ";
                       ЗначПарам3   = ЭлтСпр.Родитель.Наименование;
                 КонецЕсли;
                 
           КонецЕсли;
           
     КонецЕсли;
   
     ТекстЗапроса = ТекстЗапроса + СтрУсловия; 
           
     РС.УдалитьПараметры();
     РС.Подготовить(ТекстЗапроса);
     РС.ДобПараметр(1, ТипSQLПараметра, ДлинаПараметра, 0, 0);
     РС.УстПараметр(1, ЗначПарам1); 
     
     Если пустоеЗначение(ЗначПарам2)=0 Тогда
           РС.ДобПараметр(1, ТипSQLПараметра2, ДлинаПараметра2, 0, 0);
           РС.УстПараметр(2, ЗначПарам2);
     КонецЕсли;                         
     
     Если пустоеЗначение(ЗначПарам3)=0 Тогда
           РС.ДобПараметр(1, ТипSQLПараметра, ДлинаПараметра, 0, 0);
           РС.УстПараметр(РС.КолвоПараметров(), ЗначПарам3);
     КонецЕсли;
     
     //РС.Отладка(0);       

     ВремТЗ = РС.ВыполнитьИнструкцию(ТекстЗапроса);
     //РС.ВыполнитьИнструкцию(ТекстЗапроса, ВремТЗ, 1);
     
     Если ПустоеЗначение(ВремТЗ) = 0 Тогда
           Если ТипЗначенияСтр(ВремТЗ) = "ТаблицаЗначений" Тогда
                 ВремТЗ.ВыбратьСтроки();
                 Если ВремТЗ.ПолучитьСтроку()=1 Тогда
                       ИД        = ВремТЗ.ID;
                 КонецЕсли;
           Иначе
                 ИД = "";
                 сообщить(ВремТЗ);
           КонецЕсли;
     Иначе
           ИД = "";
     КонецЕсли;
     //ВремТЗ             = ПолучитьПустоеЗначение();
     ТекстЗапроса = ПолучитьПустоеЗначение();
     СтрУсловия   = ПолучитьПустоеЗначение();
     
     возврат ИД;
КонецФункции
Причем я уже начал обнулять используемые переменные - ничего не помогает. После определенного количества запросов ODBCRecordSet возвращает число вместо ТЗ.

Нельзя одним запросом получить все недостающие элементы?

видимо просто никто такое количество запростов не делал за раз

Вот это, я думаю, соответствует истине! Где-то в объекте после каждого запроса не реализован сброс (или очистка), поэтому растет потребление оперативки и в конце концов он (ODBCRecordSet) "падает".

Antes писал(а) 29. Октября 2008 :: 10:05:


Нарисуй тест в котором видна утечка памяти, если получится будет тема для разговора с разработчиками.

Nick писал(а) 29. Октября 2008 :: 10:17:

Каким образом?
Приведенная мной функция тоже формирует запрос в зависимости от структуры того справочника, к которому идет запрос. И тоже на основе метаданных.

Ну например так:

1. Получаешь все элементы справочника которых нет в другой базе
(результат запроса помещаешь во временную таб SQL)

2. Для каждого реквизита справочника имеющий тип справочник идем к пункту 1.
- После этого у тебя во временных таблицах все не достающие элементы, для всех связаных справочников

3. перенести элементы по ид из временных таблиц в раб. базу в обратном порядке, т.е. сначала подчиненные потом владельцев


Вот как то так, в общих чертах так сказать

Nick писал(а) 29. Октября 2008 :: 10:35:


Спасибо, подумаю.

А время? В одной базе не было справочника "Общероссийский классификатор ОС". Моя обработка переносит его из одной базы в другую ровно за 5 мин. (11000 записей), стандартная загрузка от 1С из текстовика это делает за 11 минут, а перенос через OLE (в инете качал обработку, переносит из удаленой базы в текущую) делает это за 22 минуты. Вот такие результаты. Это то, с чем сталкивался практически только. Вот не вышло сравнить скорость загрузки из dbf KLADR'а и переносом из базы в базу. А хотелось бы.

Судя по описанию это баг, причем у меня есть несколько приложений для которых он критичен

Непонятно чесслово зачем формировать тысячи запросов...
У нас остатки показываются по номенклатуре (режим RPC) - все нормально работает, сложно даже сказать сколько тысяч раз в одном сеансе у одного пользователя вызывается эта функция, только ничего не присоединяется (неужто в этом дело?)

Но факт остается фактом - данный вариант помог, я смог перекинуть KLADR (только эту таблицу) из одной базы в бругую. Выполнял непосредственное на SQL сервере, 162113 записей за 1ч 1мин.
По диспетчеру задач смотрел за загрузкой памяти - дествительно, начальное значение 90М, по мере выполнения потребление растет до 176 и затем (после переподключения к базе) снова счет начинается с 90. И возвращается верный тип значения результата запроса.

А для более точной картины, можно создать в конфе для SQL-базы справочник KLADR со структурой того, что в ЗиКе, и из ЗиКа перекинуть элементы этого справочника.

Но у меня, кроме простой выборки, больше никаких действий! Ни вставок новых строк в таблицу, ни создания временных таблиц... ?!!! Там описаны эти ситуации. Мож, я не все понял, т.к. не очень силен в англицком.