Помогите плз. боюсь что нить упустить, вот и прошу помощи. Проблема в следующем: имеется БД, достаточно серьезного объема. Дело конечно не в размере, но штатными средствами 1С ее уже не обрезать (слишком много времени требуется).  Пробовал уже много разных вариантов. Самый приемлемый выбрал следующий:
Создание нового документа в составе конфигурации - перенос остатков (идея подсмотренная) и при его проведении запись в регистры всех итогов (по регистрам и бухгалтерских) на позицию документа. т.е. один документ создает копию итогов по всем регистрам (такое я уже делал, достаточно быстро проходит), ну и создает проводки. Остается только одно - удалить данные до этого документа. Вот тут и начинается свистопляска. Опять же где то вычитал и наваял след. запрос:

UPDATE	_1SJOURN
SET
	CLOSED=4,
	ISMARK=1
WHERE
	IDDOCDEF NOT IN (15391,15145)
	AND DATE_TIME_IDDOC < '20071231Z 

Получилось достаточно быстро и главное результат, тот который я ожидал - документы помечены на удаление! Но! Как всегда, если бы не какое-нибудь "но". Первое что я обнаружил - количество помеченных на удаление объектов составляет почти 400 000. И штатными средствами 1С вываливается с сообщением о недостатке памяти, хотя ее (памяти) 8гб. (это все на сервере происходит). Но это пол беды, за 15 минут пишется обработка, которая с помощью НайтиПомеченныеНаУдаление() и УдалитьОбъекты() порциями начинает удалять помеченные на удаление с проверкой ссылочной целостности (что важно!).

Ах, да забыл указать, что после того, как я пометил на удаление документы, в конфигураторе сделал пересчет итогов. Попробовал парочку отчетов в удаленном периоде (один штатными средствами, другой прямыми запросами) - отчеты пустые, значит данных нет! Но не тут то было. Открываю Query Analyzer и запросом

SELECT top 1000 *
FROM RA4623 AS P
INNER JOIN _1SJourn AS J ON J.IDDOC=P.IDDOC
ORDER BY J.DATE_TIME_IDDOC 

получаю данные в удаленном периоде. Что не есть гут. Правда SELECT * FROM RG... Не дает цифр в удаленном периоде... Помимо движений в регистре остались так же и проводки в документах, причем они уже по отчетам видны....

Внимание! Вопрос: как бы покошернее удалить данные в сворачиваемом периоде? Я имею в виду движения по регистрам и проводки у документов. Почти каждый документ имеет как проводки, так и движения по регистрам (обычно не меньше 3-х регистров). Ни один документ не делает записи в периодику, так что на этом можно не заострять внимания.

На вот посмотри, писал давно, но базу этим реально обрезали

JohnyDeath писал(а) 06. Мая 2008 :: 07:04:

SELECT COUNT(*)
FROM _1SJOURN
WHERE
	IDDOCDEF NOT IN (15391,15145)
	AND DATE_TIME_IDDOC > '20071231Z'
	AND ISMARK=0 

64922. Сколько времени займет проведение такого числа документов? Думается мне, что не одну даже неделю (как никак 4 месяца работы).

Моя же цель такая: сегодня перестали работать, за ночь я формирую документ остатков, помечаю на удаление документы, и удаляю движения по ним. Делаю пересчет итогов. На следующий день люди приходят на работу, открывают 2 базы (до и после свертки), сверяют. Если данные в свернутой базе не изменены - работают в новой, если нет, то продолжают работать в не свернутой. Но хочеться, что бы все было правильно и потом я планомерно буду удалять уже помеченные документы с контролем ссылок. Поэтому мне бы по минимуму применять штатные средства - так как это долго. Т.е. времени ночь, ну если говорить конкретнее то с 20:00 до 8:00 - 12 часов. (ну с утреце можно хапнуть пару тройку часов). Вообщем времени не так уж и много.

Вот статья Касперка:

http://www.kb.mista.ru/article.php?id=250

Я немного подточил это дело под себя, но суть, думаю, понятна
Скрипт можно сгенерить прямо в 1С
Единственное- ТиИ (это долго на больших базах)

Ну так ты сначала проверь какие записи твоим подзапросом выбираются, по моему у тебя там мало букв Z попробуй ZZZZZZZ

Удаляй сначала документы в журнале
А из регистров и проч - то чего нет в журнале
Чего мудрить?

Цитата:


Так оно еще как бы есть в журнале... Вот наработки:
Пометка на удаление в журнале:

UPDATE	_1SJOURN
SET
	CLOSED	=4,
	ISMARK	=1,
	RF18501	=0,
	RF422	=0,
	RF170	=0,
	RF1609	=0,
	RF17104	=0,
	RF15770	=0,
	RF1113	=0,
	RF4623	=0,
	RF939	=0,
	RF4918	=0,
	RF15394	=0,
	RF15405	=0,
	RF15659	=0,
	RF912	=0,
	RF17806	=0,
	RF6070	=0,
	RF1148	=0,
	RF15440	=0,
	RF181	=0,
	RF15606	=0,
	RF15247	=0,
	RF15251	=0
WHERE
	IDDOCDEF NOT IN (15391,15145)
	AND DATE_TIME_IDDOC <= '20071231Z'
 

Чистка БИ:

DELETE FROM _1SOPER
WHERE DATE_TIME_DOCID <= '20071231Z'

DELETE FROM _1SENTRY
WHERE DATE_TIME_DOCID <= '20071231Z'

DELETE FROM _1SACCSEL
WHERE DATE_TIME_DOCID <= '20071231Z'

DELETE FROM _1SSBSEL
WHERE DATE_TIME_DOCID <= '20071231Z'

DELETE FROM _1SBKTTLC
WHERE DATE <= '20071231'

DELETE FROM _1SBKTTL
WHERE DATE <= '20071231' 

Вот таким же макаром хочу снести записи из регистров... Только даты там сразу нет, вот и хочу привязаться к дате из журнала, а как это сделать недотумкаю

Я ж тебе выложил пример, там всё это есть

надо примерно так:

	DD = СоздатьОбъект("AddIn.V7TextFile");
	DD.ОткрытьФайл(КаталогИБ()+"1Cv7.DDS");
	ttm=_GetPerformanceCounter();
	Состояние("Выполняется запрос к SQL-серверу ...");
	ДТх = Формат(ДатаКонцаПериода+1,"ДГГГГММДД");
	ДТу = Формат(ДобавитьМесяц(ДатаКонцаПериода+1, -3),"ДГГГГММДД");
	DD.ВыбратьСтроки();
	стр="";
	Пока DD.ПрочитатьСтроку(стр)=1 Цикл
		поз=найти(стр,"T=D");
		Если поз>0 Тогда
			тбл=сокрп(сред(стр,поз+2,8));
		//Сообщить(стр);
			sql="delete "+тбл+" from _1sjourn j, "+тбл+" d
			 	  |where d.iddoc=j.iddoc AND j.date_time_iddoc < '"+ДТу+"'
				|";
			RecSet=Conn.Execute(sql);
		КонецЕсли;
		стр="";
	КонецЦикла;
	DD.ЗакрытьФайл();
	Сообщить("Выполняется очистка ЛОГ-файла БД...");
	LogFile.ЗаписатьСтроку("Выполняется очистка ЛОГ-файла БД...");
	// обрезка ЛОГа базы
	sql="BACKUP LOG "+SQL_db+"
	 	  |    WITH TRUNCATE_ONLY";
	RecSet=Conn.Execute(sql);
	sql="DBCC SHRINKDATABASE
	 	  |    ("+SQL_db+", TRUNCATEONLY)";
	RecSet=Conn.Execute(sql);
	Сообщить("Очищается журнал от старых документов...");
	LogFile.ЗаписатьСтроку("Очищается журнал от старых документов...");
	//sql="delete from _1sconst where rtrim(ltrim(objid)) <> '0' AND date < '"+ДТу+"' AND rtrim(docid) <> ''";
	////Тхт.ДобавитьСтроку(sql);
	//RecSet=Conn.Execute(sql);
	sql="delete from _1scrdoc where child_date_time_iddoc < '"+ДТу+"'";
	//Тхт.ДобавитьСтроку(sql);
	RecSet=Conn.Execute(sql);

	sql="delete _1sjourn
	    |where date_time_iddoc < '"+ДТу+"'
		|";
	//Тхт.ДобавитьСтроку(sql);
	RecSet=Conn.Execute(sql);
	sql="update _1sjourn SET ismark=1, closed=0
	    |where date_time_iddoc < '"+ДТх+"'
		|";
	//Тхт.ДобавитьСтроку(sql);
	RecSet=Conn.Execute(sql);
	Сообщить("Выполняется очистка ЛОГ-файла БД...");
	LogFile.ЗаписатьСтроку("Выполняется очистка ЛОГ-файла БД...");
	// обрезка ЛОГа базы
	sql="BACKUP LOG "+SQL_db+"
	 	  |    WITH TRUNCATE_ONLY";
	RecSet=Conn.Execute(sql);
	sql="DBCC SHRINKDATABASE
	 	  |    ("+SQL_db+", TRUNCATEONLY)";
	RecSet=Conn.Execute(sql);
	// Удаление движений регистров
	Сообщить("Удаляются движения регистров магазинов до "+ДТу);
	LogFile.ЗаписатьСтроку("Удаляются движения регистров магазинов до "+ДТу);
	Если Optim=1 Тогда
		//sql="delete ra6283 Where date_time_iddoc < '"+ДТу+"'
		//	|";
		sql="select * into mag from ra6283 Where date_time_iddoc >= '"+ДТу+"'
			|";
	иначе
		//sql="delete ra6283 Where not exists (select 1 from _1sjourn where ra6283.iddoc = _1sjourn.iddoc)
		sql="select * into mag from ra6283 Where exists (select 1 from _1sjourn where ra6283.iddoc = _1sjourn.iddoc)
			|";
	КонецЕсли;
	RecSet=Conn.Execute(sql);
	sql="truncate table ra6283
		|";
	RecSet=Conn.Execute(sql);
	// восстановим данные в регистре магазинов
	sql="insert into ra6283 select * from mag
		|
		|
		|";
	RecSet=Conn.Execute(sql);
	sql="IF OBJECT_ID('"+SQL_db+"..mag') IS NOT NULL
	    |drop table mag
		|";
	RecSet=Conn.Execute(sql);
	Сообщить("Выполняется очистка ЛОГ-файла БД...");
	LogFile.ЗаписатьСтроку("Выполняется очистка ЛОГ-файла БД...");
	// обрезка ЛОГа базы
	sql="BACKUP LOG "+SQL_db+"
	 	  |    WITH TRUNCATE_ONLY
		|";
	RecSet=Conn.Execute(sql);
	sql="DBCC SHRINKDATABASE
	 	  |    ("+SQL_db+", TRUNCATEONLY)
		|";
	RecSet=Conn.Execute(sql);
	Сообщить("Удаляются движения регистров остатков до "+ДТу);
	LogFile.ЗаписатьСтроку("Удаляются движения регистров остатков до "+ДТу);
	//sql="delete ra99 Where not exists (select 1 from _1sjourn where ra99.iddoc = _1sjourn.iddoc)
	sql="select * into mag from ra99  Where date_time_iddoc >= '"+ДТу+"'
			//Where exists (select 1 from _1sjourn where ra99.iddoc = _1sjourn.iddoc)
		|
		|
		|";
	RecSet=Conn.Execute(sql);
	sql="truncate table ra99
		|";
	RecSet=Conn.Execute(sql);
	// восстановим данные в регистре остатков
	sql="insert into ra99 select * from mag
		|
		|
		|";
	RecSet=Conn.Execute(sql);
	sql="IF OBJECT_ID('"+SQL_db+"..mag') IS NOT NULL
	    |drop table mag
		|";
	RecSet=Conn.Execute(sql);
	Сообщить("Выполняется очистка ЛОГ-файла БД...");
	LogFile.ЗаписатьСтроку("Выполняется очистка ЛОГ-файла БД...");
	// обрезка ЛОГа базы
	sql="BACKUP LOG "+SQL_db+"
	 	  |    WITH TRUNCATE_ONLY
		|";
	RecSet=Conn.Execute(sql);
	sql="DBCC SHRINKDATABASE
	 	  |    ("+SQL_db+", TRUNCATEONLY)
		|";
	RecSet=Conn.Execute(sql);
	Сообщить("Удаляются движения регистров партий до "+ДТу);
	LogFile.ЗаписатьСтроку("Удаляются движения регистров партий до "+ДТу);
	//sql="delete ra1130 Where not exists (select 1 from _1sjourn where ra1130.iddoc = _1sjourn.iddoc)
	sql="select * into mag from ra1130  Where date_time_iddoc >= '"+ДТу+"'
			//Where exists (select 1 from _1sjourn where ra1130.iddoc = _1sjourn.iddoc)
		|
		|
		|";
	RecSet=Conn.Execute(sql);
	sql="truncate table ra1130
		|";
	RecSet=Conn.Execute(sql);
	// восстановим данные в регистре остатков
	sql="insert into ra1130 select * from mag
		|
		|
		|";
	RecSet=Conn.Execute(sql);
	sql="IF OBJECT_ID('"+SQL_db+"..mag') IS NOT NULL
	    |drop table mag
		|";
	RecSet=Conn.Execute(sql); 

Nick писал(а) 07. Мая 2008 :: 10:32:

Буду надеяться что будет быстрее... Я просто не буду заморачиваться на создании универсальной обработки, буду затачиваться под конкретный случай. Главное что бы ТиИ не подвело по скорости...

И один и тот же документ 10 раз запишет историю для одного элемента (вместо 10 удаленных) с разными датами  ?

zenik писал(а) 07. Мая 2008 :: 14:07:


В моей свертке это тоже решено

Если ты посмотриш код то увидишь что удаляются константы запросом:

	Состояние("Удаляется история периодических реквизитов...");
	  
	Если ДБФ = 0 Тогда
		RS.УстановитьТекстовыйПараметр("Дата", Формат(ДатаУдаления,"Д ГГГГММДД"));
		RS.ВыполнитьИнструкцию("delete from "+ИмяКонстант +" where (date < cast(:Дата as datetime)) and (OBJID <> '     0   ')");
	Иначе  
		сДата = Формат(ДатаУдаления,"Д ГГГГММДД");
   		сДата = Лев(сДата,4)+"-"+Сред(сДата,5,2)+"-" + Прав(сДата,2)+"T";
		//ТЗ =	RS.ВыполнитьИнструкцию("Select *, CTOT(""" + сДата + """) from "+ИмяКонстант +" where (DATE <= CTOT(""" + сДата + """)) and (OBJID <> ""     0   "") order by DATE" ,ТЗ);
		RS.ВыполнитьИнструкцию("delete from "+ИмяКонстант +" where (date <= CTOT(""" + сДата + """))  and (OBJID <> ""     0   "")");
	КонецЕсли;
 

А вот заполнение документа, да можно сделать быстрее, но с другой стороны что тебе мешает спокойно заполнить документ до обрезки базы, а после обрезки провести его?

Nick писал(а) 08. Мая 2008 :: 06:28:

Документ не хранит никаких данных... В ОбработкеПроведения() он будет выбирать итоги, и записывать их в регистры (с бух итогами тоже самое).
Цитата:

А все равно быстро

Nick писал(а) 08. Мая 2008 :: 07:15:

А нельзя... Да и зачем?

з.ы. Просто как то пробовал хранить данные, которые надо перенести. Приходиться создавать слишком много документов, что бы табличная часть была вменяемой. А тут недавно увидел такой способ - понравилось. Один документ сразу делает все записи, в себе ничего не хранит, что вполне логично. Распроводить его незачем, так как если согласны на свертку, то итоги уже готовые.

Кстати ты его проводить будешь на дату свертки? Смотри своей же обрезкой не порежь его движения

Ну как успехи?

А что делать со свежими документами? А если их миллион?
Что делать со старыми документами которые не закрыты (удалять нельзя)?

Обычно свертку делают после сдачи баланса (по крайней мере я так делал), а это март-апрель
А за 3-4 м-ца может быть много доков

mov68 писал(а) 14. Мая 2008 :: 09:39:

первый раз (в 2005г) я так и резал базу, но при этом синхронизировать базы пришлось в течение почти 3 месяцев.

зато во второй раз я порезал за 18 часов:
Цитата:

Никто не предлагал проводить документы и тем более в режиме 1С (кроме ввода остатков)...
Прямыми запросами думаю за 1 сек можно записать несколько больше, чем один документ...

Народ, подскажите плз. по переменным.
Что бы не писать везде DATE_TIME_IDDOC <= '20071230Z' и следовательно исправлять, решил загнать значение в переменную. Сделал так:
DECLARE @DT char
SET @DT='20071230Z'

UPDATE      _1SJOURN
SET
     CLOSED      =4,
     ISMARK      =1,
WHERE
     IDDOCDEF NOT IN (15391)
     AND DATE_TIME_IDDOC <= @DT

Результат нулевой... Заменил DATE_TIME_IDDOC <= '20071230Z', сразу все отработал. Как мою дату объявить в переменной?

Цитата:

Судя по тому, что достаточно долго работает, видимо все же так. Закончит посмотрю.
Цитата:

Да, чисто в QA, поскольку запросы выполняются достаточно продолжительное время, то что бы не складывалось впечатление, что 1С висит... Вообщем, так надежнее