Больше года назад эта тема была поднята на форуме Itland.ru (http://www.itland.ru/forum/lofiversion/index.php/t14011.html). Сейчас этот ресурс недоступен, а объект ИндексированнаяТаблица продолжает развиваться. Поэтому хотелось бы поднять этот вопрос снова.

Вот выдержки из этого форума:

Как известно, стандартная (встроенная в 1С) ТаблицаЗначений испытывает проблемы при большом количесте хранимых данных (напр. загибается на нескольких сотнях тысяч строк). Это выражается в неэкономном использования виртуальной памяти, и не стабильной работе (возможно аварийное завершение работы 1С).

Для ИндексированнойТаблицы данная проблема оказалась еще острее: она еще не экономнее использует память (возможно, в частности, из-за отсутствия возможности типизации данных при создании колонок).

Вопрос: будут ли проводится работы для оптимизации ИндексированнойТаблицы в плане производительности и рационального использования ресурсов при обработке больших массивов данных. И если да, то как скоро.

Примером внешней компоненты, в которой данные проблемы решены может выступать ValTable.dll http://1c.proclub.ru/modules/mydownloads/p...lid=3280&cid=92

Примечательны слова, сказанные artbear'ом в противовес данной компоненте:
"ADirks недавно добавил в 1С++ новый супер-объект "ИндексированнаяТаблица". Работает очень быстро и удобно."

Мне бы хотелось, чтобы данный объект и в самом деле стал "супер".

...

Был обнаружен следующий баг (фича?) IndexedTable: при достижении предела выделенной виртуальной памяти данный объект выдает сообщение "Out of memory" и вешает 1С. Объекты же ТаблицаЗначений и ValTable поступают в этом случае более корректно: они запрашивают у системы увеличения файла подкачки, и после получения ресурсов, продолжают работу.

...

Просто интересная реализация хранения одинаковых строк (в ValTable).
...
Т.е. все значения сворачиваются на предмет одинаковых значений и хранятся в списке. А сами элементы ТЗ хранят не сами значения, а 4-байтную ссылку на элемент из этого списка.

Но оказывается тоже самое делает 1С в своих ТЗ! Но только в отношении данных типа "Строка" (вот не ожидал от них такого полета мысли).

...

Провел более подробные тесты. Тестировал следующие параметры:
а) скорость создания структуры (НоваяСтрока, НоваяКолонка);
б) объем виртуальной памяти, занимаемой структурой;
в) время, необходимое на уничтожение структуры (т.е. присвоение ТЗ = 0).

Не тестировал скорость работы поиска поскольку она, по определению, на высоте.

Итак, при сравнительно малых объемах (напр, 10 колонок на 10 000 строк) 1С-я ТЗ выигрывает по сравнению с IndexedTable: создается быстрее, занимает меньше оперативной памяти. Однако, при больших объемах выигрывает IndexedTable.

Сравнение же IndexedTable и ValTable осложнялось тем, что метод НоваяКолонка() объекта IndexedTable не позволяет явно задать тип данных, а метод НоваяКолонка() объект ValTable, наоборот, требует жесткого указания определенного типа данных.
Поэтому объективно получилось сравнить ValTable только с 1с-ой ТаблицейЗначений, которая позволяет создавать колонки определенного типа.
При этом ValTable резко выигрывает.

....

Для хранения НЕповторяющихся значений лучше всех показала себя 1С-ая ТЗ.
Для хранения повторяющихся значений лучше всех показала себя ValTable.
Хуже всех по исследуемым парметрам оказалась IndexedTable, ресурсов требует в 2 раза больше чем 1с-я ТЗ.

Однако по стабильности при работе с большими массивами данных хуже всех оказалась именно 1С-я ТЗ.

...

На тему освобождения памяти после завершения процесса - это не секрет: CFixedAlloc - менеджер памяти CString

...

Вопросы 2ADirks:
а) не нашел метода, который позволяет в таблице переставлять местами строки;
б) метод Заполнить стандартной ТЗ предоставляет больше возможностей чем метод ЗаполнитьСтроку (и ЗаполнитьКолонку) ИндексированнойТаблицы

...

предел количества строк у 1С-ых ТЗ = 2^24 / 4.



Тест прилагаю.

Это ссылка на эмулятор ТЗ на базе класса ИндексированнаяТаблица: http://1c.proclub.ru/modules/mydownloads/personal.php?cid=137&lid=6257

Вовсе тон не обвинительный! Я сам ЗА развитие этого класса. Поэтому я и назвал тему "Оптимизация...", а не "Недостатки...".
Причем я готов сам принять участие в тестировании IT на больших объемах данных, лишь авторы класса меня поддержали.

orefkov писал(а) 03. Июля 2007 :: 04:49:

Согласен. Имхо память на РС не предназначена для большого объема данных и индексированного доступа к ним, для этого предназначен жесткий диск и сервер БД. Понятно что все относительно, но не стоит забывать об этом.

Ясно, IT не затачивалась под работу с большими объемами данных.

А как быть все-таки с этим?

1) При достижении предела выделенной виртуальной памяти IndexedTable выдает сообщение "Out of memory" и вешает 1С (вместо запроса у системы увеличения файла подкачки и получения ресурсов).

2) Существует утечка памяти при хранении строк: CFixedAlloc - менеджер памяти CString

3) Нет  метода, который позволяет в таблице переставлять местами строки;

4) Баги при манипуляции с  IT, хранящей сложные данные: http://www.1cpp.ru/forum/YaBB.pl?num=1183348086

Ведь это можно реализовать, не переделываю концепцию IT? Тем более kms не отрицает возможность такой доработки: Цитата:

victuan писал(а) 04. Июля 2007 :: 01:24:

А смысл? Все равно главное преимущество ИТ - это индексация. Т.е. тут все в основном зависит не от порядка строк, а от их значений.
Лично мне вроде бы ни разу не понадобилась фича перестановки строк.

artbear писал(а) 04. Июля 2007 :: 04:22:


Это нужно мне для подмены методов штатной ТЗ на потомок на базе IT. http://1c.proclub.ru/modules/mydownloads/personal.php?cid=140&lid=6257

Там правда также возникают проблемы при эмуляции метода Заполнить при "вычурном" заполнении, но они обходимы, а вот со сдвигом проблемы.

artbear писал(а) 04. Июля 2007 :: 04:39:


Заполнить(<?>,,,);
Синтаксис:
Заполнить(<Знач>,<НачСтрока>,<КонСтрока>,<Колонки>)
Назначение:
Заполнить соответствующие ячейки таблицы значений переданным значением.
Параметры:
<Знач> - значение одиночное или список значений или таблица значений.
<НачСтрока> - необязательный параметр. Номер начальной строки, с которой надо начинать заполнение. Значение по умолчанию 1.
<КонСтрока> - необязательный параметр. Номер последней строки, по которую надо заполнять. Если не указана, то до последней.
<Колонки> - необязательный параметр. Номера или идентификаторы колонок, которые надо заполнять. Если параметр не задан, то заполняются все колонки.

Прикол в <Знач>, в том, он может быть СписокЗначений и ТаблицаЗначений. Т.е. ТЗ может заполняться шаблоном (pattern), типа тексутрной заливки? Я пока сам еще не до конца исследовал эти возможности, а в документации об этом почти ничего нет.

Тогда вычеркиваю этот пункт из списка проблем. На год я точно от жизни отстал