Программные перечисления, ч.2: приемы кэширования при разработке

Публикация № 624689

Разработка - Практика программирования

Все знают, что такое кэш, и зачем он нужен. Но в 1С разработчик обычно использует кэширование только на уровне конфигурации, а в какой-нибудь обработке скорее ломает голову над запросом - как получить все данные за один заход... Хочется рассказать о том, как можно добиться хороших результатов с стратегией "разделяй и властвуй".

В своей первой статье Использование программных перечислений, ч.1: строковые константы я рассказал о способе, который избавит от неприятностей, связанных с сравнением в коде на строку. Здесь на базе этого-же приема рассмотрена задача по оптимизации загрузки данных из внешнего источника. Расскажу о случае, который неоднократно наблюдал в разных его ипостасях. Стоит задача по загрузке данных в БД из внешнего файла, заказчик предоставил пару примеров, программист успешно все реализовал\протестил, сдал работу.. И тут через месяц заказчик грузит файл раз эдак в 50 превышающий пример.. Все не просто тупит, а зависает на ~2 часа. Заказчик недоволен. После работ по оптимизации время загрузки снизилось с 2 часов до 30 минут (из которых только 5 это синхронизация, а все остальное - запись данных в базу).. В чем же была ошибка? При синхронизации данных не использовалось кэширование, и поиск ссылок по одним и тем же ключевым полям выполнялся многократно. После того как был добавлен кэш все залетало.

Началась оптимизация с того, что я добавил глобальную переменную типа "Структура", которая и выполняет роль кэша:

Перем мСтруктураКэшДанных;

//...

Процедура ЗагрузитьДанные(ТаблицаДанныеФайла)
	//...	
КонецПроцедуры

//...
мСтруктураКэшДанных = Новый Структура;

Расскажу далее о нескольких универсальных методах, которые полезно применять в подобных случаях.

 
 1. Синхронизация данных
 
2. Выборка из результата запроса, и метод "НайтиСледующий()"
 
 3. Работа с планом счетов

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. mifka186 8 30.10.17 09:32 Сейчас в теме
Есть еще ситуации, когда надо грузить много однотипных файлов. В таком случае я поиск данных скидываю в кэш. Получается, что все возможные значения для загрузки находятся на первых 2-3 файлах, а самих файлов может быть 70-80. Дальше заполнение данных идёт уже из кэша.
2. guy_septimiy 30.10.17 13:32 Сейчас в теме
(1) Аналогично. Вчера делал таким образом загрузку данных о операциях по мобильной связи. Файл в миллион строк с кешированием грузится где-то за 2 минуты. Если не использовать предварительное кеширование и обновление кеша, то время подскакивает раз в 20.
3. vano-ekt 532 02.11.17 08:00 Сейчас в теме
КлючСчета = "сч" + СтрЗаменить(Выборка.Код, ".", "_")

они же предопределенные, зачем их кэшить?
А если кэшить, чем соответствие не угодило?
Запрос = Новый Запрос("ВЫБРАТЬ
                      |	Бюджетирование.Код,
                      |	Бюджетирование.Ссылка
                      |ИЗ
                      |	ПланСчетов.Бюджетирование КАК Бюджетирование");
Выборка = Запрос.Выполнить().Выбрать();
СчетаПоКодам = Новый Соответствие;
Пока Выборка.Следующий() Цикл
	СчетаПоКодам.Вставить(Выборка.Код,Выборка.Ссылка);
КонецЦикла;

Если Счет = СчетаПоКодам["20321"] Тогда
	//
КонецЕсли;
Показать
4. unichkin 1263 02.11.17 12:59 Сейчас в теме
Счет может и не быть предопределенным, а быть пользовательским. Если использовать соответствие нужно получать значение по ключу, напр.
СчетаУпр.Получить(<КодСчета>) или СчетаУпр[<КодСчета>]- долго, проще написать СчетаУпр.сч58. Кроме того у соответствия нет такого полезного метода как "Свойство".
Кэшить их - затем чтобы применять в люом месте программы, не объявляя новый поиск счета.
13. kasper076 49 06.12.17 14:57 Сейчас в теме
(0)
КэшСсылок = Новый Соответствие;
КэшСсылок.Вставить("Объект1",		Новый Соответствие);
КэшСсылок.Вставить("Объект2",		Новый Соответствие);
КэшСсылок.Вставить("Объект3",		Новый Соответствие);

Пока ПолучитьСледующийЭлемент() Цикл

	Объект1Ссылка = КэшСсылок["Объект1"][Ключ1];
	Если Объект1Ссылка = Неопределено Тогда
		Объект1Ссылка = ПолучитьОбъект1(Ключ1); //Функция выполняет запрос 
		КэшСсылок["Объект1"][Ключ1] = Объект1Ссылка;
	КонецЕсли;
	
	Объект2Ссылка = КэшСсылок["Объект2"][Ключ2];
	Если Объект2Ссылка = Неопределено Тогда
		Объект2Ссылка = ПолучитьОбъект2(Ключ2); //Функция выполняет запрос 
		КэшСсылок["Объект2"][Ключ2] = Объект2Ссылка;
	КонецЕсли;

	Объект3Ссылка = КэшСсылок["Объект3"][Ключ3];
	Если Объект3Ссылка = Неопределено Тогда
		Объект3Ссылка = ПолучитьОбъект3(Ключ3); //Функция выполняет запрос 
		КэшСсылок["Объект3"][Ключ3] = Объект3Ссылка;
	КонецЕсли;

КонецЦикла
Показать


(4) Эффективная обработка данных в оперативной памяти за счет использования коллекции "соответствие"
(5) Загрузка ТаблицыЗначений в TempDB производится построчно. Если таблица будет большая, то это будет не оптимально.
14. unichkin 1263 06.12.17 17:12 Сейчас в теме
(13)
- "доступ к элементу соответствия по ключу происходит почти со скоростью доступа к массиву или элементу структуры!" - и что? Тут больше дело привычки. У соответствия нет метода "Свойство" - нельзя проверить, существует ли параметр.
- в приведенном коде все кэширование выполняется локально, что раздувает метод, и дублирует код. Инициализация кэша, поиск в кэше, помещение в кэш - все в одном месте. Если это модуль объекта, лучше обособить, как мне кажется - будет читабельнее.

Пока ПолучитьСледующийЭлемент() Цикл

    Объект1Ссылка = ОбъектКэша(Ключ1);
    Объект2Ссылка = ОбъектКэша(Ключ2);
    Объект3Ссылка = ОбъектКэша(Ключ3);
    

КонецЦикла

Функция ОбъектКэша(Ключ) 
	                                
	Если НЕ мСтруктураКэшДанных.Свойство("СоответствиеОбъектыКэша") Тогда
		мСтруктураКэшДанных.Вставить("СоответствиеОбъектыКэша");
	КонецЕсли;
	
	ЗначениеКэша = мСтруктураКэшДанных.СоответствиеОбъектыКэша.Получить(Ключ);
	Если ЗначениеКэша = Неопределено Тогда
		ЗначениеКэша = ПолучитьОбъект(Ключ);		
		мСтруктураКэшДанных.СоответствиеОбъектыКэша.Вставить(Ключ, ЗначениеКэша);		
	КонецЕсли; 
	
	Возврат ЗначениеКэша;
		
КонецФункции
Показать
5. NN2P 354 02.11.17 13:33 Сейчас в теме
Роман, можете уточнить, почему при загрузке данных извне Вы не рассматриваете следующий прием: загрузить данные в таблицу значений из внешнего источника.Передать ее в запрос как параметр. В запросе соединиться со всеми нужными таблицами(справочниками, регистрами и пр.). Затем проверить наличие ссылок или записей регистров в результате соединения с таблицами. Затем по несопоставленным пройтись и создать, по сопоставленным обновить данные, если есть различия.
u_n_k_n_o_w_n; Sam13; creatermc; bulpi; +4 Ответить
8. bulpi 163 07.11.17 23:13 Сейчас в теме
(5)
Истину глаголешь! :)
Идеи, предлагаемые автором весьма и весьма спорны. Как по производительности, так и по читабельности.
6. unichkin 1263 02.11.17 18:54 Сейчас в теме
Я рассматриваю, см. п 2.1
15. Synoecium 671 27.04.18 13:45 Сейчас в теме
(6) можно исходную таблицу нарезать порциями (например по 10к элементов) и в цикле загружать их как описано в 2.1. На мой взгляд наиболее универсальный и быстрый способ.
7. jONES1979 03.11.17 09:03 Сейчас в теме
Cпасибо за качественное оформление блоками! Очень удобно просматривать!
jif; О.Ж; JohnConnor; Serg O.; +4 Ответить
9. Serg O. 183 08.11.17 00:38 Сейчас в теме
Идея клёвая... а как продолжение... Можно ли сохранить кэш в хранилище значений? Если такие обмены раз в сутки делаются после перезагрузки севера. Или в файл придется сохранять...
10. unichkin 1263 08.11.17 11:00 Сейчас в теме
(9) Да, тогда промежуточное хранилище необходимо. Возможно имеет смысл задействовать подсистему присоединенных файлов, чтобы был удобный доступ к кэшу
11. klel 08.11.17 11:52 Сейчас в теме
Спасибо идея классная, сам пользуюсь при обменах между базами. Ускоряет работу в разы.
12. Scorpion4eg 296 23.11.17 08:01 Сейчас в теме
Хорошая статья. Вот только при действительно больших объемах кэширование скорее враг. Недавно пришлось поставить x64 платформу. Потому что 1с выедала 4,5 оперативнки. Так получилось что в кэш попало 500 тыс уникальных значений.
16. pavlovsv 08.05.18 16:17 Сейчас в теме
(12) Согласен с Вами, тем не менее, идея очень здравая. Позволяет существенно снизить количество обращений к БД в случае обработки больших объемов одних и тех же данных, которые необходимо получать "через точку".
Что же касается механизма для "нормализации" кэша, контроля за его размерами, управление жизненным циклом кэшированных данных... Думаю, что можно попробовать самостоятельно развить этот концепт.

Хотел обратить внимание, что в случае использования ТаблицыЗначений для хранения кэшированных значений, может быть полезным организация индекса по ключевым полям.
В конкретном примере из этой статьи, наверное, это избыточно(так как по условию задачи записей будет всего 10).
Однако, в случае, когда количество строк несколько тысяч и ключ для поиска составной - индекс становится полезным.

1. Синхронизация данных -> Как стало
Функция НайтиСотрудникаОрганизации(Организация, ФизЛицо)

// На входе два ссылочных реквизита - соответствие использовать неудобно, в качестве кэша применяется таблица значений:
Если НЕ мСтруктураКэшДанных.Свойство("ТаблицаСотрудников") Тогда
ТаблицаСотрудников = Новый ТаблицаЗначений;
ТаблицаСотрудников.Колонки.Добавить("Организация");
ТаблицаСотрудников.Колонки.Добавить("ФизЛицо");
ТаблицаСотрудников.Колонки.Добавить("Сотрудник");

ТаблицаСотрудников.Индексы.Добавить("Организация, ФизЛицо"); //добавим индекс по ключевым полям

мСтруктураКэшДанных.Вставить("ТаблицаСотрудников", ТаблицаСотрудников);
КонецЕсли;
17. unichkin 1263 08.05.18 18:33 Сейчас в теме
(16)
Однако, в случае, когда количество строк несколько тысяч и ключ для поиска составной - индекс становится полезным.

это вроде "и так понятно".. Об о всем не расскажешь)
Индексировать стоит от 1000 строк Сортировка строк таблиц значений - ИТС в тему)
18. Rustig 1327 22.10.19 17:41 Сейчас в теме
мне понравилось: проблема- задача- идея - реализация...
Оставьте свое сообщение

См. также

Программная работа с настройками СКД

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    4687    ids79    25       

Онлайн-курс "Подготовка к экзамену 1С:Эксперт и 1С:Профессионал по технологическим вопросам" с 7 по 24 апреля 2020 г. Промо

На курсе вы получите практические навыки решения задач производительности 1С, в том числе характерных для высоконагруженных информационных систем (более 1000 пользователей). Подготовка к экзамену – только одна из составляющих курса. 70% слушателей приходят за знаниями, которые позволят расти и зарабатывать, делать сложные задачи на крупных проектах.

16450 рублей

[СКД] Программное создание схемы компоновки данных

Статья Программист Стажер Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    6728    John_d    19       

30 задач. Странных и не очень

Статья Программист Стажер Нет файла v8 Бесплатно (free) Практика программирования

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    9038    YPermitin    72       

INFOSTART MEETUP Krasnodar. 14 февраля 2020 г. Промо

Краснодар станет первым в 2020 году местом, где пройдет региональная встреча IT-специалистов сообщества Инфостарт. Тема мероприятия - управление и технологии автоматизации учета на платформе "1С: Предприятие". Стоимость участия - 5000 рублей. Цена действительна до 26.12.2019.

1C:Предприятие для программистов: Запросы и отчеты. Второй поток. Онлайн-интенсив с 17 марта по 16 апреля 2020 г. Промо

Данный онлайн-курс предусматривает углубленное изучение языка запросов и возможностей системы компоновки данных, которые понадобятся при разработке отчетов, работающих на платформе “1С:Предприятие” в рамках различных прикладных решений. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”, а также для опытных пользователей различных прикладных решений, которые используют в своей работе отчеты разного назначения.

6500 рублей

Агрегатные функции СКД, о которых мало кто знает

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    23287    ids79    45       

Базовый курс по управлению ИТ-проектами. Курс проходит с 26 февраля по 22 апреля 2020 года. Промо

Отличительная черта курса - органичное сочетание трех вещей: 1.Теория проектного управления (PMI®+Agile Alliance+Российские ГОСТ+Методологии от 1С); 2. Опыт внедрения продуктов 1С (опыт франчайзи и успешных компаний + тренды Infostart Event и Agile Days); 3. Разбор реальных проблем и рекомендации экспертов по проектам слушателей. Мы будем фиксироваться на тех инструментах, которые реально оказываются полезными в практике руководителей проектов внедрения. Ведущая курса - Мария Темчина.

от 11000 рублей

Три костыля. Сказ про фокусы в коде

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Разработка

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    13818    YPermitin    70       

Отслеживание выполнения фонового задания

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Универсальные функции Разработка

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    17795    ids79    16       

Управление ИТ-проектами. Модуль 2: продвинутый онлайн-курс по классическим методам управления проектами. Вебинары проходят с 12 марта по 11 июня 2020 года. Промо

Продвинутый онлайн-курс по классическому управлению ИТ-проектами позволит слушателям освоить инструменты из PMBoK® и 1С:Технологии корпоративного внедрения и научиться их применять для проектов любого масштаба. Курс включает в себя 12 вебинаров и 12 видеолекции, разбор кейсов и рекомендации экспертов по проектам слушателей. Ведущая курса - Мария Темчина.

от 13000 рублей

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    31616    ids79    36       

Фоновое выполнение кода в 1С - это просто

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    17872    avalakh    21       

Сдача регламентированной отчетности из программ 1С Промо

Сдача регламентированной отчетности из программ "1С" во все контролирующие органы без выгрузок и загрузок в другие программы. Для групп компаний действуют специальные предложения.

от 1500 руб.

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Статья Программист Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    26082    ids79    9       

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Инструментарий разработчика Практика программирования

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    18966    ids79    27       

Регистры сведений. За кулисами

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    14497    YPermitin    12       

Голосование за доклады на INFOSTART MEETUP Kazan - до 25 февраля. Промо

Выбирайте и голосуйте за самые интересные доклады! Лучшие из лучших попадут в окончательную программу казанского митапа. Оставить свой голос можно до 25 февраля 2020 года.

"Меньше копипаста!", или как Вася универсальную процедуру писал

Статья Программист Стажер Нет файла v8 v8::СКД 1cv8.cf Бесплатно (free) Практика программирования Разработка

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    11944    SeiOkami    49       

Создание отчетов с помощью СКД - основные понятия и элементы

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Практика программирования Математика и алгоритмы

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    31095    ids79    17       

Программы для исполнения 54-ФЗ Промо

С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017

Статья Программист Нет файла v8 v8::Запросы Бесплатно (free) Практика программирования Разработка

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    16665    dmurk    144       

Регистры накопления. Структура хранения в базе данных

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    26642    YPermitin    27       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Выполнение внешней обработки в фоновом задании

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Подробное описание подхода к созданию длительной операции на основе внешней обработки. Реализация протестирована на 1С 8.3.12.1714 (x64).

11.05.2019    16898    Eret1k    23       

Выгрузка документа по условию

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Разработка

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    9171    m-rv    2       

Открыто голосование за доклады на INFOSTART MEETUP Krasnodar Промо

Выбирайте и голосуйте за самые интересные доклады, лучшие из них попадут в окончательную программу митапа. Голосование продлится до 30 января 2020 года.

Как прикрутить ГУИД к регистру сведений

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Перенос данных из 1C8 в 1C8 Разработка

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    12272    m-rv    16       

О расширениях замолвите слово...

Статья Программист Стажер Нет файла v8 Бесплатно (free) Практика программирования Разработка

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    22986    ellavs    125       

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Git-репозитории для 1С-кода (опыт использования при небольших проектах)

Статья Программист Стажер Нет файла v8 Windows Бесплатно (free) Практика программирования Разработка

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    18267    ellavs    83       

Трюки с внешними источниками данных

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Разработка

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    20088    YPermitin    53