Очистка периодических регистров посредством T-SQL (удаление записей, кроме среза последних)

Публикация № 851765

Администрирование - Администрирование данных 1С - Чистка базы

очистка регистр сведений цены удалить срез последних

Обработка для ленивых. Составит вместо Вас запрос для SQL, который удалит все не актуальные записи (т.е все, кроме среза последних)

Не впервой надо было "чистить" базы данных разных клиентов от избыточных и не нужных данных. Апогеем разгребания шлаков, лично для меня, стала база в несколько сотен ГБ. Соответственно работать с такими массивами с помощью приложения 1с, в принципе невозможно. 

Чаще всего "захламляются" незакрытые регистры остатков с индексами, и вторая по популярности проблема - это цены... А точнее нагромождение давно не используемых цен. О чем мы и будем говорить далее.

В первую очередь скажу – работа с базой данных вне интерфейса 1с не рекомендуется, даже запрещается. Так что, если что-то поломаем, пока чиним - в поддержке 1с нам не помогут.

Далее по самой обработке пару слов. Тестировал на 8.3.6.

В список выбора попадают только периодические регистры (с регистратором или без).

При выборе регистра - отображаются поля, и их роль в запросе. По умолчанию группировка идет по измерениям, поле максимума - период. И походу строятся запросы для SQL

  • общее к-во строк
  • количество к удалению
  • количество строк среза
  • запрос на кастрацию нашей базы.
  • запрос кастрации по 10000 строк в одной итерации
  • 4 последовательных запроса для манипуляций с переносом среза

Добавил эти запросы для наглядного понимания уровня хлама, и рациональность использования данного способа (удаление 3-х строк и перестроение индексов ради них - такое себе занятие)

Допустим всего записей 50кк, второй запрос говорит, что обработка удалит 48кк... Т.е. в базе всего 2 миллиона строк актуальных данных... Однозначно мусор в утиль!!!

После данной операции настоятельно рекомендую переформировать индексы изменяемых таблиц. Можно вручную (быстрее), либо запустить пересчет индексов всей базы через "Тестирование и исправление" в конфигураторе.

UPDATE. 03.07.2018. Добавил второй вариант очистки по принципу копирования среза в темп. таблицу. Важно. Перед копированием убедитесь о наличии свободного дискового пространства для копирования таблицы и журнала. Данный подход более эффективен, если количество строк среза составляет менее 40% всей таблицы. Иначе использование не оправдывает риски (truncate, в случае проблем с временной таблицей, мы не сможем отменить)

ВАЖНО. Обработку соединения с базой через АДО не делал намеренно. Зачастую данные операции относительно долгосрочные. Лучше их выполнять без «посредника». Не будет проблем с таймаутом или секундной задержке ответа от сервера, которые приведут к ошибке АДО-соединения и откате изменений. Так что Ctrl+C -> Ctrl+V, товарищи.

Скачать файлы

Наименование Файл Версия Размер
Очистка периодических регистров

.epf 10,17Kb
22.06.18
19
.epf 10,17Kb 19 Скачать

Специальные предложения

Лучшие комментарии
6. Alexander.Shvets 215 28.06.18 00:37 Сейчас в теме
upd. Обновил обработку. Исправил ошибку генерации ссылочных полей и названия таблиц. Кто скачивал обработку и не можете повторно скачать - пишите в личку, скину исправленный вариант.
7. Alexander.Shvets 215 03.07.18 03:03 Сейчас в теме
upd. Обновил обработку. Таки добавил вариант с переносом среза во временную таблицу и truncate источника.
Остальные комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. tormozit 5957 24.06.18 07:37 Сейчас в теме
Безопаснее сохранять срез/остатки в файл, делать TRUNCATE TABLE для основой таблицы и таблиц итогов и далее загружать и записывать набор записей в регистр из файла.
2. Alexander.Shvets 215 26.06.18 13:09 Сейчас в теме
(1)
сохранять срез/остатки в файл


Если срез до 10КК строк, возможно соглашусь, но если база несколько ТБ?
Думаю клиент не всегда будет рад оплачивать 24+ часов работы за то, что можно сделать за 1.

Миграция данных или конвертация из реляционного вида в любой промежуточный и обратно - гиблое дело по своей сути. Особенно используя текст. Вы же в курсе, что 1с и большие текстовые файлы - тот еще изврат?

"СтрНайти" в 1,5 гиг csv против того же RegExp никак не выйдет победителем.
Лично мне проще потратить 0,3 часа на очистку тб.
Само собой, наличие бекапа необходимо.

А xml без внешней компоненты, с возможностью работать по нодам - тот же гемор.

Проблемы возникали только в случаях, если в таблицах еще до моего вмешательства были логические траблы. А так - ни одного нарекания.
3. Alexander.Shvets 215 26.06.18 13:11 Сейчас в теме
(1)
таблиц итогов


У сведений нет табл итогов. Только индексы по Атрибутам и датам первого и последнего события в разрезе ключа. (срез первых/последних)
4. tormozit 5957 26.06.18 13:24 Сейчас в теме
(3)
У сведений нет табл итогов
Есть же
Прикрепленные файлы:
5. Alexander.Shvets 215 26.06.18 13:36 Сейчас в теме
(4) Я не знаю почему доблестные разработчики платформы называют это таблицами итогов, но в sql они выглядят так (индексы)

А вот у регистров накопления присутствует вирт. таблица (накопительная)

Индекс - имеет связь с непосредственной строкой табл. Итог же - накопительный и является отдельной сущностью.

Как раз в силу этого публикация не относится к регистрами накоплений. Для них же
использую похожий метод. Сохраняю только не закрытые обороты в отдельную таблицу в том же пространстве sql. Truncate источник, и обратно переносим не закрытые обороты. Таблица итогов в этом случае будет девственно не тронутой. Но я все же вызываю sql скрипт (написанный ребятами из 1с) для перестроения таблицы итогов.

Но об этом возможно в следующей публикации. =)
Прикрепленные файлы:
6. Alexander.Shvets 215 28.06.18 00:37 Сейчас в теме
upd. Обновил обработку. Исправил ошибку генерации ссылочных полей и названия таблиц. Кто скачивал обработку и не можете повторно скачать - пишите в личку, скину исправленный вариант.
7. Alexander.Shvets 215 03.07.18 03:03 Сейчас в теме
upd. Обновил обработку. Таки добавил вариант с переносом среза во временную таблицу и truncate источника.
8. Const885 20.03.19 19:45 Сейчас в теме
В Управляемых формах работает?
9. Alexander.Shvets 215 08.05.19 11:50 Сейчас в теме
(8) Работает, а вот обычные формы не рисовал.
Оставьте свое сообщение

См. также

Очистка регистрации обмена Промо

Чистка базы v8 v8::ОУ УТ10 Абонемент ($m)

Данная обработка предназначена для очистки узла. Для очистки необходимо указать период,организацию.

1 стартмани

19.09.2017    16751    5    serg-lom89    0    

Свертка базы и очистка таблиц

Свертка базы Чистка базы v8 1cv8.cf Россия Абонемент ($m)

Обработка написана с использованием БСП. Встраивается как внешняя. Работает в фоне. Позволяет средствами SQL очищать выборочно таблицы с настройками, заданными привычным образом через отбор СКД.

5 стартмани

05.03.2020    3735    17    YAGolova    5    

Свертка БД 1С: обрезка до выбранной даты средствами MS SQL

Свертка базы Чистка базы v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Внешняя обработка, позволяющая произвести анализ размера БД и грубую обрезку данных до выбранной даты средствами MS SQL. Управляемые формы, 1С:Предприятие 8.3 (8.3.9.1818).

1 стартмани

15.11.2019    11871    130    dmitrydemenew    32    

Универсальное удаление движений регистров накопления по всем непроведенным документам

Универсальные функции Чистка базы v8 1cv8.cf Абонемент ($m)

Попалась база КА 2.4 с движениями по регистрам, у которых регистратор был непроведен или помечен на удаление. Написал небольшую обработку по удалению таких записей из регистров.

1 стартмани

27.09.2019    8611    12    John_d    16    

Очистка базы данных 1С от данных по организациям прямыми SQL-запросами к СУБД

Чистка базы v8 1cv8.cf Абонемент ($m)

Работа с помощью прямых запросов в случае, когда нельзя, но очень необходимо.

10 стартмани

20.09.2019    11011    60    nomad_irk    58    

Быстрое удаление данных по организации, используя ADO

Чистка базы v8 1cv8.cf Абонемент ($m)

Время от времени возникают вопросы на форуме Инфостарта по сабжу. Данная обработка решает данную задачу.

1 стартмани

12.08.2019    6015    37    Fox-trot    26    

Универсальное удаление выбранного объекта 8.2 - 8.3 на управляемых формах

Чистка базы v8 v8::УФ 1cv8.cf Абонемент ($m)

Данная обработка просто хороший, удобный удалитель выбранного объекта через "ОбменДанными" с кучей дополнительных возможностей. Выгода использования данной обработки особенно ярко проявляет себя, когда у вас стоит подписка на события или другой код препятствующий удалению, но вам абсолютно необходимо удалить данный объект ввиду возможности его случайного использования. И вам нет необходимости выходить из режима 1С:Предприятия, входить в конфигуратор, менять отлаженный код блокировок и подписок на события. Таким образом осуществляется "горячее" удаление объекта.

1 стартмани

17.06.2019    5649    20    AlexandrSmith    0    

Очистка кэша 1С 8 (8.0, 8.1, 8.2, 8.3). Грамотная чистка кэша 1С с сохранением настроек. Промо

Чистка базы Сервисные утилиты Администрирование данных 1С v8 1cv8.cf Россия Абонемент ($m)

Эффективное средство для устранения ошибок, возникающих в локальном кэше 1С на клиенте, которым легко сможет воспользоваться пользователь с любым уровнем знаний. Wsf-скрипт, созданный на стандартном языке автоматизации Windows - "WSH JScript", очищает кэш 1С просто, быстро и безопасно. Кроме варианта, очищающего кэш текущего пользователя, имеется также вариант для чистки кэша 1С всех пользователей терминального-сервера.

1 стартмани

04.11.2018    36807    373    Eugen-S    34    

Поиск и чистка битых ссылок в регистрах сведений и накоплений 8.3

Чистка базы Поиск данных v8 1cv8.cf Абонемент ($m)

Данная обработка позволяет чистить устаревшие битые записи в регистрах сведений и накоплений. Я не затрагиваю в ней регистр бухгалтерии, так как там удаление любой записи может быть критичным для баланса. Бухгалтеры иногда готовы терпеть любые ссылки на удаленные раннее из базы объекты, лишь бы баланс сходился, даже если битая ссылка не может пролить свет на её происхождение.

1 стартмани

04.05.2019    6040    44    AlexandrSmith    2    

Удаление данных по организации в базах, ведущих учет по нескольким организациям. БП 3.0, ЗУП 3.1

Чистка базы v8 БП3.0 ЗУП3.x Россия Абонемент ($m)

При необходимости разделить данные в базах, где ведется учет по нескольким организациям, данная обработка поможет очистить ненужную информацию по организации/организациям. Работает в конфигурациях БП 3.0 и ЗУП 3.1.

2 стартмани

03.04.2019    6746    170    SanchoD    12    

Удаление неиспользуемых элементов справочников в БП 3.0, УНФ 1.6, Розница 2.2, УТ 11.4, КА 2.4, 1С ERP 2.4

Обработка справочников Чистка базы v8 Розница УНФ БП3.0 Россия Абонемент ($m)

Данная обработка предназначена для удаления неиспользуемых элементов справочников в конфигурациях "1С: Бухгалтерия предприятия 3.0", "1С: Управление нашей фирмой 1.6", "1С: Розница 2.2", "1С: Управление торговлей 11.4", "1С: Комплексная автоматизация 2.4", "1С: ERP Управление предприятием 2.4"

1 стартмани

15.03.2019    7343    76    BurlakovIvan    0    

Удаление помеченных объектов, замена ссылок. Обычное и управляемое приложение. Не монопольно, включая рекурсивные ссылки, с отбором по метаданным и произвольным запросом Промо

Чистка базы v8 1cv8.cf Абонемент ($m)

Обработка удаления помеченных объектов с расширенным функционалом. Работает в обычном и управляемом приложении. Монопольный и разделенный режим работы. Отображение и отбор по структуре метаданных. Отборы данных произвольными запросами. Копирование и сохранение отборов. Удаление циклических ссылок (рекурсия). Представление циклических в виде дерева с отображением ключевых ссылок, не позволяющих удалить текущий объект информационной базы. Удаление записей связанных независимых регистров сведений. Групповая замена ссылок. Индикатор прогресса при поиске и контроле ссылочности.

10 стартмани

31.10.2016    51023    612    m..adm    210    

Восстановление настроек плана счетов и очистка некорректных рабочих счетов в БГУ 1.0

Универсальные обработки Чистка базы v8 v8::БУ БГУ Россия БУ Госбюджет Абонемент ($m)

В плане счетов в БГУ 1.0 есть возможность восстановить настройки по умолчанию. Но при наличии некорректных рабочих счетов, восстановление настроек не выполняется. При этом даже нет информации, в каком именно счете проблема. Данная обработка находит некорректные рабочие счета и удаляет их.

1 стартмани

04.03.2019    16280    196    Sashares    36    

Обнуление остатков регистров бухгалтерии и накопления Промо

Универсальные обработки Чистка базы v8 v8::БУ v8::ОУ v8::УФ КА1 БП2.0 ЗУП2.5 УТ10 УПП1 УНФ БГУ ERP2 БП3.0 УТ11 УХ КА2 ЗУП3.x Россия Абонемент ($m)

Обработка позволяет обнулить остатки по регистру накопления или бухгалтерии на определенную дату. Поддерживается большинство типовых конфигураций (БП 3, БП 2, УТ 11, УТ 10, ЗУП 3, ЗУП 2, БГУ 2, БГУ 1, ERP, УПП, КА 2, КА 1, УХ 3, УХ 1, УНФ). Гибкая настройка (отборы, заполнение реквизитов и любых полей корр. счета, возможность обнулять ресурсы выборочно). Несколько режимов работы. Два интерфейса: простой и с расширенным набором настроек.

2 стартмани

19.11.2018    22134    291    morozov.sv    50    

Очистка замеров производительности - даешь больше места на диске (= меньше хлама в базе)

Чистка базы v8 Розница УНФ БП3.0 УТ11 ЗУП3.x Абонемент ($m)

Вы могли и не знать, но у Вас в базе может быть несколько сотен тысяч записей о производительности системы. А появились они там благодаря встроенной в БСП подсистеме "Оценка производительности". И думаю что далеко не каждый из Вас реально собирается оценивать производительность своей системы. Специально для тех кто, как и я считает, что ему абсолютно не нужны все эти записи в базах и была создана эта обработка.

1 стартмани

31.10.2018    16663    178    1c.pro.fun    17    

Перенос организации в отдельную базу, полная очистка базы от данных организации (версия от 25.07.2019)

Универсальные обработки Чистка базы v8 1cv8.cf Абонемент ($m)

Данная обработка позволяет удалить организацию и все связанные с ней данные – документы, элементы справочников, записи регистров сведений. Обработка полезна для выделения организации в отдельную базу. Доработано для ЗУП 3.1.

3 стартмани

14.08.2018    15119    290    serge_msk    43    

Удаление движений непроведенных документов. УФ.

Закрытие периода Чистка базы v8 v8::УФ ERP2 УТ11 КА2 Абонемент ($m)

Обработка помогает в закрытии отчетных периодов в программах 1С.

3 стартмани

02.07.2018    10307    70    PSMNN    1    

Регламентное задание: Очистка регистра сведений "Версии объектов"

Свертка базы Чистка базы v8 УПП1 Россия Абонемент ($m)

У каждого была проблема «растущего» регистра "Версии объектов". Мы дорастили просто до чудовищных размеров(20 мил.) почистить обработкой очень трудоемко, плюс баз у нас много. Решили написать  регламентное задание.

1 стартмани

28.06.2018    10198    8    abadonna83    7    

Помощник удаления и очистки объектов

Чистка базы v8 Розница УНФ БП3.0 УТ11 КА2 Абонемент ($m)

При удалении помеченных не всегда понятно, почему не удаляется например элемент справочника. Написано, что на него ссылается какой-то документ. Заходим в этот документ - и не понятно, где именно смотреть этот элемент, и как его почистить. Особенно, если это какой-то полуслужебный элемент типа "ключ аналитики". Данное расширение выводит информацию, где именно в документе или в движениях этого документа содержится ссылка на удаляемый объект. Второе расширение помогает удалять дополнительные реквизиты объектов, а именно убирает этот дополнительный реквизит из всех объектов, где он прописан в табличной части "Дополнительные реквизиты".

2 стартмани

04.06.2018    12637    73    Kutuzov    12    

Удаление данных средствами SQL, теория и практика

Чистка базы v8 1cv8.cf Абонемент ($m)

Методика быстрого удаления данных через SQL. Выбираем документ в 1С, добавляем простые условия - получаем готовый скрипт, удаляющий сами документы, их табличные части и движения по регистрам.

5 стартмани

25.04.2018    16744    118    METAL    31    

Удаление справочников и документов без проверки ссылочной целостности

Чистка базы Обработка документов Обработка справочников v8 1cv8.cf Россия Абонемент ($m)

Обработка предназначена для удаления без проверки ссылочной целостности.

1 стартмани

14.03.2018    10434    67    SPARTANIC    15    

Быстрое удаление помеченных на удаление документов прямыми SQL запросами (MS SQL)

Чистка базы v8 1cv8.cf Россия Абонемент ($m)

Быстрое удаление помеченных на удаление документов прямыми SQL запросами (MS SQL) с возможностью выбора вида документа и даты по.

1 стартмани

16.02.2018    12781    102    bubnov    16    

Очистка базы данных от данных по организации

Чистка базы v8 1cv8.cf Абонемент ($m)

Обработка генерирует SQL-скрипт, который очищает базу данных от документов выбранной организации. Проверялась на конфигурации Управление производственным предприятием на платформе 8.3. Но в принципе универсальная для стандартных конфигураций на платформе 8.3.

1 стартмани

23.01.2018    17441    111    mugr    26    

Удалить "ненужную организацию" в БП 3.0 (+ доп.обработка для УТ 11.4, УПП ERP 2.4, ЗУП 3.1, КА 2.4, Розница 2.2, УНФ 1.6)

Чистка базы v8 v8::УФ Розница УНФ ERP2 БП3.0 КА2 ЗУП3.x Абонемент ($m)

Обработка, способная удалить все данные по выбранной организации из конфигурации Бухгалтерия предприятия 3.0. (+ обработка "Универсал" для УТ 11.4, УПП ERP 2.4, ЗУП 3.1, КА 2.4, Розница 2.2, УНФ 1.6)

1 стартмани

06.11.2017    31973    808    Ant10    0    

Корректировка остатков регистров накопления (обычные и управляемые формы) Промо

Закрытие периода Свертка базы Чистка базы Универсальные обработки v8 v8::УФ 1cv8.cf Абонемент ($m)

Внешняя обработка, предназначенная для удобного и быстрого исправления остатков регистров накопления (посредством автоматического ввода документов "Корректировки записей регистров", "Операция", содержащих движения, приводящие существующие остатки к желаемым). Позволяет корректировать и обнулять по аналитике и суммам остатки регистров учета товаров, партий, взаиморасчетов, налогового учета по НДС, РАУЗ, и др.

2 стартмани

14.01.2012    76568    587    stvorl    76    

Удаление данных напрямую в SQL

Сервисные утилиты Чистка базы v8 v8::СКД 1cv8.cf Абонемент ($m)

Порой так и хочется грохнуть что нить в скуле, но наталкиваешься на отсутствие понятных и функциональный инструментов. Вроде как что то и есть, но явно писанное для каких то конкретных простых целей. И так очередное творение в данной тематике. Особенности: удаление порциями, отображение готового текста запроса, отбор данных с помощью СКД (в отборе учитываются составные типы и обращения через точку).

1 стартмани

08.07.2017    15052    101    denacid    29    

Создание первоначального образа с файлами РИБ или быстрая очистка базы от документов и движений по регистрам

Свертка базы Распределенная БД (УРИБ, УРБД) Чистка базы v8 Розница Абонемент ($m)

В «большой» базе штатными средствами создать первоначальный образ узла не получается по причине «недостатка памяти на сервере»? А способы, описанные в статье https://its.1c.ru/db/metod8dev/content/2277/hdoc не подходят? ИЛИ Удаление всех документов или свёртка базы занимает продолжительное время?

1 стартмани

06.06.2017    21231    52    Dima_    7    

Просмотр и очистка регистра сведений (управляемые формы)

Универсальные обработки Чистка базы v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Обработка предназначена для очистки регистров сведений (как независимых, так и подчиненных регистратору), работает под управляемыми формами. Реализован предварительный просмотр удаляемых данных.

1 стартмани

09.05.2017    17033    296    stone_evil    21    

Сжатие регистра "Версии объектов"

Чистка базы v8 КА1 УПП1 Россия Абонемент ($m)

Обработка позволяет выполнить 3 операции: 1. удалить одинаковые записи регистра версии объектов, оставляя первую запись, отличную от предыдущей версии; 2. удалить все данные по объекту до указанной даты; 3. удалить все данные по объекту, оставив последние

1 стартмани

27.02.2017    11482    36    mike_pol    6    

Что мешает удалению объектов?

Сервисные утилиты Чистка базы v8 1cv8.cf Абонемент ($m)

Обработка, позволяющая просмотреть цепочки объектов (как ссылочных, так и регистров), препятствующих удалению помеченных на удаление объектов. Платформа 8.3, обычные формы, управляемые формы, интерфейс такси, возможность работы в Web.

1 стартмани

20.12.2016    17504    115    Alxby    17    

Задвоились предопределенные элементы справочников? Выход есть!

Обработка справочников Чистка базы v8 1cv8.cf Абонемент ($m)

Дублирование предопределенных элементов справочников может произойти как по причине того, что при обмене данными в режиме загрузки уникальность предопределенного элемента в пределах области информационной базы не проверяется, так и при объединении/обновлении конфигураций. При попытке переименовать, или, например, пометить на удаление 1С показывает сообщение «Предопределенный элемент не уникален». В этой статье мы напишем обработку, которая позволит избавиться от дублей предопределенных элементов справочника.

1 стартмани

02.11.2016    21130    94    Luchik    8    

Очистка регистров накопления, сведений, расчета или бухгалтерии Промо

Сервисные утилиты Чистка базы Свертка базы v8 1cv8.cf Абонемент ($m)

Очистка регистров накопления, сведений, расчета или бухгалтерии (обычная и управляемая форма)

2 стартмани

25.12.2009    60883    259    sebe    20    

Удаление организаций из базы Промо

Чистка базы v8 БП2.0 ЗУП2.5 Абонемент ($m)

У меня возникала потребность в удалении организаций и их следов из базы. Стандартными средствами этого не сделать. Кому необходимо сделать то же самое, это отличный вариант. Обработка проста и эффективна.

1 стартмани

19.06.2013    18097    53    IceEvgen    11    

Универсальный редактор реквизитов объектов. Мультиобработчик Промо

Универсальные обработки Чистка базы Обработка документов Практика программирования Обработка справочников Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Объекты: Справочник, Документ, ПланОбмена, ПВХ, Бизнес-процесс, Задача, ПланСчетов, ПВР. Мультиобработчик: -Проведение, перенумерация, движения, копирование, создание на основании, подчиненность, статистика, удаление документов. -Регистрация изменений объекта(ов) в планах обмена. -Установка/Отключение ГлавногоУзла РИБ. -Поиск и восстановление "Битых" ссылок. -Недопустимые символы XML/Дерево XML. -Поиск и замена ссылок. -Ошибки ИБ, в т.ч XML. -Множество обработок справочников. -GUID. Дата и время создания объектов ссылочного типа. -Аналитика предопределенных, блокируемых реквизитов, ХранилищаЗначений. -История изменений объекта. -Активные пользователи. -Подписки на события, функциональные опции. -Загрузка пользователей ИБ из Windows, Active Directory. -Выгрузка/Загрузка пользователей ИБ в/из внешний XML-файл. -Поддержка различных режимов модальности. Файловый, Клиент-Серверный варианты. Обычная и Управляемая формы.

1 стартмани

28.12.2011    167067    2266    StepByStep    419