Как обрабатывать входящие спецификации

Q: Можно ли одинаково обрабатывать Excel, PDF и сканы?

Их можно привести к единой выходной структуре, но извлечение и контроль качества будут разными. Для сканов дополнительно проверяют распознавание, а для таблиц — объединённые ячейки, листы и формулы.

Q: Что делать с неоднозначными позициями?

Не выбирать скрытно. Система должна показать исходный фрагмент, варианты сопоставления и причину неопределённости, после чего передать решение специалисту.

Q: Нужно ли сначала очищать весь каталог?

Нет. Для пилота достаточно нормализовать справочник и синонимы в выбранной продуктовой группе, сохранив маршрут для неизвестных позиций.

Входящую спецификацию следует обрабатывать как цепочку доказуемых преобразований: сохранить исходный файл, извлечь строки и реквизиты, привести единицы и обозначения к единой форме, сопоставить позиции с утверждённым каталогом и направить неоднозначности специалисту. ИИ помогает читать свободный текст, нестандартные таблицы и примечания, но не должен незаметно достраивать отсутствующие характеристики. Для каждого значения нужен источник — страница, лист, ячейка или фрагмент. Первый пилот ограничивают одним типом документов и одной продуктовой группой. Измеряют полный цикл до проверенного результата, долю автоматически принятых строк, ручные исправления и критические ошибки. Такая архитектура ускоряет подготовку, сохраняя контроль над номенклатурой и коммерческими решениями.

Кому актуальна задача

Материал предназначен коммерческим и закупочным подразделениям, техническим специалистам, сметным группам и операционным командам, которые получают перечни товаров или работ в разных форматах. Один клиент присылает аккуратный Excel, второй — экспорт из учётной системы, третий — PDF с переносами строк, четвёртый — скан с рукописной пометкой. Сотрудник вручную переносит сведения в рабочую форму, исправляет обозначения и ищет позиции.

Автоматизация особенно полезна, если строк много, названия повторяются в разных вариантах, а скорость ответа влияет на возможность продолжить работу с запросом. Но даже при небольшом потоке она может быть оправдана высокой стоимостью ошибки: неверная единица измерения или модификация влияет на расчёт, срок и обязательства.

Где возникают потери

Проблема редко сводится к распознаванию символов. Документ может содержать многоуровневую шапку, объединённые ячейки, скрытые строки, примечания под таблицей, несколько единиц в одном поле и ссылки на чертежи. Одно и то же изделие называется официальным кодом, сокращением, старым артикулом или описанием назначения. Иногда в строке указана группа, а точная модификация раскрыта в комментарии.

Признаки неуправляемого процесса:

исходный файл перезаписывается после ручной правки;
невозможно связать рабочую строку с ячейкой или страницей;
единицы преобразуются «по привычке» без правила;
пропущенная строка обнаруживается только при финальной сверке;
дубликаты считаются отдельными позициями или ошибочно объединяются;
специалист повторно ищет уже сопоставлявшийся синоним;
неизвестная позиция заменяется похожей без отметки;
время ожидания эксперта не отделено от времени обработки.

Эти потери нужно описать до выбора технологии. Иногда большая часть эффекта достигается единым шаблоном загрузки и справочником, а не сложной моделью.

Каким должен быть результат

Выходом должна быть не просто таблица, а пакет для следующего действия. Он включает идентификатор исходного документа, список строк в согласованной схеме, исходное значение каждого поля, нормализованное значение, статус сопоставления и перечень предупреждений. Для позиции полезно различать четыре статуса: точное соответствие, соответствие по утверждённому синониму, предлагаемый вариант и отсутствие соответствия.

Система не должна смешивать извлечение и бизнес-решение. «В документе указано 25 мм» — наблюдение. «Подходит товар X» — решение на основе каталога и правил. «Можно предложить аналог Y» — коммерческое предложение, требующее отдельного подтверждения. Такое разделение делает маршрут проверяемым и позволяет улучшать конкретный слой без полной переделки.

Экономика обработки

Расчёт начинается с количества документов, строк и ручного времени. Ниже приведён условный пример, не обещание производительности.

| Этап | До пилота | Условно после | Контроль качества | |---|---:|---:|---| | Первичный разбор документа | 18 мин | 6 мин | комплектность | | Перенос и нормализация 80 строк | 64 мин | 20 мин | построчная выборка | | Поиск соответствий | 45 мин | 24 мин | статус сопоставления | | Финальная сверка | 12 мин | 20 мин | критические поля |

В примере цикл сокращается со 139 до 70 минут, хотя проверка становится длиннее. Это нормальная конструкция пилота: контроль должен быть заметным и измеримым. При условных 90 документах в месяц высвобождение составляет 90 × 69 / 60 = 103,5 часа. Денежную оценку получают умножением на принятую компанией стоимость часа, после чего вычитают лицензии, инфраструктуру, сопровождение и работу экспертов.

Отдельно считают критические ошибки: пропущенную строку, неверное количество, единицу, модификацию и необозначенную замену. Среднее время бесполезно, если редкая ошибка создаёт существенный риск. Для пилота заранее задают правило: какой уровень ошибки блокирует автоматическое принятие строки независимо от скорости.

Варианты решения

Для стабильных Excel-шаблонов достаточно детерминированного импорта: карта колонок, проверка типов и справочник. Это предпочтительный вариант, когда структура известна. Для PDF с текстовым слоем можно применять табличное извлечение и проверку геометрии. Сканы требуют распознавания и отдельной оценки качества изображения.

Готовый сервис подходит для типовых документов и простой выгрузки, если он сохраняет источник полей, поддерживает нужные форматы и соответствует правилам работы с данными. Его проверяют не на одном аккуратном файле, а на наборе исключений.

Настраиваемый ИИ-контур нужен для разнообразных шаблонов, свободных примечаний и сопоставления с внутренней номенклатурой. Собственная разработка оправдана при уникальных справочниках, сложных правах, больших объёмах исключений или необходимости тесной интеграции с 1С, CRM и каталогом. Даже тогда таблицы стабильного формата лучше разбирать правилами, оставляя ИИ неструктурированным участкам.

Схема конвейера

[Оригинал: XLSX / PDF / скан]
                │
                ▼
 [Определение формата и качества]
        │         │         │
        ▼         ▼         ▼
   [Таблица]   [Текст]   [Распознавание]
        └─────────┬─────────┘
                  ▼
     [Единая схема + ссылка на источник]
                  │
                  ▼
 [Нормализация единиц и обозначений]
                  │
          ┌───────┴───────┐
          ▼               ▼
 [Точное соответствие] [Очередь эксперта]
          └───────┬───────┘
                  ▼
       [Проверенный пакет данных]

На каждом переходе сохраняется исходное значение. Это позволяет повторно обработать документ при изменении правил и сравнить версии результата.

План внедрения

Выбрать границу пилота. Один канал, формат и продуктовая группа дадут сопоставимые кейсы.
Собрать корпус. Включить типовые файлы, плохие сканы, многостраничные таблицы, дубли и пустые поля.
Определить выходную схему. Назвать обязательные поля, типы, единицы и статусы.
Назначить источник каталога. Зафиксировать версию и владельца справочника.
Реализовать простые форматы правилами. Не применять ИИ к тому, что надёжно решается картой колонок.
Добавить извлечение сложных полей. Всегда показывать фрагмент-основание.
Настроить нормализацию. Хранить исходное и преобразованное значение, а также правило преобразования.
Создать очередь исключений. Сгруппировать строки по причине, чтобы эксперт принимал однотипные решения быстрее.
Провести двойную проверку. На этапе пилота сравнить автоматический результат с независимой ручной разметкой.
Закрепить обратную связь. Утверждённые синонимы и правила возвращать в контролируемый справочник.

Как организовать эталонную разметку

Эталон создаёт не один исполнитель «по ощущениям», а назначенный эксперт по единой инструкции. В ней определяют, как отмечать пустое значение, дубликат, составную позицию, допустимый синоним, аналог и неразрешимую неопределённость. Если два специалиста расходятся, кейс не прячут в среднее: его разбирают и уточняют правило. Так команда отделяет неоднозначность бизнеса от ошибки извлечения.

Выборку делят по форматам и сложности. Нельзя получить высокий общий показатель на простых Excel-файлах и распространить его на сканы. Для каждого класса считают полноту строк, корректность критических полей, статус сопоставления и объём ручных исправлений. Критические ошибки перечисляют заранее: например, пропуск строки, изменение количества, неверная единица или необозначенный аналог. Конкретный список утверждает владелец процесса.

Часть размеченных документов используют для настройки, а отдельную часть сохраняют для приёмки. После запуска эталон дополняют новыми типами исключений, но не меняют старые ответы молча. Версия разметки должна быть связана с версией правил и каталога. Это позволяет понять, улучшилось ли решение или просто изменилась проверочная база.

Ошибки

Нельзя считать успешно открытый файл успешно обработанной спецификацией. Главная ошибка — оценивать качество только на уровне документа, когда одна неверная критическая строка меняет весь результат. Вторая — позволять модели заполнять отсутствующее значение «по смыслу». Третья — терять происхождение поля после нормализации.

Также опасно объединять похожие позиции без правила, автоматически заменять единицы, игнорировать примечания и листы, обучаться на ручных исправлениях без подтверждения эксперта и одновременно подключать все форматы. Не стоит скрывать исключения ради высокой доли автоматизации: прозрачная очередь неопределённостей полезнее ложной уверенности.

Чек-лист

[ ] Оригинал сохраняется неизменным и имеет идентификатор.
[ ] Для каждого поля доступен исходный фрагмент.
[ ] Выходная схема и обязательные поля согласованы.
[ ] Исходные и нормализованные значения хранятся раздельно.
[ ] Точное совпадение отделено от варианта и аналога.
[ ] Неизвестная позиция не достраивается автоматически.
[ ] Простые Excel-шаблоны обрабатываются правилами.
[ ] Сканы имеют отдельный контроль распознавания.
[ ] Очередь исключений разбита по причинам.
[ ] KPI учитывает скорость, исправления и критические ошибки.

FAQ

Можно ли одинаково обрабатывать Excel, PDF и сканы?

Единым может быть выходной формат, но не способ извлечения. Excel требует контроля листов, формул и объединённых ячеек, PDF — порядка текста и геометрии, скан — качества распознавания. Метрики качества тоже следует разделять по типу входа.

Что делать с неоднозначными позициями?

Показать специалисту исходный фрагмент, возможные соответствия и признаки, по которым они найдены. Его подтверждение записать как решение конкретного кейса; в справочник правило переносится только после управляемой проверки.

Нужно ли сначала очищать весь каталог?

Нет. Большая предварительная чистка может остановить пилот. Достаточно выбрать продуктовую группу, определить обязательные атрибуты и подготовить рабочий словарь синонимов. Остальные позиции должны безопасно попадать в очередь неизвестных.

Связанное решение

Commercial Desk использует проверенный результат обработки спецификации как вход для коммерческого процесса, а Catalog Factory помогает управлять нормализованными карточками и атрибутами.

Проверьте одну спецификацию от входа до результата

Чтобы оценить границы пилота на реальных документах, запишитесь на разбор процесса. Команда определит выходную схему, источники справочников, критические поля и безопасный маршрут исключений.