Импорт папки Databento: «Отложено файлов: {n}» в Replay Senzoukria

Что вы видите

После «Выбрать папку…» отчёт сканирования перечисляет распознанное («Распознано файлов со сделками: {n} ({schemas}).»), затем «Отложено файлов: {n}:» с одной строкой на группу: «неподдерживаемый формат», «метаданные Databento», «нечитаемые, повреждённые или пустые», «архив, защищённый паролем», «отклонены из соображений безопасности (ссылки, пути за пределы архива, подозрительное сжатие)» и «за пределами ограничений инвентаризации». Он может добавить «Инвентаризация неполная — достигнуты ограничения: {limits}.»

Другие строки — не отказы, а информация: «Других распознанных файлов, которые не будут импортированы (бары, стакан, определения…): {n}.», вероятные дубликаты, расходящиеся копии и перекрытия.

Почему это происходит

Сессию Replay питают только файлы со сделками: схемы trades, tbbo и mbp-1. Бары, файлы стакана и определения инструментов распознаются, но здесь не импортируются. Файлы метаданных, которые Databento прикладывает к экспорту, — не рыночные данные. Архивы сканируются в фиксированных пределах, чтобы повреждённый файл или zip-бомба не исчерпали ресурсы машины; всё, что выходит за эти пределы, откладывается и называется.

Дубликаты сравниваются целиком, и пропускается только идентичная копия. Файлы, которые начинаются одинаково, но дальше расходятся, читаются оба, а общие для них дни по контракту отклоняются как конфликты; перекрывающиеся файлы, дважды несущие один и тот же контракт за день, отклоняются так же, потому что их сложение удвоило бы объём.

Как исправить

• Экспортируйте из Databento trades, tbbo или mbp-1 для контрактов, которые хотите воспроизводить.
• Распакуйте архивы с паролем сами или экспортируйте заново без пароля.
• Уберите из папки копии одного и того же экспорта и не смешивайте файл trades и файл tbbo за один и тот же день и контракт.
• Разделите очень большие папки, чтобы сканирование укладывалось в свои лимиты.
• Сохраняйте исходные имена файлов Databento: в них есть даты.

Чем это не является

• Не неудавшийся импорт: ничего не записывается, пока вы не нажмёте «Импортировать файлы ({n})».
• Не изменение ваших файлов: импортёр только читает.

Когда обращаться в поддержку

Если шаги выше ничего не меняют, отправьте случай через меню → «Сообщить о проблеме» или спросите в Discord Senzoukria. Вставьте отчёт сканирования (в нём количества и причины, а не ваши данные) и схему Databento, которую вы экспортировали.