Import d'un dossier Databento : « {n} fichiers écartés » dans le Replay Senzoukria

Ce que vous voyez

Après « Choisir un dossier… », le rapport d'inventaire liste ce qui a été reconnu (« {n} fichiers de transactions reconnus ({schemas}). »), puis « {n} fichiers écartés : » avec une ligne par groupe : « format non pris en charge », « métadonnées Databento », « illisibles, abîmés ou vides », « archive protégée par mot de passe », « refusés par sécurité (liens, chemins sortant de l'archive, compression suspecte) » et « au-delà des bornes de l'inventaire ». Il peut ajouter « Inventaire incomplet — bornes atteintes : {limits}. »

D'autres lignes ne sont pas des refus mais des informations : « {n} autres fichiers reconnus ne seront pas importés (barres, carnet, définitions…). », doublons probables, copies divergentes et chevauchements.

Pourquoi cela arrive

Seuls les fichiers qui portent des trades alimentent une séance de Replay : les schémas trades, tbbo et mbp-1. Les barres, les fichiers de carnet d'ordres et les définitions d'instruments sont reconnus mais pas importés ici. Les fichiers de métadonnées que Databento livre avec un export ne sont pas des données de marché. Les archives sont inventoriées sous des bornes fixes pour qu'un fichier abîmé ou une bombe de compression ne puisse pas épuiser la machine ; tout ce qui dépasse ces bornes est écarté et nommé.

Les doublons sont comparés en entier, et seule une copie identique est ignorée. Des fichiers qui commencent pareil mais diffèrent plus loin sont lus tous les deux, et les jours qu'ils partagent pour un contrat sont refusés comme conflits ; des fichiers qui se chevauchent en portant deux fois le même contrat pour un jour sont refusés de la même façon, car les additionner doublerait le volume.

Comment corriger

• Exportez depuis Databento des trades, du tbbo ou du mbp-1 pour les contrats que vous voulez rejouer.
• Décompressez vous-même les archives protégées par mot de passe, ou exportez de nouveau sans mot de passe.
• Retirez du dossier les copies d'un même export, et évitez de mêler un fichier trades et un fichier tbbo pour le même jour et le même contrat.
• Découpez les très gros dossiers pour que l'inventaire reste dans ses bornes.
• Gardez les noms de fichiers d'origine de Databento ; ils portent les dates.

Ce que ce n'est pas

• Pas un import raté : rien n'est écrit avant que vous cliquiez sur « Importer {n} fichiers ».
• Pas une modification de vos fichiers : l'importateur ne fait que lire.

Quand contacter le support

Si les étapes ci-dessus ne changent rien, envoyez le cas depuis Menu → Signaler un problème, ou posez la question sur le Discord de Senzoukria. Collez le rapport d'inventaire (il liste des nombres et des raisons, pas vos données) et le schéma Databento exporté.