barrel_ngram
Un index exact de sous-chaînes et d’expressions régulières sur une base barrel_docdb. Chaque candidat est vérifié sur le texte réel : un résultat est une vraie correspondance.
Ce qu’elle résout
La recherche sémantique rate les identifiants, les messages d’erreur, les clés de configuration et les symboles de code. barrel_ngram tient un index de trigrammes au niveau de l’octet, fait de segments immuables avec somme de contrôle et tenu à jour par le flux de changements, et répond aux requêtes littérales et aux expressions régulières PCRE avec la position de chaque correspondance.
Quand l’utiliser
- Des agents cherchent dans du code, des logs ou des runbooks des noms exacts comme
ERR_CONN_TIMEOUToupg-replica-02. - Vous avez besoin de recherche par expression régulière dans des documents, avec la position en octets de chaque correspondance.
Quand ne pas l’utiliser
- Vous cherchez par le sens : utilisez la recherche vectorielle ou hybride de barrel_vectordb.
- L’espace disque est compté : l’index pèse environ 34 fois la taille du texte.
Sa place dans Barrel
- Repose sur
barrel_docdb- Utilisée par
barrel_server- Autres dépendances
- un NIF en C (CRoaring embarqué) compilé avec CMake sous Linux, macOS et Windows
- Seule
- Oui, à côté d’une base barrel_docdb. La façade barrel et BQL ne l’exposent pas.
Installation
{barrel_ngram, "~> 0.11"} Configuration
Options de open/2
| Clé | Défaut | Rôle |
|---|---|---|
db | obligatoire | La base barrel_docdb à indexer |
fields | tous | Champs à indexer ; fixés pour le corpus |
shards | 1 | Jusqu’à 4096 ; fixé pour le corpus |
postings | varint | roaring est l’autre encodage ; fixé |
freeze_threshold | 1000 | Documents mis en tampon avant l’écriture d’un segment |
compact_threshold | 16 | Segments avant compaction, ou infinity |
verify_segments | checksum | layout ne vérifie que la structure |
on_legacy | fail | reindex reconstruit un index 0.10 ou plus ancien |
Environnement de l’application (barrel_ngram)
| Clé | Défaut | Rôle |
|---|---|---|
data_dir | "data/barrel_ngram" | Relatif au répertoire courant |
Seulement les clés les plus utilisées. Pour toutes les options, voyez la référence de configuration.
L’API par tâche
Corpus
| Tâche | Appel | Renvoie |
|---|---|---|
| Créer ou rattacher | barrel_ngram:open/2 | ok, ou {error, {config_mismatch, Field, Old, New}} |
| Rattraper le flux | barrel_ngram:index/1 (alias refresh/1) | {ok, #{segments, watermark}} |
| Compacter | barrel_ngram:compact/1 | {ok, #{segments, doc_count}} ou {error, busy} |
| Fermer, supprimer | barrel_ngram:close/1, delete_corpus/1,2 | ok |
Recherche
| Tâche | Appel | Renvoie |
|---|---|---|
| Sous-chaîne littérale | barrel_ngram:search/2,3 | {ok, [#{id, spans => [{Offset, Length}]}]} |
| Expression régulière | barrel_ngram:regex/2,3 | même forme, ou {error, {bad_regex, _}} |
| Ignorer la casse | option case_sensitive => false | sensible à la casse par défaut |
Trouver des identifiants dans des runbooks
D’après une exécution vérifiée. Les positions sont des décalages en octets dans les champs indexés, concaténés dans l’ordre trié des champs (body avant title).
{ok, _} = application:ensure_all_started(barrel_ngram).
{ok, _} = barrel_docdb:create_db(<<"runbooks">>).
barrel_docdb:put_docs(<<"runbooks">>, [
#{<<"id">> => <<"rb:db">>,
<<"title">> => <<"Postgres failover">>,
<<"body">> => <<"If you see ERR_CONN_TIMEOUT=30s on "
"pg-primary-01, promote pg-replica-02.">>},
#{<<"id">> => <<"rb:api">>, <<"title">> => <<"API 502s">>,
<<"body">> => <<"Check upstream connect_timeout and "
"read_timeout in nginx.conf">>}]).
ok = barrel_ngram:open(<<"rb_idx">>,
#{db => <<"runbooks">>,
fields => [<<"title">>, <<"body">>]}).
barrel_ngram:index(<<"rb_idx">>).
barrel_ngram:search(<<"rb_idx">>, <<"ERR_CONN_TIMEOUT">>).
barrel_ngram:regex(<<"rb_idx">>,
<<"pg-(primary|replica)-\\d+">>).
barrel_ngram:regex(<<"rb_idx">>, <<"\\w+_timeout">>).
barrel_ngram:regex(<<"rb_idx">>, <<"(unclosed">>). {ok,#{segments => 1,watermark => <<...>>}}
{ok,[#{id => <<"rb:db">>,spans => [{11,16}]}]}
{ok,[#{id => <<"rb:db">>,spans => [{35,13},{58,13}]}]}
{ok,[#{id => <<"rb:api">>,spans => [{15,15},{35,12}]}]}
{error,{bad_regex,{"missing closing parenthesis",9}}} Limites à connaître
- L’index pèse environ 34 fois la taille du texte.
db,fields,shardsetpostingssont fixés pour le corpus. Les changer demandedelete_corpuset une reconstruction.index/1est le point de rattrapage synchrone. Entre deux appels, les nouvelles écritures arrivent dans l’index par le flux en arrière-plan.- Le sharding et les postings roaring existent et sont testés, mais ne faisaient pas partie de l’exécution vérifiée.