Barrel
EN GitHub

barrel_ngram

Un index exact de sous-chaînes et d’expressions régulières sur une base barrel_docdb. Chaque candidat est vérifié sur le texte réel : un résultat est une vraie correspondance.

Ce qu’elle résout

La recherche sémantique rate les identifiants, les messages d’erreur, les clés de configuration et les symboles de code. barrel_ngram tient un index de trigrammes au niveau de l’octet, fait de segments immuables avec somme de contrôle et tenu à jour par le flux de changements, et répond aux requêtes littérales et aux expressions régulières PCRE avec la position de chaque correspondance.

Quand l’utiliser

  • Des agents cherchent dans du code, des logs ou des runbooks des noms exacts comme ERR_CONN_TIMEOUT ou pg-replica-02.
  • Vous avez besoin de recherche par expression régulière dans des documents, avec la position en octets de chaque correspondance.

Quand ne pas l’utiliser

  • Vous cherchez par le sens : utilisez la recherche vectorielle ou hybride de barrel_vectordb.
  • L’espace disque est compté : l’index pèse environ 34 fois la taille du texte.

Sa place dans Barrel

Repose sur
barrel_docdb
Utilisée par
barrel_server
Autres dépendances
un NIF en C (CRoaring embarqué) compilé avec CMake sous Linux, macOS et Windows
Seule
Oui, à côté d’une base barrel_docdb. La façade barrel et BQL ne l’exposent pas.

Installation

dépendances rebar.config
{barrel_ngram, "~> 0.11"}

Configuration

Options de open/2

CléDéfautRôle
db obligatoire La base barrel_docdb à indexer
fields tous Champs à indexer ; fixés pour le corpus
shards 1 Jusqu’à 4096 ; fixé pour le corpus
postings varint roaring est l’autre encodage ; fixé
freeze_threshold 1000 Documents mis en tampon avant l’écriture d’un segment
compact_threshold 16 Segments avant compaction, ou infinity
verify_segments checksum layout ne vérifie que la structure
on_legacy fail reindex reconstruit un index 0.10 ou plus ancien

Environnement de l’application (barrel_ngram)

CléDéfautRôle
data_dir "data/barrel_ngram" Relatif au répertoire courant

Seulement les clés les plus utilisées. Pour toutes les options, voyez la référence de configuration.

L’API par tâche

Corpus

TâcheAppelRenvoie
Créer ou rattacher barrel_ngram:open/2 ok, ou {error, {config_mismatch, Field, Old, New}}
Rattraper le flux barrel_ngram:index/1 (alias refresh/1) {ok, #{segments, watermark}}
Compacter barrel_ngram:compact/1 {ok, #{segments, doc_count}} ou {error, busy}
Fermer, supprimer barrel_ngram:close/1, delete_corpus/1,2 ok

Recherche

TâcheAppelRenvoie
Sous-chaîne littérale barrel_ngram:search/2,3 {ok, [#{id, spans => [{Offset, Length}]}]}
Expression régulière barrel_ngram:regex/2,3 même forme, ou {error, {bad_regex, _}}
Ignorer la casse option case_sensitive => false sensible à la casse par défaut

Trouver des identifiants dans des runbooks

D’après une exécution vérifiée. Les positions sont des décalages en octets dans les champs indexés, concaténés dans l’ordre trié des champs (body avant title).

Shell Erlang
{ok, _} = application:ensure_all_started(barrel_ngram).
{ok, _} = barrel_docdb:create_db(<<"runbooks">>).
barrel_docdb:put_docs(<<"runbooks">>, [
  #{<<"id">> => <<"rb:db">>,
    <<"title">> => <<"Postgres failover">>,
    <<"body">> => <<"If you see ERR_CONN_TIMEOUT=30s on "
                    "pg-primary-01, promote pg-replica-02.">>},
  #{<<"id">> => <<"rb:api">>, <<"title">> => <<"API 502s">>,
    <<"body">> => <<"Check upstream connect_timeout and "
                    "read_timeout in nginx.conf">>}]).
ok = barrel_ngram:open(<<"rb_idx">>,
    #{db => <<"runbooks">>,
      fields => [<<"title">>, <<"body">>]}).
barrel_ngram:index(<<"rb_idx">>).
barrel_ngram:search(<<"rb_idx">>, <<"ERR_CONN_TIMEOUT">>).
barrel_ngram:regex(<<"rb_idx">>,
                   <<"pg-(primary|replica)-\\d+">>).
barrel_ngram:regex(<<"rb_idx">>, <<"\\w+_timeout">>).
barrel_ngram:regex(<<"rb_idx">>, <<"(unclosed">>).
Sortie d’une exécution sur barrel_ngram 0.11.4
{ok,#{segments => 1,watermark => <<...>>}}

{ok,[#{id => <<"rb:db">>,spans => [{11,16}]}]}

{ok,[#{id => <<"rb:db">>,spans => [{35,13},{58,13}]}]}

{ok,[#{id => <<"rb:api">>,spans => [{15,15},{35,12}]}]}

{error,{bad_regex,{"missing closing parenthesis",9}}}

Limites à connaître

  • L’index pèse environ 34 fois la taille du texte.
  • db, fields, shards et postings sont fixés pour le corpus. Les changer demande delete_corpus et une reconstruction.
  • index/1 est le point de rattrapage synchrone. Entre deux appels, les nouvelles écritures arrivent dans l’index par le flux en arrière-plan.
  • Le sharding et les postings roaring existent et sont testés, mais ne faisaient pas partie de l’exécution vérifiée.

Haut et bas pour se déplacerEntrée pour ouvrir