Barrel
EN GitHub

barrel_embed

Des embeddings de texte et d’image pour Erlang, depuis des modèles locaux ou des API cloud, avec une chaîne de fournisseurs qui passe au suivant quand l’un est indisponible.

Ce qu’elle résout

La recherche vectorielle a besoin d’embeddings, et la bonne source change : un modèle local sur un portable, Ollama sur un serveur, une API cloud en production. barrel_embed place toutes les sources derrière un seul appel, si bien que barrel et barrel_vectordb prennent une configuration embedder et n’appellent jamais un modèle directement.

Quand l’utiliser

  • Vous voulez le mode enregistrement ou la recherche par texte dans barrel ou barrel_vectordb.
  • Vous voulez une solution de repli : essayer d’abord un modèle local, puis un autre fournisseur.
  • Vous avez votre propre modèle et voulez le brancher comme module fournisseur.

Quand ne pas l’utiliser

  • Vous calculez les vecteurs ailleurs et les transmettez : vous pouvez vous passer de fournisseur (barrel_vectordb inclut quand même cette bibliothèque).

Sa place dans Barrel

Repose sur
Aucune autre bibliothèque Barrel
Utilisée par
barrel, barrel_vectordb
Autres dépendances
hackney ; Python 3 pour les fournisseurs Python locaux
Seule
Oui. Sa seule dépendance est hackney.

Installation

dépendances rebar.config
{barrel_embed, "~> 2.6"}

Configuration

Configuration de init/1

CléDéfautRôle
embedder aucun {Provider, Opts} ou une liste pour une chaîne de repli ; sans rien, {ok, undefined}
dimensions 768 Renvoyé par dimension/1 ; fixez-le selon le modèle
batch_size 32 Taille des lots pour embed_batch

Fournisseurs (modèle par défaut, dimension)

CléDéfautRôle
local BAAI/bge-base-en-v1.5, 768 sentence-transformers dans un venv Python géré
ollama nomic-embed-text, 768 url par défaut http://localhost:11434
fastembed BAAI/bge-small-en-v1.5, 384 ONNX dans le venv
openai text-embedding-3-small, 1536 api_key ou OPENAI_API_KEY
cohere, voyage, jina, mistral 1024 chacun Clé d’API lue dans l’environnement
azure, bedrock, vertex voir la référence Identifiants cloud
splade, colbert, clip creux, multi-vecteur, image Appels spécialisés, venv Python

Environnement de l’application (barrel_embed)

CléDéfautRôle
venv_dir <priv>/.venv venv Python géré
managed_venv true false saute l’initialisation du venv

Seulement les clés les plus utilisées. Pour toutes les options, voyez la référence de configuration et la référence de l’API.

L’API par tâche

Calculer des embeddings

TâcheAppelRenvoie
Démarrer une chaîne de fournisseurs barrel_embed:init/1 {ok, State}, {ok, undefined} ou {error, no_providers_available}
Un texte barrel_embed:embed/2 {ok, [float()]} ou {error, all_providers_failed}
Plusieurs textes barrel_embed:embed_batch/2,3 {ok, [[float()]]}
Décrire barrel_embed:info/1, describe/2, dimension/1 #{configured, providers, dimension}
Libérer barrel_embed:release/1 ok

Fournisseurs et venv

TâcheAppelRenvoie
Écrire un fournisseur behaviour barrel_embed_provider: name/0, dimension/1, embed/2, embed_batch/2 init/1, available/1, model_info/1 en option
venv Python barrel_embed:venv_path/0, refresh_venv/0, install_provider/1 chemin, ok
Creux, multi-vecteur, image barrel_embed_splade:embed_sparse/2, barrel_embed_colbert:embed_multi/2, barrel_embed_clip:embed_image/2 prennent la configuration du fournisseur, pas l’état

Votre propre fournisseur

Tout module qui implémente le behaviour peut être désigné comme fournisseur.

my_embedder.erl
-module(my_embedder).
-behaviour(barrel_embed_provider).
-export([embed/2, embed_batch/2, dimension/1, name/0]).

embed(Text, _Config) ->
    <<A:8, B:8, C:8, D:8, _/binary>> =
        crypto:hash(sha256, Text),
    {ok, [A / 255, B / 255, C / 255, D / 255]}.
embed_batch(Texts, Config) ->
    {ok, [V || T <- Texts, {ok, V} <- [embed(T, Config)]]}.
dimension(_Config) -> 4.
name() -> my_embedder.

Personnalisé, Ollama, et une chaîne de repli

D’après une exécution vérifiée, avec Ollama lancé en local et nomic-embed-text téléchargé.

Erlang
{ok, _} = application:ensure_all_started(barrel_embed),
{ok, C} = barrel_embed:init(#{
    embedder => {my_embedder, #{}}, dimensions => 4}),
io:format("custom: ~p~n",
          [barrel_embed:embed(<<"hello">>, C)]),
{ok, O} = barrel_embed:init(#{
    embedder => {ollama, #{model => <<"nomic-embed-text">>}},
    dimensions => 768}),
{ok, V} = barrel_embed:embed(<<"hello">>, O),
io:format("ollama dim=~p~n", [length(V)]),
%% a chain: the first provider is down, the second answers
{ok, Ch} = barrel_embed:init(#{embedder => [
    {ollama, #{url => <<"http://127.0.0.1:1">>}},
    {my_embedder, #{}}]}),
io:format("chain: ~p~n",
          [barrel_embed:embed(<<"hello">>, Ch)]),
io:format("not configured: ~p~n",
          [barrel_embed:init(#{})]).
Sortie d’une exécution sur barrel_embed 2.6.1
custom: {ok,[0.17254901960784313,0.9490196078431372,
             0.30196078431372547,0.7294117647058823]}
ollama dim=768
Provider barrel_embed_ollama not available, skipping
chain: {ok,[0.17254901960784313,0.9490196078431372,
            0.30196078431372547,0.7294117647058823]}
not configured: {ok,undefined}

Limites à connaître

  • dimension/1 renvoie les dimensions configurées (768 par défaut), pas la taille du fournisseur. Passez dimensions explicitement, par exemple 384 pour bge-small.
  • Chaque appel d’embedding lance d’abord available/1 du fournisseur. Pour les fournisseurs cloud, c’est une requête HTTP de plus par appel.
  • La première initialisation d’un fournisseur Python peut installer des paquets avec pip et télécharger un modèle. Les paquets Python ne sont pas épinglés.
  • Les fournisseurs cloud sont décrits d’après le code source ; ils n’ont pas été lancés avec des clés. fastembed, splade, colbert et clip n’ont pas été lancés.

Haut et bas pour se déplacerEntrée pour ouvrir