barrel_rerank
Le reclassement par cross-encoder : une seconde passe qui réordonne les résultats d’une recherche vectorielle ou par mots-clés en lisant ensemble la requête et chaque candidat.
Ce qu’elle résout
La recherche de premier niveau est rapide mais approchée. Un cross-encoder note directement chaque paire requête et document, et place les meilleures réponses en tête. barrel_rerank fait tourner le modèle dans un port Python et y multiplexe les requêtes concurrentes.
Quand l’utiliser
- Les premiers résultats d’une recherche vectorielle ou hybride sont proches, mais dans le mauvais ordre.
- Vous pouvez payer un appel au modèle par requête, sur une courte liste de candidats.
Quand ne pas l’utiliser
- Vous ne pouvez pas faire tourner Python avec transformers et torch (environ 2 Go) sur le nœud.
- Il vous faut des scores entre 0 et 1 : les scores sont des logits bruts.
Sa place dans Barrel
- Repose sur
- Aucune autre bibliothèque Barrel
- Utilisée par
- Aucune autre bibliothèque Barrel n’en dépend
- Optionnelle dans
barrel_vectordb- Autres dépendances
- Python 3 avec transformers et torch ; un modèle HuggingFace téléchargé à la première utilisation
- Seule
- Oui, sans aucune dépendance Erlang. Il faut Python sur le nœud.
Installation
{barrel_rerank, "~> 1.0"} Configuration
Configuration de start_link/1
| Clé | Défaut | Rôle |
|---|---|---|
python | "python3" | Donnez un chemin absolu si l’installation du venv échoue |
model | cross-encoder/ms-marco-MiniLM-L-6-v2 | Identifiant de modèle HuggingFace |
timeout | 120000 ms | Par requête |
Environnement de l’application (barrel_rerank)
| Clé | Défaut | Rôle |
|---|---|---|
venv_path | undefined (priv/.venv) | Emplacement du virtualenv ; sans valeur, priv/.venv de l’application |
Seulement les clés les plus utilisées. Pour toutes les options, voyez la référence de configuration et la référence de l’API.
L’API par tâche
Reclasser
| Tâche | Appel | Renvoie |
|---|---|---|
| Démarrer un serveur de modèle | barrel_rerank:start_link/1 | {ok, Pid} ; non enregistré, un par appel |
| Reclasser des candidats | barrel_rerank:rerank/3,4 | {ok, [{Index, Score}]}, le meilleur en premier, index à partir de 0 |
| Garder les k meilleurs | option top_k | les k premières paires |
| Décrire, vérifier | barrel_rerank:info/1,2, available/1 | {ok, #{model, type}} |
| Arrêter | barrel_rerank:stop/1 | ok |
| Venv | barrel_rerank_venv:ensure_venv/0, venv_path/0, refresh/0 | chemin, ok |
Reclasser trois passages
D’après une exécution vérifiée qui réutilisait un venv existant avec transformers, torch et uvloop.
%% optional: set venv_path after load and before start
ok = application:load(barrel_rerank),
ok = application:set_env(barrel_rerank, venv_path,
"/abs/path/to/.venv"),
{ok, _} = application:ensure_all_started(barrel_rerank),
{ok, S} = barrel_rerank:start_link(#{}),
Docs = [<<"Machine learning is a subset of AI.">>,
<<"Python is a programming language.">>,
<<"Deep learning uses neural networks.">>],
Q = <<"What is machine learning?">>,
io:format("rerank: ~p~n", [barrel_rerank:rerank(S, Q, Docs)]),
io:format("top_k=1: ~p~n",
[barrel_rerank:rerank(S, Q, Docs, #{top_k => 1})]),
ok = barrel_rerank:stop(S). rerank: {ok,[{0,9.581769943237305},
{2,-5.255744457244873},
{1,-9.625640869140625}]}
top_k=1: {ok,[{0,9.581769943237305}]} Limites à connaître
- Les scores sont des logits bruts du cross-encoder (9.58, -5.25 ci-dessus), pas des valeurs entre 0 et 1.
- Si l’installation du venv échoue,
start_link/1lance"python3"par son nom et échoue avec{error, {port_open_failed, enoent}}. Passez unpythonabsolu ou unvenv_pathqui fonctionne. - Le modèle est téléchargé depuis HuggingFace à la première utilisation.