需求背景
目前有项目会涉及到向量的存储和计算，以前的传统搜索引擎lucene系产品和其他数据库貌似都无法没有比较良好有效的解决方案。对于机器学习领域来说，大部分经过训练后的模型都是以特征向量的方式呈现的，所以特征向量的存储和搜索也就是必要的了。
依赖相关
- faiss facebook开源的一个库，C++编写，提供了python接口，专门提供了向量存储搜索等相关服务
- anconda python的一种科学计算的环境，facebook会将包推送到anconda，用这个解释器可以大大方便安装faiss，反正我是没手动编译成功
- pycharm 不解释
测试标准
维度：128/256
数据量级：100万/500万/1千万
关注点：效率 内存占用
| 维度 | 数据量 | 平均查询耗时(取最优) (ms) | 内存占用(GB) |
|---|---|---|---|
| 128 | 100万 | 0.024 | 1.552 |
| 128 | 500万 | 0.047 | 5.504 |
| 128 | 1千万 | ||
| 256 | 100万 | 0.042 | 2.528 |
| 256 | 500万 | ||
| 256 | 1千万 |
以目前我的笔记本的内存条的情况只足够跑出上面这3种情况，但基本可以反映出内存和耗时的增长情况，其中耗时大部分情况下不是问题，内存如果上服务器影响也不大。
其他问题
以下是一些我关心的问题找到的官方回答或者从文档中翻出来的点
工程人员的悲哀就是永远只会想着这个东西能不能用，怎么高并低延不要蹦。。
Q.faiss索引是否支持动态增删
Concurrent search/add or add/add are not supported. There is no locking mechanism in place to protect against this, so the calling code should maintain a lock.
不支持并发搜索/添加或添加/添加。 没有锁定机制来防止这种情况，因此调用代码应保持锁定。
上面的文档也没有很明确的说明是否可以动态增删，只是说会有同步危险，
If punctual removals are needed it is probably more efficient to maintain a blacklist of vectors outside the index code
如果需要准时删除，则在索引代码之外维护向量黑名单可能更有效
HNSW does not require training and does not support removing vectors from the index.
HNSW不支持从索引中删除向量
Q.为什么查询单个向量比查询批量向量慢
Matrix-matrix multiplications are often much faster than the corresponding amount of matrix-vector multiplications.
矩阵 - 矩阵乘法通常比相应的矩阵 - 向量乘法量快得多。
Q.是否可以将生成的索引从RAM固化到硬盘中
可以通过以下两个方法来进行存储和读取
tmpindex = 'index/tmp.index'
faiss.write_index(index, tmpindex)
index = faiss.read_index(tmpindex)
Q.HNSW使用什么距离索引
目前没有找到HNSW索引提供可以更改索引距离类型的API，从官方wiki上介绍如何选择索引类型时找到依据如下
Choosing an index is not obvious, so here are a few essential questions that can help in the choice of an index. They are mainly applicable for L2 distances.
选择索引并不明显，因此这里有一些基本问题可以帮助选择索引。 它们主要适用于L2距离。
Q.HNSW如何让id和矢量数据关联
使用id_map，方式如下
index = faiss.IndexHNSWFlat(d, 32) # build the index
index2 = faiss.IndexIDMap(index)
index2.add_with_ids(xb, ids)
D, I = index2.search(xq, 20)
这样查出来的结果才能和id对的上，知道查回来了哪条结果
网友评论