美文网首页
分布式向量搜索引擎

分布式向量搜索引擎

作者: handsomemao666 | 来源:发表于2022-09-06 17:23 被阅读0次

文章:阿里达摩院Proxima 赋能阿里多业务场景,达摩院自研向量检索引擎 Proxima 公开 - 达摩院 (alibaba.com)

摘抄:
人工智能算法可以对物理世界的人/物/场景所产生各种非结构化数据(如语音、图片、视频,语言文字、行为等)进行抽象,变成多维的向量。这些向量如同数学空间中的坐标,标识着各个实体和实体关系。我们一般将非结构化数据变成向量的过程称为 Embedding,而非结构化检索则是对这些生成的向量进行检索,从而找到相应实体的过程。


image.png

非结构化检索本质是向量检索技术,其主要的应用领域如人脸识别、推荐系统、图片搜索、视频指纹、语音处理、自然语言处理、文件搜索等。随着 AI 技术的广泛应用,以及数据规模的不断增长,向量检索也逐渐成了 AI 技术链路中不可或缺的一环,更是对传统搜索技术的补充,并且具备多模态搜索的能力。
如下图所示,以图片搜索为例,我们先以离线的方式对所有历史图片进行机器学习分析,将每一幅图片(或者图片里分割出来的人物)抽象成高维向量特征,然后将所有特征构建成高效的向量索引,当一个新查询(图片)来的时候,我们用同样的机器学习方法对其进行分析并产出一个表征向量,然后用这个向量在之前构建的向量索引中查找出最相似的结果,这样就完成了一次以图片内容为基础的图像检索。


image.png
随着 AI 技术的广泛应用以及数据规模的不断增长,向量检索作为深度学习中的主流方法,其具备的泛检索和多模态搜索的能力也将进一步得到发挥。物理世界的实体和特征,通过向量化技术进行表征和组合,映射到数字世界,借助计算机进行计算和检索,挖掘潜在逻辑和隐式关系,更智能的服务于人类社会。

文章:蚂蚁金服ZSearch蚂蚁金服 ZSearch 在向量检索上的探索 - SegmentFault 思否

milvus

vearch

相关文章

  • 分布式向量搜索引擎

    文章:阿里达摩院Proxima 赋能阿里多业务场景,达摩院自研向量检索引擎 Proxima 公开 - 达摩院 (a...

  • 分布式系统中的时间戳

    参考资料 分布式系统理论基础 - 时间、时钟和事件顺序分布式系统:向量时钟

  • NLP词向量

    词的向量表征,也称为word embedding,词向量是自然语言处理中常见的一个操作,是搜索引擎、广告系统、推...

  • 搜索引擎

    Elasticsearch 分布式搜索引擎 Solr 不是实时的搜索引擎 Lucene 全文检索工具包单独使用Lu...

  • 【es】Elasticsearch 的倒序索引是什么?

    Elasticsearch是一个基于Lucene库的搜索引擎,提供分布式、支持多租户的全文搜索引擎,具有HTTP ...

  • 重磅消息-开源Vearch向量数据库v3.2.0正式发布

    简介:Vearch[https://github.com/vearch/vearch] 是一个分布式向量搜索系统,...

  • springboot——整合资源,搭建实时平台

    elk 简介 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片...

  • ELK安装

    ELK 简介 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片...

  • elasticsearch介绍与java常用api的使用

    Elasticsearch是基于Lucene的一个分布式全文搜索引擎。它有很多优点,比如分布式文件存储,所有字段都...

  • ELK

    架构 Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引...

网友评论

      本文标题:分布式向量搜索引擎

      本文链接:https://www.haomeiwen.com/subject/wywinrtx.html