第369章 写错编号了[第2页/共3页]

文秘闻似度计算能够按照分歧的分类标准停止分类。起首基于统计的体例分类，这类体例首要

和高低文，通过比较文本的语义信息来计算类似度。常见的基于语义的体例有基于词向量的体例

然此体例更费时，但有助于获得更全面的数据集，特别是一些最新或尚未公开的研讨服从。

的语义类似度计算体例，以确保检索到的 chunk 与查询具有高度的相干性。最后是天生步调，它将

义的信息和知识，随后会商了文本措置中所利用的 RAG 技术，该技术能够显着进步大型说话模型在

终的答案或文本。这个模型连络了原始查询的语义信息和检索到的相干高低文，以天生精确、连贯

Google 的研讨者提出了 Word2Vec 算法，该算法将词语表示为高维向量空间中的点，通过计算点之

手动汇集：通过拜候图书馆、研讨机构以及联络文章作者等体例获得不易主动下载的资本。虽

RAG（Retrieval-Augmented Generation）技术是一种连络了信息检索（Retrieval）和文本生

现了较高的类似度计算精度。江苏师范大学的研讨者提出了操纵《新华字典》构建向量空间来做中

体味清楚数据获得来源后，停止数据汇集，数据汇集的体例包含主动化和手动两种体例：

数据，部分代码如图 3.2 所示。这类体例的长处是效力高，能够大量快速地汇集数据。利用

中详细先容了 RAG 的道理和利用，随后谷歌等搜刮引擎公司已经开端摸索如何将 RAG 技术利用到搜

其豆割成较小的块（chunk）并停止编码，然后存储在向量数据库中。这个过程的关头在于将非结

索医学知识，天生精确的诊断建媾和医治计划。

机器学习的体例有支撑向量机（SVM）、神经收集等。

总，共获得 507 篇。

inventory），以及数据的时候、地点、获得体例、技术细节的文献作为最后利用的数据。查对内容

2.4 文秘闻似度计算

本之间的类似程度。文秘闻似度计算的道理基于两个首要观点：共性和差别。共性指的是两个文本

数据洗濯：删除反复的记录，校订弊端的数据格局，弥补缺失值。

（如 Word2Vec、GloVe 等）和基于主题模型的体例（如 LDA、PLSA 等）。最后是基于机器学习的方

息，能够实现高精度的文秘闻似度计算。BERT 模型在多项天然说话措置任务中均获得了优良的表

将两种体例汇集到的文献数据停止汇总，最大范围的将有关电力 LCA 范畴的英文文献停止汇