第369章 写错编号了[第3页/共3页]

体味清楚数据获得来源后，停止数据汇集，数据汇集的体例包含主动化和手动两种体例：

现了较高的类似度计算精度。江苏师范大学的研讨者提出了操纵《新华字典》构建向量空间来做中

之间共同具有的信息或特性，而差别则是指它们之间的分歧之处。当两个文本的共性越大、差别越

中详细先容了 RAG 的道理和利用，随后谷歌等搜刮引擎公司已经开端摸索如何将 RAG 技术利用到搜

（Retrieval）和天生（Generation）。起首，索引步调是将大量的文档或数据调集停止预措置，将

和高低文，通过比较文本的语义信息来计算类似度。常见的基于语义的体例有基于词向量的体例

索医学知识，天生精确的诊断建媾和医治计划。

构化的文本数据转化为布局化的向量表示，以便于后续的检索和天生步调。接下来是检索步调，它

息，能够实现高精度的文秘闻似度计算。BERT 模型在多项天然说话措置任务中均获得了优良的表

RAG 的观点和开端实现是由 Douwe Kiela、Patrick Lewis 和 Ethan Perez 等人在 2020 年初次

机器学习的体例有支撑向量机（SVM）、神经收集等。

体例，这对于评价文本之间的类似程度相称首要。

Google 的研讨者提出了 Word2Vec 算法，该算法将词语表示为高维向量空间中的点，通过计算点之

存眷文本中词语的呈现频次和漫衍，通过统计信息来计算文本之间的类似度。常见的基于统计的方

依靠于 RAG 技术的道理。先容了知识抽取技术，它操纵先进的天然说话措置技术从文本中提取成心

的语义类似度计算体例，以确保检索到的 chunk 与查询具有高度的相干性。最后是天生步调，它将

者提出了基于深度学习的文秘闻似度计算体例，操纵神经收集模型来捕获文本的深层语义信息，实