在当下的技术界，生成型人工智能（GenAI）正受到热烈的讨论。它是AI的一部分，主要致力于创造新型内容，包括文本、图片或音乐等。大型语言模型（LLM）是其中一种受欢迎的GenAI组件，能够根据给定的提示生成类似人类的文字。
检索增强生成（RAG）是一种能够提升生成型AI模型精确度和可靠性的技术，它通过将模型与外部的知识源结合起来实现增强。尽管现在大部分的GenAI应用和相关内容都是围绕Python及其生态系统来开发的，但如果你想使用Java来开发GenAI应用，你该怎么办呢？
Spring AI
Spring AI 是一个用于在 Java 中构建生成型 AI 应用程序的框架。它提供了一套工具和实用程序，以便使用生成型 AI 模型和架构，例如大型语言模型（LLM）和检索增强生成（RAG）。
Spring AI 建立在Spring Framework之上。这使得那些已经熟悉或参与Spring生态系统的开发者能够将生成型 AI 策略集成到他们现有的应用程序和工作流程中。
在 Java 中还有其他生成型 AI 的选项，比如 Langchain4j，但我们在这篇文章中将重点介绍 Spring AI。
如何开始
要开始使用 Spring AI，你需要创建一个新项目或者向现有项目中添加合适的依赖。你可以使用 Spring Initializr（https://start.spring.io/）创建一个新项目。
在创建新项目时，你需要添加以下依赖项：
- Spring Web - OpenAI（或其他LLM模型，如Mistral、Ollama等）
- Neo4j 向量数据库（也有其他向量数据库选项）
- Spring Data Neo4j
配置好你的项目依赖后，你就可以着手构建你的生成型AI应用了。你可以利用Spring Web的功能来创建API，通过这些API与你的AI模型交互。
Spring Data Neo4j则可以帮助和Neo4j数据库集成，在需要使用到RAG（检索增强生成）时对外部知识源进行查询。
Spring Web依赖项允许我们为生成型AI应用创建REST API。我们需要OpenAI dependency来访问OpenAI模型。而Neo4j向量数据库依赖项则让我们能存储和查询向量，这些向量用于相似度搜索。
最后，添加Spring Data Neo4j依赖项提供了在Spring应用中操作Neo4j数据库的支持，使我们能够在Neo4j中运行Cypher查询并将实体映射到Java对象。
现在，生成项目，然后在你最喜欢的IDE中打开它。查看pom.xml文件，你应该会看到里面包含了里程碑仓库。由于Spring AI还没有正式发布，我们需要引入里程碑仓库来获取依赖项的预发布版本。
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-neo4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-neo4j-store-spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bom</artifactId>
<version>${spring-ai.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>一些 Boilerplate
首先，我们需要一个 Neo4j 数据库。我喜欢使用 Neo4j Aura 的免费版，因为实例将被管理，但也可以使用 Docker 镜像或其他方法。
取决于您选择的 LLM 模型，您还需要 API 密钥。对于 OpenAI，可以通过在 OpenAI 注册账户获取一个。
一旦你拥有了 Neo4j 数据库和一个API密钥，你就可以在 application.properties文件中设置相关配置。下面是一个示例：
spring.ai.openai.api-key=<YOUR API KEY HERE>
spring.neo4j.uri=<NEO4J URI HERE>
spring.neo4j.authentication.username=<NEO4J USERNAME HERE>
spring.neo4j.authentication.password=<NEO4J PASSWORD HERE>
spring.data.neo4j.database=<NEO4J DATABASE NAME HERE>我们可以为Neo4j driver、OpenAI client和Neo4j向量存储设置Spring Bean。
我们可以将这段代码添加到 SpringAiApplication 类中：
@Bean
public Driver driver() {
return GraphDatabase.driver(System.getenv("SPRING_NEO4J_URI"),
AuthTokens.basic(System.getenv("SPRING_NEO4J_AUTHENTICATION_USERNAME"),
System.getenv("SPRING_NEO4J_AUTHENTICATION_PASSWORD")));
}
@Bean
public EmbeddingClient embeddingClient() {
return new OpenAiEmbeddingClient(new OpenAiApi(System.getenv("SPRING_AI_OPENAI_API_KEY")));
}
@Bean
public Neo4jVectorStore vectorStore(Driver driver, EmbeddingClient embeddingClient) {
return new Neo4jVectorStore(driver, embeddingClient,
Neo4jVectorStore.Neo4jVectorStoreConfig.builder()
.withLabel("Review")
.withIndexName("review-embedding-index")
.build());
}Driver bean 创建了连接到 Neo4j 数据库的实例，通过传递我们的实例凭证（在本案中来自环境变量）。EmbeddingClient bean 创建了 OpenAI API 的客户端，并将我们的 API 密钥环境变量作为参数。最后，Neo4jVectorStore bean 配置了 Neo4j 作为嵌入向量的存储库。
我们通过指定nodes Label来定制配置，这些节点将用于存储嵌入向量，因为 Spring 的默认行为是 Document Entity。同时，我们还指定了 embeddings（vector）的索引名称，缺省值为 spring-ai-document-index。
本例中，我们将使用 Goodreads 的图书和评论数据集。你可以从这里下载。该数据集中包含了关于图书的信息，以及相关的评论。
我已经使用 OpenAI 的 API 生成了嵌入向量，所以如果你想自己生成，需要注释掉脚本中的最后一条 Cypher 语句，运行 generate-embeddings.py 脚本（或你的自定义版本）来生成和加载到 Neo4j 中的评论嵌入向量。
应用模型
下一步，我们需要在我们的应用程序中创建一个领域模型，以映射到数据库模型。在这个示例中，我们将创建一个 Book 实体，它表示一本书籍。我们还将创建一个 Review 实体，它代表对某本书的评论。这两个实体都有相应的向量（embedding），用于进行相似搜索。
我们还需要定义一个存储接口，以便与数据库交互。
public interface BookRepository extends Neo4jRepository<Book, String> {
}下面是应用程序的核心部分，controller将包含用户提供的搜索短语逻辑，并调用Neo4j Vector Store来计算并返回最相似的结果。
我们可以将这些相似的评论传递给Neo4j查询以检索相关record。LLM会使用所有提供的信息，对原始搜索词进行响应，并推荐一些类似书籍。
Controller
下一步是定义我们的Prompt。我们将使用用户提供的搜索短语和数据库中找到的相似评论来填充prompt参数。
@RestController
@RequestMapping("/")
public class BookController {
private final OpenAiChatClient client;
private final Neo4jVectorStore vectorStore;
private final BookRepository repo;
String prompt = """
You are a book expert with high-quality book information in the CONTEXT section.
Answer with every book title provided in the CONTEXT.
Do not add extra information from any outside sources.
If you are unsure about a book, list the book and add that you are unsure.
CONTEXT:
{context}
PHRASE:
{searchPhrase}
""";
public BookController(OpenAiChatClient client, Neo4jVectorStore vectorStore, BookRepository repo) {
this.client = client;
this.vectorStore = vectorStore;
this.repo = repo;
}
//Retrieval Augmented Generation with Neo4j - vector search + retrieval query for related context
@GetMapping("/rag")
public String generateResponseWithContext(@RequestParam String searchPhrase) {
List<Document> results = vectorStore.similaritySearch(SearchRequest.query(searchPhrase).withTopK(5).withSimilarityThreshold(0.8));
//more code shortly!
}
}最后，我们定义了一个方法，该方法将在用户向 /rag 端点发送 GET 请求时被调用。这个方法首先从查询参数中获取搜索短语，然后将其传递给矢量存储库的 similaritySearch() 方法，以查找相似评论。我还添加了一些自定义过滤器到查询中，限制结果数量为五个（.withTopK(5)）并只提取最相似的结果（withSimilarityThreshold(0.8)）。
以下是 Spring AI 相似搜索方法 similaritySearch() 的实际实现。
@Override
public List<Document> similaritySearch(SearchRequest request) {
Assert.isTrue(request.getTopK() > 0, "The number of documents to returned must be greater than zero");
Assert.isTrue(request.getSimilarityThreshold() >= 0 && request.getSimilarityThreshold() <= 1,
"The similarity score is bounded between 0 and 1; least to most similar respectively.");
var embedding = Values.value(toFloatArray(this.embeddingClient.embed(request.getQuery())));
try (var session = this.driver.session(this.config.sessionConfig)) {
StringBuilder condition = new StringBuilder("score >= $threshold");
if (request.hasFilterExpression()) {
condition.append(" AND ")
.append(this.filterExpressionConverter.convertExpression(request.getFilterExpression()));
}
String query = """
CALL db.index.vector.queryNodes($indexName, $numberOfNearestNeighbours, $embeddingValue)
YIELD node, score
WHERE %s
RETURN node, score""".formatted(condition);
return session
.run(query,
Map.of("indexName", this.config.indexName, "numberOfNearestNeighbours", request.getTopK(),
"embeddingValue", embedding, "threshold", request.getSimilarityThreshold()))
.list(Neo4jVectorStore::recordToDocument);
}
}然后，我们将相似的 Review 节点映射回Document entities，因为 Spring AI 期待一个通用的document 类型。Neo4jVectorStore 类包含将document转换为record，以及反向的record到document转换方法。下面展示了这些方法的实际实现。
private Map<String, Object> documentToRecord(Document document) {
var embedding = this.embeddingClient.embed(document);
document.setEmbedding(embedding);
var row = new HashMap<String, Object>();
row.put("id", document.getId());
var properties = new HashMap<String, Object>();
properties.put("text", document.getContent());
document.getMetadata().forEach((k, v) -> properties.put("metadata." + k, Values.value(v)));
row.put("properties", properties);
row.put(this.config.embeddingProperty, Values.value(toFloatArray(embedding)));
return row;
}
private static Document recordToDocument(org.neo4j.driver.Record neoRecord) {
var node = neoRecord.get("node").asNode();
var score = neoRecord.get("score").asFloat();
var metaData = new HashMap<String, Object>();
metaData.put("distance", 1 - score);
node.keys().forEach(key -> {
if (key.startsWith("metadata.")) {
metaData.put(key.substring(key.indexOf(".") + 1), node.get(key).asObject());
}
});
return new Document(node.get("id").asString(), node.get("text").asString(), Map.copyOf(metaData));
}在我们为书籍推荐的controller中，我们现在已经获得了用户搜索词语相似的评论。但是，这些评论（及其附件文本）并不能真正地帮助我们给出书籍推荐。因此，现在我们需要在 Neo4j 中运行一个查询，以获取这些评论相关的图书。这就是应用程序中的检索增强生成（RAG）部分。
让我们在 BookRepository 接口中编写查询，来找到与这些评论相关的图书。
public interface BookRepository extends Neo4jRepository<Book, String> {
@Query("MATCH (b:Book)<-[rel:WRITTEN_FOR]-(r:Review) " +
"WHERE r.id IN $reviewIds " +
"AND r.text <> 'RTC' " +
"RETURN b, collect(rel), collect(r);")
List<Book> findBooks(List<String> reviewIds);
}我们在查询中传递了来自相似搜索的评论ID（$reviewIds），并提取这些评论对应的“Review → Book”模式。同时，我们过滤掉任何包含文本‘RTC’（这是用于不含文字评价的占位符）的评语。最后，我们返回书籍节点、关系和 Review 节点。
现在，我们需要在控制器中调用该方法，并将结果传递给提示模板。我们将把它传递给LLM，以生成基于用户搜索短语的图书推荐列表
//Retrieval Augmented Generation with Neo4j - vector search + retrieval query for related context
@GetMapping("/rag")
public String generateResponseWithContext(@RequestParam String searchPhrase) {
List<Document> results = vectorStore.similaritySearch(SearchRequest.query(searchPhrase).withTopK(5).withSimilarityThreshold(0.8));
List<Book> bookList = repo.findBooks(results.stream().map(Document::getId).collect(Collectors.toList()));
var template = new PromptTemplate(prompt, Map.of("context", bookList.stream().map(b -> b.toString()).collect(Collectors.joining("\n")), "searchPhrase", searchPhrase));
System.out.println("----- PROMPT -----");
System.out.println(template.render());
return client.call(template.create().getContents());
}从相似搜索开始，我们调用新的findBooks()方法，并将相似搜索结果中的书评ID列表传递给它。检索查询返回一个名为bookList的图书列表。
接下来，我们创建了一个提示模板，使用prompt字符串、来自图形数据的上下文信息和用户的搜索短语作为参数，将context和searchPhrase映射到graph数据（每个项目占一行）中，并将用户搜索短语分别映射到这些参数中。
最后，我们调用template的create()方法生成来自LLM的响应。返回的JSON对象包含了基于用户搜索短语的一系列图书推荐，contents键对应于response字符串。
现在，让我们测试一下！
功能测试
http ":8080/rag?searchPhrase=happy%20ending"
http ":8080/rag?searchPhrase=encouragement"
http ":8080/rag?searchPhrase=high%tech"Application log output:
----- PROMPT -----
You are a book expert with high-quality book information in the CONTEXT section.
Answer with every book title provided in the CONTEXT.
Do not add extra information from any outside sources.
If you are unsure about a book, list the book and add that you are unsure.
CONTEXT:
Book[book_id=772852, title=The Cross and the Switchblade, isbn=0515090255, isbn13=9780515090253, reviewList=[Review[id=f70c68721a0654462bcc6cd68e3259bd, text=encouraging, rating=4]]]
Book[book_id=89375, title=90 Minutes in Heaven: A True Story of Death and Life, isbn=0800759494, isbn13=9780800759490, reviewList=[Review[id=85ef80e09c64ebd013aeebdb7292eda9, text=inspiring & hope filled, rating=5]]]
Book[book_id=1488663, title=The Greatest Gift: The Original Story That Inspired the Christmas Classic It's a Wonderful Life, isbn=0670862045, isbn13=9780670862047, reviewList=[Review[id=b74851666f2ec1841ca5876d977da872, text=Inspiring, rating=4]]]
Book[book_id=7517330, title=The Art of Recklessness: Poetry as Assertive Force and Contradiction, isbn=1555975623, isbn13=9781555975623, reviewList=[Review[id=2df3600d488e182a3ef06bff7fc82eb8, text=Great insight, great encouragement, and great company., rating=4]]]
Book[book_id=27802572, title=Aligned: Volume 1 (Aligned, #1), isbn=1519114796, isbn13=9781519114792, reviewList=[Review[id=60b9aa083733e751ddd471fa1a77535b, text=healing, rating=3]]]
PHRASE:
encouragement我们可以看到，LLM生成了一份基于数据库中书籍的图书推荐列表。该回答使用了prompt中的相似搜索+图形检索查询结果，该数据用于构建响应。
总结
在今天的文章中，简单介绍了如何使用 Java 和 Spring AI 建立一个 GenAI 应用程序。
我们使用 OpenAI 模型根据用户搜索短语生成图书推荐。
同时，我们也将领域模型映射到数据库模型，编写了一個 repository 接口来与数据库交互，并创建了控制器类来处理用户请求和生成响应。
我希望这篇文章能够帮助你开始使用 Spring AI 。Good Luck！