最佳实践
信息
目前,Wren AI 是使用 OpenAI 模型设计的。我们理解为不同的模型定制提示词可能对您很重要。然而,目前您无法在 Wren AI 中自定义提示词,并且一些社区成员已经提出了这个功能请求。您可以关注这个问题以获取最新状态,并在此处提供您的反馈。
警告
更改 ~/.wrenai/config.yaml
的配置后,您需要使用启动器重启 Wren AI 并选择“自定义”选项以应用更改。
- 设置 Langfuse 以追踪 Wren AI 的性能和问题。
- 首先使用您能承受的最强大的模型。这样您就可以了解当前该模型的极限。如果您对性能满意,可以就此打住;或者如果您想节省成本并改进延迟,可以尝试使用较弱的模型。
- 如果您通过启动器使用 OpenAI 模型,我们将自动跳过“列裁剪”步骤。这可以提高问答的延迟,并防止丢失任何您想保留的表或列。如果您使用其他模型,可以在
~/.wrenai/config.yaml
中将allow_using_db_schemas_without_pruning
参数的值设置为true
来达到相同的效果。但是,这可能会向模型馈送更多的 token,并超出模型的 token 限制。 - 如果您想进一步降低问答的延迟,可以在
~/.wrenai/config.yaml
文件中尝试以下方法:(警告:这可能会影响问答的性能。)- 定义
allow_intent_classification: false
以禁用意图分类步骤。 - 定义
allow_sql_generation_reasoning: false
以禁用 SQL 生成推理步骤。
- 定义
- 在索引 MDL 时,如果您的列过多以至于超出模型的 token 限制,您可以尝试减小
column_indexing_batch_size
参数的大小来选择您想使用的列。 - 默认情况下,Wren AI 从向量数据库中检索排名前 10 的表。您可以根据需要更改
~/.wrenai/config.yaml
文件中table_retrieval_size
的值。