跳到主要内容

最佳实践

信息

目前,Wren AI 是使用 OpenAI 模型设计的。我们理解为不同的模型定制提示词可能对您很重要。然而,目前您无法在 Wren AI 中自定义提示词,并且一些社区成员已经提出了这个功能请求。您可以关注这个问题以获取最新状态,并在此处提供您的反馈。

警告

更改 ~/.wrenai/config.yaml 的配置后,您需要使用启动器重启 Wren AI 并选择“自定义”选项以应用更改。

  1. 设置 Langfuse 以追踪 Wren AI 的性能和问题。
  2. 首先使用您能承受的最强大的模型。这样您就可以了解当前该模型的极限。如果您对性能满意,可以就此打住;或者如果您想节省成本并改进延迟,可以尝试使用较弱的模型。
  3. 如果您通过启动器使用 OpenAI 模型,我们将自动跳过“列裁剪”步骤。这可以提高问答的延迟,并防止丢失任何您想保留的表或列。如果您使用其他模型,可以在 ~/.wrenai/config.yaml 中将 allow_using_db_schemas_without_pruning 参数的值设置为 true 来达到相同的效果。但是,这可能会向模型馈送更多的 token,并超出模型的 token 限制。
  4. 如果您想进一步降低问答的延迟,可以在 ~/.wrenai/config.yaml 文件中尝试以下方法:(警告:这可能会影响问答的性能。)
    • 定义 allow_intent_classification: false 以禁用意图分类步骤。
    • 定义 allow_sql_generation_reasoning: false 以禁用 SQL 生成推理步骤。
  5. 在索引 MDL 时,如果您的列过多以至于超出模型的 token 限制,您可以尝试减小 column_indexing_batch_size 参数的大小来选择您想使用的列。
  6. 默认情况下,Wren AI 从向量数据库中检索排名前 10 的表。您可以根据需要更改 ~/.wrenai/config.yaml 文件中 table_retrieval_size 的值。