通过对话行为图模拟目标状态管理器和响应模板可以模拟用户与机器人聊天完成目标中定义的任务。
每个目标实例用于模拟一段对话。为了评估性能意图查询用于测试意图模型所有其他槽位用于探测模型。更重要的是根据测试目标是否成功完成还可以获得端到端对话级性能例如目标任务完成率。对话通过自动调用进行从而节省了昂贵且耗时的手动机器人测试工作。
下图展示了机器人与之间如何通过机器人进行对话的示例。调用检索机器人消息。基于对话行为图匹配的对话行为基于规则的状态管理器应用相应的规则生成用户对话行为。然后模板将这些行为转换为自然语言响应并通过发送回机器人。当任务成功完成或捕获到错误时对话结束。
修复器具有见解和建议的多粒度机器人健康仪表板
根据模拟对话修复程序执行错误分析和性能聚合以在交互式仪表板中生成整体多粒度机器人健康报告
之前完成的测试会话的历史测试性能比较
整体测试会话性能
详细的对话特定的性能包括意图和性能
修复工具还提供切实可行的建议帮助用户解决一些已发现的问题。这些建议包括
为了改进意图模型可以将错误分类的释义意图查询过滤掉并将其添加到原始训练集中以重新训练 手机号数据库列表 意图模型。
为了减少意图之间的歧义如果意图语句的释义都被预测为另一个意图则应考虑将其移至预测意图的训练集中。如果这样的意图语句有很多则可能需要重新设计意图。
修复器还配备了一套对话分析工具以提高模拟结果的可解释性。这些工具可以帮助用户更好地理解他们当前的机器人系统并确定修复工作的优先级。它们包括交互式混淆矩阵分析用于识别表现最差的意图。该分析还识别出一些潜在的意图集群以供进一步研究。
请注意这些补救建议仅供参考并非严格遵循。它们还可以扩展融入领域专业知识并通过仪表板向用户展示。