xrag.data package#

Submodules#

xrag.data.loader module#

xrag.data.qa_loader module#

xrag.data.qa_loader.build_split(answers, questions, supporting_facts, title2id, title2sentences)[source]#
xrag.data.qa_loader.generate_qa_from_folder(folder_path, output_file, num_questions_per_file=3, sentence_length=-1)[source]#

从文件夹中读取所有文件,使用 LLM 生成问答对,并保存为指定格式的 JSON 文件

Parameters:
  • folder_path (str) – 包含文档的文件夹路径

  • output_file (str) – 输出的 JSON 文件路径

  • num_questions_per_file (int) – 每个文件生成的问题数量

xrag.data.qa_loader.get_documents(title2sentences, title2id)[source]#
xrag.data.qa_loader.get_qa_dataset(dataset_name, files=None)[source]#
xrag.data.qa_loader.test_file_loading(folder_path)[source]#

测试文件加载功能,详细检查每个步骤

Parameters:

folder_path (str) – 要测试的文件夹路径

Module contents#