之前探索了LLM长上下文和数值类有效输出的关系
https://blog.csdn.net/liliang199/article/details/159175752
这里选用 苹果公司 2023 财年 10-K 年报(约 90 页，约 70K tokens)作为测试文本。
任务包括：
1）直接数值提取：从文本中找出指定财务数据（如总营收、净利润）。
2）基于提取值的计算：如计算“研发费用占总营收的比例”。
3）结构化输出：要求模型以 JSON 格式返回结果，便于程序解析。
将通过两种方式处理长文本：
1）一次性传入，如果模型上下文窗口足够，如 128K context的模型。
2）分块 + 摘要/检索，模拟超长文本无法一次性处理的情况。
1 环境准备
假设openai、faiss等相关工具已按照，这里示例环境设置和数据获取过程。
1.1 设置环境
模拟分块检索需要向量模型，可能存在hf访问问题，所以这里先设置hf国内镜像。
同时设置api key、user_url、model_name等。
import os os.environ['HF_ENDPOINT'] = "https://hf-mirror.com" os.environ['OPENAI_API_KEY'] = "sk-xxxxxx" os.environ['OPENAI_BASE_URL'] = "https://llm_provider.com/v1" model_name = "qwen3-xxxx"这里实际运行采用qwen3.5系列模型。
1.2 数据获取
从 SEC EDGAR 下载苹果 2023 年 10-K 文本，链接如下所示
https://www.sec.gov/Archives/edgar/data/320193/000032019323000106/aapl-20230930.htm
由于是网页数据，这里采用选中所有内容后复制，然后在本地粘贴的方式，在本地构建aapl-20230930.txt文件。
1.3 预估token量
使用 tiktoken 预估 token 数，确保不超过模型限制。
import tiktoken def num_tokens_from_string(string: str, encoding_name: str = "cl100k_base") -> int: encoding = tiktoken.get_encoding(encoding_name) num_tokens = len(encoding.encode(string)) return num_tokens with open("./aapl-20230930.txt") as f: full_text = f.read() tokens = num_tokens_from_string(full_text) print(f"文档 token 数: {tokens}") if tokens < 128000: print("可直接使用128K上下文的模型") else: print("需采用分块策略")输出示例如下
文档 token 数: 45185
可直接使用128K上下文的模型
2 基于单轮对话的提取计算
这里构造提示并调用 API，示例单轮对话的提取计算过程。
2.1 设计示例
首先设计提示词，要求模型提取指定数据并以 JSON 返回，细节如下。
from openai import OpenAI client = OpenAI() def ask_model(document, questions): prompt = f""" 你是一个财务分析专家。以下是苹果公司2023财年10-K年报的部分文本。 请根据文本回答以下问题，并以JSON格式返回结果。JSON键为问题编号，值为对应的答案（数值或字符串）。 文本内容： {document} 问题： {questions} 请直接输出JSON，不要包含其他文字。 """ response = client.chat.completions.create( model=model_name, # 支持128K上下文的模型 messages=[{"role": "user", "content": prompt}], temperature=0, # 降低随机性，提高数值准确性 max_tokens=500 ) return response.choices[0].message.content # 截取前60000 token（若文档超长可截断，此处假设一次性传入） if tokens > 120000: # 简单截断（更优做法是按段落截取，保证完整性） encoding = tiktoken.get_encoding("cl100k_base") encoded = encoding.encode(full_text) truncated = encoding.decode(encoded[:120000]) document = truncated else: document = full_text question_list = [ "1. 2023财年总营收（Total net sales）是多少？请以百万美元为单位，只输出数字。", "2. 2023财年研发费用（Research and Development）是多少？请以百万美元为单位，只输出数字。", "3. 研发费用占总营收的比例是多少？请以百分比形式输出，保留两位小数，如\"15.23%\"。", ] questions = "\n".join(question_list) result = ask_model(document, questions) print(result)返回如下所示
{
"1": 383285,
"2": 29915,
"3": "7.80%"
}
2.2 解析 JSON 并验证
在获取LLM返回后，解析json并进行验证，代码细节如下。
import json import re def extract_json(text): # 从模型输出中提取JSON部分（有时会夹杂额外文本） json_pattern = r'\{.*\}' # 简单匹配，实际可用json.loads尝试 match = re.search(json_pattern, text, re.DOTALL) if match: return json.loads(match.group()) else: return json.loads(text) # 如果整个输出就是JSON try: data = extract_json(result) print("解析结果:", data) # 真实值（根据实际年报） ground_truth = { "1": 383285, # 百万美元，约3833亿美元 "2": 29915, # 约299亿美元 "3": 7.804 # 比例 = 29915/383285 ≈ 7.81% } print("真实值:", ground_truth) # 简单比较 for q, pred in data.items(): gt = ground_truth[q] if q == "3": # 百分比字符串转浮点比较 pred_val = float(pred.strip('%')) print(f"Q{q}: 预测 {pred_val}% vs 真实 {gt}%，误差 {abs(pred_val-gt):.2f}%") else: print(f"Q{q}: 预测 {pred} vs 真实 {gt}，误差 {abs(int(pred)-gt)}") except Exception as e: print("解析失败:", e) print("原始输出:", result)输出示例如下
解析结果: {'1': 383285, '2': 29915, '3': '7.80%'}
真实值: {'1': 383285, '2': 29915, '3': 7.804}
Q1: 预测 383285 vs 真实 383285，误差 0
Q2: 预测 29915 vs 真实 29915，误差 0
Q3: 预测 7.8% vs 真实 7.804%，误差 0.00%
可以在上下文长度允许的情况下，单次传入可以获得精确结果。
3 基于分块+检索的提取计算
这里假设文本远超模型上下文时，这时可采用检索增强生成RAG的思路。
将文档分块，用向量检索相关块，再将相关块送入模型。
3.1 分块与向量化
这里将文本划分为1000大小块，使用all-MiniLM-L6-v2将分块文本转向量，使用faiss管理向量。
from sentence_transformers import SentenceTransformer import numpy as np import faiss # 分块函数（按段落或固定长度） def chunk_text(text, chunk_size=500, overlap=50): words = text.split() chunks = [] for i in range(0, len(words), chunk_size - overlap): chunk = ' '.join(words[i:i+chunk_size]) chunks.append(chunk) return chunks chunks = chunk_text(full_text, chunk_size=1000) # 每个块约1000词 print(f"分块数量: {len(chunks)}") # 生成向量（使用轻量模型） model = SentenceTransformer('all-MiniLM-L6-v2') chunk_embeddings = model.encode(chunks, show_progress_bar=True) # 构建FAISS索引 dimension = chunk_embeddings.shape[1] index = faiss.IndexFlatL2(dimension) index.add(np.array(chunk_embeddings))示例如下
分块数量: 32
Batches: 100%|██████████| 1/1 [00:00<00:00, 1.38it/s]
3.2 检索与问答
在将full_text文本向量化后，这里进行分块检索和LLM回答示例，代码如下所示。
def retrieve_relevant_chunks(query, k=3): query_emb = model.encode([query]) distances, indices = index.search(query_emb, k) return [chunks[i] for i in indices[0]] def ask_with_rag(questions): # 将多个问题合并成一个查询，检索相关块 combined_query = " ".join(questions.values() if isinstance(questions, dict) else questions) relevant = retrieve_relevant_chunks(combined_query, k=5) context = "\n\n---\n\n".join(relevant) prompt = f""" 根据以下从苹果10-K年报中提取的相关段落，回答问题。以JSON格式返回。 相关段落： {context} 问题： 1. 2023财年总营收（Total net sales）是多少？以百万美元为单位。 2. 2023财年研发费用（Research and Development）是多少？以百万美元为单位。 3. 研发费用占总营收的比例是多少？以百分比形式。 JSON输出示例： {{"1": 383285, "2": 29915, "3": "7.81%"}} """ response = client.chat.completions.create( model=model_name, # 可使用较小模型 messages=[{"role": "user", "content": prompt}], temperature=0, max_tokens=300 ) return response.choices[0].message.content questions_dict = { "1": "2023财年总营收", "2": "2023财年研发费用", "3": "研发费用占总营收的比例" } rag_result = ask_with_rag(questions_dict) print(rag_result)输出如下
{
"1": 383285,
"2": 29915,
"3": "7.80%"
}
4 数值可靠性增强技巧
以上示例了基于LLM以及RAG，对苹果财报的总营收、研发投入，以及研发占比进行提取和计算。
实现逻辑简单清洗，然而在实际案例中，可能需要提取更复杂的数据。
数据可能不是显式分布，可能更隐蔽，更难发现，这时可能要采用更可靠的增强技巧。
比如CoT、取均值、以及应用外部计算工具。
1）思维链多步推理
要求模型先解释推理过程，再给出数值，可减少计算错误。
cot_prompt = """ 请逐步推理并计算： 1. 从文本中找到总营收数字。 2. 找到研发费用数字。 3. 计算比例。 最后以JSON输出结果。 """2）多次运行取均值
temperature能调节模型的灵敏度，多次采用不同的temperature采样，取多数答案或平均值。
另外，采用幂采样的方式优化模型输出，也能获得更好的结果，缺点是会拖慢处理速度。
参考链接如下
https://blog.csdn.net/liliang199/article/details/154833697
3）应用外部计算工具
LLM运行计算并不是总是可靠的，有可能出现幻觉，导致计算错误。
让模型输出表达式，用 Pythoneval()执行计算，可以避免模型内部计算错误，示例如下。
calc_prompt = """ 请输出一个Python表达式来计算研发费用占比，例如 "x / y * 100"，其中x和y是提取的数字。 """该方法的前提是数据已就绪，否值还需要补充数据提取和清洗过程。
reference
---
LLM长上下文和数值类有效输出的关系探索
https://blog.csdn.net/liliang199/article/details/159175752
如何基于幂采样优化LLM推理-原理&代码&示例
https://blog.csdn.net/liliang199/article/details/154833697
