PRICE: A Systematic Study of LLM Adaptation Choices for Bitcoin Price Forecasting

📄 arXiv: 2609.05235v1 📥 PDF

作者: Maryam Fakhari, Mehran Safayani

分类: cs.LG, cs.AI, math.NA

发布日期: 2026-09-04

💡 一句话要点

提出PRICE系统以解决比特币价格预测中的LLM适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 比特币预测 大型语言模型 时间序列分析 金融市场 模型适应性 递归推理 参数高效微调 量化模型

📋 核心要点

  1. 现有的时间序列预测方法在面对加密货币市场的高波动性和非平稳性时表现不佳，难以提供准确的预测结果。
  2. 论文提出PRICE系统，通过结合多种适应性选择，系统性地改进LLMs在比特币价格预测中的表现。
  3. 实验结果表明，PRICE在多个基准模型中表现优异，预测误差最低，且在不同评估周期内保持稳健性能。

📝 摘要（中文）

加密货币市场的极端波动性和非平稳动态对传统预测方法构成挑战。尽管大型语言模型（LLMs）在时间序列预测中展现出潜力，但适应选择的综合影响在金融领域尚未得到充分探索。本研究提出PRICE，一个结构化的方法，用于短期比特币价格预测。基于4位量化的LLaMA-3 8B模型，PRICE探讨了微调、数值表示、提示、推理和解码如何共同影响预测性能。通过消融研究显示，每个组件都对预测的准确性和可靠性有所贡献。尽管基于主要预训练于文本的模型，PRICE在验证和测试集上实现了最低的预测误差，展现出竞争力或优越的性能。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLMs）在比特币价格短期预测中的适应性选择对预测性能的影响。现有方法未能充分考虑这些适应选择的综合效果，导致预测准确性不足。

核心思路：PRICE系统通过整合多种适应性策略，如参数高效微调、递归多步推理和整数取整数值表示，来提升LLMs在金融时间序列预测中的表现。这样的设计旨在充分利用LLMs的语言理解能力，同时克服其在数值预测中的局限性。

技术框架：PRICE的整体架构包括多个模块：参数高效微调与低秩适应（LoRA）、递归多步推理、整数取整数值表示、上下文-任务-格式（CTF）提示和精确零温度解码。这些模块协同工作，以优化预测性能。

关键创新：PRICE的主要创新在于将多种适应性选择系统化整合，特别是LoRA的高效训练能力和CTF提示的优越性，使其在处理时间序列数据时表现出色。这与传统方法的单一适应策略形成鲜明对比。

关键设计：在设计中，采用了4位量化的LLaMA-3 8B模型，结合了递归推理和整数取整数值表示，以减少预测误差。此外，CTF提示超越了传统的链式思维和少量示例提示，零温度解码则增强了递归预测的稳定性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PRICE在与八种基于变换器的模型及时间序列基础模型的比较中，验证集和测试集上的预测误差最低，且在不同评估周期内保持稳健表现。尽管基于文本预训练，PRICE的性能在多个基准测试中与专门的基础模型相当或更优。

🎯 应用场景

该研究的潜在应用领域包括金融市场分析、投资决策支持和风险管理。通过提高比特币价格预测的准确性，PRICE系统能够帮助投资者更好地把握市场动态，优化交易策略，降低投资风险。未来，该方法还可扩展至其他加密货币或金融资产的预测任务。

📄 摘要（原文）

Cryptocurrency markets exhibit extreme volatility and non-stationary dynamics that challenge conventional forecasting methods. Although Large Language Models (LLMs) have shown promise for time series forecasting, the combined effects of adaptation choices remain largely unexplored in financial settings. This study introduces PRICE, a structured approach for adapting LLMs to short-term Bitcoin price forecasting. Built on a 4-bit quantized LLaMA-3 8B model, PRICE investigates how fine-tuning, numerical representation, prompting, inference, and decoding jointly influence forecasting performance. PRICE integrates Parameter-efficient fine-tuning with Low-Rank Adaptation (LoRA), Recursive multi-step inference, Integer-rounded numerical representation, Context-Task-Format (CTF) prompting, and Exact zero-temperature decoding. Ablation studies show that each component contributes to forecasting accuracy and reliability. LoRA enables efficient training on limited hardware, recursive inference improves accuracy, integer-rounded values reduce errors, CTF prompting outperforms Chain-of-Thought, Implicit Chain-of-Thought (iCoT), and few-shot prompting, and zero-temperature decoding improves stability during recursive forecasting. Comparative evaluation against eight transformer-based and time-series foundation models shows that PRICE achieves the lowest forecasting errors on both validation and test sets while maintaining robust performance across evaluation periods. Despite being based on a model primarily pretrained on text rather than time-series data, PRICE achieves competitive or superior performance relative to specialized foundation models. These findings demonstrate that adaptation choices critically determine the accuracy and robustness of LLMs for numerical time-series forecasting.