💡 年化收益53%案例深度解析

本章是全书重点，详细讲解了强化学习交易系统。这里解析如何复现53%年化收益：

1. 核心配置参数

# 复现53%年化收益的关键参数
config = {
    # 环境
    'initial_balance': 1000000,
    'transaction_cost': 0.001,  # 0.1%手续费
    'lookback': 20,  # 20天历史
    
    # PPO参数
    'learning_rate': 3e-4,
    'n_steps': 2048,
    'batch_size': 64,
    'n_epochs': 10,
    'gamma': 0.99,
    'gae_lambda': 0.95,
    
    # 训练
    'total_timesteps': 500000,  # 充分训练
    'eval_freq': 10000
}

2. 状态空间设计（最关键！）

def get_state(env):
    """精心设计的状态向量"""
    state = []
    
    # 1. 价格特征（归一化）
    state.extend([
        env.close / env.close_ma20,  # 相对MA20位置
        env.high / env.close,  # 上影线
        env.low / env.close,   # 下影线
    ])
    
    # 2. 技术指标
    state.extend([
        env.returns / env.volatility,  # 风险调整收益
        env.rsi / 100,
        env.macd_signal,
    ])
    
    # 3. 账户状态
    portfolio_value = env.balance + env.shares * env.close
    state.extend([
        env.balance / env.initial_balance,
        portfolio_value / env.initial_balance,
        env.shares * env.close / portfolio_value,  # 仓位比例
    ])
    
    return np.array(state, dtype=np.float32)

3. 奖励函数设计

def calculate_reward(env):
    """多目标奖励函数"""
    # 收益奖励
    portfolio_return = (env.portfolio_value - env.prev_portfolio_value) / env.prev_portfolio_value
    
    # 风险惩罚
    volatility = env.returns_history[-20:].std()
    risk_penalty = -0.5 * volatility
    
    # 交易成本惩罚（抑制过度交易）
    if env.traded:
        cost_penalty = -0.001
    else:
        cost_penalty = 0
    
    # 夏普比率奖励
    if len(env.returns_history) > 20:
        sharpe = np.mean(env.returns_history[-20:]) / np.std(env.returns_history[-20:])
        sharpe_bonus = 0.1 * sharpe
    else:
        sharpe_bonus = 0
    
    return portfolio_return + risk_penalty + cost_penalty + sharpe_bonus

4. 训练技巧

# 使用多环境并行
from stable_baselines3.common.vec_env import SubprocVecEnv

def make_env():
    return StockTradingEnv(data)

envs = SubprocVecEnv([make_env for _ in range(4)])  # 4个并行环境

# PPO训练
model = PPO(
    'MlpPolicy',
    envs,
    learning_rate=3e-4,
    n_steps=2048,
    batch_size=64,
    verbose=1
)

model.learn(total_timesteps=500000)

5. 性能优化建议

6. 实战建议

# 回测验证
def validate_model(model, test_data):
    env = StockTradingEnv(test_data)
    obs = env.reset()
    
    done = False
    while not done:
        action, _ = model.predict(obs, deterministic=True)
        obs, reward, done, info = env.step(action)
    
    # 计算指标
    returns = pd.Series(env.portfolio_history).pct_change()
    sharpe = returns.mean() / returns.std() * np.sqrt(252)
    
    print(f"夏普比率: {sharpe:.2f}")
    print(f"总收益: {(env.portfolio_history[-1]/env.initial_balance - 1):.2%}")

核心要点：

1. 状态设计比模型选择更重要
2. 奖励函数决定学习方向
3. 交易成本设置要真实
4. 样本外验证不可少