diff --git a/docs/algo_trader.md b/docs/algo_trader.md index 736d2c19..82e13d58 100644 --- a/docs/algo_trader.md +++ b/docs/algo_trader.md @@ -1,5 +1,5 @@ # 算法交易 -算法交易一般用于把巨型单子拆分成一个个小单，能够有效降低交易成本，冲击成本等。 +算法交易可以用于把巨型单子拆分成一个个小单，能够有效降低交易成本，冲击成本等（冰山算法、狙击手算法)；也可以在设定的阈值内进行高抛低吸操作(网格算法、套利算法）。   @@ -45,6 +45,7 @@ ![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/algo_trader/trading_section.png) 交易配置可以保存在json文件，这样每次打开算法交易模块就不用重复输入配置。其操作是在“算法名称”选项输入该算法设置命名，然后点击下方"保存设置”按钮。保存的json文件在C:\Users\Administrator\\.vntrader文件夹的algo_trading_setting.json中，如图。 + ![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/algo_trader/setting.png) 委托交易界面最下方的“全部停止”按钮用于一键停止所有执行中的算法交易。 diff --git a/docs/csv_loader.md b/docs/csv_loader.md index 6248cb1d..f23ea8b0 100644 --- a/docs/csv_loader.md +++ b/docs/csv_loader.md @@ -10,29 +10,28 @@ CSV载入模块在vnpy根目录下vnpy\app\csv_loader文件夹内，engine.py里 - CSV表头信息：日期时间、开盘价、最高价、最低价、收盘价、成交量 ``` - self.file_path: str = '' + self.file_path: str = "" self.symbol: str = "" self.exchange: Exchange = Exchange.SSE self.interval: Interval = Interval.MINUTE - self.datetime_head: str = '' - self.open_head: str = '' - self.close_head: str = '' - self.low_head: str = '' - self.high_head: str = '' - self.volume_head: str = '' + self.datetime_head: str = "" + self.open_head: str = "" + self.close_head: str = "" + self.low_head: str = "" + self.high_head: str = "" + self.volume_head: str = "" ``` -注：以sql数据库为例： - 合约信息中合约代码是将csv中数据存入至何种品种数据库中。例如在合约代码中填写rb1909，在交易所中填写SHFE，在本地数据库中会有symbol和exchange两个键值用于索引。 - 在csv中，日期时间一列，格式需要为str格式。 +以SQL数据库为例：把上期所的IF1909的历史数据插入到数据库中，那么合约代码应该填写rb1909，交易所中填写SHFE，在本地数据库中会有symbol和exchange两个键值用于索引。 +   ## 数据载入 从文件路径中读取CSV文件，然后在每一次迭代中载入数据到数据库中。 ``` - with open(file_path, 'rt') as f: + with open(file_path, "rt") as f: reader = csv.DictReader(f) for item in reader: @@ -42,7 +41,7 @@ CSV载入模块在vnpy根目录下vnpy\app\csv_loader文件夹内，engine.py里 载入数据的方法可以分成2类： - 直接插入：合约代码、交易所、K线周期、成交量、开盘价、最高价、最低价、收盘价、接口名称 -- 需要处理：日期时间（根据其相应的时间格式，通过strptime()转化成时间元祖）、vt_symbol(合约代码.交易所格式，如rb1905.SHFE) +- 需要处理：日期时间（根据其相应的时间格式，通过strptime()转化成时间元组）、vt_symbol(合约代码.交易所格式，如rb1909.SHFE) 注意：db_bar.replace()用于数据更新，即把旧的数据替换成新的。 ``` diff --git a/docs/cta_backtester.md b/docs/cta_backtester.md index a1307ed7..669a686a 100644 --- a/docs/cta_backtester.md +++ b/docs/cta_backtester.md @@ -1,5 +1,5 @@ # CTA回测模块 -CTA回测模块是基于PyQt5和pyqtgraph的图形化回测工具。启动VN Trader后，在菜单栏中点击“功能-> CTA回测”即可进入该图形化回测界面，如下图。CTA回测模块主要实现3个功能：历史行情数据的下载、策略回测、参数优化。 +CTA回测模块是基于PyQt5和pyqtgraph的图形化回测工具。启动VN Trader后，在菜单栏中点击“功能-> CTA回测”即可进入该图形化回测界面，如下图。CTA回测模块主要实现3个功能：历史行情数据的下载、策略回测、参数优化、K线图表买卖点展示。 ![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/cta_backtester/cta_backtester.png) @@ -35,7 +35,10 @@ CTA回测模块是基于PyQt5和pyqtgraph的图形化回测工具。启动VN Tra ## 下载数据 在开始策略回测之前，必须保证数据库内有充足的历史数据。故vnpy提供了历史数据一键下载的功能。 -下载数据功能主要是基于RQData的get_price()函数实现的。 + +### RQData +RQData提供国内股票、ETF、期货以及期权的历史数据。 +其下载数据功能主要是基于RQData的get_price()函数实现的。 ``` get_price( order_book_ids, start_date='2013-01-04', end_date='2014-01-04', @@ -47,7 +50,7 @@ get_price( 在使用前要保证RQData初始化完毕，然后填写以下4个字段信息： - 本地代码：格式为合约品种+交易所，如IF88.CFFEX、rb88.SHFE；然后在底层通过RqdataClient的to_rq_symbol()函数转换成符合RQData格式，对应RQData中get_price()函数的order_book_ids字段。 -- K线周期：可以填1m、60m、1d，对应get_price()函数的frequency字段。 +- K线周期：可以填1m、1h、d、w，对应get_price()函数的frequency字段。 - 开始日期：格式为yy/mm/dd，如2017/4/21，对应get_price()函数的start_date字段。（点击窗口右侧箭头按钮可改变日期大小） - 结束日期：格式为yy/mm/dd，如2019/4/22，对应get_price()函数的end_date字段。（点击窗口右侧箭头按钮可改变日期大小） @@ -56,13 +59,152 @@ get_price( ![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/cta_backtester/data_loader.png) +  +### IB + +盈透证券提供外盘股票、期货、期权的历史数据。 +下载前必须连接好IB接口，因为其下载数据功能主要是基于IbGateway类query_history()函数实现的。 + +``` + def query_history(self, req: HistoryRequest): + """""" + self.history_req = req + + self.reqid += 1 + + ib_contract = Contract() + ib_contract.conId = str(req.symbol) + ib_contract.exchange = EXCHANGE_VT2IB[req.exchange] + + if req.end: + end = req.end + end_str = end.strftime("%Y%m%d %H:%M:%S") + else: + end = datetime.now() + end_str = "" + + delta = end - req.start + days = min(delta.days, 180) # IB only provides 6-month data + duration = f"{days} D" + bar_size = INTERVAL_VT2IB[req.interval] + + if req.exchange == Exchange.IDEALPRO: + bar_type = "MIDPOINT" + else: + bar_type = "TRADES" + + self.client.reqHistoricalData( + self.reqid, + ib_contract, + end_str, + duration, + bar_size, + bar_type, + 1, + 1, + False, + [] + ) + + self.history_condition.acquire() # Wait for async data return + self.history_condition.wait() + self.history_condition.release() + + history = self.history_buf + self.history_buf = [] # Create new buffer list + self.history_req = None + + return history +``` +  + +### BITMEX + +BITMEX交易所提供数字货币历史数据。 +由于仿真环境与实盘环境行情差异比较大，故需要用实盘账号登录BIMEX接口来下载真实行情数据，其下载数据功能主要是基于BitmexGateway类query_history()函数实现的。 + +``` + def query_history(self, req: HistoryRequest): + """""" + if not self.check_rate_limit(): + return + + history = [] + count = 750 + start_time = req.start.isoformat() + + while True: + # Create query params + params = { + "binSize": INTERVAL_VT2BITMEX[req.interval], + "symbol": req.symbol, + "count": count, + "startTime": start_time + } + + # Add end time if specified + if req.end: + params["endTime"] = req.end.isoformat() + + # Get response from server + resp = self.request( + "GET", + "/trade/bucketed", + params=params + ) + + # Break if request failed with other status code + if resp.status_code // 100 != 2: + msg = f"获取历史数据失败，状态码：{resp.status_code}，信息：{resp.text}" + self.gateway.write_log(msg) + break + else: + data = resp.json() + if not data: + msg = f"获取历史数据为空，开始时间：{start_time}，数量：{count}" + break + + for d in data: + dt = datetime.strptime( + d["timestamp"], "%Y-%m-%dT%H:%M:%S.%fZ") + bar = BarData( + symbol=req.symbol, + exchange=req.exchange, + datetime=dt, + interval=req.interval, + volume=d["volume"], + open_price=d["open"], + high_price=d["high"], + low_price=d["low"], + close_price=d["close"], + gateway_name=self.gateway_name + ) + history.append(bar) + + begin = data[0]["timestamp"] + end = data[-1]["timestamp"] + msg = f"获取历史数据成功，{req.symbol} - {req.interval.value}，{begin} - {end}" + self.gateway.write_log(msg) + + # Break if total data count less than 750 (latest date collected) + if len(data) < 750: + break + + # Update start time + start_time = bar.datetime + TIMEDELTA_MAP[req.interval] + + return history +```   ## 策略回测 下载完历史数据后，需要配置以下字段：交易策略、手续费率、交易滑点、合约乘数、价格跳动、回测资金。 这些字段主要对应BacktesterEngine类的run_backtesting函数。 + +若数据库已存在历史数据，无需重复下载，直接从本地数据库中导入数据进行回测。注意，vt_symbol的格式为品种代码.交易所的形式，如IF1908.CFFEX，导入时会自动将其分割为品种和交易所两部分 + ``` def run_backtesting( self, class_name: str, vt_symbol: str, interval: str, start: datetime, @@ -70,8 +212,7 @@ def run_backtesting( capital: int, setting: dict )： ``` -如果没有RqData用于下载历史数据（一般情况），则可以通过完整填写所有字段，从本地已连接的数据库中导入数据进行回测 -注：本地代码应以品种代码.交易所的形式（导入时会自动将其分割为品种和交易所两部分） + 点击下方的“开始回测”按钮可以开始回测： 首先会弹出如图所示的参数配置窗口，用于调整策略参数。该设置对应的是run_backtesting()函数的setting字典。 @@ -101,6 +242,21 @@ def run_backtesting( ![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/cta_backtester/show_result_chat.png) +  +### K线图 +K线图是基于PyQtGraph开发的，整个模块由以下五大组件构成： + +- BarManager：K线序列数据管理工具 +- ChartItem：基础图形类，继承实现后可以绘制K线、成交量、技术指标等 +- DatetimeAxis：针对K线时间戳设计的定制坐标轴 +- ChartCursor：十字光标控件，用于显示特定位置的数据细节 +- ChartWidget：包含以上所有部分，提供单一函数入口的绘图组件 + +在回测完毕后，点击“K线图表”按钮即可显示历史K线行情数据（默认1分钟），并且标识有具体的买卖点位，如下图。 + +![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/cta_backtester/bar_chart.png) + +   ## 参数优化 diff --git a/docs/cta_strategy.md b/docs/cta_strategy.md index 09349e36..7b2d4f35 100644 --- a/docs/cta_strategy.md +++ b/docs/cta_strategy.md @@ -8,7 +8,7 @@ CTA策略模块主要由7部分构成，如下图： - base：定义了CTA模块中用到的一些基础设置，如引擎类型（回测/实盘）、回测模式（K线/Tick）、本地停止单的定义以及停止单状态（等待中/已撤销/已触发）。 - template：定义了CTA策略模板（包含信号生成和委托管理）、CTA信号（仅负责信号生成）、目标仓位算法（仅负责委托管理，适用于拆分巨型委托，降低冲击成本）。 -- strategies: 官方提供的cta策略示例，包含从最基础的双均线策略，到通道突破类型的布林带策略，到跨时间周期策略，再到把信号生成和委托管理独立开来的多信号策略。 +- strategies: 官方提供的cta策略示例，包含从最基础的双均线策略，到通道突破类型的布林带策略，到跨时间周期策略，再到把信号生成和委托管理独立开来的多信号策略。(用户自定义的策略也可以放在strategies文件夹内运行) - backesting：包含回测引擎和参数优化。其中回测引擎定义了数据载入、委托撮合机制、计算与统计相关盈利指标、结果绘图等函数。 - converter：定义了针对上期所品种平今/平昨模式的委托转换模块；对于其他品种用户也可以通过可选参数lock切换至锁仓模式。 - engine：定义了CTA策略实盘引擎，其中包括：RQData客户端初始化和数据载入、策略的初始化和启动、推送Tick订阅行情到策略中、挂撤单操作、策略的停止和移除等。 @@ -18,35 +18,11 @@ CTA策略模块主要由7部分构成，如下图：   -## 历史数据 +## 数据加载 -### 回测历史数据 -在开始策略回测之前，必须保证数据库内有充足的历史数据。故vnpy提供了历史数据一键下载的功能。 -下载数据功能主要是基于RQData的get_price()函数实现的。 -``` -get_price( - order_book_ids, start_date='2013-01-04', end_date='2014-01-04', - frequency='1d', fields=None, adjust_type='pre', skip_suspended =False, - market='cn' -) -``` - - -在使用前要保证RQData初始化完毕，然后填写以下4个字段信息： -- 本地代码：格式为合约品种+交易所，如IF88.CFFEX、rb88.SHFE；然后在底层通过RqdataClient的to_rq_symbol()函数转换成符合RQData格式，对应RQData中get_price()函数的order_book_ids字段。 -- K线周期：可以填1m、60m、1d，对应get_price()函数的frequency字段。 -- 开始日期：格式为yy/mm/dd，如2017/4/21，对应get_price()函数的start_date字段。（点击窗口右侧箭头按钮可改变日期大小） -- 结束日期：格式为yy/mm/dd，如2019/4/22，对应get_price()函数的end_date字段。（点击窗口右侧箭头按钮可改变日期大小） - -填写完字段信息后，点击下方“下载数据”按钮启动下载程序，下载成功如图所示。 - - -![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/cta_backtester/data_loader.png) - -### 实盘历史数据 在实盘中，RQData通过实时载入数据进行策略的初始化。该功能主要在CTA实盘引擎engine.py内实现。 下面介绍具体流程： -- 配置json文件：在用户目录下.vntrader文件夹找到vt_setting.json，输入RQData的账号和密码，如图。 +- 在菜单栏点击“配置”，进入全局配置页面输入RQData账号密码；或者直接配置json文件，即在用户目录下.vntrader文件夹找到vt_setting.json，如图。 ![](https://vnpy-community.oss-cn-shanghai.aliyuncs.com/forum_experience/yazhang/cta_strategy/RQData_setting.png "enter image title here") @@ -114,7 +90,8 @@ get_price(   ## 策略开发 -CTA策略模板提供完整的信号生成和委托管理功能，用户可以基于该模板自行开发策略。新策略可以放在根目录下vnpy\app\cta_strategy\strategies文件夹内，也可以放在用户运行的文件内（VN Station模式）。注意：策略文件命名是以下划线模式，如boll_channel_strategy.py；而策略类命名采用的是驼峰式，如BollChannelStrategy。 +CTA策略模板提供完整的信号生成和委托管理功能，用户可以基于该模板自行开发策略。新策略可以放在用户运行的文件内（推荐），如在c:\users\administrator.vntrader目录下创建strategies文件夹；可以放在根目录下vnpy\app\cta_strategy\strategies文件夹内。 +注意：策略文件命名是以下划线模式，如boll_channel_strategy.py；而策略类命名采用的是驼峰式，如BollChannelStrategy。 下面通过BollChannelStrategy策略示例，来展示策略开发的具体步骤： @@ -164,7 +141,7 @@ CTA策略模板提供完整的信号生成和委托管理功能，用户可以 ### 策略的初始化、启动、停止 通过“CTA策略”组件的相关功能按钮实现。 -注意：函数load_bar(10)，代表策略初始化需要载入10个交易日的历史数据。该历史数据可以是Tick数据，也可以是K线数据。 +注意：函数load_bar(10)，代表策略初始化需要载入10个交易日的历史数据。该历史数据可以是Tick数据，也可以是K线数据。在策略初始化时候，会调用K线时间序列管理器计算并缓存相关的计算指标，但是并不触发交易。 ``` def on_init(self): @@ -918,6 +895,7 @@ def optimize( ### 初始化策略 - 调用策略类的on_init()回调函数,并且载入历史数据； - 恢复上次退出之前的策略状态； +- 从.vntrader/cta_strategy_data.json内读取策略参数，最新的技术指标，以及持仓数量； - 调用接口的subcribe()函数订阅指定行情信息； - 策略初始化状态变成True，并且更新到日志上。 @@ -999,6 +977,7 @@ def optimize( - 调用策略类的on_stop()函数停止策略； - 更新策略启动状态为False； - 对所有为成交的委托（市价单/限价单/本地停止单）进行撤单操作； +- 把策略参数，最新的技术指标，以及持仓数量保存到.vntrader/cta_strategy_data.json内； - 在图形化界面更新策略状态。 ``` @@ -1019,6 +998,9 @@ def optimize( # Cancel all orders of the strategy self.cancel_all(strategy) + # Sync strategy variables to data file + self.sync_strategy_data(strategy) + # Update GUI self.put_strategy_event(strategy) ``` diff --git a/docs/data_recoder.md b/docs/data_recoder.md index 8c3bc076..c66365de 100644 --- a/docs/data_recoder.md +++ b/docs/data_recoder.md @@ -5,7 +5,7 @@ - 后台会自动调用行情API接口的suscribe()函数自动订阅行情； - 行情信息通过database_manager模块的save_bar_data()函数/save_tick_data()函数载入到数据库中。 -注意：目前vnpy支持的数据库为SQLite/ MySQL/ PostgreSQL/ MongoDB。若用户使用MongoDB，则行情记录数据直接载入到MongoDB中。 +注意：目前vnpy支持的数据库为SQLite/ MySQL/ PostgreSQL/ MongoDB。其在VnTrader的菜单栏选择“配置”进入“全局配置”界面来选择数据库(默认为SQLite), 或者在用户目录下的.vntrader/vt_setting.json里面直接配置。若用户使用MongoDB，则行情记录数据直接载入到MongoDB中。   @@ -53,7 +53,7 @@ 下面介绍行情收录的具体原理：若无合约记录的历史，用户需要先添加行情记录任务，如连接CTP接口后记录rb1905.SHFE的tick数据，然后调用add_tick_recording()函数执行下面工作： 1) 先创建tick_recordings字典； 2) 调用接口的suscribe()函数订阅行情； -3 )保存该tick_recordings字典到json文件上； +3) 保存该tick_recordings字典到json文件上； 4) 推送行情记录事件。 ``` diff --git a/vnpy/app/cta_strategy/engine.py b/vnpy/app/cta_strategy/engine.py index abf1c565..287a4a41 100644 --- a/vnpy/app/cta_strategy/engine.py +++ b/vnpy/app/cta_strategy/engine.py @@ -423,7 +423,7 @@ class CtaEngine(BaseEngine): self.call_strategy_func(strategy, strategy.on_stop_order, stop_order) self.put_stop_order_event(stop_order) - return stop_orderid + return [stop_orderid] def cancel_server_order(self, strategy: CtaTemplate, vt_orderid: str): """