[Add]新增TuShare历史数据服务,针对股票
This commit is contained in:
parent
da2ea1351d
commit
2f546fbf0d
@ -12,6 +12,8 @@
|
|||||||
|
|
||||||
* ServerClient:服务端(业务逻辑)和客户端(GUI界面)分离的VnTrader
|
* ServerClient:服务端(业务逻辑)和客户端(GUI界面)分离的VnTrader
|
||||||
|
|
||||||
* ShcifcoDataService:上海中期历史行情服务
|
* ShcifcoDataService:上海中期历史行情服务(期货)
|
||||||
|
|
||||||
* TqDataService:天勤历史行情服务
|
* TqDataService:天勤历史行情服务(期货)
|
||||||
|
|
||||||
|
* TushareDataService:TuShare历史行情服务(股票)
|
6
examples/TushareDataService/config.json
Normal file
6
examples/TushareDataService/config.json
Normal file
@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
"MONGO_HOST": "localhost",
|
||||||
|
"MONGO_PORT": 27017,
|
||||||
|
|
||||||
|
"SYMBOLS": ["510050", "510300"]
|
||||||
|
}
|
95
examples/TushareDataService/dataService.py
Normal file
95
examples/TushareDataService/dataService.py
Normal file
@ -0,0 +1,95 @@
|
|||||||
|
# encoding: UTF-8
|
||||||
|
|
||||||
|
import sys
|
||||||
|
import json
|
||||||
|
from datetime import datetime
|
||||||
|
from time import time, sleep
|
||||||
|
|
||||||
|
from pymongo import MongoClient, ASCENDING
|
||||||
|
|
||||||
|
from vnpy.trader.vtObject import VtBarData
|
||||||
|
from vnpy.trader.app.ctaStrategy.ctaBase import MINUTE_DB_NAME
|
||||||
|
|
||||||
|
import tushare as ts
|
||||||
|
|
||||||
|
# 加载配置
|
||||||
|
config = open('config.json')
|
||||||
|
setting = json.load(config)
|
||||||
|
|
||||||
|
MONGO_HOST = setting['MONGO_HOST']
|
||||||
|
MONGO_PORT = setting['MONGO_PORT']
|
||||||
|
SYMBOLS = setting['SYMBOLS']
|
||||||
|
|
||||||
|
mc = MongoClient(MONGO_HOST, MONGO_PORT) # Mongo连接
|
||||||
|
db = mc[MINUTE_DB_NAME] # 数据库
|
||||||
|
|
||||||
|
|
||||||
|
#----------------------------------------------------------------------
|
||||||
|
def generateExchange(symbol):
|
||||||
|
"""生成VT合约代码"""
|
||||||
|
if symbol[0:2] in ['60', '51']:
|
||||||
|
exchange = 'SSE'
|
||||||
|
elif symbol[0:2] in ['00', '15', '30']:
|
||||||
|
exchange = 'SZSE'
|
||||||
|
return exchange
|
||||||
|
|
||||||
|
#----------------------------------------------------------------------
|
||||||
|
def generateVtBar(row):
|
||||||
|
"""生成K线"""
|
||||||
|
bar = VtBarData()
|
||||||
|
|
||||||
|
bar.symbol = row['code']
|
||||||
|
bar.exchange = generateExchange(bar.symbol)
|
||||||
|
bar.vtSymbol = '.'.join([bar.symbol, bar.exchange])
|
||||||
|
bar.open = row['open']
|
||||||
|
bar.high = row['high']
|
||||||
|
bar.low = row['low']
|
||||||
|
bar.close = row['close']
|
||||||
|
bar.volume = row['vol']
|
||||||
|
bar.datetime = row.name
|
||||||
|
bar.date = bar.datetime.strftime("%Y%m%d")
|
||||||
|
bar.time = bar.datetime.strftime("%H:%M:%S")
|
||||||
|
|
||||||
|
return bar
|
||||||
|
|
||||||
|
#----------------------------------------------------------------------
|
||||||
|
def downMinuteBarBySymbol(symbol):
|
||||||
|
"""下载某一合约的分钟线数据"""
|
||||||
|
start = time()
|
||||||
|
|
||||||
|
cl = db[symbol]
|
||||||
|
cl.ensure_index([('datetime', ASCENDING)], unique=True) # 添加索引
|
||||||
|
|
||||||
|
df = ts.bar(symbol, ktype='1min')
|
||||||
|
df = df.sort_index()
|
||||||
|
|
||||||
|
for ix, row in df.iterrows():
|
||||||
|
bar = generateVtBar(row)
|
||||||
|
d = bar.__dict__
|
||||||
|
flt = {'datetime': bar.datetime}
|
||||||
|
cl.replace_one(flt, d, True)
|
||||||
|
|
||||||
|
end = time()
|
||||||
|
cost = (end - start) * 1000
|
||||||
|
|
||||||
|
print u'合约%s数据下载完成%s - %s,耗时%s毫秒' %(symbol, df.index[0], df.index[-1], cost)
|
||||||
|
|
||||||
|
|
||||||
|
#----------------------------------------------------------------------
|
||||||
|
def downloadAllMinuteBar():
|
||||||
|
"""下载所有配置中的合约的分钟线数据"""
|
||||||
|
print '-' * 50
|
||||||
|
print u'开始下载合约分钟线数据'
|
||||||
|
print '-' * 50
|
||||||
|
|
||||||
|
# 添加下载任务
|
||||||
|
for symbol in SYMBOLS:
|
||||||
|
downMinuteBarBySymbol(str(symbol))
|
||||||
|
|
||||||
|
print '-' * 50
|
||||||
|
print u'合约分钟线数据下载完成'
|
||||||
|
print '-' * 50
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
11
examples/TushareDataService/downloadData.py
Normal file
11
examples/TushareDataService/downloadData.py
Normal file
@ -0,0 +1,11 @@
|
|||||||
|
# encoding: UTF-8
|
||||||
|
|
||||||
|
"""
|
||||||
|
立即下载数据到数据库中,用于手动执行更新操作。
|
||||||
|
"""
|
||||||
|
|
||||||
|
from dataService import *
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
downloadAllMinuteBar()
|
32
examples/TushareDataService/runService.py
Normal file
32
examples/TushareDataService/runService.py
Normal file
@ -0,0 +1,32 @@
|
|||||||
|
# encoding: UTF-8
|
||||||
|
|
||||||
|
"""
|
||||||
|
定时服务,可无人值守运行,实现每日自动下载更新历史行情数据到数据库中。
|
||||||
|
"""
|
||||||
|
|
||||||
|
import time
|
||||||
|
import datetime
|
||||||
|
|
||||||
|
from dataService import downloadAllMinuteBar
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
taskCompletedDate = None
|
||||||
|
|
||||||
|
# 生成一个随机的任务下载时间,用于避免所有用户在同一时间访问数据服务器
|
||||||
|
taskTime = datetime.time(hour=17, minute=0)
|
||||||
|
|
||||||
|
# 进入主循环
|
||||||
|
while True:
|
||||||
|
t = datetime.datetime.now()
|
||||||
|
|
||||||
|
# 每天到达任务下载时间后,执行数据下载的操作
|
||||||
|
if t.time() > taskTime and (taskCompletedDate is None or t.date() != taskCompletedDate):
|
||||||
|
downloadAllMinuteBar()
|
||||||
|
|
||||||
|
# 更新任务完成的日期
|
||||||
|
taskCompletedDate = t.date()
|
||||||
|
else:
|
||||||
|
print u'当前时间%s,任务定时%s' %(t, taskTime)
|
||||||
|
|
||||||
|
time.sleep(60)
|
Loading…
Reference in New Issue
Block a user