如何避免雪花算法带来的时间回拨以及产生的数据太长
如何避免雪花算法带来的时间回拨以及产生的数据太长123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107import timeimport logging# 64位ID的划分WORKER_ID_BITS = 5DATACENTER_ID_BITS = 5SEQUENCE_BITS = 12# 最大取值计算MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS) # 2**5-1 0b11111MAX_DATACENTER_ID = -1 ^ (-1 << DATACENTER_ID_BITS)# 移位偏移计算WOKER_ID_SHIFT = SEQUENCE_BITS ...
分布式
分布式计算https://github.com/ray-project/ray https://github.com/dask/dask 基于sqlite3 的分布式存储https://github.com/rqlite/rqlite https://github.com/pingcap/tidb 基于golang 的分布式一致https://github.com/hashicorp/raft Raft一致性算法论文的中文翻译https://github.com/maemual/raft-zh_cn/blob/master/raft-zh_cn.md https://raft.github.io/ 分布式相关的实例分布式应用发布与管理工具：kubernetes 分布式存储：hdfs 分布式计算：spark 分布式消息队列：kafka 分布式缓存：redis 分布式机器学习：parameter Server 分布式数据收集、查询、可视化套件：logstash、elasticsearch、kibana 配置中心 apollo是一款可靠的分布式配置管理中心，诞生于携程框架研发部，能 ...
MySQL5.7 docker 容器化部署日志
MySQL5.7 docker 容器化部署日志 书推荐 Docker — 从入门到实践（v1.1） 拉取镜像1docker pull mysql:5.7 新建本地挂载卷1mkdir -p /home/docker/mysql/conf && mkdir -p /home/docker/mysql/data 启动容器1docker run --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=root -v /home/docker/mysql/conf/my.cnf:/etc/mysql/my.cnf -v /home/docker/mysql/data:/var/lib/mysql --restart=on-failure:3 -d mysql:5.7 说明12345--name：容器名--p：映射宿主主机端口-v：挂载宿主目录到容器目录-e：设置环境变量，此处指定root密码-d：后台运行容器 查看mysql 5.7 状态1234docker psCONTAINER ID IMAGE ...
用户权限设计
概要权限管理几乎是每个系统或者服务都会直接或者间接涉及的部分. 权限管理保障了资源(大部分时候就是数据)的安全, 权限管理一般都是和业务强关联, 每当有新的业务或者业务变化时, 不能将精力完全放在业务实现上, 权限的调整往往耗费大量的精力. 其实, 权限的本质没有那么复杂, 只是对访问的控制而已, 有一套完善的访问控制接口, 再加上简单的权限模型. 权限模型之所以能够简单, 就是因为权限管理本身并不复杂, 只是在和具体业务结合时, 出现了各种各样的访问控制场景, 才显得复杂. PERM 模型PERM(Policy, Effect, Request, Matchers)模型很简单, 但是反映了权限的本质 – 访问控制 Policy: 定义权限的规则Effect: 定义组合了多个 Policy 之后的结果, allow/denyRequest: 访问请求, 也就是谁想操作什么Matcher: 判断 Request 是否满足 Policy Model支持的Modelscasbin 语法函数基于角色的访问控制域内RBACCasbin RBAC v.s. RBAC96ABAC优先级模型 术语表 ...
推断统计简明
介绍 统计分析方法主要分为描述和推断统计两类 描述统计主要是总结样本数据的特征推断统计则是在有限的样本数据基础上,对总体统计特征做出概率形式的表述 参数估计 点估计(定值估计) 是以样本指标的数值来作为总体指标的估计量可选指标有 均值,中位数,众数等描述性统计 区间估计 用一个包含有真实值的区间范围来估计参数的取值范围 示例123456789101112from scipy import statsimport numpy as npimport random# 随机构建样本总量xx=[random.randint(0,9) for _ in range(1,10)]# x=[1, 7, 9, 2, 3, 9, 7, 0, 9]#进行区间估计# np.mean(x) 获取均值# stats.sem(x) 获取样本标准差# 置信度: 0.95stats.t.interval(0.95,len(x)-1,np.mean(x),stats.sem(x))# 均值置信区间： (2.377688830655052, 8.066755613789393) 假设检验 重点在于检 ...
描述性统计简明
数据的位置用来度量数据中心位置的指标 平均数(sample mean) 几何平均数(GEOMETRIC mean) 中位数(Median) 众数(Mode) 百分位数(Percentile) 示例12345678910111213141516171819202122232425262728293031323334353637import osos.chdir(os.getcwd())import pandas as pdimport matplotlib.pyplot as pltimport baostock as bsdef getIndexDate(code:str,start_date:str,end_date:str): ''' 下载数据集 ''' # 登陆系统 lg = bs.login() # 获取指数(综合指数、规模指数、一级行业指数、二级行业指数、策略指数、成长指数、价值指数、主题指数)K线数据 # 综合指数，例如：sh.000001 上证指数，sz.3991 ...
ARCH 和 GARCH 模型
介绍 对于收益率序列的波动建模预测 一组时间序列本身可能只有非常微弱的自相关性,而这组时间序列的函数(eg: 取平方,绝对值) 呈现很强的自相关性 有些资产收益率序列的条件方差会随着时间发生改变(条件异方差的特征), 资产收益率序列的波动会有持续的现象(波动聚集现象),即: 大波动跟着大波动,小波动伴随着小波动 具有厚尾现象,即：不服从正态分布,其极端值较多 建模流程 先检验收益率序列{y^t}是否为平稳时间序列,并根据其相关性建立适合的均值方差,描述收益率的yt 如何演进 对拟合的均值方程得到的残差序列{^yt}进行ARCH效应检验。 用Ljung-Box 检验残差平方序列的自相关性,即将序列的平方值作为波动率的代理变量，弱残差序列有自相关性,则说明当期波动与过去期波动有关,初步判别有ARCH效应 Langrange Multiplier 检验(LM检验)。 设定一个波动率模型试图刻画这种波动率的动态变化 对均值方程和波动率方程进行联合估计, 检验所拟合的模型,并再必要时进行改进
ARIMA模型原理及实现
ARIMA模型原理及实现参考资料 arma 数理方法 时间序列分析、常用统计软件及应用导包1234567891011121314import warningswarnings.filterwarnings("ignore") # 不再显示warningimport pandas as pdimport matplotlib.pyplot as plt# from matplotlib import qqimport datetimeimport torchimport torch.nn as nnimport numpy as npfrom torch.utils.data import Dataset, DataLoaderimport osos.chdir(os.getcwd())plt.rcParams['font.sans-serif'] = ['SimHei'] # 处理中文显示问题 通过 baostock 包提供的接口获取训练数据集12345678910111213141516171819202122232425 ...
均线策略
均线策略导包及加载工具函数1234567891011121314151617181920212223242526272829303132333435363738import osos.chdir(os.getcwd())import pandas as pdimport numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei'] def smaCal(tsPrice,k): ''' 计算简单移动平均 均线的时间跨度很重要 ''' Sma=pd.Series(0.0,index=tsPrice.index) for i in range(k-1,len(tsPrice)): Sma[i]=sum(tsPrice[(i-k+1):(i+1)])/k return(Sma)def wmaCal(tsPrice, ...
基于Pytorch Rnn 实现指数趋势预测
基于Pytorch Rnn 实现指数趋势预测导包12345678910import pandas as pdimport matplotlib.pyplot as pltimport datetimeimport torchimport torch.nn as nnimport numpy as npfrom torch.utils.data import Dataset, DataLoaderimport osos.chdir(os.getcwd())plt.rcParams['font.sans-serif'] = ['SimHei'] # 处理中文显示问题 下载数据1234567891011121314151617181920212223242526import baostock as bsdef getIndexDate(code:str,start_date:str,end_date:str): # 登陆系统 lg = bs.login() # 获取指数(综合指数、规模指数、一级行业指数、二级行业指数、策略指数、成长指 ...
