数据分析:用pandas处理金融时间序列数据的基础知识
本文使用的是以CSV文件形式在本地存储的金融数据集形式为本地存储的CSV文件。从技术上讲,CSV文件是包含数据行结构的文本文件,其特征是以逗号分隔单个值。在导入数据之前,导入一些软件包并进行定制:
2020-06-09
【机器学习】Rank 中使用的指标及示例代码
作者:LogM 本文原载于 [链接] ,不允许转载~ 1. P@K P@K,代表前 K 个预测值中有多少的准确率 (Precision)。 比如,一个模型输出了一组排序,其输出的好坏依次为:好、坏、好、坏、好。 那么, Prec@3 = 2/3 Prec@4 = 2/4 Prec@5 = 3/5 {代码...} 2. MAP AP 是 average precision 的缩写,计算方式是把所有相关文档的 P...
2019-07-06
使用meerkat进行服务监控和服务降级
meerkat 是用于服务监控以及服务降级基础组件,主要为了解决调用外部接口的时候进行成功率,响应时间,QPS指标的监控,同时在成功率下降到预设的阈值以下的时候自动切断外部接口的调用,外部接口成功率恢复后自动恢复请求。本文将对使用方式以及进阶特性进行介绍。
2017-06-10
统计科学之讲讲大数定理
前面我们讲过中心极限定理。这一节来讲讲大数定理,大数定理和中心极限定理是比较接近的两个概念,这两个定理经常一起出现。我们来具体看下大数定理的内容:
2021-01-27
拓端tecdat|R语言用AR,MA,ARIMA 模型进行时间序列预测
原文链接:[链接] 本文讨论用ARIMA模型进行预测。考虑一些简单的平稳的AR(1)模拟时间序列 {代码...} 如果我们拟合一个AR(1)模型。 {代码...} 我们观察到预测值向0的指数衰减,以及增加的置信区间(其中方差增加,从白噪声的方差到平稳时间序列的方差)。普通线是有条件的预测(因为AR(1)是一个一阶马尔可夫过程)...
2021-08-25
构建数据技术代码简单
构建数据技术代码并不总是意味着需要复杂的编程或深奥的算法。相反,有时候,简洁明了的代码能更有效地达到目的。下面是一个简单的例子,展示了如何使用Python的pandas库来构建一个基本的数据处理流程。
2024-04-11
Python数据分析:简单统计量的计算
1.这些操作都要确保已经在电脑中安装好了Anaconda集成库,如果安装好后运行出错误,可以将原来电脑中的python卸载重新安装Anaconda,建议安装时直接将添加环境变量打勾,否则以后得自己添加环境变量,在Pycharm中的编译器选择Anaconda安装文件夹中的python。在Pycharm中新建一个data文件夹用来存放数据文件。
2019-01-13
数据挖掘复习笔记---02.数据
数据 四个问题 数据类型(用什么类型,用什么工具) 数据质量(噪声,离散点,缺失值,异常点,重复) 预处理(提高数据质量,使数据可以被特定的工具处理) 相似性和距离度量 本节大纲 关于数据的基本概念 如何用统计学方法描述数据 数据可视化 度量数据之间的相似性和距离 基本概念 数据集特性:维度,稀疏程度 类型:...
2019-04-24
深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现
深度强化学习是人工智能领域最具挑战性的研究方向之一,其设计理念源于生物学习系统从经验中优化决策的机制。在众多深度强化学习算法中,软演员-评论家算法(Soft Actor-Critic, SAC)因其在样本效率、探索效果和训练稳定性等方面的优异表现而备受关注。
2025-01-03
在tensorflow上进行机器学习的“Hello World”:MNIST 手写识别
进入tfgpu虚拟环境后,首先进入目录:/anaconda2/envs/tfgpu/lib/python2.7/site-packages/tensorflow/examples/tutorials/mnist/,然后进入IPython交互终端。
让代码飞起来——高性能Julia学习笔记(一)
最近有个项目是计算密集型的, 最开始用 TS 快速实现了算法原型, 后来改用 Go 重写, Go 的 goroutine 用起来还是蛮爽的, 很容易把所有 cpu core 跑满。 不过随着代码逐渐复杂, 感觉用 Go 还是没有动态语言写起来爽, 性能也没有达到极致, 跟 C/C++/Rust 还是有一定差距,似乎对 GPU 和 SIMD 支持也不太好(不敢说对...
拓端tecdat|SPSS中的多层(等级)线性模型Multilevel linear models研究整容手术数据
首先,我们需要找出BDI的平均得分。我们可以使用一些简单的描述性统计信息。选择进入对话框。选择BDI并将其拖到标有Variable(s)的框中,然后单击并仅选择均值。
2021-05-05
使用Pytorch实现频谱归一化生成对抗网络(SN-GAN)
自从扩散模型发布以来,GAN的关注度和论文是越来越少了,但是它们里面的一些思路还是值得我们了解和学习。所以本文我们来使用Pytorch 来实现SN-GAN
2023-10-17
再肝3天,整理了90个 NumPy 例子,不能不收藏!
Numpy 是什么就不太过多介绍了,懂的人都懂!文章很长,高低要忍一下,如果忍不了,那就收藏吧,总会用到的萝卜哥也贴心的做成了PDF,在文末获取![TOC]有多个条件时替换 Numpy 数组中的元素将所有大于 30 的元素替换为 0 {代码...} Output: {代码...} 将大于 30 小于 50 的所有元素替换为 0 {代码...} Output: {代码......
2022-08-04
深度解析注意力模型(attention model) --- image_caption的应用
这里学习的注意力模型是我在研究image caption过程中的出来的经验总结,其实这个注意力模型理解起来并不难,但是国内的博文写的都很不详细或说很不明确,我在看了 attention-mechanism后才完全明白。得以进行后续工作。
巧用 db.system.js 提升20% 开发效率
这个也是在我最近浏览InfoQ 的时候,看到一篇关于MongoDB 文章1的时候意识到的问题,随后和开发们沟通了下,结果是对这个collection 不是很了解,遂生此文。
2017-09-01
Pandas入门教程(四)
groupby分组 {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} Pandas 多级索引 {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} <div><style scoped...
2020-09-28