本节将讲述使用 Connection、MyqLOperator、XComs 来实现一个完整的airflow ETL。一、将数据存入数据库的原始方法1、创建表 {代码...} 二、使用 airflow Connection 管理数据库连接信息在上一节代码的基础上，将保存到文件的数据转存到数据库中，V2版本的代码如下：download_stock_price_v2.py2.1 传统连接方法 {代码......

Pandas DataFrames 是具有带标签的行和列的二维数据结构，可以存储很多类型的数据。如果你熟悉 Excel 的话，可以将 Pandas DataFrames 看做类似于电子表格。

服务器部署在阿里云，想要在服务器内部进行python脚本测试比较麻烦，这时就想到了Jupyter Notebook，我们安装后即可直接在浏览器进行文学化编程，非常方便高效。

你决定更改你的项目中数据库的 host， 因为你要将项目从测试环境转移到实际的上产环境中。如果你的项目中多个位置用到了这个 host，那你不得不一个一个找到这些位置再修改成新的 host。花了半天，然后过了一天，你发现项目在生产环境有些问题，需要重新移回测试环境，你得再次修改，这样工作很繁琐很不优雅。

最近要做一个国内外新冠疫情的热点信息的收集系统，所以，需要爬取推特上的一些数据，然后做数据分类及情绪分析。作为一名合格的程序员，我们要有「拿来主义精神」，借助别人的轮子来实现自己的项目，而不是从头搭建。

一、问题 在使用 apt-get update 在 Ubuntu 环境更新包资源时，出现了以下报错： {代码...} 从报错的信息看是因为签名参数过期了，所以，这里需要删除后再更新。 二、解决 先查看执行命令：apt-key list {代码...} 删除mysql 的repository GPG key，删除命令如下： {代码...} 删除完了之后，检查还有没有那个mysql的key ...

一、问题 {代码...} 运行上边的代码会报如下错： {代码...} 环境 1、python版本：3.7.4 2、scipy版本：1.2.1 3、PIL版本：6.0.0 二、解决方案 1、安装scikit-image {代码...} 2、调用resize() {代码...} 注意：这里的resize()的参数与较老版本的scipy.misc中的imresize()有所不同，前者的output_shape参数对应后者的size...

由于国内墙的原因，Conda下载安装包很慢，这里我们需要使用国内的镜像才能提高速度。 添加国内源 {代码...} 换回默认源： 由于国内清华镜像已经被关闭了，只能用官方的，所以，这里换回原来默认的。 {代码...} 在执行 conda config 命令的时候会在当前用户目录下创建 .condarc 文件，可以查看更换源前后该文件内容的变化...

学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合关于协方差矩阵的概念及意义，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。

LaTeX， 是一种基于TEX的排版系统，由美国电脑学家莱斯利·兰伯特在20世纪80年代初期开发，利用这种格式，即使用户没有排版和程序设计的知识也可以充分发挥由TEX所提供的强大功能，能在几天，甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式，这一点表现得尤为突出。因此它非常适用于生成高印刷质...

利用占位符定义我们所需的神经网络的输入。 tf.placeholder()就是代表占位符，这里的None代表无论输入有多少都可以，因为输入只有一个特征，所以这里是1。

TensorFlow是Google开发的一款神经网络的Python外部的结构包, 也是一个采用数据流图来进行数值计算的开源软件库.TensorFlow 让我们可以先绘制计算结构图, 也可以称是一系列可人机交互的计算操作, 然后把编辑好的Python文件 转换成 更高效的C++, 并在后端进行计算。

机器学习（MachineLearning）：让机器从数据中学习，进而得到一个更加符合现实规律的模型，通过对模型的使用使得机器比以往表现的更好，这就是机器学习。

这一节，主要深入学习Pandas的用法。 一、筛选 先建立一个 6X4 的矩阵数据。 {代码...} 打印： {代码...} 简单的筛选 如果我们想选取 DataFrame 中的数据，下面描述了两种途径, 他们都能达到同一个目的： {代码...} 让选择跨越多行或多列: {代码...} 如果df[3:3]将会是一个空对象。后者选择20180830到20180901标签之间的...

通过上一节的学习，我们可以了解到一部分矩阵中元素的计算和查找操作。然而在日常使用中，对应元素的索引也是非常重要的。依然，让我们先从一个脚本开始 ：

NumPy（Numeric Python）系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix））。据说NumPy将Python相当于变成一种免费的更强大的MatLab系统。

多进程 Multiprocessing 和多线程 threading 类似, 他们都是在 python 中用来并行运算的. 不过既然有了 threading, 为什么 Python 还要出一个 multiprocessing 呢? 原因很简单, 就是用来弥补 threading 的一些劣势, 比如在 threading 教程中提到的GIL.

在python文件命名时，一定要注意不能和系统默认的模块名冲突，否则会报错。如下面的例子，在学习线程时，将文件名命名为 threading.py,Python脚本完全正常没问题，结果报下面的错误：AttributeError: 'module' object has no attribute 'xxx'。

深度学习这几年很火，所以，从今天起涉足深度学习，为未来学习，注本博文为慕课课程学习笔记。 一、入门基本概念 机器学习简介 机器学习：无序数据转化为价值的方法机器学习价值：从数据中抽取规律，并预测未来 机器学习应用举例： 分类问题：图像识别、垃圾邮件识别回归问题：股价预测、房价预测排序问题：点击率预估、...

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

从本博客开始，将系统的学习Python的数据分析的六大模块numpy、scipy、matplotlib、pandas、scikit-learn、keras，有关Python的基础知识，可以看我的博客 [链接]。

1、V2EX way to explore 分享和探索的地方2、Laravel China 中国最大的 Laravel 和 PHP 开发者社区3、Composer使用方法4、Packagist/Composer中国全量镜像系统全局配置： 即将配置信息添加到 Composer 的全局配置文件 config.json

本文是我在Python程序员官方微信公众号看到的一篇文章，翻译的质量不错，也正好学习下NumPy这个数学库，所以，转载出来，如果需要了解更多的有关Python的精彩文章，请关注他们的官方公众号Python部落(python.freelycode.com）。

在安装numpy库时，出现了这样的错误： 安装命令： {代码...} 错误： {代码...} 什么原因呢？通过分析错误提示，"[Errno 13] Permission denied:"原来是权限问题，需要超级管理员权限： {代码...} 安装成功： {代码...}

上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感...