经济金融数据分析及其Python应用/数量经济学系列丛书

作者简介

朱顺泉，广东财经大学金融学院教授，博士。主要研究方向为投资学、金融工程学、公司金融财务学等。在量化投资与对冲基金、私募股权与创业投资、财务预謦与信用评级、投资组合优化、金融资产定价、金融计量与数据分析、经济博弈论等方面有较深入研究。主持完成国家社会科学基金、 社会科学基金、广东省科技计划软科学基金、湖南省社会科学基金等国家级、省部级项目共10余项。

内容简介

第 1 章 经济金融数据分析及Python环境 数据分析是指用适当的统计与计量分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 大数据分析是指对规模巨大的数据进行分析。大数据的特点可以概括为5个V，数据量大(volume)、速度快(velocity)、类型多(variety)、有价值(value)、真实性(veracity)。大数据已成为IT行业时下最火热的词汇。随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。 本章简要介绍经济金融数据的类型、来源，主要的数据分析软件包，以及目前流行的经济金融数据分析Python语言及其环境。 1.1经济金融数据类型 经济金融中需要处理的数据类型主要有三类： 横截面数据、时间序列数据和面板数据。 1.1.1横截面数据 横截面数据是同一时间(时期或时点)某一指标在不同空间的观测数据。如某一时点中国A股市场的平均收益率，2017年所有A股上市公司的净资产收益率。在利用横截面数据作分析时，由于单个或多个解释变量观测值起伏变化会对被解释产生不同的影响，因而导致异方差问题。因此在数据整理时必须消除异方差。 1.1.2时间序列数据 时间序列数据即按时间序列排列的数据，也称为动态序列数据。时间序列数据是按照一定时间间隔对某一变量或不同时间的取值进行观测所得到的一组数据，例如每一季度的GDP数据、每一天的股票交易数据或债券收益率数据等。在经济金融数据分析中，时间序列数据是常见的一类数据类型。 1.1.3面板数据 面板数据即时间序列数据和横截面数据相结合的数据。 金融领域以时间序列数据分析(如金融市场)与面板数据分析(如公司金融)为主。 1.2经济金融数据来源 1.2.1专业性网站 如国家统计局网站、中国人民银行网站、中国证监会网站、世界银行网站、国际货币基金组织网站等。 1.2.2专业数据公司和信息公司 国外数据库主要有芝加哥大学商学院的证券价格研究中心(CRSP)、路透(Reuters)终端、彭博(Bloomberg)终端、雅虎财经等。国内提供经济金融数据库主要有： CCER中国经济金融数据库、国泰安数据库(GTA)、万德数据库(Wind)、锐思数据库等。如表11所示。 表11经济金融数据库 数据来源名称 网址 CRSP www.chicagobooth.edu 路透 www.reuters.com 彭博 www.bloomberg.com 雅虎财经 www.finance.yahoo.com 万得Wind经济金融数据库 www.wind.com.cn 国泰安GTA经济金融数据库 www.gtadata.com CCER中国经济金融数据库 www.ccer.edu.cn 聚源锐思经济金融数据库 www.resset.cn 天相经济金融数据库 www.txsec.com/zqsc/tx_data.asp 1.2.3抽样调查 抽样调查是针对某些专门的研究开展的一类获取数据的方式。比如，要对中国的投资者信心进行建模，就必须通过设计调查问卷，对不同的投资群体进行数据采集。 1.3经济金融数据分析工具简介 1.3.1Python数据分析工具简介 Python是一种面向对象的解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年，Python源代码同样遵循GPL(GNU General Public License)协议。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型(有时甚至是程序的最终界面)，然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。 Python需要安装Pandas、NumPy、SciPy、Statsmodels、Matplotlib等一系列的程序包，还需要安装IPython交互环境，目前有包括这些程序包的套装软件可供下载。 详细内容请登录https://www.Python.org查询。 1.3.2R数据分析工具简介 R是统计领域广泛使用的诞生于1980年左右的S语言的一个分支。可以认为R是S语言的一种实现。而S语言是由AT&T贝尔实验室开发的一种用来进行数据探索、统计分析和作图的解释型语言。最初S语言的实现版本主要是SPLUS。SPLUS是一个商业软件，它基于S语言，并由MathSoft公司的统计科学部进一步完善。后来Auckland大学的Robert Gentleman和Ross Ihaka及其他志愿人员开发了一个R系统。由“R开发核心团队”负责开发。R是基于S语言的一个GNU项目，所以也可以当作S语言的一种实现，通常用S语言编写的代码都可以不作修改地在R环境下运行。R的语法是来自Scheme。R的使用与SPLUS有很多类似之处，这两种语言有一定的兼容性。SPLUS的使用手册，只要稍加修改就可作为R的使用手册。所以有人说： R是SPLUS的一个“克隆”。 详细内容请登录： http://cran.rproject.org查询。 1.3.3Stata数据分析工具简介 Stata由美国计算机资源中心(Computer Resource Center)1985年研制。其特点是采用命令行/程序操作方式，程序短小精悍，功能强大。Stata是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它提供许许多多功能，包含线性混合模型、均衡重复反复及多项式普罗比模式。新版本的Stata采用最具亲和力的窗口接口，使用者自行建立程序时，软件能提供具有直接命令式的语法。Stata提供完整的使用手册，包含统计样本建立、解释、模型与语法、文献等出版品。 除此之外，Stata工具可以通过网络实时更新最新功能，更可以得知世界各地的使用者对于Stata公司提出的问题与解决之道。使用者也可以通过Stata Journal获得许许多多的相关信息以及书籍介绍等。另外一个获取庞大资源的渠道就是Statalist，它是一个独立的listserver，每月交替提供使用者超过1000条信息以及50个程序。 目前最新版为Stata 14.0版。 详细内容请登录http://www.stata.com查询。 1.3.4Matlab数据分析工具简介 Matlab工具是由美国Mathworks公司推出的用于数值计算和图形处理的科学计算系统，在Matlab工具环境下，用户可以集成地进行程序设计、数值计算、图形绘制、输入输出、文件管理等各项操作。它提供的是一个人机交互的数学系统环境，与利用C语言作数值计算的程序设计相比，利用Matlab可以节省大量的编程时间，且程序设计自由度大。它最大的特点是给用户带来最直观、最简洁的程序开发环境，语言简洁紧凑，使用方便灵活，库函数与运算符极其丰富，另外具有强大的图形功能。 在国际学术界，Matlab已经被确认为准确、可靠的科学计算标准软件，许多国际一流学术刊物上，都可以看到Matlab的应用。 详细内容请登录http://www.mathworks.com查询。 1.3.5EViews数据分析工具简介 EViews是美国GMS公司1981年发行的第1版Micro TSP的Windows版本，通常称为计量经济学软件包。EViews是Econometrics Views的缩写，它的本意是对社会经济关系与经济活动的数量规律，采用计量经济学方法与技术进行“观察”。计量经济学研究的核心是设计模型、收集资料、估计模型、检验模型、运用模型进行预测、求解模型和应用模型。EViews是完成上述任务必不可少的得力工具。正是由于EViews等计量经济学软件包的出现，使计量经济学取得了长足的进步，发展为实用与严谨的经济学科。使用EViews软件包可以对时间序列和非时间序列的数据进行分析，建立序列(变量)间的统计关系式，并用该关系式进行预测、模拟等。虽然EViews是由经济学家开发的，并且大多数被用于经济学领域，但并非意味着该软件包仅可用于处理经济方面的时间序列。EViews处理非时间序列数据照样得心应手。实际上，相当大型的非时间序列(截面数据)的项目也能在EViews中进行处理。 详细内容请登录http://www.eviews.com查询。 1.3.6SAS数据分析工具简介 SAS是美国SAS研究所研制的一套大型集成应用软件系统，具有完备的数据存取、数据管理、数据分析和数据展现功能。尤其是创业产品统计分析系统部分，由于其具有强大的数据分析能力，一直为业界著名软件，在数据处理和统计分析领域，被誉为国际上的标准软件和最权威的优秀统计软件包，广泛应用于行政管理、科研、教育、生产和金融等不同领域，发挥着重要的作用。SAS系统中提供的主要分析功能包括统计分析、经济计量分析、时间序列分析、决策分析、财务分析和全面质量管理工具等。 详细内容请登录http://www.sas.com查询。 1.3.7SPSS数据分析工具简介 SPSS(statistical package for the social science)——社会科学统计软件包，是世界著名的统计分析软件之一。20世纪60年代末，美国斯坦福大学的三位研究生研制开发了最早的统计分析软件SPSS，同时成立了SPSS公司，并于1975年在芝加哥组建了SPSS总部。20世纪80年代以前，SPSS统计软件主要应用于企事业单位。1984年SPSS总部首先推出了世界第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，从而确立了个人用户市场第一的地位。2009年IBM收购SPSS公司后，现在在中国市场上推出的最新产品，是IBM SPSS Statistics 21.0多国语言版。SPSS/PC＋的推出，极大地扩充了它的应用范围，使其能很快地应用于自然科学、技术科学、社会科学的各个领域，世界上许多有影响的报纸杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价与称赞。目前已经在国内逐渐流行起来。它使用Windows的窗口方式展示各种管理和分析数据方法的功能，使用对话框展示出各种功能选择项，只要掌握一定的Windows操作技能，粗通统计分析原理，就可以使用该软件为特定的科研工作服务。 详细内容请登录http://www.spss.com查询。 还有一些统计和计量经济学软件，如Statistica、SPLUS等，但相对来说没有以上7种软件流行。各软件网站列表如表12所示。 表12常见的经济金融数据分析工具网站 工 具 名 称 网址 Python www.Python.org R www.cran.rproject.org Stata www.stata.com Matlab www.mathworks.com EViews www.eviews.com SAS www.sas.com SPSS www.spss.com 1.4Python数据分析工具的下载 输入如下网址： https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/，即可下载Anaconda，它是一个用于科学计算Python发行版的套装软件，支持Linux、Mac、Windows等操作系统,包含了众多流行的科学计算、数据分析的Python包。其中包括Pandas、NumPy、SciPy、Statsmodels、Matplotlib等一系列的程序包以及iPython交互环境。界面如图11所示。 图11Anaconda安装包界面 点击图11中的https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，出现图12所示的界面。 图12Anaconda安装包界面 在图12中，选择Anaconda22.4.1Windowsx86.exe，即可得到用Python作经济金融数据分析的套装软件工具。也可以选择最新的Anaconda34.1.1Windowsx86.exe(32位)，Anaconda34.1.1Windowsx86_64.exe(64位)。请读者注意，本书的经济金融数据分析以下载的Anaconda22.4.1Windowsx86.exe(32位)工具来说明其应用。下载界面如图13所示(该图的倒数第二行即为选择的下载对象)。 图13下载Anaconda22.4.1Windowsx86.exe的界面 Anaconda22.4.1Windowsx86.exe(32位)工具中提供了Python作经济金融数据分析的丰富资源： 包括Pandas，NumPy，SciPy，Statsmodels，Matplotlib等一系列的程序包以及IPython交互环境。要了解Python的其他程序包，可到https://anaconda.org网站上去搜索你所需要的包进行安装。 1.5数据分析工具Python的安装 Python在Windows环境中安装有很多版本。如： (1)Anaconda22.4.1Windowsx86.exe(32位)版本； (2)Anaconda22.4.1Windowsx86.exe(64位)； (3)最新的Anaconda34.1.1Windowsx86.exe(32位)； (4)Anaconda34.1.1Windowsx86_64.exe(64位)。本书使用的是Anaconda22.4.1Windowsx86.exe(32位)版本。 双击下载的Anaconda24.1.1Windowsx86应用程序，即可得到如图14的界面。 图14安装界面(1) 在图14中点击Next按钮，得到如图15所示的界面。 图15安装界面(2) 在图15中点击I Agree按钮，得到如图16所示的界面。 图16安装向导 点击图16中的Next按钮，得到如图17所示的界面。 图17安装向导 点击图17中的Next按钮，即可完成Python套装软件的安装，得到如图18所示的界面。 图18安装完后界面 1.6Python的启动和退出 1.6.1Python工具的启动 点击图18中的Spider图标，即可启动Python的交互式用户界面。最后得到如图19所示的界面。Python是按照问答的方式运行的，即在提示命令符“>>>”后键入命令并回车，Python就完成一些操作。 图19Python的交互式用户界面 本书经常使用的是如图110所示的IPython控制台界面。 图110IPython的交互式用户界面