机器学习的语言和工具
从海量数据中学习规律
利用规律对未知情况进行预测或决策
统计学的作用
数据理解(分辨数据的基本特征)
规律挖掘(建立建模)
预测与评估(利用和评估模型)
不确定性量化(噪音消除)
即,统计学是机器学习的理论基石,是智能科学化落地的根本。
GDP、CPI
经济预测
市场调查
质量管理
以数据作为研究对象,通过对大量同类数据的收集、整理、分析,找出事物的规律的方法论科学。
单一数据总无意义,生数据亦缺乏价值
一般统计工作流程
统计设计 – 往往一带而过
统计调查 – 数据收集方法,只是理论
统计整理 – 数据整理方法,还是理论
统计分析 – 统计工作的重点!!!
时间数列分析
统计指数
抽样推断(抽象代表,利用数学中的参数估计和假设检验)
相关与回归分析(计量学考研常见)
方差分析等
体系性极强,固定策略的普遍性极强,所以比数学简单得多(!?)
了解即可
源自于原始社会时期
事大,大结其绳;事小,小结其绳;
结之多少,随物众寡
奴隶社会和封建社会
资本主义社会
逐步扩展到多种领域
建立了统计调查和报告制度
成立了专门的统计机构
1853,布鲁塞尔第一节国际统计会议
17世纪中叶至18世纪中叶,统计学的创立时期
国势学派
又称记述学派
产生于17世纪的德国
海尔曼·康令,第一个以“国势学”为题讲授政治活动家应具备知识的人
阿亨华尔,亦是文字记述,比较了各国实力强弱
因此只为统计学提供了经济理论基础
局限性
对国家重要事项的记述
几乎只偏重于品质方面,缺乏量的分析
外文评价:有名无实(外文原文和统计学的外文相同)
政治算术学派
威廉·配第(1623~1687,英) – 《政治算数》
是首次建立在史料上利用数据进行的对比,因此被马克思称为统计学创始人之一
此书亦被称之为政府统计的起源,威廉也被称为政治经济学之父
约翰·格朗特(人口学家) – 《关于死亡率的自然率和政治观察》
人口特征观察后得到的结论报告
许多结论经科学检验并不符实,但作为人口统计的起源,统计学意义上已足够严谨
外文评价:无名有实,被认为统计学的真正起源
18世纪至19世纪末,统计学的发展时期
数理统计学派
曾经,统计方法仅仅局限于描述统计
19世纪中叶,概率论被比利时人阿道夫·凯特勒引入统计学形成了数理统计学派,标志着描述统计向推断统计转变
人们开始萌生“以局部推断整体”的想法
局限性
- 希望用自然科学的方法解释社会现象,混淆了自然现象和本质的区别,对犯罪、道德等社会问题用自然科学的方法做出了机械庸俗的解释
研究方法:用大数定律在社会经济现象中寻找其规律性
社会统计学派
由政治算数学派逐步演变而来,主要研究社会现象,融合了国势学派和政治算数学派的观点
德国经济学家、统计学家克尼斯首创,主要代表人物是恩格斯和梅尔
要求质与量相结合,认清本质的前提下进行量的分析
认为由于社会现象的复杂性和整体性,必须对总体进行大量观察和分析,因此研究总体而非个别现象,和现代统计学一致
在对统计资料的整理分析中找出现象内部的规律和联系性
争端
数理统计学派:认为统计学就是数理统计学,可以研究社会现象和自然现象,是一门方法论的通用科学(计量不计质)
社会统计学派:认为统计学的研究范围仅限于社会领域,是一门社会性的科学
20世纪以来,随着计算机的普及,统计学进入快速发展时期,不再有明显的学术派别显现,百花齐放
计算机对数据汇总分析起到了至关重要的作用,研究效率完成了大幅飞跃
由记述统计/描述统计向推断统计发展
前者通过对所有数据的收集,描述现象或事实
后者从整体抽取样本,利用样本推断整体特征(主流趋势)
由社会经济统计向多分支学科发展
数理统计
生物统计
医学统计
经济统计等
统计预测与决策科学的发展
信息论、控制论、系统论与统计学的相互渗透融合,使其得到进一步发展,日趋完善
计算机技术和一系列新技术新方法在统计领域不断得到新的应用
早期统计软件:SPSS/SAS(傻瓜式软件)
现役统计软件:Stata(编程技术介入)
统计在现代管理和社会生活中渐显重要
大标题~
收集、整理和分析客观事物总体数量方面资料的工作流程,是统计的基础。包含:
统计设计
统计调查
统计分析
统计工作所取得的各项数字及文字资料,反映在:
统计图表
统计手册
统计年鉴
统计资料汇编
统计分析报告等
研究如何收集、整理和分析统计资料等的理论和方法
关系辨别
统计工作和统计资料 -> 过程与成果
统计工作和统计学 -> 实践和理论
因此,统计工作作为链接三者的桥梁,是统计的基础
统计学
研究客观现象总体的数量特征和数量关系,涉及自然、社会、经济等领域
社会经济统计学
是经管专业的侧重方向
也就是本门课程的实质
研究社会经济现象总体的数量特征和数量关系
总体性
数量性
客观性
统计数量是客观事物的反映
表示客观现象在具体时空及具体条件作用下实际已经达到的水平程度
具体性
变异性
需要研究总体的全部或足够多的单位进行调查并综合分析,由统计研究对象的大量性和复杂性决定
又名综合指标法,对大量观察所获取的资料,运用各种综合指标的方法进行研究,以反映总体一般的数量特征,并对综合指标进行分解和对比分析,以研究总体的差异和数量关系
总量指标
相对指标
平均指标
变异指标
根据统计研究的任务和事物内在的特点,将被研究的社会、经济现象划分为性质不同的几个部分的方法,是统计整理阶段的专门方法,也是贯穿统计研究全过程的方法
又名统计推断法,指由个体到一般,由事实到概括的推理方法
根据研究方法分类
描述统计学
研究如何取得反映客观现象的数据,并且通过图表形式对所搜集的数据进行加工处理和显示,进而通过综合、概括与分析得出反映客观现象的规律性数量特征
内容包括
数据的搜集方法
数据的加工方法
数据的显示方法
数据分布特征的概括与分析方法等
推断统计学
研究如何根据样本数据推断总体数量特征。是在对样本数据进行描述的基础上,对统计总体的未知数量特征作出以概率形式表述的推断
举例:利用样本信息结合概率论与数理统计,估算极限误差,得出置信区间的过程就是推断统计
二者反映了统计学发展的两个阶段:古典统计学以前者为主,现代统计学以后者为主。描述统计是整个统计学的基础,推断统计是现代统计学的主要内容。二者均是为了反映总体内在数量的规律性。
根据方法研究的重点分类
理论统计学
即数理统计学,探讨数学原理和统计公式的来源
应用统计学
探讨如何运用统计方法解决实际问题
一般统计学文章往往需要模型理论支撑才能顺利发布
考公,考研,军队文职都有所应用
重在辨别
根据研究目的和要求所研究的客观事物的全体,亦称全及总体,简称总体
研究石家庄工业企业经营状况 – 石家庄的所有工业企业
同质性
构成总体的所有单位必须要某些性质上是相同的。这是构成总体的基础,也是统计研究的前提条件
都是石家庄的工业企业
大量性
三者紧密联系在一起:
个体单位之间的差异性越大,构成总体的单位数就越多
研究需要的精度越高,单位数亦会越多
差异性
各单位除了有同质性的一面,还必须有差异性的一面
有限总体 – 单位数有限或可数
工业企业、学生人数
无限总体 – 单位数无限或不可数
大气颗粒、鱼塘鱼苗
亦称个体,指组成总体的各个单位
研究石家庄工业企业经营状况 – 石家庄的每一个工业企业
二者无对立关系,且并非固定不变,会根据研究目的的不同而变化,有时也可以相互转换
研究石家庄工业企业经营状况
总体单位 – 石家庄的每一个工业企业(任何某一个均算作其中之一,因此包含石药集团)
研究石药集团经营状况
统计总体 – 石药集团
$N$ – 总体单位总量
$n$ – 样本容量,即抽取的数量
辨析举例
审计工作中,对某企业的 55400 张发票中抽取 100 张进行详细统计调查
总体:企业的所有发票
总体单位/个体:企业的每一张发票
样本:抽取出的 100 张发票
$N=55400$
$n=100$
是说明总体单位属性和特征的名称,描述对象可以是
文字属性
数量特征等
总体单位是统计标志的直接承担者,统计标志依附于总体单位,而依附于某一个总体单位的统计标志可以有多个,衡量统计标志的名称/量被称为标志值
按计量性质分类
品质标志 – 事物质的特征,一般用文字描述
数量标志 – 事物量的特征,可以用数值表示
按表现形式分类
不变标志 – 总体中所有总体单位具有相同具体表现的标志,体现了总体的同质性,一般一个总体中往往只存在一个不变标志
可变标志 – 总体中各总体单位具有不同具体表现的标志,一个总体中往往存在多个可变标志
标志的所属分类同样可变,并且可以在一定条件下相互转换
是说明总体特征的名称,描述对象只能是数量特征
- 因此所有的指标都可以用数表示
一个完整的统计指标应该包括
时间
空间
指标名称
数值
计量单位
例:2021年我国 GDP 为 114.37 万亿元
时间 – 2021年
空间 – 我国
指标名称 – GDP
数值 – 114.37 万亿
计量单位 – 元
数量性
说明总体数量特征的名称
综合性
是总体各单位数量标志值的综合与概括
具体性
反映现象在一定时空条件下具有一定实际内容的数量特征
客观性
反映的是客观存在的现象的数量特征
许多统计指标的数值是从总体单位的数量标志值汇总而来
产值、职工人数、利润等作为数量标志
石家庄市 XXXX 年工业总产值为 XX 亿元 – 即为上述标志加总而来
指标与数量标志之间存在着转化关系
说明的对象不同
标志有不能用数值表示的品质标志,而指标必须是能用数值表示的
标志或指标表现出来的差异,也就是统计工作的前提
可变的数量标志或指标,一般表现为数值上的差异
连续型变量
指任意两个变量值之间都可以插入某个变量值,即变量值可以无限分割
只能通过测量或计算方法取得(类比数学函数)
离散型变量
只能用整数表示的变量,一般通过计数方法取得
各种相互联系的统计指标组成的有机整体,用来说明所研究现象各个方面相互依存制约的关系
统计指标体系也可以用各指标的关系表示为方程关系 – 总工资=平均工资*员工人数
科学性原则 – 科学反映总体客观状况
目的性原则 – 依据统计研究目的设计
联系性原则/整体性原则 – 从整体上考虑指标间的联系
统一性原则 – 力求与计划、会计和业务核算相统一
可比性原则 – 时空上应当可比,即各地区部门和时间的一致性
按反映内容的范围
宏观指标体系
反映全国范围社会经济现象数量特征
微观指标体系
反应基层单位运行和经营管理情况
按体系内容的不同
国民经济指标体系
整个社会生产、流通、分配、消费等社会再生产过程和条件
社会指标体系
以人们物质文化生活为中心,反应社会状况
科学技术指标体系
反映科学技术发展水平及变化情况
按体系作用的不同
基本指标体系
由反映社会经济基本情况的主要指标构成
专题指标体系
用于反映某方面的社会经济问题
统计设计 – 定性认识
统计调查 – 定量认识
统计整理 – 定量认识
根据目的将调查得到的原始资料和次级资料进行科学的分类和汇总,使其条理化、系统化的过程
主要任务是为下一阶段准备能一定程度上说明总体特征的统计资料
统计分析 – 定性认识
定性认识 -> 定量认识 -> 定量认识 -> 定性认识
略