1、大数据与我们的生活关于大数据的阅读交流,开篇引言：毕达哥拉斯“万物皆数”,2500年前，古希腊哲学家毕达哥拉斯曾提出过“万物皆数”的哲学观，认为：数字是世界的本质，并支配着人类社会乃至整个自然界。-毕达哥拉斯定理-数字与美，黄金分割数：0.618，等。,今天，随着互联网、物联网等技术的广泛应用，我们的世界真正进入了“万物皆数 数即万物”大数据时代,内容提要,内容一：大数据知识ABC 为使大家更好地理解今天的讲课内容，先介绍一些有关大数据的基本知识，如：什么是大数据，大数据究竟有多大，大数据来自哪里，大数据又有什么作用？还有经常听到的一些用语的含义，如：传感器，RFID（射频识别标签），物联网，
2、云计算，互联网+，智慧城市，三网融合，等。,内容二：大数据与小数据的比较 既有大数据这个概念，是不是还有“小数据”呢？大数据与小数据有什么不同呢？大家知道，统计是专门与数字打交道的一个行当与一门科学，顺便讲一讲统计的那些事吧；阿拉伯数字是我们经常使用的，阿拉伯数字是阿拉伯人发明的吗？,内容三：大数据与我们的生活 悄然来临的大数据时代，你觉察到了吗？大数据正在改变着我们的生活：从购物到交通，从食品到环境，从医疗到教育；从变革社会管理方式到聆听我们的身心，大数据将会怎样影响我们的未来社会？,大数据知识ABC,1、什么是大数据？,大数据，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理
3、的数据集合。,维基百科 大数据是难以用现有的数据库管理工具处理的，兼具海量特征和复杂性特征的数据集成。大数据带来的挑战包括获取、存储、搜索、共享、分析和可视化。,大数据（作者：美国KIT Solutions软件公司中国事务主任涂子沛）那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、存储、管理和分析的数据。并没有普遍适用的定义来确定具体多大的数据才能称为大数据。一般认为，大数据的数量级应该是“太字节”的。,大数据时代（作者：维克托迈尔-舍恩伯格）大数据把数学算法运用到海量的数据上来，做出分析，并对事情发生的可能性做出洞见。与传统数据比较，大数据的数据量更多，有时甚至是纷繁混乱无序，将
4、注意力更多地放在相关关系的发现和使用上。,IBM 3V：大量化（Volume）、多样化（Variety）和快速化（Velocity）。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。大数据在政府统计中的应用研究（国家统计局）是指汇集不同数据源，通过采用现代信息技术和架构能够高速分析处理的、具有高度应用价值和决策支持功能的多种类型的数据及其技术集成。,2.大数据有多大？,衡量大数据的大小通常以“太字节（TB）”或者“拍字节（PB）”为单位量级。1个太字节数据量有多大呢？为1024G个字节或10.7亿个字节。数据的存储单位从小到大的次序
5、为：KBMBGBTBPBZBYB（千字节兆字节吉字节太字节拍字节泽字节尧字节），每提高一个量级的存储量扩大1024倍。,2.大数据有多大？,千字节（KB）：1个KB是1024字节，一页A4纸上小4号的汉字大概是2千字节，1千个汉字；兆头节（MB）：一首普通MP3格式的流行歌曲大概是4兆字节；吉字节（GB）：一部电影大概是1吉字节；太字节（TB）：美国国会图书馆所有登记的印刷版书本的信息量为15太字节；,拍字节（PB）：谷歌每小时处理的数据为1拍；艾字节（PB）：1个EB是1024PB，相当于13亿中国人人手一本500页的书加起来的信息量；泽字节（ZB）：1个ZB是1024EB，截至2010年，
6、人类拥有的信息总量大概是1.2泽字节；尧字节（YB）：1个YB是1024ZB，超出想象，无法描述与比喻。,3.大数据来自于哪里呢？,第一个来源，是传感器。,重要名词：传感器,传感器，是“能感受规定的被测量件并按照一定的规律转换成可用信号的器件或装置，通常由敏感元件和转换元件组成”。,任何可以监测、数据化、传输的工具，都是传感器。如手机、手环、大街上的探头等，都是传感器。,射频识别标签（Radio Frequency Identification，RFID），生活中常见传感器：手机、探头、天眼、门卡、饭卡、IC卡、银行卡，等等。,2005年，全世界使用的传感器只有1.3亿个，到2010年就发展到
7、了30亿个，目前大概有45亿个。预计到2030年将有100万亿个传感器连接在物联网上。,重要名词：物联网,物联网，是在互联网的基础上，将其用户端延伸和扩展到任何物品与物品之间，进行信息交换和通信的一种网络概念。通过射频识别标签（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议把任何物品与互联网相连接，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络概念。物联网的核心和基础仍然是互联网，是在互联网基础上的用户端延伸和扩展到物品层面。,环境监测物联网,第二个来源，是互联网。第三个来源，是社交网络。第四个来源，是政府统计部门以及各专业部门、金融部门、
8、科研等的数据。,4.大数据又有什么作用呢？,数据的价值 人类对于数据价值的认识大致可分为三个阶段：一是以经验科学为基础判断数据价值的“小数据”时代；二是以计算机为基础追求数据精细化时代，也就是从小数据向大数据过渡时期；三是以系统性数据资源为基础深入挖掘数据关系的大数据时代。,没有调查，就没有发言权 毛泽东 我们信靠上帝。除了上帝，任何人都必须用数据来说话。爱德华戴明（19001993）美国著名的管理学家、统计学家,大数据的价值 从大数据产业链看：第一层是数据层，主要是数据的采集、存储、传输、扩散；第二层是信息层，把数据背景融入数据，形成价值密度更高的信息；第三层是知识层，在信息基础上进行提炼，
9、形成有价值的知识。,通过分析大数据，寻找相关性，发现规律性，增强预见性，带来“大知识”“大科技”“大利润”“大发展”大数据被誉为未来社会的新“石油”和新“金矿”。,大数据挖掘与应用的经典案例,案例1：尿布与啤酒放在一起卖,案例1：尿布与啤酒放在一起卖,在美国，沃尔玛公司曾在对商品进行市场类组分析的过程中意外发现：跟尿布一起购买最多的商品竟是啤酒！后经研究发现其中原委：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了两瓶啤酒。既然尿布与啤酒一起购买的机会最多，沃尔玛就将啤酒和尿布并排摆放在一起，结果是尿布与啤酒的销售量双双增长。,案例2：美国每日网上价格指数预测国际
10、金融危机爆发,案例3：向高中女生邮寄婴儿服装和孕妇服装的优惠券,2012年2月16日，纽约时报刊登了一篇题为这些公司是如何知道您的秘密的的报道。文中介绍了这样一个故事：一天，一位男性顾客怒气冲冲地来到一家折扣连锁店向经理投诉：该店竟然给他还在读高中的女儿邮寄婴儿服装和孕妇服装的优惠券。在随后父亲与女儿进一步沟通发现，自己女儿真的已经怀孕了！父亲又回到商店向经理道歉。,案例3：,这一故事，经常被作为大数据挖掘能力的典型例证。但有观点认为，这一案例体现出的并不是大数据的“聪慧”，而是大数据的“傲慢”，个人隐私并没有得到足够尊重。产生了数据安全问题：要防止数据被滥用。,案例4：太阳能发电与智能电表,
11、在德国，为了鼓励利用太阳能，在家庭安装太阳能板，当家庭的太阳能有多余电的时候还可以买回来。通过电网每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2到3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。像期货一样，如果提前买就会比较便宜，买现货就比较贵。,重要名词：数据废气(Data Exhaust),数据废气，是用来描述人们在网上留下的数字轨迹的，是用户在线交互的副产品，包括浏览网页、停留时间、鼠标光标停留的位置、输入信息等。数据废气可以被循环利用，用来改善服务和开发新的服务。电商利用数据废气进行商品的
12、：网络推荐,大数据的重要作用,第一，对大数据的处理分析已成为新一代信息技术融合应用的结点。第二，大数据是信息产业持续高速增长的新引擎。第三，大数据利用是提高核心竞争力的关键因素。第四，大数据将成为降成本、增效益、促转型、稳增长的新途径与新动力。第五，大数据将促进统计方法、科学研究与实验的方法手段发生重大改变，成为政府统计收集数据的第二轨。,麦肯锡全球经济研究院报告：2013年中国互联网经济（iGDP）已占到国内生产总值的4.4%以上，预计从2013年至2025年，互联网将帮助中国提升国内生产总值0.3至1个百分点。贵阳大数据交易所2015年中国大数据产业白皮书：预计到2020年中国大数据产业市
13、场规模将由2014年的767亿元扩大至8228亿元。,进度时间：9:55（9:30+25）,大数据VS小数据,1.小数据定义,小数据，是指在传统技术和方法的条件下收集、处理和分析的数据。包括政府部门组织的统计调查，企业开展的市场调查，等。百度搜索：吕兰涛定义：“小数据（Small Data），或称个体资料，是指需要新的应用方式才能体现出具有高价值的个体的、高效率的、个性化的信息资产”。,2.大数据与小数据有什么不同呢？,首先，从数据的体量来看，大数据体量巨大，规模已经超出了在常规方法和时间内搜集、利用、管理和处理数据的能力。小数据体量则小得多。,2.大数据与小数据有什么不同呢？,其次，从数据形
14、态来看，传统的数据通常是结构化数据，结构化数据（行数据）是指存储在数据库里可以用二维表结构来逻辑表达实现的数据，大数据则是混合形态的数据。在大数据中，结构化数据占15%，更多的则是非结构化的数据，如图片、日志、音频、视频、地理位置等数据，这些数据大都是非结构化的。,2.大数据与小数据有什么不同呢？,第三，小数据是目标导向数据，价值密度较高。自古以来，一些重要数据都是由政府组织收集的，通常是目标导向数据，有非常明确的目的，有非常明确的价值。比如说我国的GDP核算，城乡住户收支抽样调查，CPI、PPI等价格抽样调查，都是围绕着具体的目标开展数据收集的。而大数据则是记录导向的，价值密度低。仅仅是为记
15、录数据，而不是为了得到或解释某个特定事件的数据。如交通摄像头里的记录。,2.大数据与小数据有什么不同呢？,第四，大数据即时产生，随时可用。数据本身在线上，不在你的计算机或移动硬盘中。小数据生产的时间长，从测量到可用，需要相当长的时间。小数据在计算机、年鉴、文本上。大数据的获取省略了抽样设计环节，基本不介入调查对象的行为，不直接与调查对象发生博弈，始终以观察者的角色出现，可以直接对整体进行分析。,2.大数据与小数据有什么不同呢？,第五，从数据占有主体来看，在传统社会里，政府部门拥有大多数公民数据。小数据拥有的主体是政府（包括政府统计部门和各专业部门）、企业、民间调查机构、科研机构等。大数据则主要
16、掌握在互联网公司手中，目前我国国内互联网三巨头BAT：百度、阿里、腾讯掌握了大数据的大部分。,3、大数据是怎样收集利用的？,对大数据的开发利用，只有具有技术能力的网络公司才能做到，通过网络爬虫在网络上抓取数据，然后经过数据清洗，进行数据挖掘分析,实现数据的价值。不具备大数据挖掘利用能力的一般个人或者企业、机构，通过向这些公司付费后购买数据和服务，这就是我们日益熟悉的云计算、云平台、云服务；未来的地方政府或许将不得不向私营部门购买数据。,重要名词：云计算（云平台、云服务）,云计算（Cloud Computing），是基于互联网的相关服务的增加、使用和交付模式。云是网络、互联网的一种比喻说法。美国国家标准与技术研究院定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（网络，服务器，存储，应用软件，服务），只需投入很少的管理与成本，这些资源能够被快速提供。大数据时代：“自来水公司与用户的关系”,展开话题一：统计的那些事-数字起源与统计发展,人类早期的计数工具：,结绳记事,小石子计数,伏羲氏“制作八卦”计数工具,远古时代的结绳记事、刻木
