采集在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。统计/分析统计与分析主要...
标签：面试经验
数据挖掘是深层次的数据分析，数据分析是浅层次的数据挖掘，数据挖掘更偏重于探索性数据分析，因为数据挖掘的重点是从数据中发现知识规律。它们的具体区别如下： （1）数据分析处理的数据量可能不大；而数据挖掘处理的数据量极大， 并且特别擅长处理大数据，尤其是几十万行、几百万行，甚至更多的数据。（2）数据分析往...
PCAPCA[线性方法]在做特征值分解之后得到的特征向量反应了原始数据方差变化程度的不同方向，特征值为数据在对应方向上的方差大小。所以，最大特征值对应的特征向量为数据方差最大的方向，最小特征值对应的特征向量为数据方差最小的方向。原始数据在不同方向上的方差变化反应了其内在特点。如果单个数据样本跟整体数...
关于数据可视化的适用范围，存在着不同的划分方法。一个常见的关注焦点就是信息的呈现。迈克尔·弗兰德利(2008)，提出了数据可视化的两个主要的组成部分：统计图形和主题图。《Data Visualization: Modern Approaches》（意为“数据可视化：现代方法”）(2007)，概括阐述...
一般情况下，数据是通过表格和图形的方式来呈现的。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等，当然可以对这些图表进一步整理加工，使之变为我们所需要的图形，例如金字塔图、矩阵图、漏斗图、帕雷托图等。大多数情况下，人们更愿意接受图形这种数据展现方式，因为它能更加有效、直观地传递出分析...
OneClassSVMSVM（支持向量机）是一种用于检测异常的有效的技术。SVM通常与监督学习相关联，是一类对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。但是存在可以用于将异常识别为无监督问题（其中训练数据未被标记）的扩展（OneClassCVM）。算法学习软边界以...
数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。但是，这并不就意味着数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味，或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的...
一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容；图文并茂，可以令数据更加生动活泼，提高视觉冲击力，有助于阅读者更形象、直观地看清楚问题和结论，从而产生思考。另外，数据分析报告需要有明确的结论，没有明确结论...
对于单条时序数据，根据其预测出来的时序曲线和真实的数据相比，求出每个点的残差，并对残差序列建模，利用KSigma或者分位数等方法便可以进行异常检测。具体的流程如下：作者：名字太长显得比较长来源：CSDN
金融领域区块链在国际汇兑、信用证、股权登记和证券交易所等金融领域有着潜在的巨大应用价值。将区块链技术应用在金融行业中，能够省去第三方中介环节，实现点对点的直接对接，从而在大大降低成本的同时，快速完成交易支付。比如Visa推出基于区块链技术的 Visa B2B Connect，它能为机构提供一种费用更...
在日常生活中提到的平均数，一般是指算术平均数，就是一组数据的算术平均值，即全部数据累加后除以数据个数。算术平均数是非常重要的基础性指标。平均数是综合指标，它的特点是将总体内各单位的数量差异抽象化，代表总体的一般水平，掩盖了总体内各单位的差异。例如现有某学期学生的数学考试成绩，通过计算成绩平均数，将每...
将多维传感器产生的数据进行数据融合，能够产生比单一信息源更精确、更完全、更可靠的数据。数据融合分为预处理和数据融合两步。 预处理1）外部校正，去除外部地形、天气、气压、风速等外部噪声引起的对结果数据的影响，外部校正的目的主要在于去除外部随机因素对测量数据结果一致性的影响。2）内部校正，去除由于...
2008年由中本聪第一次提出了区块链的概念，在随后的几年中，区块链成为了电子货币比特币的核心组成部分：作为所有交易的公共账簿。通过利用点对点网络和分布式时间戳服务器，区块链数据库能够进行自主管理。为比特币而发明的区块链使它成为第一个解决重复消费问题的数字货币。比特币的设计已经成为其他应用程序的灵感来...
绝对数是反映客观现象总体在一定时间、地点条件下的总规模、总水平的综合性指标，也是数据分析中常用的指标，如GDP、总人口等。此外，绝对数也可以表现为在一定时间、地点条件下数量的增减变化，比如“A”国人口比“B”国人口多1000万人。相对数是指由两个有联系的指标对比计算而得到的数值，它是用以反映客观现象...
对多个变量的大数据分析时，会有很多丰富信息，变量之间可能存在相关性，但增加了问题分析的复杂性。 而将每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，甚至还可能产生错误的结论。考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么...
什么是区块链？从科技层面来看，区块链涉及数学、密码学、互联网和计算机编程等很多科学技术问题。从应用视角来看，简单来说，区块链是一个分布式的共享账本和数据库，具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点。这些特点保证了区块链的“诚实”与“透明”，为区块链创造信任奠定基础。而区块...
百分比是相对数中的一种，它表示一个数是另一个数的百分之几，也称百分率或百分数。百分比通常采用百分号（%）来表示，如8%，50%，168%等。由于百分比的分母都是100，也就是都以1%作为度量单位，因此便于比较，在数据分析中的应用非常广泛。百分点是指不同时期以百分数的形式表示的相对指标的变动幅度，1个...
数据标准化是指通过一定的方法和比例将数据映射到指定区间，根据使用函数的不同可以归纳为三类：直线型无量纲法、折线形无量纲法以及曲线型无量纲法。一些原始数据集是没有经过转化的有量纲数据，如果将其直接输入到模型中进行训练，受不同量纲特征的影响，会导致模型的收敛速度变慢，并且当特征量纲级别相差特别大时，模型...
较为简单的云计算技术已经普遍服务于现如今的互联网服务中，最为常见的就是网络搜索引擎和网络邮箱。搜索引擎大家最为熟悉的莫过于谷歌和百度了，在任何时刻，只要用过移动终端就可以在搜索引擎上搜索任何自己想要的资源，通过云端共享了数据资源。而网络邮箱也是如此，在过去，寄写一封邮件是一件比较麻烦的事情，同时也是...
频数是指一组数据中个别数据重复出现的次数。如某校A班学生共50名同学，按性别进行分组，分为男与女两个组别，男同学的频数为30，女同学的频数为20。频率是每组类别次数与总次数的比值，它代表某类别在总体中出现的频繁程度，一般采用百分数表示，所有组的频率加总等于100%。还是用某校A班的例子，30个男同学...