你们的专业对于数据挖掘都很重要,数据挖掘技术更适合业务人员学习(相比技术人员学习业务来的更高效)数据挖掘适用于传统的BI(报表、OLAP等)无法支持的领域,我想应该是数据挖掘技能和相关业务能力吧(从另外的一个极端的例子,但未必需要“大数据”技术(我默认数据挖掘人员具备处理大数据的能力),——量化交易不是只会数据挖掘就可以的,国外学习挖掘的人都是一开始跟着老板做项目,另外现在国内关于数据挖掘的概念都很混乱,量化投资肯定需要数据挖掘技术。
量化交易与数据挖掘有区别吗
这两个概念完全不同啊。量化交易是具体的工作内容,数据挖掘是一种工作方法。
——量化交易不是只会数据挖掘就可以的,至少你还要懂基本的投资知识和交易规则。
——数据挖掘作为一种工作方法,不仅可以用于量化交易,比如制造业可以用来做自动控制,金融业可以用来做反洗钱或风险评测,市场营销人员可以用来做销售预测,运营人员可以用来做客户精准分析等等。
大数据嚒,我觉得是一个被滥用的概念,我作为数据工作人员,我都不知道大数据的准确定义是啥。事实上我也不关心,究竟多少维度多少容量的数据才是大数据,这个问题没有意义。只是在数据量和数据类型不同的情况下,你需要不同的技术方法和数据架构去实现。
举个例子,如果你想用客户的交易数据来做CRM(客户关系管理),你的数据量可能只有几万行,也都是结构化数据,那么excel足够了;如果数据量到百万行,开源的mysql简单用用也可以;如果到千万级,mysql需要优化了,或者直接用sql server及oracle;如果数据量再大,建议上所谓大数据平台,如hadoop等方案;如果你的数据还包括音频、视频、图片等,那么你需要更丰富的non sql 方案。
做量化的话,以A股为例,算2000家好了,每年250交易日,每天4*60=240分钟。如果你要做分钟级的分析,数据总量1.2亿条,再加上你可能还关注财务报表、基准利率、新闻、政策等信息,处理这些数据还是需要一定技术的。
我猜测题主是不是想做量化投资,在评估各方面的资源和条件。
量化投资肯定需要数据挖掘技术,但未必需要“大数据”技术(我默认数据挖掘人员具备处理大数据的能力),交易规则和投资知识肯定是需要的。我大概列一下吧:
1、交易员(提出交易规则)
2、数据建模人员(实现并分析交易规则)
3、机房、硬件等管理人员(基础设施)
4、数据架构师(底层数据存储、计算框架的搭建)
5、开发人员(数据平台的开发、与证券、银行接口对接等)
如果是个人兴趣,我觉得会爬虫和数据分析就可以入门了。
推荐python
从零开始,如何学习数据挖掘
这个问题思考了很久,作为过来人谈一谈,建议在看我这篇回答之前先去了解一下数据挖掘的概念和定义。
在学习数据挖掘之前你应该明白几点:
- 数据挖掘目前在中国的尚未流行开,犹如屠龙之技。
- 数据初期的准备通常占整个数据挖掘项目工作量的70%左右。
- 数据挖掘本身融合了统计学、数据库和机器学习等学科,并不是新的技术。
- 数据挖掘技术更适合业务人员学习(相比技术人员学习业务来的更高效)
- 数据挖掘适用于传统的BI(报表、OLAP等)无法支持的领域。
- 数据挖掘项目通常需要重复一些毫无技术含量的工作。
如果你阅读了以上内容觉得可以接受,那么继续往下看。
学习一门技术要和行业靠拢,没有行业背景的技术如空中楼阁。技术尤其是计算机领域的技术发展是宽泛且快速更替的(十年前做网页设计都能成立公司),一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合行业之后就能够独当一面了,一方面有利于抓住用户痛点和刚性需求,另一方面能够累计行业经验,使用互联网思维跨界让你更容易取得成功。不要在学习技术时想要面面俱到,这样会失去你的核心竞争力。
一、目前国内的数据挖掘人员工作领域大致可分为三类。
- 1)数据分析师:在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询,商务智能,出分析报告。
- 2)数据挖掘工程师:在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
- 3)科学研究方向:在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。
二、说说各工作领域需要掌握的技能。
(1).数据分析师
- 需要有深厚的数理统计基础,但是对程序开发能力不做要求。
- 需要熟练使用主流的数据挖掘(或统计分析)工具如SAS)、SPSS、EXCEL、BI工具等。
- 需要对与所在行业有关的一切核心数据有深入的理解,以及一定的数据敏感性培养。
- 经典图书推荐:《概率论与数理统计》、《统计学》推荐David Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用 》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Procedures Companion》等
(2).数据挖掘工程师
- 需要理解主流机器学习算法的原理和应用。
- 需要熟悉至少一门编程语言如(Python、C、C++、Java、Delphi等)。
- 需要理解数据库原理,能够熟练操作至少一种数据库(Mysql、SQL、DB2、Oracle等),能够明白MapReduce的原理操作以及熟练使用Hadoop系列工具更好。
- 经典图书推荐:《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。
(3).科学研究方向
- 需要深入学习数据挖掘的理论基础,包括关联规则挖掘 (Apriori和FPTree)、分类算法(C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 (Kmeans、Spectral Clustering)。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。
- 相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing,因为R软件是完全免费的,而且开放的社区环境提供多种附加工具包支持,更适合进行统计计算分析研究。虽然目前在国内流行度不高,但是强烈推荐。
- 可以尝试改进一些主流算法使其更加快速高效,例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。
- 需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD,ICML,IJCAI,Association for the Advancement of Artificial Intelligence,ICDM 等等;还有数据挖掘相关领域期刊:ACM Transactions on Knowledge Discovery from Data,IEEE Transactions on Knowledge and Data Engineering,Journal of Machine Learning Research Homepage,IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。
- 可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ,Kaggle: Go from Big Data to Big Analytics等。
- 可以尝试为一些开源项目贡献自己的代码,比如Apache Mahout: Scalable machine learning and data mining ,myrrix等(具体可以在SourceForge或GitHub.上发现更多好玩的项目)。
- 经典图书推荐:《机器学习》 《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》,英文素质是科研人才必备的《Machine Learning: A Probabilistic Perspective》《Scaling up Machine Learning : Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise Miner : A Case Study Approach》《Python for Data Analysis》等。
三、以下是个人对数据挖掘岗位的感受
真正从数据挖掘项目实践的角度讲,沟通能力对挖掘的兴趣爱好是最重要的,有了爱好才可以愿意钻研,有了不错的沟通能力,才可以正确理解业务问题,才能正确把业务问题转化成挖掘问题,才可以在相关不同专业人才之间清楚表达你的意图和想法,取得他们的理解和支持。所以我认为沟通能力和兴趣爱好是个人的数据挖掘的核心竞争力,是很难学到的;而其他的相关专业知识谁都可以学,算不上个人发展的核心竞争力。
说到这里可能很多数据仓库专家、程序员、统计师等等都要扔砖头了,对不起,我没有别的意思,你们的专业对于数据挖掘都很重要,大家本来就是一个整体的,但是作为单独一个个体的人来说,精力有限,时间有限,不可能这些领域都能掌握,在这种情况下,选择最重要的核心,我想应该是数据挖掘技能和相关业务能力吧(从另外的一个极端的例子,我们可以看, 比如一个迷你型的挖掘项目,一个懂得市场营销和数据挖掘技能的人应该可以胜任。这其中他虽然不懂数据仓库,但是简单的Excel就足以胜任高达6万个样本的数据处理;他虽然不懂专业的展示展现技能,但是只要他自己看的懂就行了,这就无需什么展示展现;前面说过,统计技能是应该掌握的,这对个人的迷你项目很重要;他虽然不懂编程,但是专业挖掘工具和挖掘技能足够让他操练的;这样在迷你项目中,一个懂得挖掘技能和市场营销业务能力的人就可以圆满完成了,甚至在一个数据源中根据业务需求可以无穷无尽的挖掘不同的项目思路,试问就是这个迷你项目,单纯的一个数据仓库专家、单纯的一个程序员、单纯的一个展示展现技师、甚至单纯的一个挖掘技术专家,都是无法胜任的)。这从另一个方面也说明了为什么沟通能力的重要,这些个完全不同的专业领域,想要有效有机地整合在一起进行数据挖掘项目实践,你说没有好的沟通能力行吗?
数据挖掘能力只能在项目实践的熔炉中提升、升华,所以跟着项目学挖掘是最有效的捷径。国外学习挖掘的人都是一开始跟着老板做项目,刚开始不懂不要紧,越不懂越知道应该学什么,才能学得越快越有效果。我不知道国内的数据挖掘学生是怎样学的,但是从网上的一些论坛看,很多都是纸上谈兵,这样很浪费时间,很没有效率。
另外现在国内关于数据挖掘的概念都很混乱,很多BI只是局限在报表的展示和简单的统计分析,却也号称是数据挖掘;另一方面,国内真正规模化实施数据挖掘的行业是屈指可数(银行、保险公司、移动通讯),其他行业的应用就只能算是小规模的,比如很多大学都有些相关的挖掘课题、挖掘项目,但都比较分散,而且都是处于摸索阶段,但是我相信数据挖掘在中国一定是好的前景,因为这是历史发展的必然。
四、成为一名数据科学家需要掌握的技能图
人一能之,己十之;人十能之,己千之。果能此道矣,虽愚,必明;虽柔,必强。与君共勉。