一、從入門到進階，大致羅列了8大學(xué)習(xí)階段：
階段 Java語言基礎(chǔ)
Java開發(fā)介紹、熟悉Eclipse開發(fā)工具、Java語言基礎(chǔ)、Java流程控制、Java字符串、Java數(shù)組與類和對象、數(shù)字處理類與核心技術(shù)、I/O與反射、多線程、Swing程序與集合類
PC端網(wǎng)站布局、HTML5+CSS3基礎(chǔ)、WebApp頁面布局、原生JavaScript交互功能開發(fā)、Ajax異步交互、jQuery應(yīng)用
第三階段 JavaWeb和數(shù)據(jù)庫
數(shù)據(jù)庫、JavaWeb開發(fā)核心、JavaWeb開發(fā)內(nèi)幕
第四階段 Linux&Hadoopt體系
Linux體系、Hadoop離線計算大綱、分布式數(shù)據(jù)庫Hbase、數(shù)據(jù)倉庫Hive、數(shù)據(jù)遷移工具Sqoop、Flume分布式日志框架
第五階段 實戰(zhàn)(一線公司真實項目)
數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)應(yīng)用
第六階段 Spark生態(tài)體系
Python編程語言、Scala編程語言、Spark大數(shù)據(jù)處理、Spark—Streaming大數(shù)據(jù)處理、Spark—Mlib機器學(xué)習(xí)、Spark—GraphX 圖計算
第七階段 Storm生態(tài)體系
storm技術(shù)架構(gòu)體系、Storm原理與基礎(chǔ)、消息隊列kafka、Redis工具、zookeeper詳解
第八階段 大數(shù)據(jù)分析 —AI(人工智能)
Data Analyze工作環(huán)境準備&數(shù)據(jù)分析基礎(chǔ)、數(shù)據(jù)可視化、Python機器學(xué)習(xí)
1、Python機器學(xué)習(xí)
2、圖像識別&神經(jīng)網(wǎng)絡(luò)、自然語言處理&社交網(wǎng)絡(luò)處理;
二、大數(shù)據(jù)究竟大到什么地步?
堪比小編的胃 以及內(nèi)心滿滿的叛逆勇氣
"大數(shù)據(jù)"首先是指數(shù)據(jù)體量(volumes)大，指代大型數(shù)據(jù)集，一般在10TB規(guī)模左右，但在實際應(yīng)用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量;
其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著是數(shù)據(jù)處理速度(Velocity)快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實時處理。
一個特點是指數(shù)據(jù)真實性(Veracity)高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實性及安全性。
4個V(Vol-ume、Variety、Value和Veloc-ity)也概括總結(jié)出了大數(shù)據(jù)的4大優(yōu)勢和特點，即體量大、多樣性、價值密度低、速度快。這也是大數(shù)據(jù)與以往的海量數(shù)據(jù)相比主要的區(qū)別：
1、 數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。
2、 數(shù)據(jù)類型繁多，涉及網(wǎng)絡(luò)日志、視頻、圖片、地理位置等信息。
3、 價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。
4、 處理速度快。1秒定律。這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。
大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術(shù)。目前所說的"大數(shù)據(jù)"不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域，通過解決巨量數(shù)據(jù)處理問題促進其突破性發(fā)展。
因此，大數(shù)據(jù)時代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價值的信息，也體現(xiàn)在如何加強大數(shù)據(jù)技術(shù)研發(fā)，搶占時代發(fā)展的前沿。
對“大數(shù)據(jù)”有了清晰的概念之后，我們來看看大數(shù)據(jù)涉及的技術(shù)和具體知識。
三、大數(shù)據(jù)學(xué)習(xí)涉及技術(shù)
1、數(shù)據(jù)采集：ETL工具負責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。
2、數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫、NOSQL、SQL等。
3、基礎(chǔ)架構(gòu)：云存儲、分布式文件存儲等。
4、數(shù)據(jù)處理：自然語言處理是研究人與計算機交互的語言問題的一門學(xué)科。處理自然語言的關(guān)鍵是要讓計算機"理解"自然語言，所以自然語言處理又叫做自然語言理解，也稱為計算語言學(xué)。一方面它是語言信息處理的一個分支，另一方面它是人工智能(Artificial Intelligence)的核心課題之一。
5、統(tǒng)計分析：假設(shè)檢驗、顯著性檢驗、差異分析、相關(guān)分析、T檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析(尺度分析)、bootstrap技術(shù)等等。
6、數(shù)據(jù)挖掘：分類 (Classification)、估計(Estimation)、預(yù)測(Prediction)、相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
7、模型預(yù)測：預(yù)測模型、機器學(xué)習(xí)、建模仿真。
8、結(jié)果呈現(xiàn)：云計算、標(biāo)簽云、關(guān)系圖等。