數字經濟引領全球經濟社會變革
國家大數據戰略大數據人才緊缺
Python-數據領域重要語言
數字經濟成為全球增長新動能,我國數字經濟規模世界第二;數字人才成為我國經濟全面數字化轉型的第一資源和核心驅動力。
大數據已成為一種戰略資源,具有廣闊的應用前景;《新職業—大數據工程技術人員就業景氣現狀分析報告》報告顯示,2020年我國大數據領域人才缺口高達200萬,預計2021年大數據人才缺口達到250萬!
Python語言的TIOBE指數增長幾乎觸及Java,它們之間的差距僅僅只有0.57%;根據 Hacker News 招聘趨勢排名,越來越多的公司要求員工掌握 Python 技能。
第一階段
第二階段
第三階段
第四階段
第五階段
第六階段
第七階段
第八階段
第九階段
第十階段
第十一階段
第十二階段
主要內容
Python基礎語法。
可解決的現實問題
零基礎快速入門,學習并掌握Python基礎語法
可掌握的核心能力
1.掌握Python開發環境基本配置;
2.掌握運算符、表達式、流程控制語句、數組等的使用;
3.掌握字符串的基本操作;
4.初步建立面向過程的編程思維;
熟悉異常捕獲的基本流程及使用方式;
建立學習興趣。
主要內容
掌握Python高級語法、多任務編程以及網絡編程,并了解數據埋點。
可解決的現實問題
熟練使用Python,掌握數據開發工程必備的基礎知識。
可掌握的核心能力
1.掌握面向對象編程能力及思想;
2.掌握Python高級語法特性;
3.掌握開發中的多任務編程實現方式;
4.知道多進程多線程的原理;
5.掌握網絡編程技術,能夠實現網絡通訊;
6.知道通訊協議原理;
7.掌握日志的使用;
8.知道如何埋點采集數據;
9.能夠實現一般的Python程序。
主要內容
學習SQL和BI,掌握數據開發所需的核心技能。
可解決的現實問題
能夠運用SQL完成企業數據報表開發。
可掌握的核心能力
1.能夠掌握SQL語法的使用;
2.能夠完成SQL實戰項目;
3.熟練運用SQL和BI工具完成企業常見數據報表分析。
主要內容
Pandas數據處理、分析、可視化基礎知識,以及數據分析多場景實戰。
可解決的現實問題
掌握數據處理的流程和方法,能夠進行常用指標計算及各種分析、數據分層迭代以及人物調度管理,能夠進行報表設計和開發。
可掌握的核心能力
1.能夠使用Pandas進行數據處理
2.能夠使用Python進行數據可視化;
3.能夠使用Pandas進行描述性數據分析;
4.知道數據分析常用思維方法;
5.知道不同業務場景下的指標體系;
6.能夠使用多種數據分析工具進行數據提取與數據展示;
7.能夠運用常用數據分析模型解決業務問題。
主要內容
Linux操作系統及常用命令、Hadoop(HDFS、MapReduce、Yarn)、Zookeeper。
可解決的現實問題
熟悉Linux操作系統的各種命令及操作,掌握大數據的核心框架Hadoop以及其生態體系,為后續學習打下良好基礎。
可掌握的核心能力
1.Linux系統及常用命令;
2.遠程登錄、權限管理以及Shell編程;
3.Zookeeper架構原理及安裝使用;
4.Hadoop介紹及安裝;
5.HDFS架構原理及使用;
6.MapReduce架構及各種機制原理;
7.Yarn架構、策略及原理。
主要內容
1.Hive基礎、Hive高階、Hive出行大數據實戰或Hive亞馬遜電商大數據實戰(2選1);
2.解決方案、技能點大數據部署運維:Cloudera Manager;分析決策需求:數據倉庫;數據采集:Sqoop;數據分析:hive;歷史數 據快照:拉鏈表;數據更新后的統計分析:拉鏈表; 數據調度:Oozie+shell;OLAP系統存儲:mysql;數據展現:FineBI。
可解決的現實問題
1.解決企業級數倉構建及通過數據分析結果決策實際業務;
2.從0到1完成構建教育或電商等多行業企業級離線數倉架構。
可掌握的核心能力
1.掌握數據倉庫理論,Hive框架,完成大數據體系下企業級數據倉庫構建;
2.教育或新零售離線數倉項目(2選1);
3.掌握離線數倉的分層與建模,從需求、設計、研發、測試到落地上線的完整流程。
主要內容
1.Spark core、Spark SQL、Structured Streaming、Spark案例實戰;
2.主講解決方案:基于HDP快速搭建大數據平臺;基于Hive+Spark SQL搭建離線數據倉庫;基于Structured Streaming構建高吞吐實 時處理;基于ECharts實現可視化。
可解決的現實問題
1.解決企業級離線和實時數據分析一站式數據開發問題;
2.解決實時數據采集開發,構建高性能數據存儲處理大數據平臺開發。
可掌握的核心能力
1.掌握Spark的RDD、DAG、CheckPoint等設計思想;
2.掌握SparkSQL結構化數據處理,Spark On Hive;
3.掌握SparkStreaming整合Kafka完成實時數據處理;
4.掌握SparkStreaming偏移量管理及Checkpoint;
5.掌握Structured Streaming整合多數據源完成實時數據處理;
6.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力;
7.智能制造業項目和保險行業大數據項目(2選1)
8.完成基于國內大型的設備制造商大數據項目開發;
9.掌握基于spark分析原材料消耗、設備使用情況、多維度產品銷售分析,以大數據推動工業4.0;
10.具備基于HDP平臺,連接工業設備,收集數據資源,實現產業監測分析。
主要內容
編程基礎、面向對象、常用類API、集合操作/IO操作、Java基礎增強。
可解決的現實問題
解決常見的Java編程開發問題,熟練運用Java完成大數據開發。
可掌握的核心能力
掌握Java語言完成大數據開發。
主要內容
分布式緩存系統、萬億級NoSQL海量數據存儲、分布式流處理平臺、NoSQL社交場景大數據分析實戰。
可解決的現實問題
1.解決企業級非結構化數據的存儲及分析問題;
2.解決企業常見消息中間件問題。
可掌握的核心能力
1.掌握HBase原理及架構;
2.掌握HBase命令操作、MapReduce編程;
3.掌握Phoneix二級索引優化查詢;
4.掌握ELK開發掌握Kafka原理及架構。
主要內容
1.對學習的內容進行整體回顧;
2.經典面試題;
3.簡歷指導;
4.面試和溝通技巧。
可解決的現實問題
就業指導+就業加強,對學習的內容進行整體回顧,并分析經典面試題,指導簡歷,面試和溝通技巧助力高薪offer
可掌握的核心能力
1.強化面試就業核心面試題;
2.梳理大數據架構及解決方案;
3.剖析多行業大數據架構。
主要內容
大數據Flink技術棧,以及車聯網項目、金融項目和物流項目(3選1)
可解決的現實問題
1.解決TB級規模下毫秒級Flink實時計算程序開發、架構設計及引擎優化;
2.解決不同應用場景下多種存儲與計算引擎的技術引擎優化,項目上線部署、運維監控;
3.解決企業級Flink CEP諸多難點問題。
可掌握的核心能力
1.掌握基于Flink進行實時和離線數據處理、分析;
2.掌握基于Flink的多流并行處理技術;
3.掌握千萬級高速實時采集技術;車聯網或金融行業大數據項目(2選1);
4.掌握基于Flink全棧進行快速OLAP分析;
5.掌握基于Springboot+SwaggerUI快速構建數據服務接口;
6.掌握實時高性能海量數據分析與存儲;
7.掌握針對Hbase調優實現Hbase存儲調優;
8.掌握數據報表分析、業務數據實時大屏場景實現。
主要內容
大數據Scala編程、機器學習統計分析、多場景分析實戰、金融風控分析、完整的Python后端課程
可解決的現實問題
在畢業后工作之余進行學習、繼續提升,贈送課程持續更新、終身受益。
可掌握的核心能力
1.學習Scala編程,從容應對不同技術要求的團隊;
2.無論是數據分析還是大數據開發,工作之余繼續學習,不斷提升并挑戰更高薪資;
3.金融風控業務場景下建模分析,真數據真實戰真提升;
4.通過多場景下不同業務,進行專項項目實戰,帶你領略不同的數據分析處理場景;
5.最完整的Python后端開發課程,包含Web、爬蟲、運維與部署、工程項目管理、測試及測試開發,讓你用最快速的時間了解前后端業務開發,助你走向數據架構乃至技術Leader職業生涯的巔峰。
數據課程從Python入手,簡單高效入門,最適宜零基礎人員
缺乏工作經驗和技能,對未來沒有明確目標與規劃,期望通過學習數據課程進入IT行業的人員
目前工作待遇不理想,市場上升空間有限或職業瓶頸期,各行業需要突破現狀實現轉行的人員
具有一定的數據理論或基礎,需要掌握系統數據技術,在實際業務中如何應用的人員
有較強邏輯思維能力,應對復雜業務場景處理,順應時代趨勢,對數據行業感興趣的人員
資深數據分析師
(4~6年)
資深數據工程師
(4~6年)
項目經理
(4~6年)
數據科學家
(6~10年)
數據架構師
(6~10年)
項目總監
(6~10年)
CDO(首席數據官)
(10年以上)
CTO
(10年以上)
CIO
(10年以上)
業務標準業務場景全面
產品需求及真實海量數據集
技術標準技術方案主流
企業應用匹配
研發標準項目開發真實
研發流程規范
設計標準學習目標清晰
邏輯設計合理
重要伙伴KP
(Key Partnerships)參與者:機構(監管、投資)/企業(基金公司、上市公司)/個人投資者
使用對象:投資性企業/散戶投資者/監管機構
應用服務:實時大屏、監控預警
風險評級:高、中、低
業務范圍:股票、指數、板塊
指標分析:股指行情數據
關鍵業務KA
(Key Activeties)通過股市行情的實時數據采集,實時多維度分析,即席查詢
構建實時大屏展示(股票、指數、板塊、K線行情)、監察預警平臺(實時、離線)等
核心資源KR
(Key Resource)金融行業每日業務交易,實現對證券市場的統計分析,實現良好監控和監管
價值主張VP
(Value Properties)構建實時數據分析系統和大數據預警平臺,幫助廣大投資者(私募、公募、個人、機構等)構建一個高效、穩定、健康的投資分析平臺
客戶關系CR
(Customer Relation Ship)上證、深證、萬德、交易系統
渠道通路CH
(Channels)做為實時監控平臺,通過監控證券市場每日業務交易數據,通過Flink技術棧實現預警體系搭建
客戶細分SR
(Customer Segments)券商、股民、基金公司、投資性機構、理財公司等
成本結構C$(Cost Structure)· 服務器成本
· 運營成本
· 人員薪資等
業務范圍$(Scope Business)· 提供爭取業務數據
· 個股、指數、板塊
· 監控預警
數據采集:實現基于MySQL的Cannal以及Oracle的Ogg數據采集
數據ETL:基于StructuredStreaming實現異構數據源清洗
數據分析:基于Kudu+SparkSQL實現離線數倉分層,對接Impala即席查詢
數據接入Clickchouse:基于ClickHouse實現多維物流數據指標分析
數據報表展示:基于SpringBoot+Vue實現數據報表展示
信息庫就業市場調研+分析,獲取技術前沿方向
海量數據集收集各大廠商、各種業務場景下的真實數據,助力數據開發課程快速更新
課題研究庫提出前沿熱門技術課題,深入原理剖析+技術攻堅
研發人才庫來自IBM、JD、百度、當貝一線數據開發大牛
解決方案庫基于數據開發主流技術,研發解決方案,應對數字化轉型各種場景下的新挑戰
項目庫基于熱門行業、領先技術以及真實海量數據集,聯合人才庫大牛顧問團,研發大廠級深度項目
學習大數據,你見過真的海量數據嗎?你操作過真的【大規模集群】嗎?你接觸過真的【云服務】嗎?這一切,在黑馬程序員都將實現真接觸!黑馬程序員與知名云平臺廠商—UCloud達成深度合作。為學生提供大規模服務器集群進行實戰,硬件規模達到:
以上資源,年成本近百萬,但黑馬完全免費提供給每位學生使用。真正讓每個學生都能接觸【真·大規模集群】和【真·大規模數據】。
技術小白 職場新人領導安排任務,毫無方向,
無從下手
業務能手 團隊骨干快速解決職場問題,
高效完成任務
領導安排你一個裝修任務,你是否無從下手?但如果這時有人給你提供完整裝修方案,例如歐式、簡約、地中海風格裝修方案,那相信你會高效快速的完成任務
我們的講師將多年企業遇到的問題和解決問題的經驗,輸出為行業問題解決方案,學員在培訓中可以學習到解決真實業務場景對應的整套技術方案,入職企業后可以快速上手,高效解決問題
涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務通過 QBOX 車輛終端數據收集,并解析為 QSP 數據、QCS 數據、充電數據、HU 數據提供實時計算服務與離線計算服務,并通過 API 接口以報表和大屏展示分析結果數據
1.多場景存儲解決方案
2.海量數據處理,系統 15 分鐘內收集的新能源車輛的數據超過千萬條
3.基于 Hive、HBase、HDFS 數據存儲
建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理 項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用
1.從需求、設計、研發、測試到落地上線的完整項目流程2.大量教育大數據的真實業務邏輯,涉及 20 多個主題,100 多個指標
3.大數據技術在真實場景中的使用,包括大數據量場景下如何優化配置,拉鏈表的應用
4.新增數據的抽取和分析,更新數據的抽取和分析,以及 hive 函數的具體應用等
5.ClouderaManager 可視化、自動部署和配置,穩定性極好
實時監控證券市場的市場每日的業務交易,實現對證券市場交易數據的統計分析搭建監察預警體系,包括:預警規則管理,實時預警,歷史預警,監察歷史數據分析等股市行情交易數據實時采集、實時數據分析、多維分析,即席查詢,實時大屏監控展示高性能處理,流處理計算引擎采用的是 Flink,實時處理 100 萬筆/s 的交易數據
1.基于企業主流的實時流處理技術框架:Flume、Kafka、Flink、Hbase 等
2.基于 ELK 的批業務數據處理,可進行大數據量多維分析
3.Hbase5 日內秒級行情億級規模,MySQL5 日內分時行情千萬級規模
4.T-5 日內實時行情響應耗時毫秒級,T-5 日外的歷史行情響應耗時秒級
涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務通過 QBOX 車輛終端數據收集,并解析為 QSP 數據、QCS 數據、充電數據、HU 數據提供實時計算服務與離線計算服務,并通過 API 接口以報表和大屏展示分析結果數據
1.基于 Kafka 數據傳輸
2.基于 Flink 全棧數據處理
3.基于 Nginx 做反向代理、LSV 和 Keepalived 負載均衡和高可用
4.基于DS技術棧實現大數據多組件調度
5.基于Yarn實現大數據資源調度
基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬,圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等 ,提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案
1.涵蓋離線業務、實時業務大屏展示
2.基于ClickHouse 實時存儲、計算引擎提供實時大屏訂單展示
3.基于Kudu + Impala 準實時分析系統 ,提供即系查詢展示
4.基于ELK 全文檢索
基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬,圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等 ,提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案
1.涵蓋離線業務、實時業務
2.ClickHouse 實時存儲、計算引擎
3.Kudu + Impala 準實時分析系統
4.以企業主流的 Spark 生態圈為核心技術,例如:Spark、Spark SQL、Structure Streaming
基于一家大型物流公司研發的智慧物流大數據平臺,日訂單上千萬,圍繞訂單、運輸、倉儲、搬運裝卸、包裝以及流通加工等物流環節中涉及的數據信息等 ,提高運輸以及配送效率、減少物流成本、更有效地滿足客戶服務要求,并針對數據分析結果,提出具有中觀指導意義的解決方案
1.涵蓋離線業務、實時業務
2.基于 Docker 搭建異構數據源,還原企業真實應用場景
3.基于OGG采集Oracle數據
4.基于Cannal采集MySQL業務數據庫數據
基于垂直電商平臺構建的用戶全方位畫像,完整抽取出一個用戶的信息全貌 ,業務圍繞商品、訂單、用戶基礎信息及行為信息等數據,實現用戶和商品基礎標簽、組合標簽、微觀畫像、標簽查詢等業務場景,提供了企業級多 方位業務決策分析。
1.采用 Spark 進行指標分析,并通過 Spark MLLib 建立數據挖掘模型
2.使用HBase 存儲標簽數據
3.使用CDH 管理集群
4.使用自動化腳本部署集群
數據分析不僅是(大)數據開發中重要流程,也是(大)數據開發的最終目的;越來越多的企業要求(大)數據工程師承擔部分數據 分析的工作
1.常用指標計算
2.用戶行為分析
3.商品庫存分析
4.用戶評論文本挖掘
5.游戲數據分析
6.AB測試實戰
7.競品監控
8.報表設計
信用風險是金融監管機構重點關注的風險,關乎金融系統運行的穩定。在實際業務開展和模型構建過程中,面臨著高維稀疏特征以及樣本不平衡等各種問題,如何應用機器學習等數據挖掘方法提高信用風險的評估和預測能力,是各家金融機構積極探索的方向。
1.搭建數據探索→特征工程→模型訓練與調優→模型上線監控完整流程
2.詳解特征工程常用方法
3.Logistic回歸與集成學習評分卡建模與調優
4.介紹樣本不平衡問題解決辦法
5.介紹模型融合方案
專職課研團隊
專職教學團隊
大廠背景,技術深度、廣度,
大型項目經驗
背景調查,技術360°鑒定 ,
新課題設計 ,課程隨機演繹 ,
職業定位、發展規劃
教育情懷、價值觀,進
取精神、培養潛力
CEO審核,信息存檔
課研人員素質考核視頻錄制考核
課程設計考核課堂試煉考核
大綱設計考核產品全方位審評
講義撰寫考核考核答辯
平臺、組件
技術開源歷練
技術私享會
大牛技術沙龍
企業對對碰
技術共享
業務技能、性格
特色、溝通能力
框架能力、底層原理、性能與
安全、算法與數據結構
課程設計、授課邏輯互動與
交互、代碼規范
抗壓能力、學習動力、
專業程度、培養潛力
定制個性化考核方案教育心理考核
講師素質考核教學方法考核
排課、備課產出物考核課堂試講考核
視頻錄制考核正式授課答辯
每日授課
學員滿意度打分
階段課程實施
評審組審核
傳智培訓院
多維培養計劃
講師專屬
晉升通道
用愛成就每一位學生
確定項目方向、目標需求調研、市場調研設計產品原型
需求分析需求變更業務評審
前端界面設計表模型設計接口文檔設計需求詳細設計技術調研、選型
制定代碼開發規范表模型設計規范業務開發流程業務拆解小組開發代碼提交單元測試Bug修改打包部署編寫部署文檔
聯調測試Bug提交問題單跟蹤編寫測試用例功能測試性能測試產出測試報告
投產交付運維維護
精準定靶學習目標,讓學員對每天的學習進程了如指掌。課上一講多練的教學模式更便于學員反思評估當天學習目標的掌握程度,教師提供針對性的學習指導,保障學習效果。
TLIAS系統為學員提供了充足的實操訓練機會,并構建了一條科學的練習路徑,多級練習提示使各類學員都能獲得充分指引,最終獨立解決問題,提升知識技能水平。
TLIAS系統的診斷測評工具,使學員能夠對每天所學知識進行檢測,將薄弱知識可視化,精準查漏補缺,對問題知識點給予重點消化吸收,復習更高效、更聚焦,效果更明顯。
為充分激活學員間互動能量,將學員個人單線的學習擴展為立體互動性較強的探索式共享學習,TLIAS系統搭建了學習問答社區。熱帖瀏覽高達到2.5w人次。
TLIAS系統的就業中心從實際就業需求出發,為學員們準備了非常豐富的就業資源,5大課程門類,2000余節課程視頻,能夠滿足不同學員的實際需求。
為提升學員的面試實戰經驗,TLIAS系統的模擬面試平臺高度還原學員目標崗位的面試環境和流程,并打造求職利器“面試寶典”,幫助學員熟悉面試流程,提高面試成功率。
TLIAS系統的BI數據平臺能夠全方位采集、實時監測各關鍵環節數據,形成一套成熟且執行有效的數據驅動模式,問題及時解決,風險提前預防,保障教學質量持續穩定的輸出。
為老師的教學打分,對校區的服務評價,TLIAS系統會做出定性和定量分析,在精準的教學質量監控下,師資質量精益求精、學習效果穩步提升,學習體驗與滿意度口碑雙提升。
學習目標體系
作業試題庫
個人專屬測評
學習問答社區
就業指導資源
模擬面試平臺
多數據采集
教學質量監控
就業流程
全信息化處理
學員能力
雷達圖分析
定制個性化
就業服務
技術面試題
講解
就業指導課
面試項目分析
HR面試攻略
模擬企業
真實面試
專業簡歷指導
面試復盤輔導
風險預警
企業黑名單提醒
每年百場行業交流
每年24場免費交流
行業大牛講座
技術大牛分享
攻克研發難關
緊跟科技前沿
二千余家企業
高管精準指導
助力職場晉升
突破發展瓶頸
服務中高端IT人才
持續跟蹤量身定做
隨著初級程序員趨于飽和,中高級程序員缺口變大,IT培訓行業原來就業培訓課程難以適應未來的就業競爭。
傳智教育推出高級軟件工程師就業培訓課程,定位培養中高級程序員。Python大數據課程有11大行業12個“大廠”級項目,400+業務指標,220+技術點,12個企業級項目授課時間就超150天(每周上5天課)。其課程容量、技術深度、項目廣度均超其他機構6個月培訓課程50%以上,大大提升學員的就業競爭力。查看更多 >
課時:8天技術點:52項測驗:1次學習方式:線下面授
01_掌握Python開發環境基本配置 02_掌握運算符、表達式、流程控制語句、數組等的使用 03_掌握字符串的基本操作 04_初步建立面向對象的編程思維 05_熟悉異常捕獲的基本流程及使用方式
零基礎的開始,包含了以下技術點:
掌握各種類型的變量,并對其進行操作處理,包含了以下技術點:
能夠實現Python函數的編寫,包含了以下技術點:
能夠使用Python對文件進行操作、對異常進行處理,包含了以下技術點:
主要介紹了Python中的模塊和包的體系,以及如何使用模塊和包,包含了以下技術點:
通過案例使用本階段學習的知識點,包含了以下內容:
課時:10天技術點:30項測驗:1次學習方式:線下面授
01_掌握面向對象編程能力及思想 02_掌握Python高級語法特性 03_掌握開發中的多任務編程實現方式 04_知道多進程多線程的原理 05_掌握網絡編程技術,能夠實現網絡通訊 06_知道通訊協議原理 07_掌握日志的使用 08_能夠使用Python對數據進行處理開發
從逐步建立起面向對象編程思想,再到會使用對象,到創建對象,再到真正理解為什么封裝對象,包含了以下技術點:
學習必備的Python進階語法,包含了以下內容:
通過Python學習開發者必備的多進程、多線程知識,包含了以下內容:
通過Python學習開發者必備的通訊協議和網絡編程知識,包含了以下內容:
通過案例使用本階段學習的知識點,包含了以下內容:
課時:6天技術點:36項測驗:1次學習方式:線下面授
01_Mysql以及SQL基礎語法 02_SQL高級語法及使用場景 03_數據報表綜合案例
通過MySQL數據庫學習SQL基礎語法,包含了以下內容:
學習SQL高級語法,包含了以下內容:
通過案例使用本階段學習的知識點,并包含了以下內容:
課時:8天技術點:48項測驗:1次學習方式:線下面授
01_能夠使用Pandas進行數據處理 02_能夠使用Python進行數據可視化 03_能夠使用Pandas進行描述性數據分析 04_知道數據分析常用思維方法 05_知道不同業務場景下的指標體系 06_能夠使用多種數據分析工具進行數據提取與數據展示 07_能夠運用常用數據分析模型解決業務問題
學習數據處理分析基礎,包含了以下內容:
學習數據處理分析進階技能,包含了以下內容:
學習Python可視化技術,包含了以下內容:
數據分析處理項目實戰,真場景真數據真實戰,包含了以下內容:
課時:7天技術點:46項測驗:0次學習方式:線下面授
熟悉Linux操作系統的各種命令及操作,掌握大數據的核心框架Hadoop以及其生態體系,打下大數據學習的良好基礎
掌握Linux操作系統常用命令和權限管理
進一步闡述大數據特點與分布式思想,知識點由淺入深,包含了以下技術點:
分布式軟件管家,實現了集群管理與leader選舉,包含了以下技術點:
分布式文件系統,解決了海量數據存儲與容錯,包含了以下技術點:
分布式計算系統,解決海量數據的計算,包含了以下技術點:
分布式資源調度管理器,管理服務器軟件資源,包含了以下技術點:
課時:4天技術點:27項測驗:1次學習方式:線下面授
掌握數據倉庫理論,掌握Hive框架,完成大數據體系下企業級數據倉庫構建
數據倉庫Hive,實現企業級數倉必備工具,包含以下知識點:
數據倉庫HIve高階原理和架構深入,實現企業級數倉優化,包含以下知識點: - 技術點
課時:8天技術點:120項測驗:0次學習方式:線下面授
二選一離線數倉項目
1、建立集團數據倉庫,統一集團數據中心,把分散的業務數據集中存儲和處理 2、項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序 3、挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用。
進入項目體驗課時:8天技術點:120項測驗:0次學習方式:線下面授
二選一離線數倉項目
本項目基于一家大型連鎖超市研發的大數據分析平臺。c.黑馬第一個深度使用Presto的項目,為后續Presto相關課程的研發打下了堅實的基礎,也為學員的就業拓寬了道路;真實的數據結構,復雜的SQL實現過程,學生學習以后可以達到離線數倉的高級開發水平。
進入項目體驗課時:7天技術點:130項測驗:1次學習方式:線下面授
1.掌握Spark的RDD、DAG、CheckPoint等設計思想 2.掌握SparkSQL結構化數據處理,Spark On Hive 3.掌握SparkStreaming整合Kafka完成實時數據處理 4.掌握SparkStreaming偏移量管理及Checkpoint 5.掌握Structured Streaming整合多數據源完成實時數據處理 6.具備Spark全棧開發能力,滿足大數據行業多場景統一技術棧的數據開發,提供就業核心競爭力
本階段學習Spark環境搭建及以下知識點
整個spark框架核心部分,掌握框架內部設計思想,數據流轉步驟,是學習spark的基礎模塊,包含了以下技術點:
學習spark框架的sql操作,spark與hive、hbase等外部數據源的整合操作,包含了以下技術點:
踐行場景式教學,運用了Spark階段知識點,使用lambda加解決數據分析的應用,包含了以下技術點:
課時:8天技術點:100項測驗:0次學習方式:線下面授
二選一Spark項目
保險精算項目需要計算海量明細保單數據,以便生成財務報表。項目使用SparkSQL來計算,時效大大提高,增強保險公司的商業信譽。項目將多部門的業務數據庫同步到hive數據集市,使用SparkSQL加載源數據表(保單表12億保單,客戶表8千萬客戶等),計算保單的保費、現金價值、準備金等明細,提供給財務部門收費或支出,最后對保單匯總計算(業務發展類指標,成本費用類指標等),并向業務人員做數據展示。
進入項目體驗課時:8天技術點:100項測驗:0次學習方式:線下面授
二選一Spark項目
通過大數據技術架構,解決工業物聯網石油制造行業的數據存儲和分析、可視化、個性化推薦問題。一站制造項目主要基于hive數倉分層來存儲各個業務指標數據,基于sparksql做數據分析。核心業務涉及運營商、呼叫中心、工單、油站、倉儲物料。
進入項目體驗課時:8天技術點:100項測驗:1次學習方式:線下面授
掌握Java語言,并能夠完成數據開發
基礎語法是編程語言的第一課,打好基礎才能更好的學習后面課程,幫學員從小白到入門,包含了以下技術點:
逐步建立起面向對象編程思想,從會使用對象,到內存分析,再到真正理解為什么封裝對象,包含了以下技術點:
培養使用java語言解決實際問題,需掌握常見的java對象與工具類,包含了以下技術點:
建立使用集合解決不同數據類型操作的思想,包含了以下技術點:
從數據傳輸角度增強對java語言的掌握程度,包含了以下技術點:
使用java對Hadoop進行交互操作
課時:7天技術點:61項測驗:0次學習方式:線下面授
01_掌握HBase原理及架構 02_掌握HBase命令操作、MapReduce編程 03_掌握Phoneix二級索引優化查詢 04_掌握ELK開發掌握Kafka原理及架構
掌握Redis及Hbase,包含了以下內容:
掌握Flume以及Kafka、實時計算綜合案例,包含了以下內容:
課時:3天技術點:60項測驗:1次學習方式:線下面授
核心技能知識點以及常見面試題強化學習
解決Python大數據常見的sql面試題,包含了以下技術點:
解決Hive數據分析開發必備面試題,包含了以下技術點:
解決Spark開發必備面試題,包含了以下技術點:
解決NoSQL常見的面試題,從消息隊列到Hbase掌握關鍵原理,包含了以下技術點:
解決多行業多場景大數據架構設計,具備舉一反三設計大數據架構體系能來,包含了以下技術點:
課時:8天技術點:90項測驗:1次學習方式:線下面授
1.掌握基于Flink進行實時和離線數據處理、分析 2.掌握基于Flink的多流并行處理技術 3.掌握千萬級高速實時采集技術
新一代批流統一數據處理引擎,在計算效率和性能都有很大提升,包含了以下技術點:
構成了flink解決實時數據處理部分,是掌握實時數據處理必備技能,包含了以下技術點:
解決flink中的sql化開發,Flink-Sql開發必備技能,包含了以下技術點:
是對flink任務進行調優,必須掌握的內容,包含了以下技術點:
解決Flink性能監控等高階知識,具備實時數據分析必備技能,包含以下技術點:
踐行場景式教學,運用了flink階段知識點,解決實時數據分析的應用,包含了以下技術點:
課時:8天技術點:130項測驗:0次學習方式:線下面授
1.掌握基于Flink全棧進行快速OLAP分析 2.掌握基于Springboot+SwaggerUI快速構建數據服務接口 3.掌握實時高性能海量數據分析與存儲 5.掌握針對Hbase調優實現Hbase存儲調優 6.掌握數據報表分析 7.掌握業務數據實時大屏場景實現
今日指數項目用于對證券市場的每日交易數據進行實時監控,該項目基于Flink框架搭建,結合HBase、Druid進行實時OLAP分析,在實時分析的平臺上搭建監察預警體系,包括預警規則管理、實時預警、歷史預警等。學員可以通過該項目學習到分布式實時計算、分布式數據存儲等多個大數據技術解決方案。
進入項目體驗課時:8天技術點:130項測驗:0次學習方式:線下面授
1.掌握基于Flink全棧進行快速OLAP分析 2.掌握基于Springboot+SwaggerUI快速構建數據服務接口 3.掌握實時高性能海量數據分析與存儲 5.掌握針對Hbase調優實現Hbase存儲調優 6.掌握數據報表分析 7.掌握業務數據實時大屏場景實現
1、涵蓋完整車聯網業務場景,包含駕駛行程、電子圍欄、遠程診斷等真實業務 2、通過QBOX車輛終端數據收集,并解析為QSP數據、QCS數據、充電數據、HU數據 3、提供實時計算服務與離線計算服務,并通過API接口以報表和大屏展示分析結果數據
進入項目體驗課時:9天技術點:130項測驗:0次學習方式:線下面授
1.掌握基于Flink全棧進行快速OLAP分析 2.掌握基于Springboot+SwaggerUI快速構建數據服務接口 3.掌握實時高性能海量數據分析與存儲 5.掌握針對Hbase調優實現Hbase存儲調優 6.掌握數據報表分析 7.掌握業務數據實時大屏場景實現
本項目是基于大型物流公司業務研發的智慧物流大數據平臺,公司業務網點覆蓋國內各地,大規模的客戶群體,日訂單達1000W,平臺對千億級數據進行整合、分析、處理,保障業務的順利進行。
進入項目體驗課時:90天技術點:500項測驗:0次學習方式:線上視頻
在畢業后工作之余進行學習、繼續提升,贈送課程持續更新、終身受益
學習Scala編程,從容應對不同技術要求的團隊
無論是數據分析還是大數據開發,工作之余繼續學習,不斷提升并挑戰更高薪資
金融風控業務場景下建模分析,真數據真實戰真提升
通過多場景下不同業務,進行專項項目實戰,帶你領略不同的數據分析處理場景
最完整的Python后端開發程,包含Web、爬蟲、運維與部署、工程項目管理、測試及測試開發,讓你用最快速的時間了解前后端業務開發,助你走向數據架構乃至技術Leader職業生涯的巔峰
10余年來,傳智的老師始終秉承著“為中華民族偉大復興而講課,
為千萬學生少走彎路而著書”的使命,已經向IT產業培養了30余萬名IT高精尖人才
傳智教育廣納互聯網技術精英,構建實力強大的技術大牛團隊
傳智課改團隊,克服重重艱難,終讓夢想照進現實
心系前端未來,一路勇往的傳智人
用愛成就每一位學生
心系學員,用愛與奉獻踐行公司使命
做教育,就是對每一位學生負責【講師篇】
扎根教學一線,潛心授課育人
品質教育,匠心打磨【JavaEE篇】
傳智教育廣納互聯網技術精英,構建實力強大的技術大牛團隊
16級標準嚴選專職課研老師,嚴控課程研發質量
大廠背景,技術深度、廣度,
大型項目經驗
背景調查,技術360°鑒定 ,
新課題設計 ,課程隨機演繹 ,
職業定位、發展規劃
教育情懷、價值觀,進
取精神、培養潛力
CEO審核,信息存檔
課研人員素質考核視頻錄制考核
課程設計考核課堂試煉考核
大綱設計考核產品全方位審評
講義撰寫考核考核答辯
平臺、組件
技術開源歷練
技術私享會
大牛技術沙龍
企業對對碰
技術共享
以“五庫模式”為基礎,打造真實企業級研發體系
應用市場調研+大數據分析
獲取前沿發展方向
提出前沿熱門課題
完成深入原理剖析+技術攻堅
保障課程前瞻性
來自華為、IBM等百人大牛團
每年耗資億元
研發行業標桿優質課程
基于市場主流技術
研發解決方案
應對職場常見技術難題
基于熱門行業領域
聯合大牛顧問團
研發“大廠級”深度項目
源源不斷引進大廠技術大牛,課程與企業需求實時接軌
專職教學團隊 講師篩選標準
業務技能、性格
特色、溝通能力
框架能力、底層原理、性能與
安全、算法與數據結構
課程設計、授課邏輯互動與
交互、代碼規范
抗壓能力、學習動力、
專業程度、培養潛力
定制個性化考核方案教育心理考核
講師素質考核教學方法考核
排課、備課產出物考核課堂試講考核
視頻錄制考核正式授課答辯
每日授課
學員滿意度打分
階段課程實施
評審組審核
傳智培訓院
多維培養計劃
講師專屬
晉升通道
專職教學團隊 三大教法標準
技術定義純羅列,理解困難
引入故事場景,好理解
復雜概念記不住,難以吸收
代碼結合劇情,易吸收
抽象概念不理解,無法應用
深入原理講解,牢掌握
掃描二維碼,深度體驗教學法
Objective(目標)具體要交付給學生的能力,學生可以用來解決具體的問題
Path(路徑)基于學生既有知識儲備,設計學習線路
Expeirence(體驗)按照路徑順序授課,主線清晰,保證學習體驗
Note(落地結論)交付給學生經過提煉的知識干貨,降低復習難度,提高學習效率
1. 規避常見授課問題
2. 授課結構好、清晰度高
3. 授課標準化、可量化、可衡量
4.用更短的時間授課,給學生更多的時間練習
5. 縮短老師培養周期,提升授課質量
6. 提供風格統一的教學視頻,學生吸收更迅速
專職教學團隊 授課老師履歷
點擊加載更多 >>