 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2025年12月15日..以質量贏得尊重..節假日班搶訂中...直播、現場培訓皆可....專業、用心....--即將開課-----即將開課，歡迎垂詢 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、可免費在以后培訓班中重聽；
2、免費提供課后技術支持，保障培訓效果。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
| |
- Hadoop性能調優培訓
?
Hadoop性能調優培訓
培訓大綱
模塊
課程內容
案例及實驗
Hadoop參數調優
l?選擇適合Hadoop的硬件配置
l?Hadoop配置項優化
l?網絡帶寬參數調優
l?選擇正確的JDK
l?Hadoop作業調優
l?Linux操作系統優化
l?其他配置和參數調優
l?Hadoop硬件優化
l?不是所有的硬件都合適拿來直接使用
l?硬件為什么不做raid？
l?設置網絡的注意事項
l?中間結果壓縮對磁盤和網絡的優化
l?常見異常現象及處理方法
Hive性能優化
l?Hive參數優化
l?Hive其他優化
l?自有軟件Phphiveadmin的介紹及使用
l?對group，join的優化
l?其他參數設計
l?設定并行執行嵌套sql
l?為什么使用外部表和partition
l?Phphiveadmin帶來的優勢和便利
精彩案例解析
案例一：那namenode?被重新格式化，datanode無法連接
案例二：硬盤損壞
案例三：錯誤用戶啟動hadoop
案例四：tasktracker重啟后假死
案例五：jobtracker無故宕機
HBASE調優
l?HBase配置優化綜述
l?讀優化中需要調整的參數
l?寫優化中需要調整的參數
l?Hbase-site.xml參數調優
l?JVM優化中需要調整的參數
l?Split?&?compact優化相關參數
l?表設計優化相關參數
l?Hbase客戶端優化相關參數
l?監控工具使用方法及注意事項
l?Memstore合并設置的時機選擇
l?Mslab使用設置
l?合并storefile策略設置技巧
l?Memstore??flush?設置時機選擇
l?Hbase-env.sh、Single、multi-thread、CMS使用及參數調用
l?GC回收垃圾時機、GC日志打印設置
l?GC階段，region無法提供服務如何如何處理
l?安裝、使用步驟、主要監控參數，如何根據參數進行調優設置
精彩案例解析
案例1：hot??region造成讀請求瓶頸
現象：某臺機器的某個region讀請求非常頻繁，大量讀請求集中在一臺機器的某個region會造成該機器的壓力陡增，JVM內存居高不下，load很高，使得client讀取數據上達到瓶頸值。
Mapreduce的性能調優
Mapreduce中需要調優的相關參數
??Dfs.block.size
??Mapreduce
??Io.sort.mb
??Io.sort.spill.percent
??Mapred.local.dir
??Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
??Mapred.reduce.?tasksmapred.?Sktracker.reduce.tasks.?sktracker
l?Map中選擇合理的塊大小
l?Reduce并行復制線程的調優
l?Map/reduce內存配置的原則及方法
l?槽位數計算方法
l?調度器的選擇集調優
精彩案例解析
案例1：控制map?&?reduce個數
現象：map個數取決于split個數，如果源文件使用壓縮存儲，則不可分割，一個文件一個map。非壓縮文件使用默認block.size進行切分。對reduce因為是中間數據，可以控制reduce數量。
?
?
?
?
?
?
?
?
?
? ?
?
?
?
?
?
"
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業