應台北市公訓處之邀,在一天六小時裡來談Big Data加值應用,
因為時間短,所以能講得並不可能太深入,
時間不多,所以應用的方式,
就以大家比較熟悉的 EXCEL環境配合函數與VBA做加值應用,
處理大數據的應用能力已經漸漸變為平時工作的一部分,
如果不能適時地升級自己的專業技能,
用人工處理將無法處理這些大數據,
因此學習快速處理的自動化技巧,將成為辦公室應用的趨勢。
參考資料
翟本喬大數據的理念與應用 2015.03.02
https://www.youtube.com/watch?v=OQQO08EX6TM(49:29)
結論:
真正的價值,是在後面怎麼寫出程式來分析這些數據
課程理念
根據維基百科:
大數據(英語:Big data或Megadata),或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工,在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等;這樣的用途正是大型資料集盛行的原因
維基百科定義
在一份2001年的研究與相關的演講中,麥塔集團(META Group,現為高德納)分析員道格·萊尼(Doug Laney)指出資料增長的挑戰和機遇有三個方向:
量(Volume,資料大小)
速(Velocity,資料輸入輸出的速度)
多變(Variety,多樣性),合稱「3V」或「3Vs」
另外,有機構在3V之外定義第4個V:真實性(Veracity)
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據,歐巴馬更在同年投入2億美金在大數據的開發中,更強調大數據會是之後的未來石油。
何謂巨量資料
Big Data資料特徵與趨勢
應用範例
RFID、感測裝置網路、天文學、大氣學、交通運輸、基因組學、生物學、大社會資料分析、網際網路檔案處理
製作網際網路搜尋引擎索引、通信記錄明細、軍事偵查、社群網路、通勤時間預測、醫療記錄、相片圖像和影像封存、電子商務等。
政府以巨量資料打擊與預防犯罪,強化國安
槓桿社群與公開性資料提升預測準確性
巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現,某些搜尋關鍵字有助於追蹤流感疫情發展,彙總搜尋資料,提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試,發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利,小額貸款無需抵押和擔保,直接實現了網路數據的價值。截至2013年,阿里小貸累計獲貸客戶數64.2萬家,累計放款1,722億元人民幣
電視新聞與巨量資料結合,2014年春運(36億人次),百度利用巨量分析觀察大陸過年時人類的遷移行為,並以易懂的視覺化呈現在人們眼前
注意
巨量資料5大觀念,挖出潛在新商機
資料數量要夠大、夠多,量比質更重要
找出「相關性」,而非因果關係
地理位置、情緒貼文、社群圖譜、看似無用的散漫紀錄,都是有用的
只要有巨量資料思惟,小公司也能靠創新的點子致勝
要小心資料獨裁,不要被巨量資料掌控
駕馭資料,發揮創意,做對關鍵決策,達成智能管理
出處:《大數據》牛津大學教授 麥爾荀伯格
Big Data海量資料的分析概說:
Big Data資料加值應用與相關範例
如何取得Big Data的方式?
開放資料範例
內政部實價登錄、YAHOO股市資料
GOOGLE表單
範例:GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data?
EXCLE統計函數
範例:黑名單篩選、樂透彩中獎機率
樞紐分析表
範例:銷貨系統分析
開放資料加值應用實例
範例:實價登錄、用EXCEL一鍵批次下載股市資料
EXCLE VBA(與R語言比較)
PowerPivot增益集
海量資料的分析工具-PowerPivot實作演練
視覺化數位儀表與報表–PowerView資料地圖實作
與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學:EXCEL VBA大數據自動化進階
東吳大學進修推廣部:EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會:從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例,最短時間學會處理大數據,
以提高效率,正確決策。
教學影音:
其他相關學習:
- VBA處理大數據政府開放與快速做出查詢系統
- 如何將大量EMAIL自動串接與用OUTLOOK自動批次寄信
- 如何用VLOOKUP函數做飯店管理分享
- 東吳進修廣部88期的EXCEL VBA課又額滿了
- 如何計算年齡並格式化與用VLOOKUP查詢時數
- 如何在EXCEL VBA中快速刪除空白列
- EXCEL VBA大數據自動化設計上課心得分享
- 如何用EXCEL統計樂透彩中獎機率範例
- 如何用COUNTIF函數篩選黑名單(無須撰寫VBA)
- 如何將EXCEL公式改直接貼上修改為VBA
- 如何用EXCEL VBA設計銷貨單將EXCEL當資料庫
- 如何撰寫自動日期格式化的VBA程式
- 如何增加EXCEL VBA按鈕(86)
- 如何用VBA搜尋關鍵字後上色與複製到新工作表
- 如何用VBA搜尋關鍵字後上色與複製到新工作表
- EXCEL函數與VBA設計第6次上課(證照106與110)
- 如何增加EXCEL VBA按鈕
- 如何利用日期函數製作年曆VBA範例
- 如何用EXCEL VBA設計銷貨單分享
- 如何學會欄列鎖定技巧與VBA設計之二(範例:大型試算表)
- 如何學會欄列鎖定技巧與VBA設計之一(範例:大型試算表)
- 從EXCEL函數到VBA自動化(函數應用大升級)
- 如何將檢視與參照函數函數轉EXCEL VBA設計
- 提高工作效率_黑名單篩選範例分享
- 北市公訓處EXCEL函數進階班第1天上課
- 公訓處EXCEL進階課程分享
- 如何用VBA呼叫Outlook郵寄信件
- 如何顯示進度狀態列(ProgressBar)
- 如何批次下載股市資料到EXCEL中
- 如何建立表單與將EXCEL當成資料庫
- 如何讓用ACCESS將EXCEL的資料
- 如何排序工作表
- 如何將單次查詢改為批次查詢(EXCEL VBA自動化)
- 如何在EXCEL VBA的工作表隨機上顏色
- 如何快速在EXCEL中建立查詢系統(免資料庫)之2
- 如何精簡VBA程式與傳遞引數
- 如何快速在EXCEL中建立查詢系統(免資料庫)之1
- 如何將大量工作表整合在一個工作表
- 如何在EXCEL VBA新增沒有重複名稱工作表
- 如何自動下載YAHOO股市資料到EXCEL中
- 如何建立表單與將EXCEL當成資料庫使用
- 如何在EXCE VBA中複製工作表
- 如何在EXCEL VBA如何保護工作表
- 如何在EXCEL VBA新增沒有重複名稱工作表
- 如何在EXCEL工作表中移動
- EXCEL VBA辦公自動化_如何建立查詢系統
https://groups.google.com/forum/#!forum/scu_excel_vba2_83
與前幾期的課程雖然用的是相同的範例,但最大的不同在:
1.除了解說建函數公式,並將之轉成自訂函數,把複雜的公式變簡單。
2.如何將複雜的公式變成簡單的按鈕,按下按鈕就自動完成工作。
內容主要分成:
1.常用函數
2.進階函數應用
3.從函數到VBA設計
4.如何自訂函數
5.VBA程式設計入門
6.如何錄製巨集與修改
7.如何將大量資料轉存到資料庫
8.如何讀取資料庫資料
詳細目錄:http://goo.gl/eQptxx
有講義與範例和完成的畫面公式與程式碼,
只要按照每周的順序學習,學會EXCEL VBA自動化絕非難事,
優點:
1.可非線性學習:可按照自己最不熟的部分多次學習。
2.可反覆學習:有疑問可以多次聽講,保證學的會。
3.可攜帶學習:只要有瀏覽器就可以播放SWF檔,MAC電腦也沒問題。
上課參考用書:
看!就是比你早下班-50個ExcelVBA高手問題解決法
作者:楊玉文 出版社:松崗
出版日期:2011年02月15日 定價:550元
課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手! 2.進而解說EXCEL與資料庫的結合,將EXCEL當成資料庫來使用,結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表,教您如何將EXCEL函數雲端化與網路化。
更多EXCEL VBA連結:
01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
吳老師 105/2/15
台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用