2016年2月26日 星期五

公訓處Big Data加值應用課程分享

公訓處Big Data加值應用課程分享

台北市公訓處之邀,在一天六小時裡來談Big Data加值應用
因為時間短,所以能講得並不可能太深入,
時間不多,所以應用的方式,
就以大家比較熟悉的 EXCEL環境配合函數與VBA做加值應用,
處理大數據的應用能力已經漸漸變為平時工作的一部分,
如果不能適時地升級自己的專業技能,
用人工處理將無法處理這些大數據,
因此學習快速處理的自動化技巧,將成為辦公室應用的趨勢

參考資料
翟本喬大數據的理念與應用 2015.03.02
https://www.youtube.com/watch?v=OQQO08EX6TM(49:29)
結論:
真正的價值,是在後面怎麼寫出程式來分析這些數據

課程理念
根據維基百科:
大數據(英語:Big data或Megadata),或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工,在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等;這樣的用途正是大型資料集盛行的原因

維基百科定義
在一份2001年的研究與相關的演講中,麥塔集團(META Group,現為高德納)分析員道格·萊尼(Doug Laney)指出資料增長的挑戰和機遇有三個方向:
量(Volume,資料大小)
速(Velocity,資料輸入輸出的速度)
多變(Variety,多樣性),合稱「3V」或「3Vs」
另外,有機構在3V之外定義第4個V:真實性(Veracity)
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據,歐巴馬更在同年投入2億美金在大數據的開發中,更強調大數據會是之後的未來石油。

何謂巨量資料 
Big Data資料特徵與趨勢
應用範例
RFID、感測裝置網路、天文學、大氣學、交通運輸、基因組學、生物學、大社會資料分析、網際網路檔案處理
製作網際網路搜尋引擎索引、通信記錄明細、軍事偵查、社群網路、通勤時間預測、醫療記錄、相片圖像和影像封存、電子商務等。
政府以巨量資料打擊與預防犯罪,強化國安
槓桿社群與公開性資料提升預測準確性

巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現,某些搜尋關鍵字有助於追蹤流感疫情發展,彙總搜尋資料,提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試,發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利,小額貸款無需抵押和擔保,直接實現了網路數據的價值。截至2013年,阿里小貸累計獲貸客戶數64.2萬家,累計放款1,722億元人民幣
電視新聞與巨量資料結合,2014年春運(36億人次),百度利用巨量分析觀察大陸過年時人類的遷移行為,並以易懂的視覺化呈現在人們眼前

注意
巨量資料5大觀念,挖出潛在新商機
資料數量要夠大、夠多,量比質更重要
找出「相關性」,而非因果關係
地理位置、情緒貼文、社群圖譜、看似無用的散漫紀錄,都是有用的
只要有巨量資料思惟,小公司也能靠創新的點子致勝
要小心資料獨裁,不要被巨量資料掌控
駕馭資料,發揮創意,做對關鍵決策,達成智能管理
出處:《大數據》牛津大學教授 麥爾荀伯格

Big Data海量資料的分析概說:
Big Data資料加值應用與相關範例
如何取得Big Data的方式?
 開放資料範例
  內政部實價登錄YAHOO股市資料
GOOGLE表單
  範例:GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data?
 EXCLE統計函數
  範例:黑名單篩選樂透彩中獎機率
樞紐分析表
  範例:銷貨系統分析
開放資料加值應用實例
  範例:實價登錄用EXCEL一鍵批次下載股市資料
 EXCLE VBA(與R語言比較)
 PowerPivot增益集
  海量資料的分析工具-PowerPivot實作演練
  視覺化數位儀表與報表–PowerView資料地圖實作

與大數據課程的經驗
超過20年的程式設計教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學:EXCEL VBA大數據自動化進階
東吳大學進修推廣部:EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會:從Excel函數到VBA雲端巨量資料庫應用班

多年的實務與教學經驗所累積的課程範例,最短時間學會處理大數據,
以提高效率,正確決策。

預覽:


教學影音:


其他相關學習:

    教學論壇:
    https://groups.google.com/forum/#!forum/scu_excel_vba2_83

    與前幾期的課程雖然用的是相同的範例,但最大的不同在:
    1.除了解說建函數公式,並將之轉成自訂函數,把複雜的公式變簡單。
    2.如何將複雜的公式變成簡單的按鈕,按下按鈕就自動完成工作。

    內容主要分成:
    1.常用函數
    2.進階函數應用
    3.從函數到VBA設計
    4.如何自訂函數
    5.VBA程式設計入門
    6.如何錄製巨集與修改
    7.如何將大量資料轉存到資料庫
    8.如何讀取資料庫資料
    詳細目錄:http://goo.gl/eQptxx

    有講義與範例和完成的畫面公式與程式碼,
    只要按照每周的順序學習,學會EXCEL VBA自動化絕非難事,
    優點:
    1.可非線性學習:可按照自己最不熟的部分多次學習。
    2.可反覆學習:有疑問可以多次聽講,保證學的會。
    3.可攜帶學習:只要有瀏覽器就可以播放SWF檔,MAC電腦也沒問題。

    上課參考用書:
    看!就是比你早下班-50個ExcelVBA高手問題解決法
    作者:楊玉文  出版社:松崗
    出版日期:2011年02月15日  定價:550元

    課程理念:
    1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手! 2.進而解說EXCEL與資料庫的結合,將EXCEL當成資料庫來使用,結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表,教您如何將EXCEL函數雲端化與網路化。

    更多EXCEL VBA連結:
    01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
    02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

    吳老師  105/2/15

    台北市公務人員訓練處,big data應用,big data定義,big data是什麼,大數據分析教學,excel數據分析,excel數據圖表,大數據應用實例,大數據應用案例,開放資料應用,open data應用

    2016年2月2日 星期二

    簡單升級SSD讓小筆電大升級開機速度快數倍

    簡單升級SSD讓小筆電大升級開機速度快數倍

    昨天看到PCHOMESSD(固態硬碟)在特價,
    因為太座反應電腦跑太慢
    索性就買一個來升級家中另一台小筆電,
    也順便升級記憶體,超過3GB的記憶體,
    最好安裝 64位元版本的Windows7,
    不然記憶體超過3GB的部分是抓不到的,
    而且執行大型的檔案 64位元也會順很多。

    影片:


    01_剛好PCHOME特價,就買了一個來升級
    02_隔天就送來啦

    03_ACER筆電的外殼也只有一顆螺絲

    04_剛好升級4G記憶體

    05_雖然和原來的廠牌不同,還好沒有不相容

    06_新舊硬碟比較左邊是SSD(固態硬碟)

    07_上面的固態硬碟比較薄和輕也省電

    08_安裝還蠻容易的

    09_兩顆螺絲就起來了

    10_SSD就位囉

    11_準備好安裝隨身碟

    12_我是用微軟的免費工具做開機隨身碟

    13_插入隨身碟就開始安裝畫面

    14_我選裝WIN7的64位元專業版

    15_然後記得選自訂喔

    16_因為已經先分割兩個磁碟選C碟即可

    17_SSD就是跑得快

    18_約莫5分鐘就裝好了

    19_裝好後測試看看硬碟7.7分(滿分7.9)

    20_比去年買的似乎要快一點


    這次升級很順利,沒遇到什麼問題,大概約莫20分鐘就完成了,
    花費不多,但整體讓小筆電戰力大增,
    小小投資,就無須花大錢買貴貴的高階筆電了。

    換ssd教學,更換ssd教學,ssd firmware 更新,ssd安裝win7步驟,ssd安裝win7 100mb
    intel ssd安裝win7,ssd安裝win7,隨身碟安裝,win7隨身碟下載,升級記憶體

    2016年1月28日 星期四

    EXCEL VBA如何排序工作表並另存EXCEL檔與郵寄

    EXCEL VBA如何排序工作表並另存EXCEL檔與郵寄

    預覽畫面:


    這部分可以參考之前的教學:
    如何在EXCEL工作表中移動 [連結]

    如何排序工作表(東吳EXCEL_VBA自動化)  [連結]

    如何移動工作表與排序之1   [連結]


    針對廣大的上班族,每天大量使用EXCEL自動化
    若不知道更有效率的應用,每天浪費在土法煉鋼的時間時在太多,
    如何增進EXCEL的工作表效率,是本文想分享的。
    常常用到大量工作表的排序問題,
    如果用人工手動排序,若是小量資料還好,
    大量的工作表排序恐怕就會有問題,
    本文主要分享如何用VBA批次排序方式
    可以將排序放在陣列來排序,
    或是把排序的順序放在某範圍,讀取後來移動工作表排序,
    或是依筆劃排序,
    排序完之後也可以自動存檔
    並且用OUTLOOK自動郵寄給收件者,
    若懂得VBA的自動化,將讓效率大大提高,工作自然更加愉快。
    設計流程:
    01_如何用陣列排序工作表順序

    02_排序依據某範圍

    03_從某範圍排序程式碼

    04_建立筆劃排序清單

    05_動態建立清單與按筆劃排序

    06_建立下拉清單依照需求排序

    07_自動將排序結果另存EXCEL檔

    08_將輸出的EXCEL檔用OUTLOOK郵寄

    教學影音(完整版在論壇):

    教學影音完整版在論壇:
    https://groups.google.com/forum/#!forum/scu_excel_vba2_86

    課程特色:
    1.如何將函數轉成VBA2.VBA與資料庫快速結合

    EXCEL函數 VBA程式設計資料庫是分別屬於三個領域的知識,
    但卻是目前大家都需要的一項專業技能,要把三者融合的很好實在非常不容易,
    剛好我有近20年的VB程式設計與資料庫設計的經驗,
    教EXCEL函數與相關課程也有多年,因此清楚如何把最重要的知識教給大家,
    ADO資料庫設計的知識非常多,但根據我多年的設計實務經驗,
    覺得最重要的是掌握SQL語言,就可以輕易的完成查詢、新增、修改與刪除等功能,
    就可以輕易的完成自己想處理的大量資料,大大提高工作效率了!

    上課用書是:
    Excel函數&VBA其實很簡單(http://www.books.com.tw/exep/prod/booksfile.php?item=0010457292)
    Excel VBA 與資料庫整合大活用(http://www.books.com.tw/exep/prod/booksfile.php?item=0010463634)

    完整教學影音DVD申請:http://goo.gl/ZlBZE
    論壇:http://groups.google.com/group/labor_excel_vba?hl=zh-TW

    其他相關學習:

    1.EXCEL VBA設計(自強基金會2012)第4次上課
    http://terry55wu.blogspot.tw/2012/03/excel-vba20124.html

    2.如何把EXCEL"函數"變為 "VBA"?自強基金會2012第5次上課
    http://terry55wu.blogspot.tw/2012/04/excel-vba.html

    3.自強基金會2012第8次上課
    http://terry55wu.blogspot.tw/2012/05/excel-vba20128.html

    4.自強基金會2012第9次上課
    http://terry55wu.blogspot.tw/2012/05/excel-vba20129.html

    5.EXCEL_VBA與資料庫--自強基金會2012(Ending)
    http://terry55wu.blogspot.tw/2012/07/excelvba-2012ending.html

    EXCEL,VBA,函數東吳進修推廣部,EXCEL VBA 函數 程式設計 線上教學 excel vba 教學 excel vba指令教學 vba範例教學excel  excel vba教學視頻 excel函數教學 excel函數

    2016年1月26日 星期二

    用EXCEL表單增加進度列與更新狀態

    用EXCEL表單增加進度列與更新狀態

    預覽畫面:


    這部分可以參考之前的教學:
    如何顯示進度狀態列(ProgressBar) [連結]

    這是表單設計的延伸部分,
    主要是程式如果大量批次處理
    如果畫面上沒有進度列更新狀態
    如果太久沒回應,將讓使用者無所適從,
    如何增加進度列在表單下方或明顯處?
    設計流程:
    01_完成畫面

    02_先增加進度元件

    03_將進度元件增加到表單

    04_元件程式歸零與設定最大值並迴圈增加值

    教學影音(完整版在論壇):

    教學影音完整版在論壇:
    https://groups.google.com/forum/#!forum/scu_excel_vba2_86

    課程特色:
    1.如何將函數轉成VBA2.VBA與資料庫快速結合

    EXCEL函數 VBA程式設計資料庫是分別屬於三個領域的知識,
    但卻是目前大家都需要的一項專業技能,要把三者融合的很好實在非常不容易,
    剛好我有近20年的VB程式設計與資料庫設計的經驗,
    教EXCEL函數與相關課程也有多年,因此清楚如何把最重要的知識教給大家,
    ADO資料庫設計的知識非常多,但根據我多年的設計實務經驗,
    覺得最重要的是掌握SQL語言,就可以輕易的完成查詢、新增、修改與刪除等功能,
    就可以輕易的完成自己想處理的大量資料,大大提高工作效率了!

    上課用書是:
    Excel函數&VBA其實很簡單(http://www.books.com.tw/exep/prod/booksfile.php?item=0010457292)
    Excel VBA 與資料庫整合大活用(http://www.books.com.tw/exep/prod/booksfile.php?item=0010463634)

    完整教學影音DVD申請:http://goo.gl/ZlBZE
    論壇:http://groups.google.com/group/labor_excel_vba?hl=zh-TW

    其他相關學習:

    1.EXCEL VBA設計(自強基金會2012)第4次上課
    http://terry55wu.blogspot.tw/2012/03/excel-vba20124.html

    2.如何把EXCEL"函數"變為 "VBA"?自強基金會2012第5次上課
    http://terry55wu.blogspot.tw/2012/04/excel-vba.html

    3.自強基金會2012第8次上課
    http://terry55wu.blogspot.tw/2012/05/excel-vba20128.html

    4.自強基金會2012第9次上課
    http://terry55wu.blogspot.tw/2012/05/excel-vba20129.html

    5.EXCEL_VBA與資料庫--自強基金會2012(Ending)
    http://terry55wu.blogspot.tw/2012/07/excelvba-2012ending.html

    EXCEL,VBA,函數東吳進修推廣部,EXCEL VBA 函數 程式設計 線上教學 excel vba 教學 excel vba指令教學 vba範例教學excel  excel vba教學視頻 excel函數教學 excel函數

    2016年1月22日 星期五

    用EXCEL一鍵批次下載股市資料(大數據實例)

    用EXCEL一鍵批次下載股市資料(大數據實例)

    預覽:


    如何批次下載網路上的資料到EXCEL中並不那麼困難,
    這篇發文之前也有幾篇類似的文章,
    從最早的EXCEL VBA程第14次上課(如何破解網頁股市資料) [連結]
    學會如何修改JAVASCRIPT,讓YAHOO資料順利下載,
    但卻不是最好的辦法,之後還有
    如何自動下載YAHOO股市資料到EXCEL中 [連結]
    之後還有比較近的分享:
    如何批次下載股市資料到EXCEL中之1  [連結]
    如何批次下載股市資料到EXCEL中之2   [連結]
    還有學員分享的範例:
    如何用EXCEL VBA自動每日外匯行情   [連結]

    但最近整理下來,
    如果要順利批次下載網路資料,
    需要幾個步驟,
    1.收集下載的清單(例股市與網址兩欄)
    2.錄製單次下載網路資料的巨集
    3.修改巨集的WebTable
    4.將單次改為批次下載,並加入刪除與新增工作表程式碼

    流程如下:
    01_完成畫面

    02_到YAHOO股市下載資料

    03_從EXCEL下載YAHOO股市資料並錄製巨集

    04_錄製巨集結果並修改WebTable

    05_修改WebTable以破解保護

    06_將單次下載改為批次下載

    程式碼:


    教學影音:


    不足之處思考:
    • 如何快速將網頁中的網址變為表格?
    • 如何在下在資料時順便篩選需要的結果(如只下載上漲的資料)
    • 如何把改寫成固定時間自動下載資料?
    其他相關學習:

      教學論壇:
      https://groups.google.com/forum/#!forum/scu_excel_vba2_83

      與前幾期的課程雖然用的是相同的範例,但最大的不同在:
      1.除了解說建函數公式,並將之轉成自訂函數,把複雜的公式變簡單。
      2.如何將複雜的公式變成簡單的按鈕,按下按鈕就自動完成工作。

      內容主要分成:
      1.常用函數
      2.進階函數應用
      3.從函數到VBA設計
      4.如何自訂函數
      5.VBA程式設計入門
      6.如何錄製巨集與修改
      7.如何將大量資料轉存到資料庫
      8.如何讀取資料庫資料
      詳細目錄:http://goo.gl/eQptxx

      有講義與範例和完成的畫面公式與程式碼,
      只要按照每周的順序學習,學會EXCEL VBA自動化絕非難事,
      優點:
      1.可非線性學習:可按照自己最不熟的部分多次學習。
      2.可反覆學習:有疑問可以多次聽講,保證學的會。
      3.可攜帶學習:只要有瀏覽器就可以播放SWF檔,MAC電腦也沒問題。

      上課參考用書:
      看!就是比你早下班-50個ExcelVBA高手問題解決法
      作者:楊玉文  出版社:松崗
      出版日期:2011年02月15日  定價:550元

      課程理念:
      1.以循序漸進的方式, 透過詳細的說明和實用的Excel VBA範例, 逐步了解整個 VBA 的架構與輪廓,進而學習 VBA 變數、函式及邏輯的觀念, 即使沒有任何程式設計基礎, 也能自己親手撰寫 VBA 程序來提昇工作效率, 晉身職場 Excel 高手! 2.進而解說EXCEL與資料庫的結合,將EXCEL當成資料庫來使用,結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。 3.將結合GOOGLE雲端試算表,教您如何將EXCEL函數雲端化與網路化。

      更多EXCEL VBA連結:
      01_EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
      02_EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

      吳老師 2015/1/13

      EXCEL,VBA,函數東吳進修推廣部,EXCEL,VBA,函數,程式設計,,指令教學,vba範例教學excel,,excel,vba教學視頻,excel函數教學,excel函數應用