Hadoop: MapReduce WordCount 範例

緣起

承續前一篇 Hadoop: 如何在 CentOS 7.1.1503 安裝 Hadoop 2.7.1 (Single-Node Cluster) , 本文將繼續就 MapReduce 範例作記錄.

以下範例, 源自參考文件的前 3 篇, 本文只是將筆者的操作過程作記錄, 供後續安裝的參考.

以下將分為4個部份:

1. MapReduce 範例資料下載
2. 將範例資料上傳至 Hadoop
3. 檢查範例資料是否正常上傳至 Hadoop
4. 以 WordCount 作為資料分析範例

Hadoop: 如何在 CentOS 7.1.1503 安裝 Hadoop 2.7.1 (Single-Node Cluster)

緣起

承續前一篇 CentOS: 如何在 VMware Workstation 11 安裝 CentOS 7, 並避免 Easy Install  , 本文將繼續就 Hadoop 的安裝作記錄.

在網路上搜尋了一下,
1. 參考文件前 3 篇, 有針對在 Ubuntu Desktop 12.04 上如何安裝 Hadoop 1.0.4 作了說明
2. 參考文件前 3 篇, 因為是比較舊的版本, 且不是 CentOS, 所以又參考了最後 2 篇的內容

本文只是將筆者的操作過程作記錄, 供後續安裝的參考, 以免忘記. 且重點在於安裝的部份, 至於運作的部份 (Map Reduce), 將另文作記錄.

如果跟其它作者的文章有雷同, 尚請見諒.

以下將分為三大部份:

1. Hadoop 安裝套件下載
　1.1 建立專門執行 Hadoop 的使用者
　1.2 以 Hadoop 使用者身份, 下載 Hadoop 2.7.1 套件

2. Hadoop 安裝環境檢查
　2.1 停用 IPv6
　2.2 更新 JDK 至最新版本
　2.3 啟用 ssh 取代 telnet, 加強連線安全性

3. Hadoop 實際安裝
　3.1 解壓縮, 並搬移至對應的資料夾
　3.2 修正相關的 login 及 hadoop 環境設定 script
　3.3 喘口氣, 查一下 Hadoop 的版本
　3.4 建立 HDFS 資料夾
　3.5 格式化 HDFS 資料夾
　3.6 啟動 Hadoop 服務
　3.7 開啟網頁管理介面
　3.8 停止 Hadoop 服務

CentOS: 如何在 VMware Workstation 11 安裝 CentOS 7, 並避免 Easy Install

緣起

由於最近工作上可能會用到 Hadoop, 所以想說建立一個簡單的環境供 Study 之用, 所以就建一個 VM 來試試.

在網路上搜尋了一下, 發現大部份的 Hadoop 都是安裝在 Linux 作業系統上, 而目前比較多人用的 GPL 版本, 應該是 CentOS, 所以就以 CentOS 7.1.1503 為作業系統.

整個過程, 大致都蠻順的, 唯一要注意的是, VMware Workstation 11 支援 CentOS 的 Easy Install, 若不小心選到這個方式, 會發現相關的設定無法在安裝的過程中指定, 例如: 語系, 磁碟配置 ... 等.

本文只是將筆者遇到的問題作個記錄, 且純粹只針對 CentOS 7.1.1503 作截圖說明, 供後續安裝的參考, 以免忘記.

如果跟其它作者的文章有雷同, 尚請見諒.

以下主要分為3個部份, 大部份均為截圖, 並主要著眼在第2個部份, 有需要時會補上文字說明.
1. CentOS 7 安裝程式的取得
2. 如何建立一個 Non Easy Install 的 VM 安裝設定
3. 實際安裝 CentOS 7

C#: Passing Parameters

緣起

其實這篇文章在 草稿 裡已有一段時間, 但因為有些細節沒有確切的答案, 所以一直沒有沒有發佈.

直到最近參加了 SkillTree 主辦, Bill叔 主講的 物件導向實作課程（使用C#）第四梯 , 對於細節部份, 得到了一些解答, 也有了比較大的信心, 故重新整理後, 進行發佈.

完整範例, 請由此下載.

Javascript: 如何建立物件 (Part 2)

緣起

接續 前一篇, 這裡再補上截至目前所學習到的一些觀念; 本文主要以範例為主, 一些說明都寫在程式註解.

完整範例, 請由此下載.

Javascript: 如何建立物件 (Part 1)

緣起

由於網頁的前端技術越來越熱門, 很多 Framework / Library (ex: jQuery, AngularJS / Bootstrap ... ) 或技術 (ex: / HTML5 / CSS3 / TypeScript / SCSS ...) 不斷出現. 但其中最主要的基礎還是在 HTML5 / CSS3 / Javascript.
本文主要針對 Javascript 建立物件的方式及相關的注意事項, 作了整理; 畢竟, 想要看懂Javascript Framework (ex: jQuery) 的內容, 還是要有一些底子, 特別是物件的建立及的物件導向觀念,
筆者才疏學淺, 目前的功力只能寫到物件建立的方式; 至於物件導向的實作, 則需另外再花時間研究.

完整範例, 請由此下載.

證券: 集合競價與逐筆交易

緣起

有進行股票交易的朋友, 是否會覺得奇怪, 以現股交易而言, 有時明明下單 148 元買台積電, 但結果成交價是 147 元? 其原因在於目前交易所的買賣配對處理機制,

國際上各交易所的競價方式, 主要有2種, 一種是集合競價, 一種是逐筆交易; 國內係採集合競價的方式, 不論開盤, 收盤前幾分鐘, 或盤中, 均採集合競價. 而國際上有些交易所在開盤, 收盤前幾分鐘採集合競價, 盤中則採逐筆交易的方式.

本文將舉範例作說明