/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/
Cloudera ニュースレター
/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/
October 2011 Edition
★ 今月のニュース ★
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃ 1. イベント・セミナーのご案内
┃ ◆ 11/1 HadoopとBig Dataがもたらすビジネスのパラダイムシフト
┃ 次世代のITインフラについて考えていきませんか?
┃ 主催:ソフトバンク・テクノロジー株式会社
┃ ◆ 11/8-11/9 Hadoop World 2011 New York Cityのご案内
┃
┃ 2. キャンペーンのご案内
┃ ◆ 【Hadoop World 2011開催企画】Hadoopを学ぼう2つのキャンペーン!
┃
┃ 3. トレーニングのコースパスと認定試験のご案内
┃ ◆ Hadoopの研修って何をやるの?
┃ ◆ 認定資格って何?
┃ ◆ 今月の研修のご案内
┃
┃ 4. Cloudera技術情報
┃ ◆ どうすればメモリ不足を防ぐことができますか?
┃
┃ 5. コラム
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃■1. イベント・セミナーのご案内
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
──────────────────────────────────
◆ 「Hadoop」と「BigData」がもたらすビジネスのパラダイムシフト
～次世代のITインフラについて考えていきませんか?～
──────────────────────────────────
ソフトバンク・テクノロジー株式会社様主催のセミナーでClouderaも登壇
させて頂く事になりました。ビッグデータをどのように活用してビジネス
に取り込んで行くかの、一つの解が見つかるかもしれません。
弊社からは「Hadoop活用のトレンド」～Hadoopによる企業システムの新し
いパラダイムシフト～と題しまして講演させて頂きます。
ビジネスに直結する企業システムの変化が徐々におこっています。これま
での集中データアプローチから、大規模分散データアプローチへとパラダ
イムシフトされつつあります。大規模データを扱える手段である分散コン
ピューティングを実現するミドルウェアHadoopが実用段階に入ったことに
より既存システムとHadoopの連携がトレンドになっています。本セッショ
ンではHadoopの生い立ちと今後の企業システムとHadoopの関係について説
明をします。
▼ 日程 : 2011年11月1日(火) 13:50～16:40 (13:30受付開始)
▼ 対象 : システム構築・運用のご担当者様
▼ 受講者数 : 100名
▼ 会場 : 山王健保会館 2階多目的ホール
▼ 主催 : ソフトバンク・テクノロジー株式会社様
▼ 共催 : Supermicro Computer Inc.様
▼ 参加費 : 無料
▼ お申し込み: 下記サイトよりお申し込みください
▽ https://www.softbanktech.jp/seminar/20111101.html
──────────────────────────────────
◆ Hadoop World 2011 New York Cityのご案内
──────────────────────────────────
今年も世界最大のHadoopイベント「Hadoop World 2011」が米国ニュー
ヨークでCloudera, Inc.主催の元開催されます。今年は昨年を超える規模
で開催され多くのユーザー企業の参加、パートナー企業の参加が予定され
ています。Clouderaからもキーノートを通じてまた技術トラックを通じて
多くの有益な情報をお伝え致します。
キーノートでは、世界有数の金融機関JPMorgan Chase様、そして世界最大級
の通販マーケットプレイスであるeBay様よりご登壇頂く予定です。弊社か
らはアーキテクトのDoug Cutting、CEOのMichael Olsonが登壇します。
みなさまのご参加を心よりお待ちしております。
▼ Hadoop World 2011に参加する10の理由
▽ http://www.hadoopworld.com/why-attend/
▼ 開催地 : 米国シェラトンニューヨークホテル&タワーズ
▼ 日時 : 2011年11月8日～2011年11月9日の2日間 (現地日時)
▼ 参加費 : 595米国ドル (2日間の朝食と昼食が含まれます)
▼ Webサイト : Hadoop World 2011
▽ http://www.hadoopworld.com/
▼ お申し込み: 下記サイトよりお申し込みください
▽ http://hadoopworld2011.eventbrite.com/
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃■2. キャンペーンのご案内
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
──────────────────────────────────
◆ 【Hadoop World 2011開催企画】Hadoopを学ぼう2つのキャンペーン!
──────────────────────────────────
日本でもHadoopエンジニアや管理者のニーズはますます高まっています。
Hadoop World 2011期間中は現地で特別トレーニングも実施されていますが、
日本でもHadoopを学ぼう2つのキャンペーン!として、下記キャンペーンを実
施いたします。両コースとも日本人講師による日本語での講義となります。
この機会にHadoopを学んでみよう、あるいはHadoopのスキルアップをしたい、
または Hadoopエンジニアの育成をご検討されている方は是非ご検討ください。
▽ http://www.cloudera.co.jp/products-services/productservices_training.html
☆☆【1】まとめて受講キャンペーン☆☆
同一開催コースに3名以上のお申し込みで、トレーニングコースを10%オフで
ご提供! さらにHadoop World 2011直前企画として、今月開催されるコースは
15%オフでご提供いたします。
■対象コース:
Cloudera Apache Hadoop開発者向けトレーニング(3日間)
◇ 2011年10月24日(月)-10月26日(水) 15%OFF
▽ http://www.eventbrite.com/event/2202255004/eorg
◇ 2011年11月14日(月)-11月16日(水) 10%OFF
▽ http://www.eventbrite.com/event/2202347280/eorg
Cloudera Apache Hadoop管理者向けトレーニング(2日間)
◇ 2011年10月27日(木)-10月28日(金) 15%OFF
▽ http://www.eventbrite.com/event/2202473658/eorg
◇ 2011年11月17日(木)-11月18日(金) 10%OFF
▽ http://www.eventbrite.com/event/2202481682/eorg
■申し込み: info-jp@cloudera.com宛に以下内容のメールをお送りください。
1) 件名「まとめて受講キャンペーン」
2) 本文
a) ご希望のコース
b) ご希望の受講日程
c) 貴社名
d) ご氏名、メールアドレス(受講予定の方全員)
e) 電話番号
☆☆【2】スキルアップキャンペーン☆☆
既にトレーニング受講済みの方を対象に、これからトレーニングコースを
お申し込みの際は10％オフでご提供します。さらに認定資格をお持ちの方
には15％オフでご提供。このチャンスを是非ご利用ください。
■対象コース:
Cloudera Apache Hadoop開発者向けトレーニング(3日間)
◇ 2011年10月24日(月)-10月26日(水)
▽ http://www.eventbrite.com/event/2202255004/eorg
◇ 2011年11月14日(月)-11月16日(水)
▽ http://www.eventbrite.com/event/2202347280/eorg
◇ 2011年12月12日(月)-12月14日(水)
▽ http://www.eventbrite.com/event/2202383388/eorg
Cloudera Apache Hadoop管理者向けトレーニング(2日間)
◇ 2011年10月27日(木)-10月28日(金)
▽ http://www.eventbrite.com/event/2202473658/eorg
◇ 2011年11月17日(木)-11月18日(金)
▽ http://www.eventbrite.com/event/2202481682/eorg
◇ 2011年12月15日(木)-12月16日(金)
▽ http://www.eventbrite.com/event/2202509766/eorg
■申し込み: info-jp@cloudera.com宛に以下内容のメールをお送りください。
1) 件名「スキルアップキャンペーン」
2) 本文
a) ご希望のコース
b) ご希望の受講日程
c) 貴社名
d) ご氏名、メールアドレス
e) 電話番号
f) 以前ご受講いただいたコース名と日程
g) (認定資格取得者の方は認定資格の種類と取得日)
◇ 開催場所: 日本サード・パーティ株式会社
品川区北品川4-7-35 御殿山トラストタワー14階
▽ http://www.jtp.co.jp/corporate/map.html
弊社にてメール受領後割引キャンペーンコードのご連絡、およびその後の手
続きについてご連絡差し上げます。お申し込み期限はコース開催前週の金曜
日までとなっております。
ご注意:
※他キャンペーンとおよび割引との併用はできません。
※満席の場合はご要望に添えない場合がございます。
本キャンペーンに関するご質問は以下よりお問い合わせください。
▽ mailto:info-jp@cloudera.com?subject=campaign
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃■3. トレーニングのコースパスと認定試験のご案内
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
──────────────────────────────────
◆ Hadoopの研修って何をやるの?
──────────────────────────────────
研修を受けようと思っているけど、どのコースがいいのかわからないという
ご質問をいただくことがよくあります。Clouderaでは、以下のようなラーニ
ングパスを用意しています。
【はじめての方】
Cloudera Apache Hadoop基礎トレーニング(*1)
=> Hadoopはどういうものか、Hadoopの利点は何かなどを１日の座学形式で
学習できるコースです。(*1)日本での開催は検討中です
【導入検討をされている方、開発者の方】
Cloudera Apache Hadoop 開発者向けトレーニング
=> Hadoopを導入しようと検討されている方を対象に、Hadoop を広範囲に
学習できるコースです。実際にコードを読み書きしながら演習を行う
コースなので、Java の知識があることが望ましいですが、HiveやPigと
いうスクリプト系言語も扱いますので、導入前に違いを確認比すること
も可能です。
【システム管理者の方】
Cloudera Apache Hadoop 管理者向けトレーニング
=> Hadoopの事前検証が終了したり、本番環境での運用を考えていらっしゃ
る管理者の方を対象としたコースです。Hadoopの各種設定パラメータの
変更方法、注意点などを中心に、クラスタで動作させる場合の運用全般
について扱います。
【開発者の方(a)】
Cloudera Apache Hive & Pig トレーニング
=> Hadoop の開発を行う際、Java言語を使わずにHive、またはPigを利用す
る方が増えています。Java は知らないけれどもデータを処理したい方、ま
たは短期間でデータの分析を行いたい方などを対象に、HiveとPigの基本か
ら少し高度な使い方をカバーします。
【開発者の方(b)】
Cloudera Apache HBase トレーニング
=> 分散データストアにHBaseを検討している方を対象に、HBaseのアーキテ
クチャ、データモデルなどを、演習を中心に学習するコースです。
読んでよくもわからないという方はinfo-jp@cloudera.comまでお気軽にお問
い合わせください。
──────────────────────────────────
◆ 認定資格って何?
──────────────────────────────────
Clouderaでは、現在2種類のHadoop認定資格を提供しています。認定資格を取
得することで、客観的にスキルを証明することができますので、Hadoopのクラ
スタ構築や運用にはもちろん、転職などの際に役立つこと間違いなしです。
ClouderaのHadoop認定資格は、世界各国で合計2000名以上が取得しています。
いち早くこの認定資格を取得してみませんか?
□□ CCDH: Cloudera Certified Developer for Apache Hadoop
Hadoop開発者向けの認定資格。オンライン形式で実施される認定試験
(90分)に合格することで、Hadoopの開発者としてのスキルを持っている
ことが証明されます。試験は講義最終日に実施します。
▽ 試験の概要(英語)
http://www.cloudera.com/hadoop-training/developer-training/
□□ CCAH: Cloudera Certified Administrator for Apache Hadoop
Hadoop 管理者向けの認定資格。講義最終日に実施します。
Developerの認定試験と同様に、オンライン形式で実施される認定試験
(60分)に合格することで、Hadoopの管理者としてのスキルを持っている
ことが証明されます。
▽ 試験の概要(英語)
http://www.cloudera.com/hadoop-training/administrator-training/
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃■4. Cloudera技術情報
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
今回はサポートのお客様向けに公開しているナレッジベースから記事をご紹
介します。日本語訳が読めるのはClouderaニュースレターだけ!
──────────────────────────────────
◆ どうすればメモリ不足を防ぐことができますか?
──────────────────────────────────
Hadoopでメモリ不足(out of memory)を回避するための方法の一つは、
mapred.child.ulimitパラメータでプロセスごとのメモリの上限を設定するこ
とです。このパラメータは、MapReduceの子プログラムに割り当てる仮想メモ
リの最大値をキロバイト単位で指定します。この値の範囲内でユーザのヒー
プとJVM自体の要求メモリを確保しなければならないため、この値は
mapred.child.java.optsで要求しているヒープサイズよりも必ず大きな値に
しなければなりません。タスクのヒープの上限値を効率よく設定するため、
mapred.child.ulimitの値は少なくともmapred.child.java.opts -Xmxで設定
した値の1.5倍より大きな値にすべきです。例えば、1GBのヒープを設定した
場合、mapred.child.ulimitを1.5GBに設定します。(もし CDH3u0より前の
バージョンを実行している場合、out of memoryを回避するためにulimitの値
をもっと大きく(-Xmx の2.5倍かそれ以上)する必要があるかもしれません)
hadoop-site.xmlファイルでmapred.child.ulimitを設定し、
ができます。
各TaskTrackerとDataNodeプロセスのヒープサイズの最大値は1GBに設定されて
います。同時に実行できるタスクの数はmapred.tasktracker.map.tasks.maximum
とmapred.tasktracker.reduce.tasks.maximumの合計値です。
(並列に実行するタスクの数)*(ulimit) + 3GBは、利用可能なRAMの総量以下に
しなければなりません。
もう一つのパラメータmapred.child.java.optsを使うことで、Hadoopや
streamingジョブなどの子プロセスが利用可能なメモリ量を正確に制御しやす
くすることができます。mapred.child.ulimitとmapred.child.java.optsの範
囲で適切にスワップパーティションのサイズを選ぶことで、常に利用可能なメ
モリサイズに余裕を持たせておかなければなりません。
この件に関連して、64ビットJVM(1.6.0_20または1.6.0_23を推奨)を使ってい
ることを確認してください。これらのバージョン (1.6.0_14以降) では圧縮
ordinary objectポインタをサポートしていて、64ビットJVMにおいてヒープ
サイズ使用量を劇的に削減することができます。この変更はNameNode上の使
用可能なヒープを最大化するために重要です。NameNodeのヒープサイズは現
在Hadoopクラスタのスケーリングを制限する一番の要因なので、この変更に
よりハードウェアの更なる性能を引き出すことができます。個々のタスクは
それほど大きなヒープを必要としないため、このアップグレードによりスレー
ブノード上で64ビットJVMをより快適に扱えるようにもなりました。多くの並
列タスクを実行することによるスワップが発生しているのであれば、この機
能がその問題を解決するのに役立つかもしれません。
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃■5. コラム
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
先週本社への出張の帰りにサンフランシスコに立ち寄ってきました。坂の多
い事で知られるこの街には名前のついた観光名所の丘があります。みなさん
もケーブルカーに乗りその丘の勾配に驚いた事が有るでしょう。しかしこの
勾配、冷静に見るとすごい角度でありもはや丘というより山だなと確信しま
した。人生も経済も山あり谷あり。こればかりはHadoopの分析でも解決でき
ないですかね。どなたか良い手法が有ればこっそり教えてください。(た)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
このメールサービスは、弊社の主催/出展イベント等に参加された方、
キャンペーンやプロモーションにご参加いただいた方、
製品やサービスをご利用いただいた方、お名刺を交換させて頂いた方、
弊社のメールサービスを希望された方に送信しております。
お心当たりのない方、あるいは配信中止を希望される方は、
下記よりご連絡をお願いいたします。
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
◆ このメールに関するお問い合わせ
▽ mailto:info-jp@cloudera.com?subject=ML_INQUIRY
◆ 配信中止のご連絡
▽ mailto:info-jp@cloudera.com?subject=ML_UNSUBSCRIBE
◆ 製品販売に関するお問い合わせ
▽ mailto:sales-jp@cloudera.com
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Cloudera, Inc. ジャパンオペレーションズ
210 Portage Avenue Palo Alto, CA 94306
http://www.jp.cloudera.com/
http://twitter.com/#!/ClouderaJP
(C)2011 Cloudera, Inc. All rights reserved
Terms & Conditions: http://www.cloudera.com/terms-conditions/
Privacy Policy: http://www.cloudera.com/privacy-policy/
Hadoop and the Hadoop elephant logo are trademarks of the Apache
Software Foundation.