吉祥寺北口システムが気になった記事をクリップしています。タイトルから元記事にリンクしています。タグは記事タイトルを形態素分析しています。たまにコメントをつけています。

HDFS

• 秒間数万リクエストを処理する大規模HDFSにObserver NameNodeを導入した話
  • HDFS(8)
  • NameNode(1)
  • Observer(5)
  • リクエスト(222)
  • 処理(1079)
  • 大規模(753)
  • 導入(3683)
  • 間数(1)
• 合計容量1EB超、異なる歴史を持つHDFSをどうつなぐか:LINEヤフーのデータ基盤間連携で直面した課題と設計判断
  • EB(4)
  • HDFS(8)
  • LINE(2590)
  • データ(7494)
  • ヤフー(670)
  • 判断(429)
  • 合計(73)
  • 基盤(1295)
  • 容量(336)
  • 歴史(134)
  • 直面(32)
  • 設計(406)
  • 課題(705)
  • 連携(4105)
• Hadoopのバージョン混用は可能?　HDP 2.6.4 とコミュニティ版 Hadoop 3.2.1 におけるHDFSの互換性調査結果　 – Yahoo! JAPAN Tech Blog
  • 2.6.4(1)
  • 3.2.1(2)
  • Blog(6685)
  • Hadoop(70)
  • HDFS(8)
  • HDP(1)
  • Japan(8176)
  • tech(793)
  • Yahoo!(2148)
  • コミュニティ(587)
  • バージョン(1003)
  • 互換性(55)
  • 可能(4398)
  • 混用(1)
  • 結果(2058)
  • 調査(5801)
• AWS Snowball Edge を使用して HDFS ファイルを Amazon S3 データレイクに移行する | Amazon Web Services ブログ
  • Amazon(9591)
  • AWS(4619)
  • Edge(550)
  • HDFS(8)
  • Services(7631)
  • Snowball(22)
  • Web(10593)
  • データ(7494)
  • ファイル(1141)
  • ブログ(9054)
  • レイク(61)
  • 使用(2475)
  • 移行(901)
• Amazon EMRでS3DistCpを使用してHDFSとAmazon S3間で効率的にデータを移動するための7つのヒント | Amazon Web Services ブログ
  • Amazon(9591)
  • DistCp(1)
  • EMR(71)
  • HDFS(8)
  • Services(7631)
  • Web(10593)
  • ため(2673)
  • データ(7494)
  • ヒント(60)
  • ブログ(9054)
  • 使用(2475)
  • 移動(295)
• HDFSからAmazon S3へApache HBaseを移行するためのヒント | Amazon Web Services ブログ
  • Amazon(9591)
  • apache(573)
  • HBase(6)
  • HDFS(8)
  • Services(7631)
  • Web(10593)
  • ため(2673)
  • ヒント(60)
  • ブログ(9054)
  • 移行(901)
• Amazon Web Services ブログ: 【AWS発表】Amazon EMR リリース4.1.0 – Spark 1.5.0, Hue 3.7.1, HDFS暗号化, Presto, Oozie, Zeppelin, リサイズの改善
  • Amazon(9591)
  • AWS(4619)
  • Blog(6685)
  • EMR(71)
  • HDFS(8)
  • hue(31)
  • Oozie(2)
  • Presto(8)
  • Services(7631)
  • SPARK(91)
  • Web(10593)
  • Zeppelin(6)
  • リサイズ(5)
  • リリース(8746)
  • 改善(834)
  • 暗号化(346)
  • 発表(8587)
• ［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能 － Publickey
  • API(1193)
  • Azure(759)
  • data(944)
  • Hadoop(70)
  • HDFS(8)
  • Lake(56)
  • Publickey(3250)
  • Service(898)
  • ツール(2914)
  • データ(7494)
  • 保存(376)
  • 分析(2251)
  • 利用(5467)
  • 可能(4398)
  • 大量(318)
  • 容量(336)
  • 無限(32)
  • 発表(8587)