ClouderaManager指的是什么？有哪些功能？

更新時間:2021年12月08日14時58分來源:傳智教育瀏覽次數:

Cloudera Manager是用于管理CDH群集的端到端應用程序。Cloudera Manager通過對CDH集群的每個部分提供細粒度的可視性和控制來設置企業(yè)部署的標準，使運營商能夠提高性能，提高服務質量，提高合規(guī)性并降低管理成本。

使用Cloudera Manager，可以輕松部署和集中操作完整的CDH堆棧和其他托管服務(Hadoop、Spark、Kudu、Impala)。其特點：應用程序的安裝過程自動化，將部署時間從幾周縮短到幾分鐘; 并提供運行主機和服務的集群范圍的實時監(jiān)控視圖; 提供單個中央控制臺，以在整個群集中實施配置更改; 并集成了全套的報告和診斷工具，可幫助您優(yōu)化性能和利用率。

Cloudera Manager的核心是Cloudera Manager Server。提供了統一的UI和API方便用戶和集群上的CDH以及其它服務進行交互，并實施監(jiān)控和診斷等。

CM Server還負責安裝配置CDH和其相關的服務軟件，啟動停止服務，維護集群中各個節(jié)點服務器以及上面運行的進程。

Agent：安裝在每臺主機上。它負責啟動和停止進程，解壓縮配置，觸發(fā)安裝和監(jiān)控主機

Management Service：執(zhí)行各種監(jiān)控、報警和報告功能的一組角色的服務。

Database：存儲配置和監(jiān)控信息

Cloudera Repository：可供Cloudera Manager分配的軟件的存儲庫

Client：用于與服務器進行交互的接口

Admin Console：管理員控制臺

API：開發(fā)人員使用 API可以創(chuàng)建自定義的Cloudera Manager應用程序

ClouderaManager功能

信號檢測

默認情況下，Agent 每隔 15 秒向 Cloudera Manager Server 發(fā)送一次檢測信號。但是，為了減少用戶延遲，在狀態(tài)變化時會提高頻率。

狀態(tài)管理

模型狀態(tài)捕獲什么進程應在何處運行以及具有什么配置。

? 運行時狀態(tài)是哪些進程正在何處運行以及正在執(zhí)行哪些命令(例如：重新平衡 HDFS 或執(zhí)行備份/災難恢復計劃或集群升級、停止) 。

? 當您更新配置(例如Hue Server Web 端口)時，您即更新了模型狀態(tài)。但是，如果 Hue 在更新時正在運行，則它仍將使用舊端口。當出現這種不匹配情況時，角色會標記為具有“過時的配置”。要重新同步，您需重啟角色(這會觸發(fā)重新生成配置和重啟進程)。

? 特殊情況如果要加入一些cloudera manager控制臺沒有的屬性時候，都在高級配置選項里面嵌入。

服務器和客戶端配置

? 例如使用HDFS，/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop目錄下僅包含與 HDFS 客戶端相關的配置。

? 而 HDFS 角色實例(例如：NameNode 和 DataNode)會從 /var/run/cloudera-scm-agent/process/812-hdfs-NAMENODE、820-hdfs-DATANODE 下的每個進程專用目錄獲取它們的配置，真正產生作用的是這個。

主機管理

? Cloudera Manager 作為群集中的托管主機身份：JDK、Cloudera Manager Agent、CDH、Impala、Solr 等參與所需的所有軟件部署到主機。

? Cloudera Manager 提供用于管理參與主機生命周期的操作以及添加和刪除主機的操作。

? Cloudera Management Service Host Monitor 角色執(zhí)行運行狀況檢查并收集主機度量，以使您可以監(jiān)控主機的運行狀況和性能。

進程管理

? 在 Cloudera Manager 管理的群集中，只能通過 Cloudera Manager 啟動或停止服務。Cloudera Manager 使用一種名為 supervisord 的開源進程管理工具，它會重定向日志文件，通知進程失敗，為合適用戶設置調用進程的有效用戶 ID 等等。Cloudera Manager 支持自動重啟崩潰進程。如果一個角色實例在啟動后反復失敗，Cloudera Manager 還會用不良狀態(tài)標記該實例。

? 特別需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不會停止群集;所有正在運行的實例都將保持運行。

? Agent 的一項主要職責是啟動和停止進程。當 Agent 從檢測信號檢測到新進程時，Agent 會在 /var/run/cloudera-scm-agent 中為它創(chuàng)建一個目錄，并解壓縮配置。

? Agent 受到監(jiān)控，屬于 Cloudera Manager 的主機監(jiān)控的一部分：如果 Agent 停止檢測信號，主機將被標記為運行狀況不良。

身份驗證

? Hadoop中身份驗證的目的僅僅是證明用戶或服務確實是他或她所聲稱的用戶或服務。

? 通常，企業(yè)中的身份驗證通過單個分布式系統(例如：輕型目錄訪問協議 (LDAP) 目錄)進行管理，LDAP 身份驗證包含由各種存儲系統提供支持的簡單用戶名/密碼服務，ranger+ldap+freeipa。

? Hadoop 生態(tài)系統的許多組件會匯總到一起來使用 Kerberos 身份驗證并提供用于在 LDAP 或 AD 中管理和存儲憑據的選項。

授權

CDH 當前提供以下形式的訪問控制：

適用于目錄和文件的傳統 POSIX 樣式的權限。

適用于 HDFS 的擴展的訪問控制列表 (ACL) 。

Apache HBase使用ACL來按列、列族和列族限定符授權各種操作 (READ, WRITE, CREATE, ADMIN)。

使用 Apache Sentry 基于角色進行訪問控制。