scm

1、通过管理平台分别停止组件服务和Cloudera Management Service 2、通过管理平台注销并移除Parcles （在控制台注销并移除，无论是安装的Parcles还是未安装的Parcles） 3、停止后台服务 　　sudo service cloudera-scm-agent stop sudo service cloudera-scm-server stop 　　sudo service cloudera-scm-server-db stop sudo service mysqld stop 4、卸载Cloudera Manager Server 执行命令：sudo /usr/share/cmf/uninstall-cloudera-manager.sh 5、清理配置和缓存信息 在所有agent上执行：sudo umount -v /var/run/cloudera-scm-agent/process 在所有主机上执行：sudo rm -rf /usr/share/cmf; sudo rm -rf /var/lib/cloudera*; 　　　　　　　　　　 sudo rm -rf /var/cache/yum/x86_64/6/cloudera*; 　　　　　　　　　　 sudo rm -rf /var/log/cloudera*; 　　　　　　　　　　

1_ssh-copy-id.yml --- - hosts: all tasks: - name: deliver id_rsa.pub to client authorized_key: user: "root" key: "{{ lookup('file', '/root/.ssh/id_rsa.pub') }}" state: present exclusive: no 2_download.yml --- - hosts: master tasks: - name: download mysql-connector-java-5.1.47.tar.gz to /root/ get_url: url: "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz" dest: "/root/" force: yes - name: download manifest.json to /root/ get_url: url: "http://archive.cloudera.com/cdh5/parcels/latest/manifest.json" dest: "/root/" force: yes - name: download CDH-5.16.1-1.cdh5

概念介绍 CDH概览 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 CDH 提供以下特性： 灵活性：存储任何类型的数据并使用各种不同的计算框架进行操作，包括批处理、交互式SQL、免费文本搜索、机器学习和统计计算。 集成：在一个完整的Hadoop平台上快速启动和运行，该平台与广泛的硬件和软件解决方案一起工作。 安全：处理和控制敏感数据。 可伸缩性：启用广泛的应用程序和规模，并扩展它们以满足您的需求。 高可用性：满怀信心地执行任务关键的业务任务。 兼容性：利用您现有的IT基础设施和投资。 CDH Cloudera Manager 概览 Cloudera Manager 是用于管理cdh集群的端到端应用程序。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性并对其进行控制来设置企业部署标准-授权运营商提高性能、提高服务质量、提高遵从性和降低管理成本。使用Cloudera Manager，您可以轻松地部署和集中操作完整的CDH堆栈和其他托管服务。应用程序自动化安装过程，将部署时间从数周减少到分钟

感谢 http://zh-tw.whygitisbetterthanx.com的《why git is better than x》 一.便宜的本地分支 GIT让你可以拥有多个本地的分支，它们可能是完全独立的，而且建立，合并和删除这些开发分支只需要几秒钟的时间。 二.所有内容都在本地端 你可以很容易拥有不只你自己的分支副本，还有其他任何和你一起工作的人的分支都可以存在你的GIT仓库中而不打扰你原有的东西。 三.GIT很快 四.GIT很小 五.暂存区域 和其他系统不一样，GIT有称为staging area或者index的东西，这是一个中间地带让你可以在提交前设定你想要提交什么。 六.它是分散式的(分布式无中心管理) GIT是分散式的，你不是只checkout目前最新版的原始代码，而是clone了整个仓库。这意味着使用GIT不会因为遗失单一的点而造成灾难，除非就只有那么一个点。 七.适用任何工作流程 八.我们有GitHub GitHub=社交网络+hosting服务 九.容易学习 来源： oschina 链接： https://my.oschina.net/u/98095/blog/12707

【编者按】 持续集成的开发实践是目前的一个热门话题，在本文中，数人科技云平台负责人周伟涛解析其利用开源的Jenkins，Apache Mesos和Marathon搭建弹性的，高可用的持续集成环境的实践，详细介绍了 环境设置，在Marathon上部署Jenkins的master实例，配置Jenkins Master实现弹性伸缩，在内部的代码库或者 github 上创建一个 git repo，以及使用 marathon 部署可持久化的 Jenkins Master等步骤。 持续集成（CI）是一种软件开发实践，使用得当，它会极大的提高软件开发效率并保障软件开发质量；Jenkins是一个开源项目，它提供了一种易于使用的持续集成系统；Mesos是Apache下的一个开源的统一资源管理与调度平台，它被称为是分布式系统的内核；Marathon是注册到Apache Mesos上的管理长时应用（long-running applications）的Framework，如果把Mesos比作数据中心Kernel的话，那么Marathon就是init或者upstart的daemon。 本文旨在探讨如何利用Jenkins，Apache Mesos和Marathon搭建一套弹性的，高可用的持续集成环境。 为什么要把Jenkins运行到Apache Mesos上 把Jenkins运行到Apache Mesos上

　　纠结了好久，还是花钱了3个4核8G的阿里云主机，且行且珍惜，下面正式进入CDH的搭建hadoop集群的过程。 　　下面安装过程比较长，所以一定要有耐心。 一、CDH介绍 　　以下是官网给的介绍：个人感觉就是对hadoop的继承环境的封装 二、为什么选择CDH？ 　　Cloudera 常年坚持季度发型update版本，年度发行Release版本，更新速度比Aapche官方快，而且在实际使用过程中CDH表现无比稳定。 　　CDH支持yum/apt包，tar包，rpm包，cloudera manager四种方式安装。可以获取最新特性和最新Bug修复，安装维护方便，节省运维时间。另外集群搭建更加方便。 　　• 版本划分清晰 　　 • 版本更新速度快 　　 • 支持Kerberos安全认证 　　 • 文档清晰 　　 • 支持多种安装方式（Cloudera Manager方式） 三、CDH的版本选择　　 　　CDH4.x--->4.8.6 　　CDH5.x ： 优选 5.4.8 5.8.0 5.12.0 不建议选择5.11.0,有坑 （ 这里我选用5.10.0 ） 四、安装准备 1.节点准备 　　由于是个人测试环境，所以购买了3台阿里云的主机，主要配置如下： 　　 2.节点规划 　　h adoop0 01 :mysql cm-server cm-agent Namenode

“你中有我，我中有你。”计算与存储之间，一直以来就有着密不可分的关系。 在数字化变革的新时代，存储性能与计算性能的优化，对于众多企业级应用的改善必然可以带来更好的效果。 SCM，即Storage Class Memory存储级内存，不仅享有DRAM的性能表现，同时拥有NAND Flash的容量优点，这样一类兼得DRAM与NAND Flash优点的创新介质，具备存储级的持久化和内存快速字节级的访问的共性。 显然，SCM在IO设备与内存设备之间架起了一座彩虹桥，适合应用于对性能和可靠性要求较高的场景。在人工智能、物联网、大数据、云计算等创新技术融合式应用发展的今天，SCM创新介质的出现，带来了计算存储前所未有的新改变，越来越备受业界的关注。 不过，在SCM领域，英特尔3D Xpoint和三星Z-NAND表现非常积极，最近一次的新闻却将东芝存储器的 XL-Flash 推向了市场的前台。 在8月初的美国加利福尼亚州举行的2019全球闪存峰会(Flash Memory Summit)上， 北京忆恒创源科技有限公司（Memblaze） 在现场展示了业界首款基于东芝XL-Flash的SCM闪存介质的NVMe SSD原型产品 Memblaze PBlaze X26 。 东芝存储器公开信息显示，XL-Flash的延迟不会超过5微秒，相比现在3D TLC闪存的50微秒左右延迟，拥有足足10倍的更佳表现

刚刚接触SAP SCM，首先需要了解SAP SCM在整个SAP Business Suite中处于什么地位，其与SAP Business Suite中其他的application有什么集成关系。 那首先，什么是SAP Business Suite呢，看下面这张图，处于核心的是SAP ERP，是由之前的R/3升级而来，当然整个技术架构都变了，之前是跑在SAP BASIS 平台之上，现在所有的application都统一了架构，基础架构都在SAP NETWEAVER之上，但是不管是R/3也好，ECC也好，SAP ERP也好，其实在业务层面没有太大的变化，我们一些传统的业务模块，囊括了财务会计、管理会计、后勤、人力资源等等都还是在SAP ERP中，其他对于一些特定的业务，SAP开发了新的application作为增强，比如对于后勤中的销售，增加了SAP CRM模块来扩展和增强其对于销售、订单、客户关系、售后等等业务内容。此外还是针对供应商管理的SAP SRM，针对产品生命周期管理的SAP PLM，针对供应链的优化和管理的SAP SCM，后者正是我们这次要探讨的重点。 那SAP SCM和SAP ERP在功能上有什么区别呢，SAP ERP主要是对生产的执行过程包含从原材料采购、到生产、到销售的整个完全的过程链进行管理，关键字是执行，而SAP

什么是版本管理？ 版本管理是指项目整体版本的演变过程管理，如从 1.0-SNAPSHOT 到 1.0 再到 1.1-SNAPSHOT 什么是版本控制？ 版本控制是指借助版本控制工具（如 Subversion ）追踪代码的每一个变更 什么时候可以将快照版本更新为发布版本 1 、所有自动化测试应当全部通过 2 、项目没有配置任何快照版本的依赖 3 、项目没有配置任何快照版本的插件 4 、项目所包含的代码已经全部提交到版本控制系统中 Maven 的版本号定义约束 可能有个版本号是这样的， 1.3.4-beta-2 Maven 的版本号定义约定是这样的， < 主版本 >.< 次版本 >.< 增量版本 >-< 里程碑版本 > 1 、主版本：表示项目的重大架构变更 2 、次版本：表示较大范围的功能增加和变化 3 、增量版本：一般表示重大 Bug 的修复 4 、里程碑版本：顾名思义，这往往指某一个版本的里程碑。例如， Maven 3 已经发布了很多里程碑版本，如 3.0-alpha-1 、 3.0-alpha-2 、 3.0-beta-1 等，这样的版本与正式的 3.0 相比，往往表示不是非常稳定，还需要很多测试 关于版本号需要注意的地方 1 、不是每个版本号都必须拥有这四个部分，一般来说，主版本和次版本都会声明，但增量版本和里程碑就不一定了 2 、当用户在声明依赖或插件未声明版本时，

背景 公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新分配机房ip，便于维护 环境 centos 6.5 CDH 5.13 1.梳理修改相关IP与HostName对应关系 2.cm 停止所有服务 3 停止cm 大数据监控（所有节点） service cloudera-scm-agent stop #需要停止所有的agent service cloudera-scm-server stop 修改数据库（本为mysql 将对应域名的ip 换掉) 命令例子 update hosts set IP_ADDRESS= ‘10.3.3.27’ where name=node1 5、修改所有节点的Agent配置文件 –将server_hosts的值修改为新的CDH Manager管理节点的IP vi /etc/cloudera-scm-agent/config.ini （此处为hostname 修改与否待验证） 8 修改所有节点的/etc/hosts，将IP修改为新的IP 9 重启启动CDH Manager对应的管理进程及Agent服务 service cloudera-scm-server-db restart service cloudera-scm-server start service cloudera-scm-agent start 10 登录cm 启动所以服务验证