headless

基本概念和术语 Master&Node Kubernetes 集群的两种管理角色： Master 和 Node Master Master 只的是集群控制节点，每个集群需要一个检点来负责整个集群的管理和控制。 基本上所有控制命令都发给它，它来负责具体的执行过程。 Master 节点通常会占据一个独立的服务器。 Master 节点上运行着以下一组关键进程 Kubernetes API Server (kube-apiserver): 提供了HTTP Rest接口的关键服务进程，是Kubernetes里所有资源的增、删、改、查等操作的唯一入口，也是集群控制的入口进程 Kubernetes Controller Manager(kube-controller-manager): Kubernetes 里所有资源对象的自动化控制中心 Kubernetes Scheduler (kube-scheduler): 负责资源调度(Pod 调度) 的进程 Master 节点上还需要启动一个etcd服务，k8s里的所有资源对象的数据全部保存在etcd中 Node 集群中除了Master其他机器被称为Node节点，Node可以是一台物理机，也可以是一台虚拟机。Node是k8s集群中工作负载节点，没个Node会被Master分配一些工作负载(docker 容器), 当某个Node宕机时

环境:docker centos 7.4 能通外网 写好的selenium脚本。 具体步骤： 一:安装selenium 　　这是最简单的 直接利用 　　pip3 install selenium 二 安装chrome 　 yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 三 安装chrome-driver 　　首先查看自己的chrome版本，因为是安装的稳定版 yum list | grep chrome 所以就是图中所示的版本 下载chrome-driver 去官网找到对应的chrome版本 https://npm.taobao.org/mirrors/chromedriver 　 　wget https://npm.taobao.org/mirrors/chromedriver/75.0.3770.8/chromedriver_linux64.zip 至此 chrome-driver就已经安装完毕了。我们要想正确的运行脚本，还需要修改一些参数 四 参数修改 　　 chrome_options.add_argument( ' --no-sandbox ' ) # 解决DevToolsActivePort文件不存在的报错 chrome_options.add

本文概要 展示了一个使用Scrapy爬取网页信息的例子——爬取天天基金网的货币基金 爬取的信息在JS渲染的动态页面中，使用headless浏览器和Splash配合Scrapy解决问题 提供了docker镜像和Dockerfile，详述过程Dockerfile每一行的设置和其中的坑 仔细阅读可以了解Scrapy的基本用法，配合headless浏览器爬取一切疑难页面，在2.0.1版本下很长一段时间不用去和环境死磕了，直接取用docker镜像吧。 代码 qqhard/hj_spider ​ github.com 任务 由天天基金网的 货基列表页 进入详情页 爬取详情页中一系列信息 Scrapy一般流程 Scrapy目前的版本是2.0.1，其官方文档在 https:// scrapy.org/ 需要python3.5及以上的环境，在linux下需要Ubuntu 14.04及以上。 使用pip和conda很容易安装， pip install Scrapy 即可。 Scrapy提供了脚手架， scrapy startproject tutorial 创建项目，获得如下的目录： tutorial / scrapy . cfg # deploy configuration file tutorial / # project's Python module, you'll import your

六. 挂载卷 Volume 通过学习前五章，我们已经可以部署一个安全稳定的临时应用程序了。为什么说是临时的应用程序呢？ 众所周知，程序=代码+数据，现在代码已经可以运行并提供服务，同时可以产生或读取数据了，但每次重启服务或者 K8S 帮助我们调度 Pod 导致容器重启以后，之前运行的一些有价值无价值的数据也就不存在了，在本章，我们将介绍怎么处理这份有价值的数据。 原文地址 https://www.cnblogs.com/clockq/p/12297728.html 6.1 Volume 介绍 Kubernetes 通过定义 Volume 来满足这个需求，Volume 被定义为 Pod 这类顶级资源的一部分，并和 Pod 共享生命周期。 也就是 Pod 启动时创建卷，Pod 删除时销毁卷，期间卷的内容不会消失，所以 Pod 因为各种原因重启容器都不会影响卷的内容，如果一个 Pod 内包含多个容器，多个容器共享此卷。 Volume 类型 emptyDir: 用于存储临时数据的空目录 hostPath: 用于将工作节点的目录挂载到 Pod 中 gitRepo: 通过检出 Git 仓库内容来初始化的挂载卷 nfs: 用于挂载 nfs 共享卷到 Pod 中 configMap、secret、downwardAPI: K8S 内置的用于持久化存储的特殊类型资源

Kubernetes addons 之 coredns部署 2019.06.04 18:04:35字数 1045阅读 121 DNS 是 Kubernetes 的核心功能之一，通过 kube-dns 或 CoreDNS 作为集群的必备扩展来提供命名服务。 Kubernetes基于DNS的服务发现 在Kubernetes集群推荐使用Service Name作为服务的访问地址，因此需要一个Kubernetes集群范围的DNS服务实现从Service Name到Cluster Ip的解析，这就是Kubernetes基于DNS的服务发现功能。 Kubernetes DNS服务发展史 Kubernetes DNS服务发展史 从Kubernetes 1.11开始，可使用CoreDNS作为Kubernetes的DNS插件进入GA状态，Kubernetes推荐使用CoreDNS作为集群内的DNS服务。 CoreDNS从2017年初就成为了CNCF的的孵化项目，CoreDNS的特点就是十分灵活和可扩展的插件机制，各种插件实现不同的功能，如重定向、定制DNS记录、记录日志等等。下图描述了CoreDNS的整体架构： coredns DNS 格式 Service A records 普通（不是headless）service被分配了一个名为my-svc.my-namespace.svc.cluster

【推荐阅读】微服务还能火多久？>>> Installing : libxslt-1.1.28-5.el7.aarch64 1/29 Installing : libICE-1.0.9-9.el7.aarch64 2/29 Installing : libjpeg-turbo-1.2.90-6.el7.aarch64 3/29 Installing : fontpackages-filesystem-1.44-8.el7.noarch 4/29 Installing : dejavu-fonts-common-2.33-6.el7.noarch 5/29 Installing : dejavu-sans-fonts-2.33-6.el7.noarch 6/29 Installing : fontconfig-2.13.0-4.3.el7.aarch64 7/29 Installing : libSM-1.2.2-2.el7.aarch64 8/29 Installing : python-lxml-3.2.1-4.el7.aarch64 9/29 Installing : python-javapackages-3.4.1-11.el7.noarch 10/29 Installing : javapackages-tools-3.4.1-11.el7.noarch 11/29

【今日推荐】：为什么一到面试就懵逼！>>> 过去的一段时间，AndroidX 软件包下的 Activity/Fragmet 的 API 发生了很多变化。让我们看看它们是如何提升Android 的开发效率以及如何适应当下流行的编程规则和模式。 本文中描述的所有功能现在都可以在稳定的 AndroidX 软件包中使用，它们在去年均已发布或移至稳定版本。 在构造器中传入布局 ID 从 AndroidX AppCompat 1.1.0 和 Fragment 1.1.0 ( 译者注：AppCompat 包含 Fragment，且 Fragment 包含 Activity，详情见【整理】Jetpack 主要组件的依赖及传递关系 )开始，您可以使用将 layoutId 作为参数的构造函数： class MyActivity : AppCompatActivity(R.layout.my_activity) class MyFragmentActivity: FragmentActivity(R.layout.my_fragment_activity) class MyFragment : Fragment(R.layout.my_fragment) 这种方法可以减少 Activity/Fragment 中方法重写的数量，并使类更具可读性。无需在Activity 中重写 onCreate()