nfs

大数据运维方向面试题

半世苍凉 提交于 2019-11-27 09:44:12
文章转载自: http://www.pythonheidong.com/blog/article/3038/ 一、基础题 1.请写出http和https请求的区别,并写出遇到过的响应状态码. 一、https协议需要到ca申请证书,一般免费证书很少,需要交费。 二、http是超文本传输协议,信息是明文传输,https 则是具有安全性的ssl加密传输协议。 三、http和https使用的是完全不同的连接方式,用的端口也不一样,前者是80,后者是443。 四、http的连接很简单,是无状态的;HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议,比http协议安全。 状态码常用: 301 永久重定向 403 服务器已经理解请求,但是拒绝执行 404 页面丢失 500 服务器错误 2.请写出在linux系统上面搭建系统或者产品等大数据平台需要对系统进行哪些检查。 从稳定性说:需要检查集群中的每一台服务器的命令安装是否完善,环境变量是否配置完毕,每一台服务器的软件配置是否有问题。 扩展性: 能够快速扩展机器,横向扩展条件是否具备 3.请写出使用过的linux系统有哪些版本,如何查看系统信息?(发行版本,内核版本等信息)。 Centos 6.5 6.6 x64 1.查看发行版本命令:cat /etc/issue 2.查看内核版本: cat /proc

挂载nfs提示:mount.nfs: access denied by server while mounting...

北战南征 提交于 2019-11-27 08:45:39
出现此类错误原因大致为: 权限问题 防火墙机制问题 共享配置文件问题 搭建好nfs服务后,在client端进行挂载时,提示: [root@web1 media]# mount -t nfs 192.168.0.124:/server/tools/repo /media/centos/ mount.nfs: access denied by server while mounting 192.168.0.124:/server/tools/repo 查看了一下client端是否被占用了: [root@web1 media]# mount -t nfs 192.168.0.124:/server/tools/repo /media/centos/ mount.nfs: access denied by server while mounting 192.168.0.124:/server/tools/repo [root@web1 media]# mount /dev/sda3 on / type ext4 (rw) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts on /dev/pts type devpts (rw,gid=5,mode=620) tmpfs on /dev/shm type

Linux安装nfs共享文件

百般思念 提交于 2019-11-27 08:31:09
简介nfs nfs网络文件系统常用于共享音视频,图片等静态资源。将需要共享的资源放到NFS里的共享目录,通过服务器挂载实现访问。 服务端安装: yum install -y nfs-utils rpcbind 或者 yum install -y nfs-utils yum install -y rpcbind 客户端安装: yum install -y nfs-utils 设置开机自启动 systemctl enable nfs systemctl enable rpcbind 服务端配置: 1. 创建共享目录 mkdir -p /data/nfs-share 2. 安装完nfs服务一般会自动生成配置文件exports,如果没有就自己创建一个 /etc/exports cat /etc/exports 3.编辑共享配置文件 vi /etc/exports /data/nfs-share *(rw,sync,no_root_squash) #/home/nfs *(rw,sync,no_root_squash) #/data/nfs-share * 第一列:欲共享出去的目录,也就是想共享到网络中的文件系统; 第二列:可访问主机 192.168.152.13 指定IP地址的主机 nfsclient.test.com 指定域名的主机 192.168.1.0/24 指定网段中的所有主机 *

NFS服务器搭建

纵饮孤独 提交于 2019-11-27 06:17:30
NFS-网络文件系统,为客户机提供共享使用的文件夹 协议:NFS(TCP/UDP 端口2049)、RPC(TCP/UDP 端口111) 所需要软件包:nfs-utils 系统服务:nfs-server 各部分说明 : 共享目录 被允许的客户端IP(* 表示任意IP都可以) IP后括号里的设置表示对该共享文件的权限 ro 只读访问 rw 读写访问 sync 所有数据在请求时写入共享 hide 在NFS共享目录中不共享其子目录 no_hide 共享NFS目录的子目录 all_squash 共享文件的UID和GID映射匿名用户anonymous,适合公用目录。 no_all_squash 保留共享文件的UID和GID(默认) root_squash root用户的所有请求映射成如anonymous用户一样的权限(默认) no_root_squash root用户具有根目录的完全管理访问权限 detfacl -m u:nfsnobody:rwx /abc 赋予用户nfsnobody多共你想目录abc有读写权限 一、具有只读功能的nfs 1、修改配置文件:vim/etc/exports(该文件空文件,需要手动写入配置) /public * (新建的共享文件夹为名字," * "允许所有ip访问该共享文件) /public 172.25.0.0/24(ro)(新建的共享文件public

nfs挂载权限问题

喜夏-厌秋 提交于 2019-11-27 05:06:09
问题:   服务器A:192.168.10.230   服务器B:192.168.10.231   由于服务器A空间不足,打算将服务器A产生的数据库日志挂载到服务器B上,刚开始设定的anonuid和anongid,均为A服务器postgres账户的id值,因为考虑的是在服务器A中以postgres用户来归档日志,但由于A、B两台服务器中的postgres用户的id值不同,挂载之后目录用户和所有者均为nobody,尝试创建文件,但提示权限不足。 解决:   刚开始是直接查询的网上资料,修改的anonuid和anongid,后面查阅了关于exports的帮助文档,发现anonuid和anongid需要设定为B本机的id值,至此A服务器产生的数据库日志终于可以写入B服务器上。   在服务器B中的/etc/exports中挂载的权限设置为: rw, sync ,all_squash,anonuid= 502 ,anongid= 502   其中502是服务器B中postgres用户的id值。 下面是几个nfs常用权限设置的简单说明,方便自己和大家查阅: root_squash:在登入 NFS 主机使用分享之目录的使用者如果是 root 时,那么这个使用者的权限将被压缩成为匿名使用者,通常他的 UID 与 GID 都会变成 nobody 那个系统账号的身份。 no_root_squash

centos7下NFS配置

一个人想着一个人 提交于 2019-11-27 04:57:05
NFS是Network File System的缩写,即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。 前言 四台机器: 172.16.158.216(把216机器上的/root/filedata目录共享到217,218,218三台机器的/root/filedir目录下) 172.16.158.217 172.16.158.218 172.16.158.219 一、NFS服务安装配置 216-219四台机口全部安装nfs-utils和rpcbind 1:查看是否安装nfs-utils和rpcbind rpm -qa nfs-utils rpcbind 2:安装nfs-utils和rpcbind yum install nfs-utils rpcbind 3:查看安装目录 which rpcbind 4:nfs除了主程序端口2049和rpcbind的端口111是固定以外,还会使用一些随机端口,以下配置将定义这些端口,以便配置防火墙 vim /etc/sysconfig/nfs #追加端口配置 MOUNTD_PORT=4001   STATD_PORT=4002 LOCKD_TCPPORT=4003 LOCKD_UDPPORT=4003 RQUOTAD_PORT=4004 5:在172.16.158.216上开放以下端口 firewall-cmd -

Linux-存储服务之NFS

夙愿已清 提交于 2019-11-27 02:33:41
NFS介绍 官方文档 NFS(Network File System) 即网络文件系统,它最大的功能就是通过 TCP/IP 网络共享资源。在 NFS 的应用中,本地 NFS 的客户端应用可以透明地读写位于远端 NFS 服务器上的文件,就像访问本地文件一样。 NFS 客户端一般是应用服务器(比如 web ,负载均衡等),可以通过挂载的方式将 NFS 服务器端共享的目录挂载到 NFS 客户端本地的目录下。 因为 NFS 支持的功能相当的多,而不同的功能都会使用不同的程序来启动,每启动一个功能就会启用一些端口来传输数据,因此, NFS 的功能所对应的端口才没有固定住,而是随机取用一些未被使用的小于 1024 的端口来作为传输之用。但如此一来又造成了客户端想要连上服务器时的困扰,因为客户端得要知道服务器端的相关端口才能够进行连接。 因此就需要远程过程调用 ( RPC ) 的服务, RPC 最主要的功能就是在指定每个 NFS 功能所对应的 port number ,并且回报给客户端,让客户端可以连接正确的端口上去。那 RPC 又是如何知道每个 NFS 的端口呢?这是因为当服务器在启动 NFS 时会随机取用数个端口,并主动的想 RPC 注册,因此 RPC 可以知道每个端口对应的 NFS 功能,然后 RPC 又是固定使用 port 111 来监听客户端的需求并回报给客户端正确的端口

Ways to improve git status performance

独自空忆成欢 提交于 2019-11-26 23:59:45
问题 I have a repo of 10 GB on a Linux machine which is on NFS. The first time git status takes 36 minutes and subsequent git status takes 8 minutes. Seems Git depends on the OS for caching files. Only the first git commands like commit , status that involves pack/repack the whole repo takes a very long time for a huge repo. I am not sure if you have used git status on such a large repo, but has anyone come across this issue? I have tried git gc , git clean , git repack but the time taken is still

k8s-静态PV和动态PV

北城以北 提交于 2019-11-26 23:44:29
1、pv 简单介绍 PersistenVolume(PV):对存储资源创建和使用的抽象,使得存储作为集群中的资源管理 PV分为静态和动态,动态能够自动创建PV • PersistentVolumeClaim(PVC):让用户不需要关心具体的Volume实现细节 容器与PV、PVC之间的关系,可以如下图所示: 总的来说,PV是提供者,PVC是消费者,消费的过程就是绑定。 参考网址:1、https://www.cnblogs.com/weifeng1463/p/10037803.html 2、https://blog.csdn.net/qq_25611295/article/details/86065053 2、nfs 搭建: yum install nfs-utils vim /etc/exports /data/k8s/ 172.16.1.0/24(sync,rw,no_root_squash) systemctl start nfs; systemctl start rpcbind systemctl enable nfs 测试: yum install nfs-utils showmount -e 172.16.1.131 3、PersistentVolume 静态绑定 (手工创建PV、PVC) [root@VM_0_48_centos prometheus]# cat

Locking sqlite file on NFS filesystem possible?

假装没事ソ 提交于 2019-11-26 21:47:52
问题 Let's say there are two python scripts that want to write data to the same table which is stored in an SQLite file using the sqlite3 module. The SQLite-file is stored on an NFS filesystem. In the SQLite-FAQ I read: SQLite uses reader/writer locks to control access to the database. [...] But use caution: this locking mechanism might not work correctly if the database file is kept on an NFS filesystem. This is because fcntl() file locking is broken on many NFS implementations. You should avoid