coding | 易学教程

利用spark将表中数据拆分

阅读更多关于利用spark将表中数据拆分

i # coding:utf-8 from pyspark.sql import SparkSession import os if __name__ == '__main__': os.environ['JAVA_HOME'] = 'C:\Program Files\Java\jdk1.8.0_211' print(os.path) spark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .config("spark.some.config.option", "some-value") \ .getOrCreate(http://www.my516.com) path = "C:/Users/Administrator/Desktop/vedios.txt" df = spark.read.csv(path, header=True) df.createOrReplaceTempView("movies") df = spark.sql("select * from movies lateral view explode(split(category,'#')) as type1") df.show() --------------------- 来源： https://www

Hexo使用细节及各种问题

阅读更多关于 Hexo使用细节及各种问题

解决markdown图片不显示(返回403 forbidden)、添加本地图片无法显示、修改文章page模板、同时部署发布同步到多个仓库站点(Github、coding、gitee 码云) 图片不显示在使用过程中，会发现有的引用图片无法显示的问题。但是如果直接复制图片地址到浏览器打开的话显示正常 403 forbidden，说明了这个网络资源这样获取是被拒绝的，那么通过简单的百度，找到了相关的解决方法，并去实际尝试：解决方法：只需要在头部添加一个meta <meta name="referrer" content="no-referrer" /> 当然在Hexo中呢，应该在你的 md文件中添加meta，如下： --- title: test date: 2018-09-01 14:38:14 tags: test,测试 description: 测试 --- <meta name="referrer" content="no-referrer" /> # 这是一篇测试文章 ## 内容这样只要你在每篇文章中添加这行meta就可以解决图片不显示的问题啦！修改文章模板每当你使用命令 hexo new '文章名称' 新建一篇文章时，你可能需要在里面书写  ，或者还要写 meta，这样你会觉得很麻烦。所以这里我说下修改模板的方法，解决你每次都要写重复的内容

Python开发：初识Python

阅读更多关于 Python开发：初识Python

Python简介 Python前世今生 python的创始人为吉多·范罗苏姆（Guido van Rossum）。1989年的圣诞节期间，吉多·范罗苏姆为了在阿姆斯特丹打发时间，决心开发一个新的脚本解释程序，作为ABC语言的一种继承。最新的TIOBE排行榜，Python赶超PHP占据第五！！！由上图可见，Python整体呈上升趋势，反映出Python应用越来越广泛并且也逐渐得到业内的认可！！！ Python可以应用于众多领域，如：数据分析、组件集成、网络服务、图像处理、数值计算和科学计算等众多领域。目前业内几乎所有大中型互联网企业都在使用Python，如：Youtube、Dropbox、BT、Quora（中国知乎）、豆瓣、知乎、Google、Yahoo!、Facebook、NASA、百度、腾讯、汽车之家、美团等。互联网公司广泛使用Python来做的事一般有：自动化运维、自动化测试、大数据分析、爬虫、Web 等。注视：上述重点字体表示该公司主要使用Python语言开发为什么是Python而不是其他语言？ C 和 Python、Java、C#等 C语言：代码编译得到机器码，机器码在处理器上直接执行，每一条指令控制CPU工作其他语言：代码编译得到字节码，虚拟机执行字节码并转换成机器码再后在处理器上执行 Python 和 C

《剑指offer》刷题记录（Python）

阅读更多关于《剑指offer》刷题记录（Python）

本博客同时发布于个人主页： www.doctorsrn.cn 《剑指offer》刷题记录最近使用Python把《剑指offer》刷了一遍，自己能第一时间有想法的题目就直接写，没有思路的题目就看懂书上的思路和参考其他开源的实现后再自己写一遍。主要以牛客网《剑指offer》作为在线评测网站，有些题目牛客网没有的再找其他网站进行在线评测，主要使用的其他网站有： AcWing LintCode 刷题过程主要参考的开源实现有： https://github.com/Lazy-Pig/CodingInterviewChinese2 https://github.com/apachecn/Interview/tree/master/docs/Algorithm/剑指offer/Python 本博客对应的代码仓库在此。今年企业缩招，找工作的行情不容乐观，秋招路漫漫啊。 3.数组中重复数字在一个长度为n的数组里的所有数字都在0到n-1的范围内。数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。 ## 方法一：排序，然后查找 ## 时间复杂度：O(nlog n) 空间复杂度：* # -*- coding:utf-8 -*-

python3之模块urllib

阅读更多关于 python3之模块urllib

urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块： request：它是最基本的http请求模块，用来模拟发送请求 error：异常处理模块，如果出现错误可以捕获这些异常 parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等 robotparser：主要用来识别网站的robots.txt文件，然后判断哪些网站可以爬 1、urllib.request.urlopen() urllib.request.urlopen(url,data=None,[timeout,],cafile=None,capath=None,cadefault=False,context=None) 请求对象，返回一个HTTPResponse类型的对象，包含的方法和属性：方法：read()、readinto()、getheader(name)、getheaders()、fileno() 属性：msg、version、status、reason、bebuglevel、closed import urllib.request response=urllib.request.urlopen('https://www.python.org') #请求站点获得一个HTTPResponse对象 #print(response.read().decode('utf-8'

Python全栈之路系列之基础篇

阅读更多关于 Python全栈之路系列之基础篇

Python的诞生 Python是著名的” 龟叔 “ Guido van Rossum(吉多·范罗苏姆) 在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。 Python语法很多来自C，但又受到ABC语言的强烈影响，来自ABC语言的一些规定直到今天还富有争议，比如强制缩进，但这些语法规定让Python变得更易读。 Guido van Rossum 著名的一句话就是** Life is short, you need Python ，译为：人生苦短，我用Python **，一直到现在，无论在任何介绍Python这门强大的语言时，都会有提到。截至到目前 2017年1月6日，Python在 Tiobe 的排名还是很靠前的，而且近几年来说Python上升的趋势还是特别稳定的，这两年一直保持在第四位，甚至已经超越PHP和C#。查询网站： http://www.tiobe.com/tiobe_index?page=index 我们还可以再解释下下通过 import this 查看Python语言的设计哲学：在学习过程中有什么不懂得可以加我的 python学习交流扣扣qun，784758214 群里有不错的学习视频教程、开发工具与电子书籍。与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容 >>> import this The

web爬虫讲解—urllib库爬虫—基础使用—超时设置—自动模拟http请求

阅读更多关于 web爬虫讲解—urllib库爬虫—基础使用—超时设置—自动模拟http请求

利用python系统自带的urllib库写简单爬虫 urlopen()获取一个URL的html源码 read()读出html源码内容 decode(“utf-8”)将字节转化成字符串 #!/usr/bin/env python # -*- coding:utf-8 -*- import urllib.request html = urllib.request.urlopen('http://edu.51cto.com/course/8360.html').read().decode("utf-8") print(html) <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1"> <meta name="csrf-param" content="_csrf"> <meta name="csrf-token" content="X1pZZnpKWnQAIGkLFisPFT4jLlJNIWMHHWM6HBBnbiwPbz4/LH1pWQ=="> 正则获取页面指定内容 #!/usr/bin/env python # -*- coding:utf-8 -*- import urllib.request

CODING 告诉你如何建立一个 Scrum 团队

阅读更多关于 CODING 告诉你如何建立一个 Scrum 团队

原文地址： https://www.atlassian.com/agile/scrum/roles 翻译君：CODING 敏杰小王子 Scrum 当中有三个角色：PO（product owner），敏捷教练（scrum master）和开发团队。虽然这看起来很清晰，但如何处理现有职位的问题可能会让人感到困惑。许多团队询问在采用 scrum 时是否需要更改岗位名称？最简洁的答案是“不”。在本文中，我们将讨论 scrum 的角色定义以及如何将它们融进你的组织中，而你无需打印新的岗位名片。 Scrum 角色 VS 岗位职称这三个 scrum 角色描述了 scrum 团队成员的主要责任，他们并不是岗位职称。这意味着任何职称，即使是现有职位，也可以承担其中一个角色。因为 scrum 的本质是经验主义、自我组织和持续改进，所以这三个角色给出了责任的最小定义，以允许团队有效地工作。这使得团队可以对他们的自我组织和持续改进负责。参考阅读： https://scrumguides.org/scrum-guide.html 建立一个 Scrum 团队 Scrum 是一个团队构建运作流程的框架。它提供了定期会议和谁做什么的基本结构。它不为团队提供一个适合所有人的模型。例如，如果团队正在开发 Web 保险应用程序，他们需要了解技术、后端系统和业务领域的人员。另一方面，如果团队正在研究下一代大金刚

python全栈开发中级班全程笔记（第三模块、第二章（网络编程））

阅读更多关于 python全栈开发中级班全程笔记（第三模块、第二章（网络编程））

　　　　　　　　　　　　python全栈开发第三模块第二章：网络编程一、计算机基础与网络　　1、一套完整的计算机系统：由三大部分组成：①应用软件 ②系统软件 ③计算机硬件 ###软件依赖系统，系统操作控制硬件### 　　2、网络课程目标：让大家写一个 C (client) S (server) 架构软件（基于网络）　　 2.1、什么叫网络：网络是在同一通信区域内通过互联网协议（网络通讯标准），实现各个网络终端的互通互联，从而达到相互通讯传输数据　　简单来讲：网络就是底层的物理连接介质加上互联网协议　　 2.2、互联网协议分为以下几种：　　 2.21、os七层协议：①应（应用层），②表（表示层），③会（会话层），④传（传输层），⑤网（网络层），⑥数（数据链层），⑦物（物理层）　　 2.22、五层协议：前三层（应、表、会)统称为应（应用层）、传（传输层）、网（网络层）、数（数据链层）、物（物理层）二、五层协议详解　　1、物理层：传输二进制数据　　 2、数据链层：主要任务是按照一定语言标准，把文件转换成指定格式的二进制，交给物理层　　2.1 以太网（Ethernet）MAC 协议（网络中最常见的传输协议）　　其中 MAC 协议中规定： ①：一组电信号，称之为组个数据报（或者叫数据帧） ②：一组数据报分为报头（head）和数据（data）两部分 ③

转：Best Practices: Using Disposable Windows SharePoint Services Objects

阅读更多关于转：Best Practices: Using Disposable Windows SharePoint Services Objects

Best Practices: Using Disposable Windows SharePoint Services Objects Summary: Learn the appropriate ways to write your code when using Microsoft Windows SharePoint Services objects so that you can avoid retaining the objects in memory with the Microsoft .NET Framework. (24 printed pages) Scott Harris, Microsoft Corporation Mike Ammerlaan, Microsoft Corporation June 2006 Updated: November 2006 Applies to: Microsoft Windows SharePoint Services 3.0, Microsoft Windows SharePoint Services 2.0, Microsoft Office SharePoint Server 2007, Microsoft Office SharePoint Portal Server 2003 Contents:

订阅 coding