subway

来源：Datawhale 本文 约3300字 ，建议阅读 10 分钟 本文为你详解路径规划项目，附源码链接。 前言 最近爬取了武汉地铁线路的信息，通过调用高德地图的api 获得各个站点的进度和纬度信息，使用Dijkstra算法对路径进行规划。 公众号（DatapiTHU）后台回复 “20201218” 获取项目源码下载 一、数据爬取 首先是需要获得武汉各个地铁的地铁站信息，通过爬虫爬取武汉各个地铁站点的信息，并存储到xlsx文件中。 武汉地铁线路图，2021最新武汉地铁线路图，武汉地铁地图-武汉本地宝wh.bendibao.com 方法：requests、BeautifulSoup、pandas import requests from bs4 import BeautifulSoup import pandas as pd def spyder(): #获得武汉的地铁信息 url='http://wh.bendibao.com/ditie/linemap.shtml' user_agent='Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50' headers = {'User-Agent'

一、多选题(不定项选择) 在下面所列出的条目中，哪些是数据库管理系统的基本功能？ A ‍‍ 数据库定义‍‍ B ‍‍ 数据库的建立和维护‍‍ C ‍‍ 数据库存取‍‍ D 数据库和其他软件系统的通信 在Mongodb支持的数据类型中，ObjectId：类似唯一主键，可以很快的去生成和排序，比如："_id" : ObjectId(“5b151f8536409809ab2e6b26”)，那么在小括号中的一串字符可以划分位哪几部分？‍‍ A ‍‍ 时间戳‍‍ B ‍‍ 机器码‍‍ C 进程ID‍‍ D 计数器 E 转义码 下列哪些属于NoSQL数据库的特征？‍‍‍‍ A 高可扩展性‍‍ B 分布式计算‍‍ C 低成本‍‍ D 没有标准化‍‍ 二、编程题 表名：subway，包含3个字段：id（线路编号）、stop（站点）、sequence（站点序列）。‍‍‍‍如下，请写出以下SQL语句：‍‍‍‍‍‍ 找出站点名称包含“人民”的所有记录。‍‍ stop like ”人民%” 表名：subway，包含3个字段：id（线路编号）、stop（站点）、sequence（站点序列）。‍‍‍‍如下，请写出以下SQL语句：‍‍ ‍‍找出途径线路数最多的站点。‍‍ 考虑一下每个地铁站点有多少趟地铁通过 表名：subway，包含3个字段：id（线路编号）、stop（站点）、sequence（站点序列）。如下

之前用过selenium和request爬取数据，但是感觉速度慢，然后看了下scrapy教程，准备用这个框架爬取试一下。 1、目的：通过爬取成都链家的二手房信息，主要包含小区名，小区周边环境，小区楼层以及价格等信息。并且把这些信息写入mysql。 2、环境：scrapy1.5.1 +python3.6 3、创建项目：创建scrapy项目，在项目路径执行命令：scrapy startproject LianJiaScrapy 4、项目路径：（其中run.py新加的，run.py是在eclipse里面启动scrapy项目，方便调试的） 这些文件分别是： scrapy.cfg:项目的配置文件 LianJiaScrapy:该项目的python模块。之后您将在此加入代码。 LianJiaScrapy/items.py:项目中的item文件，设置对应的参数名，把抓取的数据存到对应的字段里面。（类似字典来存数据，然后可提供给后面的pipelines.py处理数据） LianJiaScrapy/pipelines.py:项目中的pipelines文件,抓取后的数据通过这个文件进行处理。（比如我把数据写到数据库里面就是在这里操作的） LianJiaScrapy/spiders/：放置spider代码的目录。（数据抓取的过程，并且把抓取的数据和items的数据一一对应） 5、创建爬虫的主文件