元数据

搭建步骤: 1.File -> New Module，进入创建项目窗口。 　　 　　 　　 　　接着下一步，这里需要注在Properties中添加一个参数 archetypeCatalog=internal ，不加这个参数，在maven生成骨架的时候将会非常慢，有时候直接卡住。来自网上的解释： 　　archetypeCatalog表示插件使用的archetype元数据，不加这个参数时默认为remote，local，即中央仓库archetype元数据，由于中央 　　仓库的archetype太多了所以导致很慢，指定internal来表示仅使用内部元数据。 　　 　　注意要修改maven仓库,步骤如下: 　　 　　 　　 2.创建工程目录结构 　　1.添加Java文件夹，并修改其属性，如下图： 　　 　　maven结构配置完成 来源： https://www.cnblogs.com/newAndHui/p/8534400.html

安装Maven 下载安装 去 maven官网 下载最新版。 解压到安装目录。 配置 右键桌面的计算机图标，属性–>高级系统设置–>环境变量，添加 M2_HOME 的环境变量，然后将该变量加入的 PATH 中。 注意 必须要有 JAVA_HOME 和个环境变量，不然maven会提示错误。 如果想要修改maven的本地仓库位置，可以在maven的安装目录下的conf目录下的settings.xml配置文件中设置。 打开CMD，输入 mvn --version ，看到如下提示就说明安装成功了。 配置IntelliJ 在IntelliJ的设置中，可以设置maven的安装目录，settings.xml文件的位置，和本地仓库的位置等信息。 新建 新建maven项目，create from archetype，选择maven-archetype-webapp Next，填写GroupId，ArtifactId和Version Next，这里在Properties中添加一个参数 archetypeCatalog=internal ，不加这个参数，在maven生成骨架的时候将会非常慢，有时候会直接卡住。 来自网上的解释： archetypeCatalog表示插件使用的archetype元数据，不加这个参数时默认为remote，local，即中央仓库archetype元数据

1. 如下图，打开idea之后，file -> new -> project 2. 如下图，在弹出的new project 页面，选择maven -> 勾选Create from artifactype （如果不选择，下面的那一步就没办法走了）-> 选中webapp（值得注意的是，这个地方有两个app，选择maven-archetype-webapp）, next 3. 如下图，接下来就是填写groupId 和archetypeId 了，网上找了查了一下 来自网上的解释： GroupID是项目组织唯一的标识符，实际对应JAVA的包的结构，是main目录里java的目录结构。 ArtifactID就是项目的唯一的标识符，实际对应项目的名称，就是项目根目录的名称。 一般来说，包的命名习惯是域名的反过来,加个公司或者个人的名称吧，个人习惯。www.demo.com -> com.richard.demo; 那么都知道，test是项目名称，也是在最后面的，所有项目组的唯一标识符(groupId)：com.richard, 项目的唯一标识符（ArtifactId）demo. 这样你就知道大概对应填些什么东西了。 next 4. 如下图，这一步，直接按照默认，点击next也可以的，但是可能创建完成之后会下载一些东西，然后导致比较慢，所以我看到写一下。点击有框出来的那个加好

一、概述 数据管理主要分为：元数据管理、计算管理、存储和成本管理、数据质量管理 二、元数据 元数据主要分为两大类：技术元数据和业务元数据 技术元数据： 存储数据仓库技术细节的数据，包括： 存储元数据 ：表名、字段名、分区信息等 运行元数据 ：作业类型、SQL、运行参数等 开发元数据 ：数据同步、计算任务、任务调度等信息 监控元数据 ：告警配置、运行日志等信息 业务元数据： 纬度及属性、指标等的规范定义 数据产品等配置和运行元数据 来源： CSDN 作者： 浅汐王 链接： https://blog.csdn.net/qq_32252917/article/details/103749361

MSBuild 中写在 <ItemGroup /> 中的每一项是一个 Item ， Item 除了可以使用 Include / Update / Remove 来增删之外，还可以定义其他的元数据（Metadata）。 使用 % 可以引用 Item 的元数据，本文将介绍如何正确使用 % 来引用每一个项中的元数据。 本文内容 定义 Item 的元数据 引用元数据 使用元数据 关于项元数据的其他信息 定义 Item 的元数据 就像下面这样，当引用一个 NuGet 包时，可以额外使用 Version 来指定应该使用哪个特定版本的 NuGet 包。这里的 Version 和 PrivateAssets 就是 PackageReference 的元数据。 < ItemGroup > < PackageReference Include = " dotnetCampus.Configurations.Source " Version = " 1.0.0 " PrivateAssets = " All " /> < PackageReference Include = " dotnetCampus.CommandLine.Source " Version = " 1.2.1 " PrivateAssets = " All " /> < PackageReference Include = "

HADOOP学习之HDFS HDFS介绍 HDFS是hadoop自带的分布式文件系统，英文名为：Hadoop Distributed Filesystem，HDFS以流式数据访问模式来存储超大文件。根据设计，HDFS具有如下特点 HDFS特点 支持超大文件 一般来说，HDFS存储的文件可以支持TB和PB级别的数据 检测和快速应对硬件故障 在集群环境中，硬件故障是常见性问题。因为有上千台服务器连在一起，故障率很高，因此故障检测和自动恢复hdfs文件系统的一个设计目标。假设某一个datanode挂掉之后，因为数据是有备份的，还可以从其他节点里找到。namenode通过心跳机制来检测datanode是否还存活 流式数据访问 HDFS的访问模式是一次写入，多次读取，数据集通常都是由数据源生成或者从数据源复制而来，接着长时间在此数据集上进行各种分析，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要 高容错性 数据自动保存多个副本，副本丢失后自动恢复。 可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，将数据分发和备份到相应的节点上 商用硬件 Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（在各种零售店都能买到的普通硬件）的集群上的，因此至少对于庞大的集群来说，节点故障的几率还是非常搞得。HDFS遇到上述故障时

AirFlow管理界面的使用 AirFlow 的webserver UI DAGS 左侧 On/Off 按钮控制 DAG 的运行状态，Off 为暂停状态，On 为运行状态。注意：所有 DAG 脚本初次部署完成时均为 Off 状态。 若 DAG 名称处于不可点击状态，可能为 DAG 被删除或未载入。若 DAG 未载入，可点击右侧刷新按钮进行刷新。注意：由于可以部署若干 WebServer，所以单次刷新可能无法刷新所有 WebServer 缓存，可以尝试多次刷新。 Recent Tasks 会显示最近一次 DAG Run（可以理解为 DAG 的执行记录）中 Task Instances（可以理解为作业的执行记录）的运行状态，如果 DAG Run 的状态为 running，此时显示最近完成的一次以及正在运行的 DAG Run 中所有 Task Instances 的状态。 Last Run 显示最近一次的 execution date。注意：execution date 并不是真实执行时间，具体细节在下文 DAG 配置中详述。将鼠标移至 execution date 右侧 info 标记上，会显示 start date，start date 为真实运行时间。start date 一般为 execution date 所对应的下次执行时间。 作业操作框 在 DAG 的树状图和 DAG

.NET中反射机制的使用与分析 [日期： 2008-06-30 ] 来源： 作者： 志伟 .NET反射的定义 ：审查元数据并收集关于它的类型信息的能力。 元数据是一种二进制信息，用以对存储在公共语言运行库可移植可执行文件 (PE) 文件或存储在内存中的程序进行描述。将您的代码编译为 PE 文件时，便会将元数据插入到该文件的一部分中。 而将代码转换为 Microsoft 中间语言 (MSIL) 并将其插入到该文件的另一部分中。在模块或程序集中定义和引用的每个类型和成员都将在元数据中进行说明。 当执行代码时，运行库将元数据加载到内存中，并引用它来发现有关代码的类、成员、继承等信息。 元数据以非特定语言的方式描述在代码中定义的每一类型和成员。元数据存储以下信息： 程序集的说明： 1. 标识（名称、版本、区域性、公钥）。 2. 导出的类型。 3. 该程序集所依赖的其他程序集。 4. 运行所需的安全权限。 类型的说明： 1. 名称、可见性、基类和实现的接口。 2. 成员（方法、字段、属性、事件、嵌套的类型）。 属性： 1. 修饰类型和成员的其他说明性元素。 System.reflection命名空间包含的几个类，允许你反射（解析）这些元数据表的代码和反射相关的命名空间（我们就是通过这几个命名空间访问反射信息）： System.Reflection.MemberInfo System

写在前面：我没有开发过COM组件的经验，只是在做文献综述的时候需要了解这方面的知识，所以如果哪里说错了或者是我理解错了，还希望大家可以指出，谢谢。我不是程序员也不是计算机专业，只是课题偏了这个方向，因此很多基础概念或许有理解错，真心希望可以得到大家的指正，再次感谢。 COM object以接口的方式向客户端提供服务。一个COM component可以包含多个COM object，一个COM object可以有多个接口，其关系如图1所示。 图1 COM组件、COM对象和接口关系 在Windows OS上，COM组件以.dll或者.exe的文件形式存在。其中.dll是进程内组件（in-process component），.exe是进程外组件（out-process component）。进程内组件意味着该组件会被加载到客户端所在的进程中，而进程外组件则意味着该组件会被加载到一个新的进程中。 二进制接口是COM组件中的重要概念，正是因为存在binary interface compatibility, 组件的开发语言不受限制，不一定非得是C/C++。接口是用Microsoft Interface Definition Language (MIDL)描述的。每个接口有唯一标识，使用IID（interface identifier）命名。接口都需要继承自IUnknown接口

Delta Lake源码分析 Delta Lake元数据 delta lake 包含Protocol、Metadata、FileAction(AddFile、RemoveFile)、CommitInfo和SetTransaction这几种元数据action。 Protocol：这是delta lake自身的版本管理，一般只出现在第一次的commit日志里（之后版本升级应该也会有）； Metadata：存储delta表的schema信息，第一次commit和每次修改schema时出现，以最后一次出现的为准； FileAction：文件的相关操作，delta lake的文件操作只有添加文件和删除文件； CommitInfo：保存关于本次更改的原始信息，如修改时间，操作类型，读取的数据版本等； SetTransaction：设置application的提交版本，一般用于流式计算的一致性控制（exactlyOnce）。 //初始的commit log会包含protocol和metaData的信息 {"commitInfo":{"timestamp":1576480709055,"operation":"WRITE","operationParameters":{"mode":"ErrorIfExists","partitionBy":"[]"},"isBlindAppend":true}}