Python――解决工作中的小问题
问题描述: 业务系统的会员信息表进入到数仓中,存在数据缺失,其造成这一问题的原因是后台会手动处理一些数据(卸数等ETL流程不存在问题),造成卸数时取不到这些数据,经过考虑,决定用Python解决这一问题。 以下代码中设计到的一些比较有用的函数及问题: 1、比较两个list,取出一个list不存在于另一个list中的值 final=set(data_userid).difference(set(data_memberid)) 2、将数据框dataframe写入数据库,用以下方法很容易实现 engine=create_engine('oracle://pdm:dwPDM2018#@192.168.0.72:1521/pdm', echo=True) data.convert_objects(convert_numeric=True).to_sql('t01_e3_member_info_lxh', con=engine, if_exists='replace', index=False, index_label=None) 3、当利用Python执行insert into tablename1 select * from tablename2语句时,若tablename2中存在空数据,若使用import pandas.io.sql as sql;sql.read_sql(sqlstr1