利用awk命令实现SQL中的left join及inner join
利用awk命令实现SQL中的left join及inner join
最近在做数据方面的工作,写的存储过程很多,经常用到left join及inner join,数据处理数据确实方便,但是平时碰到类似的问题,必须导入一个临时表才能解决,实在不便,对于一个喜欢用linux完成一切数据编辑工作的人,总想用命令实现下,而不是excel这类功能,excel处理大量数据问题太多,之前有知道join命令大概有这个功能,但是使用时发现相当难用,无意中发现有人发帖awk也可以间接实现,试了下,相当好用,做个笔记,也分享给大家。
awk知识点:
- NR,表示awk开始执行程序后所读取的数据行数
- FNR,与NR功用类似,不同的是awk每打开一个新文件,FNR便从0重新累计
- awk临时数组
需求:
把bb.txt文件中与cc.txt相同的踢掉
实现左关联:
达到这个效果后,再通过特征将不符合条件的删除或保留,即可实现最终目标
实现内关联:
总结
这个在后台环境省去了写脚本的繁琐,对于一个常用命令的人确实非常有用,尤其是处理大数据量