循环不适用于SQL更新语句(mysqldb)
我有一个名为'testfolder'的文件夹,其中包含两个文件'Sigurdlogfile'和'2004ADlogfile'。每个文件都有一个名为entries
的字符串列表。我需要在两者上运行我的代码,并使用glob
来执行此操作。我的代码为每个文件创建一个字典,并存储使用正则表达式提取的数据,其中字典密钥存储在下面的commonterms
中。然后它将每个字典插入到一个mysql表中。它成功地完成了所有这些,但是我的第二个sql语句没有插入它应该如何(每个文件)。循环不适用于SQL更新语句(mysqldb)
import glob
import re
files = glob.glob('/home/user/testfolder/*logfile*')
commonterms = (["freq", "\s?(\d+e?\d*)\s?"],
["tx", "#txpattern"],
["rx", "#rxpattern"], ...)
terms = [commonterms[i][0] for i in range(len(commonterms))]
patterns = [commonterms[i][1] for i in range(len(commonterms))]
def getTerms(entry):
for i in range(len(terms)):
term = re.search(patterns[i], entry)
if term:
term = term.groups()[0] if term.groups()[0] is not None else term.groups()[1]
else:
term = 'NULL'
d[terms[i]] += [term]
return d
for filename in files:
#code to create 'entries'
objkey = re.match(r'/home/user/testfolder/(.+?)logfile', filename).group(1)
d = {t: [] for t in terms}
for entry in entries:
d = getTerms(entry)
import MySQLdb
db = MySQLdb.connect(host='', user='', passwd='', db='')
cursor = db.cursor()
cols = d.keys()
vals = d.values()
for i in range(len(entries)):
lst = [item[i] for item in vals]
csv = "'{}'".format("','".join(lst))
sql1 = "INSERT INTO table (%s) VALUES (%s);" % (','.join(cols), csv.replace("'NULL'", "NULL"))
cursor.execute(sql1)
#now in my 2nd sql statement I need to update the table with data from an old table, which is where I have the problem...
sql2 = "UPDATE table, oldtable SET table.key1 = oldtable.key1,
table.key2 = oldtable.key2 WHERE oldtable.obj = %s;" % repr(objkey)
cursor.execute(sql2)
db.commit()
db.close()
的问题是,在第二个SQL语句,它最终只从objkey
S的一个插入数据到表中的所有列,但我需要它,这取决于插入不同的数据文件代码当前正在运行。我无法弄清楚为什么这是因为我已经在我的for filename in files
循环内定义了objkey
。我怎样才能解决这个问题?
而不是单独INSERT
和UPDATE
,做他们一起合并来自旧表的字段。
for i in range(len(entries)):
lst = [item[i] for item in vals]
csv = "'{}'".format("','".join(lst))
sql1 = """INSERT INTO table (key1, key2, %s)
SELECT o.key1, o.key2, a.*
FROM (SELECT %s) AS a
LEFT JOIN oldtable AS o ON o.obj = %s""" % (','.join(cols), csv.replace("'NULL'", "NULL"), repr(objkey))
cursor.execute(sql1)
谢谢你解决了这个问题的覆盖。但是我现在正在运行其他的东西 - 有时一个特定的文件在旧表中没有任何数据(所以如果我运行命令'select * from oldtable where obj ='some object'',它会返回一个空集)。在这种情况下,它会跳过它,不会输入任何数据,即使是从字典中输入。但是,我仍然会如何获取要插入的其他数据,并将那些key1和key2字段保留为“NULL”? –
我已经更新了答案,以说明如何使用'LEFT JOIN'来做到这一点。 – Barmar
你的第二个查询在'table'和'oldtable'之间没有任何关系,所以它做了一个完整的交叉产品。 – Barmar
你应该学会做准备的陈述,而不是做字符串替换。 – Barmar
@Barmar你是什么意思?它从旧表中为'Sigurdlogfile'插入正确的数据,但问题在于它也会从2004AD –