Google Cloud ML引擎+ Tensorflow在input_fn（）中执行预处理/标记化

Question

我想在我的输入函数中执行基本的预处理和标记化。我的数据包含在我无法修改的谷歌云存储存储位置（gs：//）中的csv中。此外，我对我的ml-engine包中的输入文本进行任何修改，以便在服务时间内复制行为。

我输入功能遵循以下基本结构：

filename_queue = tf.train.string_input_producer(filenames) 
reader = tf.TextLineReader() 
_, rows = reader.read_up_to(filename_queue, num_records=batch_size) 
text, label = tf.decode_csv(rows, record_defaults = [[""],[""]]) 

# add logic to filter special characters 
# add logic to make all words lowercase 
words = tf.string_split(text) # splits based on white space 

是否有避免对整个数据预先设定执行该预处理任何选项？这post表明tf.py_func（）可以用来做这些转换，但是他们建议“缺点是，因为它没有保存在图中，我不能恢复我保存的模型”，所以我不相信这会在服务时间有用。如果我正在定义我自己的tf.py_func（）来执行预处理，并且在培训师包中定义了我正在上传到云中，我是否会遇到任何问题？有没有其他选择，我不考虑？

Answer 1

最佳做法是编写一个函数，您可以从training/eval input_fn和您的服务input_fn中调用该函数。

例如：

def add_engineered(features): 
    text = features['text'] 
    features['words'] = tf.string_split(text) 
    return features 

然后，在你input_fn，包您提供呼叫返回功能add_engineered：

def input_fn(): 
    features = ... 
    label = ... 
    return add_engineered(features), label 

，并在您serving_input FN，确保类似的包裹通过调用add_engineered返回的功能（不是feature_placeholders）：

def serving_input_fn(): 
    feature_placeholders = ... 
    features = ... 
    return tflearn.utils.input_fn_utils.InputFnOps(
     add_engineered(features), 
     None, 
     feature_placeholders 
    ) 

你的模型会使用'单词'。但是，预测时您的JSON输入只需包含“文本”即原始值。

下面是一个完整的工作示例：

https://github.com/GoogleCloudPlatform/training-data-analyst/blob/master/courses/machine_learning/feateng/taxifare/trainer/model.py#L107