KerasTuner中自定义指标（如F1、AUC）作为调优目标的实践指南

本文旨在解决kerastuner在超参数调优过程中，使用f1 score、auc等自定义或非默认指标作为目标时常见的`keyerror`问题。核心在于明确kerastuner识别目标指标的机制，即指标必须在模型编译时被正确定义和包含，并且在kerastuner的`objective`中，目标名称需严格遵循`val_metric_name_string`的格式，以确保调优器能从训练日志中正确提取指标值。

引言：KerasTuner自定义指标的挑战

KerasTuner是Keras官方推荐的超参数调优库，它提供了强大的功能来自动化寻找最优模型架构和训练参数的过程。然而，当开发者尝试使用诸如F1 Score、AUC（Area Under the Curve）等在分类任务中更为专业和常用的指标作为调优目标时，常常会遇到KeyError。这通常是由于KerasTuner在训练日志中找不到指定指标而引发的运行时错误，例如KeyError: 'val_f1'。理解KerasTuner如何识别和追踪这些指标，是解决此类问题的关键。

KerasTuner目标指标机制解析

KerasTuner通过读取Keras模型训练过程中生成的日志（logs字典）来获取各个指标的值，从而评估不同超参数组合的表现。当您在kt.RandomSearch或任何其他KerasTuner调优器中指定objective时，KerasTuner会尝试在这些日志中查找对应名称的指标。

其核心机制包括以下两点：

指标名称约定：KerasTuner期望的目标指标名称通常遵循val_metric_name_string的格式。这里的metric_name_string是Keras模型在编译时所使用的指标的名称（通常是其类名的snake_case形式）。例如，如果您想以验证集上的F1 Score作为目标，那么目标名称应为val_f1_score。
模型编译时包含：要使KerasTuner能够追踪某个指标，该指标必须在Keras模型的compile方法中被明确地包含在metrics列表中。如果模型在编译时没有指定该指标，那么它就不会出现在训练日志中，KerasTuner自然也无法找到它，从而导致KeyError。

指标类型及其在KerasTuner中的应用

Keras支持两种主要类型的指标：内置指标和自定义指标。

1. 内置Keras指标

Keras提供了丰富的内置指标，如accuracy、loss、mse、mae、AUC、Precision、Recall等。

使用方法：在model.compile中，您可以直接使用这些指标的字符串名称（通常是类名的snake_case形式）或其类实例。

# 使用字符串名称
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy', 'auc'])
# 使用类实例
import tensorflow as tf
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=[tf.keras.metrics.Accuracy(), tf.keras.metrics.AUC()])

KerasTuner中的目标名称：对于内置指标，KerasTuner的目标名称是其在验证集上的日志名称。例如：
- accuracy -> val_accuracy
- auc (from tf.keras.metrics.AUC()) -> val_auc
- f1_score (from tf.keras.metrics.F1Score()) -> val_f1_score

2. 自定义Keras指标

当内置指标无法满足特定需求时，您可以创建自定义指标。这通常通过继承tf.keras.metrics.Metric类来实现。

实现方式：自定义指标需要实现__init__、update_state、result和reset_state方法。关键在于确保自定义指标在model.compile中被正确传递，并且其内部定义的名称（或Keras默认推断的名称）与KerasTuner期望的val_前缀名称匹配。
KerasTuner中的目标名称：如果您自定义了一个名为MyCustomMetric的指标，其在日志中的名称通常是my_custom_metric。那么，在KerasTuner中，对应的目标名称将是val_my_custom_metric。

实战：在KerasTuner中使用F1 Score作为调优目标

我们将以F1 Score为例，演示如何在KerasTuner中正确配置自定义指标。这里我们优先使用TensorFlow 2.15+或Keras 2.15+中内置的tf.keras.metrics.F1Score。

步骤一：导入F1 Score指标

首先，从tensorflow.keras.metrics中导入F1Score。

import tensorflow as tf
from tensorflow.keras import metrics
# ... 其他导入 ...

步骤二：在模型编译时包含F1 Score

在您的HyperModel的build方法中，当编译模型时，将F1Score实例添加到metrics列表中。请注意，F1Score的默认名称是f1_score。

class MyHyperModel(kt.HyperModel):
    def build(self, hp):
        model = Sequential()
        # ... 模型层定义 ...
        model.add(layers.Dense(1, activation="sigmoid"))

        # 编译模型时包含F1Score
        model.compile(
            optimizer=Adam(learning_rate=hp.Float('learning_rate', 5e-5, 5e-1, step=0.001)),
            loss='binary_crossentropy',
            metrics=['accuracy', metrics.F1Score(thresholds=0.5)] # 添加F1Score实例
        )
        return model

说明：metrics.F1Score(thresholds=0.5)会计算二分类问题的F1 Score，并以f1_score作为其在日志中的名称。

步骤三：配置KerasTuner的调优目标

在初始化KerasTuner调优器时，将objective设置为"val_f1_score"，并指定优化方向。

tuner = kt.RandomSearch(
    MyHyperModel(),
    objective=kt.Objective("val_f1_score", direction="max"), # 使用val_f1_score作为目标
    max_trials=100,
    overwrite=True,
    directory="my_dir",
    project_name="tune_hypermodel",
)

完整示例代码

以下是一个整合了上述步骤的完整示例，演示如何在KerasTuner中使用F1 Score作为调优目标。

import keras_tuner as kt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from tensorflow.keras.models import Sequential
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.regularizers import l2
from tensorflow.keras import metrics # 导入metrics模块

# 模拟数据
# 为了使示例可运行，我们创建一些虚拟数据
num_samples = 1000
num_features = 10
X = pd.DataFrame(tf.random.normal((num_samples, num_features)).numpy())
y = pd.DataFrame(tf.random.uniform((num_samples, 1), minval=0, maxval=2, dtype=tf.int32)).iloc[:, 0]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

class MyHyperModel(kt.HyperModel):
    def build(self, hp):
        model = Sequential()
        model.add(layers.Flatten(input_shape=(X_train.shape[1],))) # 确保输入形状正确
        model.add(
            layers.Dense(
                units=hp.Int("units", min_value=24, max_value=128, step=10),
                activation="relu",
                kernel_regularizer=l2(hp.Float('l2_reg', 1e-5, 1e-2, sampling='log')) # 添加L2正则化作为超参数
            )
        )
        model.add(layers.Dense(1, activation="sigmoid"))  # 二分类输出层

        # 编译模型，包含F1Score作为评估指标
        model.compile(
            optimizer=Adam(learning_rate=hp.Float('learning_rate', 5e-5, 5e-1, sampling='log')),
            loss='binary_crossentropy',
            metrics=['accuracy', metrics.F1Score(thresholds=0.5)] # 添加F1Score
        )
        return model

    def fit(self, hp, model, *args, **kwargs):
        return model.fit(
            *args,
            batch_size=hp.Choice("batch_size", [16, 32, 64]), # 调整batch_size选项
            epochs=hp.Int('epochs', min_value=5, max_value=25, step=5),
            **kwargs,
        )

# 初始化KerasTuner的RandomSearch
tuner = kt.RandomSearch(
    MyHyperModel(),
    objective=kt.Objective("val_f1_score", direction="max"), # 目标设置为val_f1_score，方向为最大化
    max_trials=10, # 减少试验次数以便快速运行示例
    overwrite=True,
    directory="my_dir",
    project_name="tune_hypermodel_f1",
)

# 开始搜索
print("开始搜索超参数...")
tuner.search(X_train, y_train, validation_data=(X_test, y_test), callbacks=[keras.callbacks.EarlyStopping('val_loss', patience=3)])
print("搜索完成。")

# 获取最佳超参数和模型
best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]
best_model = tuner.get_best_models(num_models=1)[0]

print(f"\n最佳超参数: {best_hps.values}")
loss, accuracy, f1_score = best_model.evaluate(X_test, y_test, verbose=0)
print(f"最佳模型在测试集上的F1 Score: {f1_score:.4f}")

注意事项与常见问题

KeyError诊断：当出现KeyError时，首先检查：
- 模型编译时是否包含了您希望作为调优目标的指标。
- kt.Objective中指定的名称是否与Keras日志中该指标的名称完全匹配，并且带有val_前缀。例如，tf.keras.metrics.AUC()在日志中通常是auc，那么目标应是val_auc。
验证集：KerasTuner的val_前缀明确表示目标是基于验证集计算的指标。确保您的tuner.search调用中提供了validation_data。
TensorFlow/Keras版本兼容性：部分高级指标（如tf.keras.metrics.F1Score）可能需要较新版本的TensorFlow（通常是2.15或更高版本）或Keras。如果您的版本较低，可能需要自定义实现这些指标。
自定义指标命名：如果您创建了自定义指标，确保其name属性在tf.keras.metrics.Metric子类中被正确设置，或者Keras能自动推断出一个合理的snake_case名称。例如，如果您的类名为MyCustomF1，KerasTuner可能期望val_my_custom_f1。
指标方向：kt.Objective中的direction参数（"max"或"min"）非常重要，它告诉KerasTuner是最大化还是最小化该指标。F1 Score、AUC通常是越大越好（"max"），而损失（loss）通常是越小越好（"min"）。

总结

在KerasTuner中使用F1 Score、AUC等自定义或非默认指标作为调优目标是完全可行的。关键在于理解KerasTuner如何与Keras模型的训练日志交互，并遵循其命名约定。通过在模型编译时明确包含所需指标，并在KerasTuner的Objective中以val_metric_name_string的格式正确指定目标名称，您就可以充分利用这些高级指标来指导超参数搜索，从而找到性能更优的模型。

# ai # 常见问题 # 架构 # 子类 # 字符串 # 继承 # tensorflow # keras # 自动化 # 自定义 # 您的 # 如果您 # 您可以 # 越好 # 设置为 # 关键在于 # 过程中 # 或非 # 是一个