Type Alias ExperimentEvaluator

ExperimentEvaluator: (
    input: JSONType,
    output: JSONType,
    expectedOutput: JSONType,
) => JSONType | Promise<JSONType>

Scores a single task output. The return type selects the metric: boolean -> boolean, number -> score, string -> categorical, anything else -> json.

Type Declaration

- (
      input: JSONType,
      output: JSONType,
      expectedOutput: JSONType,
  ): JSONType | Promise<JSONType>
- Parameters
  - input: JSONType
  - output: JSONType
  - expectedOutput: JSONType
  Returns JSONType | Promise<JSONType>

Type Alias ExperimentEvaluator

Type Declaration

Parameters

Returns JSONType | Promise<JSONType>

Settings