Type Alias ExperimentEvaluatorFunction

ExperimentEvaluatorFunction: (
    input: JSONType,
    output: JSONType,
    expectedOutput: JSONType,
) =>
    | JSONType
    | EvaluatorResult
    | MultiEvaluatorResult
    | Promise<JSONType | EvaluatorResult | MultiEvaluatorResult>

Scores a single task output.

Type Declaration

- (
      input: JSONType,
      output: JSONType,
      expectedOutput: JSONType,
  ):
      | JSONType
      | EvaluatorResult
      | MultiEvaluatorResult
      | Promise<JSONType | EvaluatorResult | MultiEvaluatorResult>
- Parameters
  - input: JSONType
  - output: JSONType
  - expectedOutput: JSONType
  Returns
      | JSONType
      | EvaluatorResult
      | MultiEvaluatorResult
      | Promise<JSONType | EvaluatorResult | MultiEvaluatorResult>