Type Alias ExperimentSummaryEvaluatorFunction

ExperimentSummaryEvaluatorFunction: (
    inputs: JSONType[],
    outputs: JSONType[],
    expectedOutputs: JSONType[],
    evaluatorResults: Record<string, JSONType[]>,
    metadata?: Record<string, JSONType>[],
) =>
    | JSONType
    | EvaluatorResult
    | MultiEvaluatorResult
    | Promise<JSONType | EvaluatorResult | MultiEvaluatorResult>

Scores all rows in an experiment run and emits a summary metric.

Type Declaration

- (
      inputs: JSONType[],
      outputs: JSONType[],
      expectedOutputs: JSONType[],
      evaluatorResults: Record<string, JSONType[]>,
      metadata?: Record<string, JSONType>[],
  ):
      | JSONType
      | EvaluatorResult
      | MultiEvaluatorResult
      | Promise<JSONType | EvaluatorResult | MultiEvaluatorResult>
- Parameters
  - inputs: JSONType[]
  - outputs: JSONType[]
  - expectedOutputs: JSONType[]
  - evaluatorResults: Record<string, JSONType[]>
  - Optionalmetadata: Record<string, JSONType>[]
  Returns
      | JSONType
      | EvaluatorResult
      | MultiEvaluatorResult
      | Promise<JSONType | EvaluatorResult | MultiEvaluatorResult>