moonshot-v1-128k

POST

/chat/completions

chat

最后修改时间：2024-03-04 05:59:19

责任人：Vtea

基本概念介绍
语言模型推理服务
语言模型推理服务是一个基于我们 (Moonshot AI) 开发和训练的预训练模型的 API 服务。它可以用于生成文本、问答、摘要、翻译等任务。在设计上，我们对外主要提供了一个 Chat Completions 接口，它可以用于生成文本，但是它本身是不支持访问网络、数据库等外部资源，也不支持执行任何代码。

令牌 (token)
文本生成以令牌(token) 为块来处理文本。令牌代表常见的字符序列。例如，单个汉字"夔"可能会被分解为若干令牌的组合，而像"中国"这样短且常见的短语则可能会使用单个令牌。大致来说，对于一段通常的中文文本，1 个令牌大约相当于 1.5-2 个汉字。

需要注意的一个限制是，对于我们的文本模型，输入消息和生成的输出合并起来的长度不能超过模型的最大上下文长度。

速率限制
这些速率限制是如何工作的？

速率限制通过五种方式衡量：RPM（每分钟请求数）、RPD（每天请求数）、TPM（每分钟令牌数）、TPD（每天令牌数）。速率限制可能会在任何一种选项中达到，取决于哪个先发生。例如，你可能向 ChatCompletions 发送了 20 个请求，每个请求只有 100 个令牌，那么你就达到了限制（如果你的 RPM 限制是 20），即使你在这些 20 个请求中没有发满 200k 个令牌（假设你的TPM限制是 200k）。

对网关，出于方便考虑，我们会基于请求中的 max_tokens 参数来计算速率限制。这意味着，如果你的请求中包含了 max_tokens 参数，我们会使用这个参数来计算速率限制。如果你的请求中没有包含 max_tokens 参数，我们会使用默认的 max_tokens 参数来计算速率限制。当你发出请求后，我们会基于你请求的 token 数量加上你 max_tokens 参数的数量来判断你是否达到了速率限制。而不考虑实际生成的 token 数量。

而在计费环节中，我们会基于你请求的 token 数量加上实际生成的 token 数量来计算费用。

其他值得注意的重要事项：
速率限制是在用户级别而非密钥级别上实施的。
目前我们在所有模型中共享速率限制。
模型列表
你可以使用我们的 List Models API 来获取当前可用的模型列表。

当前的，我们支持的模型有：

moonshot-v1-8k: 它是一个长度为 8k 的模型，适用于生成短文本。
moonshot-v1-32k: 它是一个长度为 32k 的模型，适用于生成长文本。
moonshot-v1-128k: 它是一个长度为 128k 的模型，适用于生成超长文本。
以上模型的区别在于它们的最大上下文长度，这个长度包括了输入消息和生成的输出，在效果上并没有什么区别。这个主要是为了方便用户选择合适的模型。

使用指南
获取 API 密钥
你需要一个 API 密钥来使用我们的服务。你可以在我们的控制台中创建一个 API 密钥。（TODO: 添加控制台地址）

发送请求
你可以使用我们的 Chat Completions API 来发送请求。你需要提供一个 API 密钥和一个模型名称。你可以选择是否使用默认的 max_tokens 参数，或者自定义 max_tokens 参数。可以参考 TODO: (Chat Completions API Quick Start)。

处理响应
通常的，我们会设置一个 5 分钟的超时时间。如果单个请求超过了这个时间，我们会返回一个 504 错误。如果你的请求超过了速率限制，我们会返回一个 429 错误。如果你的请求成功了，我们会返回一个 JSON 格式的响应。

如果是为了快速处理一些任务，你可以使用我们的 Chat Completions API 的非 streaming 模式。这种模式下，我们会在一次请求中返回所有的生成文本。如果你需要更多的控制，你可以使用 streaming 模式。在这种模式下，我们会返回一个 SSE 流，你可以在这个流中获取生成的文本，这样用户体验可能会更好，并且你也可以在任何时候中断请求，而不会浪费资源。

请求参数

Header 参数

Content-Type

string

必需

示例值:

application/json

string

必需

示例值:

application/json

Authorization

string

必需

示例值:

Bearer {{YOUR_API_KEY}}

Body 参数application/json

model

string

必需

要使用的模型的 ID。有关哪些模型适用于聊天 API 的详细信息，请参阅模型端点兼容性表。

messages

array [object {2}]

必需

以聊天格式生成聊天完成的消息。

role

string

可选

content

string

可选

temperature

integer

可选

使用什么采样温度，介于 0 和 2 之间。较高的值（如 0.8）将使输出更加随机，而较低的值（如 0.2）将使输出更加集中和确定。我们通常建议改变这个或top_p但不是两者。

top_p

integer

可选

一种替代温度采样的方法，称为核采样，其中模型考虑具有 top_p 概率质量的标记的结果。所以 0.1 意味着只考虑构成前 10% 概率质量的标记。我们通常建议改变这个或temperature但不是两者。

integer

可选

为每个输入消息生成多少个聊天完成选项。

stream

boolean

可选

如果设置，将发送部分消息增量，就像在 ChatGPT 中一样。当令牌可用时，令牌将作为纯数据服务器发送事件data: [DONE]发送，流由消息终止。有关示例代码，请参阅 OpenAI Cookbook 。

stop

string

可选

API 将停止生成更多令牌的最多 4 个序列。

max_tokens

integer

可选

聊天完成时生成的最大令牌数。输入标记和生成标记的总长度受模型上下文长度的限制。

presence_penalty

number

可选

-2.0 和 2.0 之间的数字。正值会根据到目前为止是否出现在文本中来惩罚新标记，从而增加模型谈论新主题的可能性。查看有关频率和存在惩罚的更多信息。

frequency_penalty

number

可选

-2.0 和 2.0 之间的数字。正值会根据新标记在文本中的现有频率对其进行惩罚，从而降低模型逐字重复同一行的可能性。查看有关频率和存在惩罚的更多信息。

logit_bias

null

可选

修改指定标记出现在完成中的可能性。接受一个 json 对象，该对象将标记（由标记器中的标记 ID 指定）映射到从 -100 到 100 的关联偏差值。从数学上讲，偏差会在采样之前添加到模型生成的 logits 中。确切的效果因模型而异，但 -1 和 1 之间的值应该会减少或增加选择的可能性；像 -100 或 100 这样的值应该导致相关令牌的禁止或独占选择。

user

string

可选

代表您的最终用户的唯一标识符，可以帮助 OpenAI 监控和检测滥用行为。了解更多。

response_format

object

可选

指定模型必须输出的格式的对象。将 { "type": "json_object" } 启用 JSON 模式,这可以确保模型生成的消息是有效的 JSON。重要提示:使用 JSON 模式时,还必须通过系统或用户消息指示模型生成 JSON。如果不这样做,模型可能会生成无休止的空白流,直到生成达到令牌限制,从而导致延迟增加和请求“卡住”的外观。另请注意,如果 finish_reason="length",则消息内容可能会被部分切断,这表示生成超过了 max_tokens 或对话超过了最大上下文长度。显示属性

seen

integer

可选

此功能处于测试阶段。如果指定,我们的系统将尽最大努力确定性地进行采样,以便使用相同的种子和参数进行重复请求应返回相同的结果。不能保证确定性,您应该参考 system_fingerprint 响应参数来监控后端的更改。

tools

array[string]

必需

模型可以调用的一组工具列表。目前,只支持作为工具的函数。使用此功能来提供模型可以为之生成 JSON 输入的函数列表。

tool_choice

object

必需

控制模型调用哪个函数(如果有的话)。none 表示模型不会调用函数,而是生成消息。auto 表示模型可以在生成消息和调用函数之间进行选择。通过 {"type": "function", "function": {"name": "my_function"}} 强制模型调用该函数。如果没有函数存在,默认为 none。如果有函数存在,默认为 auto。显示可能的类型

示例

{
  "model": "gpt-3.5-turbo",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ]
}

示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

curl --location --request POST 'https://api.gaiasc.com/v1/chat/completions' \
--header 'Accept: application/json' \
--header 'Accept;' \
--header 'Authorization: Bearer ' \
--header 'Authorization;' \
--header 'Content-Type: application/json' \
--data-raw '{
  "model": "gpt-3.5-turbo",
  "messages": [{"role": "user", "content": "Hello!"}]
}'

返回响应

🟢200成功

application/json

Body

string

必需

object

string

必需

created

integer

必需

model

string

必需

choices

array [object {3}]

必需

index

integer

可选

message

object

可选

finish_reason

string

可选

usage

object

必需

prompt_tokens

integer

必需

completion_tokens

integer

必需

total_tokens

integer

必需

示例

{
  "id": "cmpl-8b3a402cf6db4ed68d0ec4552163ff0b",
  "object": "chat.completion",
  "created": 4228671,
  "model": "moonshot-v1-128k",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": " Hello! How can I help you today? If you have any questions or need assistance, feel free to ask."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 5,
    "completion_tokens": 24,
    "total_tokens": 29
  }
}

修改于 2024-03-04 05:59:19

moonshot-v1-32k

gemini-pro