Tiktokenizer

Tiktokenizer官網(wǎng)

Tiktokenizer是一個(gè)計(jì)算給定大模型提示詞的tokens數(shù)量的開源項(xiàng)目，最初的功能主要功能是幫助用戶計(jì)算OpenAI計(jì)費(fèi)規(guī)則中每次請(qǐng)求所用的tokens數(shù)量（不包括返回的tokens），現(xiàn)在已經(jīng)擴(kuò)展了近幾十個(gè)大模型。

• Tiktokenizer官網(wǎng)入口地址：https://tiktokenizer.vercel.app/
• Tiktokenizer開源項(xiàng)目地址：https://github.com/dqbd/tiktokenizer/

目前支持下列模型：

Popular

• cl100k_base
• o200k_base
• gpt-4-1106-preview
• gpt-3.5-turbo
• codellama/CodeLlama-7b-hf

Open-Source Models

• codellama/CodeLlama-70b-hf
• meta-llama/Meta-Llama-3-8B
• meta-llama/Meta-Llama-3-70B
• microsoft/phi-2
• google/gemma-7b
• deepseek-ai/DeepSeek-R1
• Qwen/Qwen2.5-72B
• tiiuae/falcon-7b
• 01-ai/Yi-6B

OpenAI Encodings

• gpt2
• r50k_base
• p50k_base
• p50k_edit

OpenAI Models

• gpt-4o
• gpt-4
• gpt-4-32k
• text-davinci-003
• text-davinci-002
• text-davinci-001
• text-curie-001
• text-babbage-001
• text-ada-001
• davinci
• curie
• babbage
• ada
• code-davinci-002
• code-davinci-001
• code-cushman-002
• code-cushman-001
• davinci-codex
• cushman-codex
• text-davinci-edit-001
• code-davinci-edit-001
• text-similarity-davinci-001
• text-similarity-curie-001
• text-similarity-babbage-001
• text-similarity-ada-001
• text-search-davinci-doc-001
• text-search-curie-doc-001
• text-search-babbage-doc-001
• text-search-ada-doc-001
• code-search-babbage-code-001
• code-search-ada-code-001
• text-embedding-ada-002
• text-embedding-3-small
• text-embedding-3-large