2024-07-28 LLMモデル別にトークン消費量を簡単に比較できるサイト メモ LLMはモデルごとにトークン数が異なる。簡単に比較できるサイト見つけたのでメモ Tokenizer Arena - a Hugging Face Space by eson