[JS/TS] ISON 数据格式解析：专为大模型设计，比 JSON 节省 72% Token

在开发和构建大模型（LLM）应用时，你是否也遇到过类似困扰：需要传给模型处理的数据中，充斥着大量无谓的括号和引号，消耗着宝贵的 Token 配额？为了应对这一挑战，开发者 Mahesh Vaikri 提出了一种名为 ISON（Interchange Simple Object Notation，交换简易对象标记法）的全新数据格式。它能在完全保持数据结构与语义的前提下，显著降低数据交换的成本。

JSON 的 Token 浪费问题

传统 JSON 格式虽然通用，但其语法中包含了大量冗余的符号，如括号、引号和冒号。我们来看一个典型的用户数据示例：

{
  "users": [
    {"id": 1, "name": "Alice", "email": "alice@example.com", "active": true},
    {"id": 2, "name": "Bob", "email": "bob@example.com", "active": false},
    {"id": 3, "name": "Charlie", "email": "charlie@example.com", "active": true}
  ]
}

使用标准的分词器统计，这个简单的结构需要消耗 87 个 Token。其中，真正承载信息的字段名和值只占一部分，大部分 Token 都被语法符号“浪费”掉了。随着数据量增大，这种开销会成倍增加。

ISON 的简洁设计理念

同样的数据，如果用 ISON 格式来表示，会是怎样的呢？

table.users
id:int name:string email active:bool
1 Alice alice@example.com true
2 Bob bob@example.com false
3 Charlie charlie@example.com true

上面的数据仅需 34 个 Token，相比 JSON 版本减少了约 61%。ISON 的设计灵感来源于表格，采用了类似 TSV（制表符分隔值）的结构。这种“表头+数据行”的呈现方式，恰恰是 大模型 在预训练阶段就已经熟悉的模式之一，因此理解和生成的难度更低。

核心特性详解

数据块类型

ISON 主要定义了两种核心的数据块类型，用于组织不同结构的数据：

• table.name：用于表示多行数据的表格，如上文的 users 表。
• object.name：用于表示单行的键值对配置对象。

引用系统

为了建立数据间的关联，ISON 提供了一套灵活的引用机制：

• :1：直接引用表中 id 为 1 的行。
• :user:42：带命名空间的引用。
• :RELATIONSHIP:id：表示关系引用。

类型注解

为了明确数据类型，ISON 支持在表头进行类型注解：

• 基本类型：如 :int、:string、:bool、:float。
• 计算字段：使用 field:computed 表示。
• 空值表示：可以使用 ~ 或 null。

权威性能测试数据

项目团队进行了大规模的基准测试，涵盖 300 道题目和 20 个不同的数据集，并使用 GPT-4o 的标准分词器进行统计，结果如下：

格式	Token 数	相比 JSON	准确率	每千 Token 准确率
ISON	3,550	-72.0%	88.3%	24.88
TOON	4,847	-61.7%	88.7%	18.29
JSON 压缩	7,339	-42.1%	89.0%	12.13
JSON	12,668	基准线	84.7%	6.68

测试结果表明，ISON 在 所有 20 项 Token 效率测试中均获胜，其 Token 效率比传统 JSON 高出 272%。这意味着在相同的 Token 预算下，使用 ISON 可以传递近三倍的有效数据量。

完善的生态系统

ISON 已经发展出一个跨多种编程语言的生态系统，提供了 11 个官方包，并通过了超过 303 项测试以确保稳定性和兼容性。

安装与使用

你可以根据项目技术栈选择对应的包进行安装：

# JavaScript/TypeScript
npm install ison-parser ison-ts isonantic-ts

# Python
pip install ison-py isonantic

# Rust
cargo add ison-rs isonantic-rs

# Go
go get github.com/maheshvaikri-code/ison/ison-go

代码示例（Python）

安装后，可以像下面这样轻松解析和使用 ISON 数据：

from ison_py import parse, to_json

doc = parse("""
table.users
id:int name:string active:bool
1 Alice true
2 Bob false
""")

# 访问数据
for row in doc['users']['rows']:
    print(f"{row['id']}: {row['name']}")

# 转换为传统 JSON 格式
print(to_json(doc))

ISONL 流式格式

对于需要处理超大规模数据集的场景，ISON 还提供了基于行的 ISONL（ISON Line）格式。它的特点是每一行都是一个自包含的数据单元，非常适合流式处理。

table.users|id name email|1 Alice alice@example.com
table.users|id name email|2 Bob bob@example.com

类型安全验证

对于追求健壮性的应用，ISONantic 库（灵感来源于 Pydantic）提供了强大的运行时类型验证功能。

import { table, string, int, boolean } from 'isonantic-ts';

const userSchema = table('users')
  .field('id', int().required())
  .field('name', string().min(1).max(100))
  .field('email', string().email())
  .field('active', boolean().default(true));

const users = userSchema.validate(doc); // 验证并获取类型安全的数据

小结与展望

总而言之，ISON 为大模型应用开发中的数据交换环节提供了一个高效、简洁且功能完整的替代方案。尤其在 RAG（检索增强生成）、智能体（Agent）等需要频繁、大量与模型交换结构化数据的场景下，每一个 Token 都值得精打细算。ISON 通过其创新的设计，让有效信息的密度得到了显著提升。

如果你正在为 LLM 应用的 Token 成本或上下文长度限制而烦恼，不妨深入了解下 ISON。其完整的技术文档、多语言支持以及开源特性，都为集成和尝试降低了门槛。

项目开源地址：https://github.com/maheshvaikri-code/ison

欢迎在云栈社区进一步交流探讨大模型应用开发中的高效数据实践。