LiteRT.js

一、平台定位

LiteRT.js（前身 TensorFlow.js for LiteRT）是 Google 于 2025 年 7 月 9 日正式开源的浏览器端 AI 模型推理框架，定位"让 AI 模型在浏览器本地运行"。基于 WebAssembly + WebGPU，LiteRT.js 可在用户浏览器中直接执行 ONNX/TFLite 模型推理，无需服务器、数据不上传、零延迟，特别适合隐私敏感、低延迟、离线场景，是 Google 在端侧 AI 推理领域的核心开源项目。

二、核心能力

• 浏览器本地推理：所有模型在用户浏览器/Web Worker 中执行，零服务器调用；
• WebGPU 加速：利用 GPU 并行计算，推理速度较 CPU 提升 10-100 倍；
• WebAssembly 回退：不支持 WebGPU 时自动回退到 WASM，兼容老设备；
• 多模型支持：支持 TFLite、ONNX、PyTorch（导出）模型；
• 多任务类型：图像分类、目标检测、语义分割、文本生成、语音识别；
• 模型量化：支持 INT8/FP16 量化，模型体积缩小 4 倍；
• 跨平台：Chrome/Edge/Safari/Firefox 全支持，移动端浏览器同样可用；
• 开源生态：Apache 2.0 协议，GitHub 社区活跃。

三、适用场景

1. 隐私敏感场景：医疗影像、金融文档、个人照片 AI 处理，数据不出设备；
2. 离线应用：PWA 应用在无网络环境运行 AI 模型；
3. 低延迟交互：实时滤镜、AR 试戴、实时翻译，零网络延迟；
4. 降本增效：减少服务器推理成本与带宽，按用户数扩展；
5. 个性化模型：每个用户可加载个性化 AI 模型，无需后端协调；
6. 教育/演示：浏览器内直接演示 AI 能力，无需复杂环境配置。

四、使用流程

1. 访问 LiteRT.js 官方文档 https://ai.google.dev/edge/litert；
2. 在项目中安装：npm install @litert/core 或通过 CDN 引入；
3. 准备模型：使用 TFLite Converter 或 ONNX 导出模型，加载到项目；
4. 在 JavaScript 中初始化 LiteRT 运行时：const runtime = new LiteRT.Runtime();；
5. 加载模型：await runtime.loadModel('model.tflite');；
6. 预处理输入（图片/音频/文本）转 Tensor；
7. 执行推理：const output = await runtime.run(inputTensor);；
8. 后处理输出（解码、绘制、文本生成）；
9. 性能监控：使用 LiteRT Profiler 分析推理耗时，针对性优化。

五、产品定价

LiteRT.js 完全开源免费：

• 开源协议：Apache License 2.0，可免费商用、修改、分发；
• Google AI 托管模型：可在 Hugging Face 等社区免费下载预训练模型；
• 企业服务：无 Google 官方企业版，依赖社区与第三方（如 Hugging Face、Modular）；
• 云服务集成：可与 Google Cloud Vertex AI 联动，混合云边推理。

无任何隐藏费用、无调用限制、无水印。

六、竞品对比

七、数据安全

• 数据不出设备：所有推理在本地浏览器执行，零数据外传；
• 开源可审计：Apache 2.0 协议，代码完全公开可审计；
• 无 Google 数据收集：LiteRT.js 不嵌入 Google Analytics 等追踪代码；
• SOC 2/ISO 27001：Google Cloud 整体通过多项合规认证；
• 合规场景：天然符合 GDPR、HIPAA 等"数据不出设备"要求；
• 企业私有部署：可内网部署 LiteRT.js + 自有模型，无外部依赖。

八、收录说明

LiteRT.js 于 2025 年 7 月 9 日开源，是 Google 在端侧 AI 推理的关键布局，开发者社区关注度高。AI 工具集将其收录至"AI 开发平台"分类。

主要收录理由：①Google 官方开源，权威性与社区活跃度有保障；②数据不出设备，隐私合规天然友好；③WebGPU 加速性能领先；④Apache 2.0 协议，可商用；⑤开发者关注度高，AI 边缘计算趋势明确。

官方入口：https://ai.google.dev/edge/litert