研究会话进行中 · Research Session Live 新加坡 · --:--:-- SGT 当前发布 · 范式判断邀请函 v6 下一更新 · 2026 · 06 · 03
新加坡原生 · Singapore-Native 哲学第一性 · Philosophy-First AGI 安全 / 对齐 / 治理

研究 AGI 时代人类整体的存在性风险

TRANTOR LABS 是一个新加坡原生、以哲学为第一性的 AGI 基础研究实验室,专注于 AGI 安全、对齐与治理,并从文明级风险的尺度研究 AGI 时代人类整体的存在性风险。

AGI 不只是能力问题,它正在成为人类文明底层条件的压力测试 Civilizational Stress Test · 文明级压力测试
实验室档案 / Lab Brief TRANTOR LABS 新加坡 · Singapore
2023 — 至今

我们关注的不是 AGI 是否更强,而是 AGI 进入人类行动、知识、制度、判断与意义结构之后,人类是否仍然能够继续生存、认识真实、共同治理、保持主体性,并延续存在意义。

AGI 的真正转折,不只是模型能力继续增长。更深的变化在于:当 AGI 从回答系统走向行动系统,从内容生成走向知识接口,从技术工具走向制度中介,并进一步进入人类判断、选择、创造、劳动与意义结构时,它将不再只是一个技术对象,而会成为影响人类文明如何继续成立的关键力量。

在这样的时代,能力本身并不构成可信。如果一个系统无法说明关键行动如何形成、责任如何归因、审计如何对应真实过程、约束是否在行动之前生效,无法防止"可生成"替代"可验证",无法保护人类判断不被系统性外包,那么它仍然只是一个能力正在扩张、而文明承接条件尚未成立的系统。

TRANTOR LABS 正是在这一层问题上展开研究——为 AGI 时代重新定义安全、对齐与治理的证据对象

§ 02文明级风险 · Civilizational Risk

AGI 正在进入文明的关键结构

当今天的 AI 主要停留在问答和内容生成阶段时,人类仍可以把许多风险理解为输出问题。但 AGI 指向的,是一种可能进入行动、知识和制度系统的通用智能形态。

这意味着,风险不再只是产品缺陷,也不再只是单点错误。AGI 一旦进入现实世界,它所触及的是文明运行的底层条件:行动是否可托付,真实是否可验证,责任是否可归因,治理是否可审计,制度是否还能在智能系统参与之后维持清晰的信任结构。

i · 行动

行动系统

Action

AGI 将不只是生成建议,而可能承接任务、调用工具、触发流程、协调多个系统,并在科研、金融、法律、医疗、公共服务与关键基础设施中参与高后果行动

当 AGI 开始行动,安全就不能只看最终输出。真正决定风险的,是行动在进入世界之前如何形成

即使表现合规,一个系统也未必在结构上可被托付。

ii · 知识

知识系统

Knowledge

AGI 也将成为人类理解世界的重要知识接口,参与解释、推理、研究、教育、政策分析与公共讨论。它不仅影响人类如何行动,也影响人类如何理解真实。

在这一层面,幻觉不只是准确率问题。当"可生成"逐渐替代"可验证",文明的认识论基础就会受到侵蚀。

AGI 时代的安全,必须同时包含对真实的守护。

iii · 制度

制度系统

Institution

AGI 一旦走向真实部署,将逐步进入组织、产业、政策、监管、公共服务和全球治理结构,影响人类社会如何分配判断权力、执行权力与责任结构。

人类表面上仍在监督,实际上却可能越来越难举证系统的判断路径、行动边界与责任归属

未来的可信 AGI 需要新的证据语言、审计接口、责任边界和公共标准。

文明级风险出现在三类系统的交汇处:AGI 如何行动,如何生成真实,如何被制度承接

§ 03根问题 · The Existential Question

AGI 时代,人类是否还能作为文明主体继续成立?

TRANTOR LABS 不从"AGI 是否更强"开始,也不只从"AGI 是否有用"开始。我们从一个更基础的问题开始。

当 AGI 的能力进入现实世界,进入行动链条、知识生产、制度决策、人类判断与意义结构之后,人类是否仍然拥有足够的能力、证据、制度与语言,来继续作为文明主体理解世界、组织行动、承担责任并延续未来?

这个问题不能被简单还原为模型安全、产品可靠性或监管合规。模型是否拒绝危险请求,系统是否减少幻觉,产品是否通过评测,组织是否发布风险披露,这些都很重要,但它们并不足以覆盖 AGI 时代的深层风险——因为 AGI 所触及的不是单点功能,而是文明运行的底层条件

  • 它会影响人类是否还能安全地存在
  • 它会影响人类是否还能共同认识真实
  • 它会影响制度是否还能分配责任与维持信任
  • 它会影响人类是否还能自己判断、选择与行动
  • 它会影响人类是否还能理解自身为何重要、为何创造、为何继续

因此,AGI 时代的安全问题,最终会进入一个更大的问题域:人类整体的存在性风险

TRANTOR LABS 的研究正围绕这个问题展开——在 AGI 时代,人类如何继续生存、认识真实、共同治理、保持主体性,并延续意义。

§ 04五大存在性风险 · Five Existential Risks

AGI 正在冲击人类文明的五个底层条件

更深的风险在于:当通用智能进入现实行动、知识生产、制度运行、人类判断与意义结构之后,它可能同时冲击人类文明得以继续成立的五个底层条件——生存、真实、制度、主体性、意义

它们不是抽象概念,也不是遥远的哲学想象,而正在被 AGI 时代的技术系统重新压测。TRANTOR LABS 将这些问题理解为 AGI 时代人类整体的五类存在性风险

01 · 生存

生存风险

Survival Risk

当 AGI 获得更强的行动能力、工具调用、长期规划、资源调度和现实世界影响能力,风险就不再只是"它说错了什么",而是"它如何进入世界并产生后果"。

我们研究行动形成过程、约束是否在行动之前生效、关键判断是否可理解、行动路径是否可审计、责任是否可归因、系统是否可停止与复盘,以及高后果自治系统进入现实世界之前需要什么样的结构性安全证据。

02 · 真实

真实风险

Reality Risk

当 AGI 成为人类主要的知识接口、解释接口和公共判断接口,风险就不再只是"它是否偶尔幻觉",而是"它是否正在改变人类判断真实的方式"。

"可生成"逐渐替代"可验证",事实、证据、逻辑、因果与公共理性都会受到侵蚀。我们关心人类如何守住现实锚定、证据链、逻辑约束与可复核性,防止概率生成污染文明认识世界的基础。

03 · 制度

制度承接风险

Institutional Risk

当 AGI 进入组织、产业、政策、监管、公共服务和全球治理,风险就不只是"监管是否及时",而是人类制度是否仍然能够维持治理的实质

表面上人类仍在签字、批准、监督,实际上问题定义、证据筛选、方案比较与行动路径可能已由 AI 在前端预组织。我们关心如何避免制度失明、责任漂移、审计错位与治理债务,并建立能够承接 AGI 的治理接口与公共标准。

04 · 主体性

主体性风险

Human Agency Risk

当 AGI 越来越多地参与人类判断、选择、行动和关系,风险就不只是"人类是否依赖 AI",而是人类是否仍然保留判断的实质

人类表面上仍在 loop 中、仍点击确认,但如果判断形成过程已被 AI 深度接管,人类就可能从判断主体退化为确认接口。我们研究的不是简单的人在环路,而是主体性是否仍然在环路——让系统设计保护人类的判断能力、责任能力与认知主权。

05 · 意义

意义风险

Human Meaning Risk

当 AGI 在劳动、知识、创造、研究、教育、管理、决策和社会协作中全面接近甚至超越人类,风险就不只是"哪些工作会被替代",而是人类如何重新理解自身价值

如果能力不再证明人类特殊性,人类价值建立在哪里?失业只是表层,真正的问题是:当能力不再是人类特殊性的核心证明,人类如何继续作为文明主体理解自身为何重要、尊严、责任、创造与存在目的。

  • 如果 AGI 失控,人类可能无法继续存在
  • 如果真实崩塌,人类可能无法认识世界
  • 如果制度失明,人类可能无法共同治理
  • 如果主体退化,人类可能无法自己判断与承担责任
  • 如果意义丧失,人类可能无法理解自身为何继续存在
§ 05两个基础切口 · Two Entry Points

我们从两个基础切口进入。

五类存在性风险构成 TRANTOR LABS 的长期研究范围,但研究必须有切口。我们从两个最基础的问题开始:行动如何被托付,真实如何被守住

行动,是 AGI 进入现实因果世界的方式;真实,是人类继续理解世界和共同治理的基础。如果行动无法被托付,能力就可能转化为失控、责任漂移和制度风险;如果真实无法被守住,人类就会失去判断、治理、学习与公共理性的共同基础。

切口一 · Action

行动如何被托付?

当 AGI 从回答系统走向行动系统,安全问题就不再只是"它最后输出了什么",而是"它如何形成判断、选择路径并进入世界"。最终输出只是行动链条的末端。

我们关心:关键判断经过了什么路径,行动归属于谁,审计能否对应真实形成过程,约束是否在行动之前生效。高后果行动需要的不是事后解释,而是行动形成过程中的结构性安全证据。

切口二 · Truth

真实如何被守住?

当 AGI 成为知识接口,安全问题也不再只是"它是否偶尔幻觉",而是"它是否正在改变文明判断真实的方式"。当概率生成大规模进入知识生产,真实的判准就可能从"可验证"滑向"可生成"。

我们关心:AGI 如何区分事实、推断、假设与生成性补全,如何承认证据不足,如何将生成内容重新锚定到现实、记录、来源、因果与可复核结构中。

行动的可托付性,关系到 AGI 如何进入世界;真实的可守护性,关系到人类如何继续理解世界

TRANTOR LABS 从这两个基础切口出发,进一步进入生存、制度、主体性与意义等更广阔的存在性风险问题。

§ 06哲学第一性 · Philosophy First

AGI 正在把哲学范畴变成文明风险。

TRANTOR LABS 以哲学为第一性。这不是为了强调抽象,也不是用哲学包装技术——恰恰相反,是因为 AGI 时代最根本的风险,首先发生在哲学范畴层面

这些问题过去主要属于哲学、伦理学、政治理论与认识论讨论,但在 AGI 时代,它们会变成系统设计问题、审计对象问题、治理接口问题与公共标准问题

  • 什么是行动?

  • 什么是责任?

  • 什么是真实?

  • 什么是证据?

  • 什么是治理?

  • 什么是判断?

  • 什么是主体?

  • 什么是意义?

  • 什么是人类?

  • 如果行动没有被定义,工程就无法证明谁在行动。
  • 如果责任没有被定义,治理就无法归因。
  • 如果真实没有被定义,生成就会替代验证。
  • 如果审计没有被定义,解释就会伪装成证据。
  • 如果主体性没有被定义,人在环路就可能退化为形式。
  • 如果意义没有被定义,效率就可能替代价值。

哲学负责区分那些在 AGI 时代极易被混淆的对象。

  • 行为不是结构
  • 解释不是审计
  • 概率不是逻辑
  • 可生成不是可验证
  • 能力不是可托付
  • 人在环路不等于主体性在环路
  • 系统表现安全不等于行动形成过程可治理

这就是我们所说的可执行哲学:不是把哲学写进介绍文案,而是让哲学问题进入系统结构;不是让工程盲目加速,而是让工程知道自己究竟要承载什么。

§ 07研究方向 · Research Programs

从存在性风险到结构性证据

我们不希望 AGI 时代的人类存在性风险只停留在宏大叙事、原则声明或未来想象中。如果安全不能进入系统结构,安全就会停留在声明。

因此,我们将五类存在性风险推进为一组长期研究方向,试图为 AGI 时代建立结构性证据、治理语言、公共标准与系统承载

01

行动安全与结构性安全证据

Action Safety & Structural Safety Evidence
连接 生存 · 制度 · 主体性

研究 AGI 如何从回答系统走向行动系统,以及高后果行动进入现实世界之前需要什么样的结构性安全证据:行动如何形成,目标如何被理解,风险如何被识别,约束如何在行动之前生效,责任如何归因,审计如何对应真实过程,系统如何被停止、降级与复盘。

02

真实安全与认识论锚定

Reality Safety & Epistemic Grounding
连接 真实 · 制度 · 主体性

研究 AGI 作为知识接口时,如何避免"可生成"替代"可验证",以及人类如何在生成式智能时代继续守住事实、证据、逻辑、因果与公共理性:幻觉为何不只是准确率问题,逻辑如何约束概率,现实锚定如何成为对齐问题,证据链如何进入关键知识场景。

03

AI 治理与制度承接

AI Governance & Institutional Assurance
连接 制度 · 生存 · 真实

研究 AGI 进入组织、产业、政策、监管与全球治理后,人类制度如何维持责任边界、审计能力、治理接口、公共标准与制度信任:人类监督为何可能变成形式,责任漂移如何发生,治理债务如何积累,AI assurance 如何从外部评估进入系统结构。

04

人类主体性与认知主权

Human Agency & Cognitive Sovereignty
连接 主体性 · 制度 · 真实 · 意义

研究 AGI 深度参与人类判断、选择与行动之后,人类如何避免从判断主体退化为确认接口:判断外包如何发生,人在环路为什么不等于主体性在环路,系统设计如何保护人类判断能力、责任能力与认知主权——区分普通 AI usability 与 agency-preserving AI。

05

AGI 时代的人类意义

Human Meaning in the AGI Age
连接 意义 · 主体性

研究当 AGI 在劳动、知识、创造、教育、管理与决策中接近甚至超越人类时,人类如何重新理解自身价值、尊严、责任、角色与存在目的:后能力时代的人类价值如何成立,AI 判断之后人类为何仍需承担责任,教育在 AGI 时代为何仍然重要。

这些研究方向并不是彼此分散的项目,而是围绕同一个根问题展开:AGI 时代,人类如何继续生存、认识真实、共同治理、保持主体性,并延续意义

§ 08进入世界 · How We Enter

通过研究、解释、系统沉淀与公共讨论进入世界。

我们不把官网视为一次性展示页面,而把它视为一个持续开放的研究入口。AGI 安全、对齐、治理与存在性风险,不可能通过一句口号或一次发布被解决。

因此,我们选择通过论文、文章、Research Center 与 Research Letter,逐步释放研究,并让它们进入 AI safety、alignment、AI governance、policy、学术与新加坡 AI 生态的公共讨论。

01 · Papers

基础研究

Papers

思想释放的第一层载体。陆续发布关于 AGI 安全、对齐、治理、结构性安全证据、现实锚定、制度承接与文明级风险的研究论文,建立可被专业群体检验的论证结构。

研究者 · EA · AI safety
02 · Essays

思想解释

Blog

论文进入世界的解释层。每篇核心论文发布后,通过一组解读文章面向不同读者说明问题背景、核心论证、治理意义与可能误解。不是公司新闻,而是思想连载。

先读懂 · 再讨论阅读文章
03 · Center

系统沉淀

Research Center

系统知识沉淀层。组织论文、研究方向、概念定义、图表与阅读路径,让专业读者系统追踪研究脉络。不是博客列表,而是结构化研究入口。

论文 · 概念 · 图表研究中心
04 · Letter

长期连接

Research Letter

与长期读者建立连接的研究通信。订阅者将收到重要论文发布、核心文章解读、研究进展、概念更新与外部讨论摘要——不是营销邮件,而是研究通信。

不频繁打扰订阅
§ 09新加坡锚点 · Singapore Anchor

新加坡不是注册地,而是现实锚点

"新加坡原生"不是一个注册地描述,也不是外部形象标签,而是我们理解自身长期路线的重要现实锚点

AGI 时代的人类存在性风险不能只在抽象全球叙事中讨论。它最终会进入现实制度、产业部署、公共治理、跨境信任、技术标准、审计机制与社会承接之中。一个真正面向 AGI 安全、对齐与治理的研究实验室,必须有一个现实世界中的制度环境和公共生态作为锚点,否则研究容易停留在纯理论、纯技术或纯叙事层面。

新加坡拥有制度信任、国际连接、治理意识、深科技生态与多元文化环境。它未必是全球最大模型能力竞争中心,但有机会在可信 AI、AI assurance、agentic AI governance、AGI safety 标准、结构性安全证据与制度承接方面形成独特位置。在 AGI 时代,世界不会只需要更强能力,也会越来越需要可信承接——能力可能来自多个技术中心,但安全证据、审计语言、治理接口与公共信任,需要更稳健、更可信、更善于连接多方的现实环境。

新加坡提供现实基地,全球提供反馈

我们从新加坡出发,不是为了把问题缩小为本地问题,而是为了让 AGI 时代的存在性风险研究拥有现实锚点,并在具体制度、社区、产业、政策与公共生态中接受长期检验。

§ 10订阅与继续 · Continue

跟随研究逐步展开

我们希望与真正关心这些问题的读者建立长期连接——EA 与 AI safety 研究者、AI governance 与 policy 社区、AI assurance 从业者、学术读者、技术审查者、长期支持者,以及新加坡和全球 AI 生态中的建设者。

如果你希望系统阅读,可以进入 Research;如果你希望跟随解释与连载,可以进入 Essays;如果你希望长期收到重要论文发布、研究解读、概念更新与外部讨论摘要,可以订阅 TRANTOR LABS Research Letter;如果你希望提出反馈、建立合作或讨论相关问题,也可以通过 Contact 与我们连接。