A/B 测试(2) 反事实与因果效应

判断一项产品改动是否有效,需要回答一个反事实问题:如果同一批用户没有经历这项改动,其结果将会有何不同?例如降低新手关卡难度后,某位用户次日仍然活跃,但该用户在原有难度下是否同样会保持活跃,仅凭已观测的结果无法确定。因果效应所比较的是同一研究对象在不同干预条件下的潜在结果,而在实际实验中我们通常只能观测其中一种。潜在结果模型为这种比较提供了统一的数学表达,使我们能够从个体层面的结果差异,进一步讨论干预对特定人群的平均影响。明确这一比较的含义及其观测限制,是理解 A/B 测试的估计目标、解释实验结果,以及讨论组间差异何时具有因果含义的基础。

阅读更多

A/B 测试(1) 什么是 A/B 测试

A/B 测试是一种以随机分配为核心的对照实验,研究者将符合条件的实验单位按预定机制分配到不同方案,在事先定义的指标和观察窗口内比较结果,以估计方案对目标人群的平均因果效应。产品改版前后的指标变化会混入时间趋势、用户构成等同期因素,仅凭观察差异难以确认改动本身的作用,而因果问题真正要问的是“同一时期不做改动会怎样”,这一反事实无法直接观测。A/B 测试通过随机分配在同期建立可比的对照,使这些因素不再系统性地造成组间差异,从而为效应大小及其不确定性提供可信依据,帮助团队决定采用、继续验证或调整方案。

阅读更多

AI 协作范式(5) 从会用到用得好

协作框架逐步稳定后,瓶颈从系统能否组织转向使用者能否随之成长。调用效率的提升不等于协作能力的增长,会用与用得好的差别,在于结果是否受到外部反馈约束,错误是否改写下一轮的行为,判断能否跨任务复用。生成更快、文档更完整,并不构成能力进步。

阅读更多

AI 协作范式(4) AI 辅助科研实操案例

研究要求在证据约束下形成经得起检验的认识。AI 降低了文献调研、假设展开与方法比较的成本,使研究者能更早检验关键前提、更快修正下一轮研究。AI 生成的研究问题、机制解释与文献线索,在对照真实来源与原始数据之前,仍是待验证的候选。探索面广却未做来源核验,或者生成流畅却证据不实,同样不构成可信认识。

阅读更多

AI 协作范式(3) 工作项目 AI 协作实操案例

工作项目要求在时间、资源、组织和风险约束下取得可验证的结果。AI 降低了问题还原、方案展开和反馈处理的成本,使团队能更早检验关键前提、更快修正下一轮行动。生成的方案在对照用户反馈、业务指标和系统状态之前,仍是待验证的候选。分析严密却错过窗口,或者按时上线了但却没有解决真实问题,同样不构成有效交付。

阅读更多

AI 协作范式(2) 可信边界与人的责任

生成式 AI 可以快速写出事实陈述、研究假设、代码和业务方案,输出往往完整、连贯,并具有表面上的合理性。表述完整并不等于可以被采信,模型仅将内容组织为可供阅读的文本,并未为其提供可独立核实的根据。

阅读更多

AI 协作范式(1) 从经验驱动到智能协作

生成式 AI 正在降低信息整理、候选生成、代码实现和方案推演等认知劳动的成本,使原本依赖个人经验与时间投入的环节,转变为可以外化、并行和反复修正的人机协作过程。把这一变化放在实验、理论、计算与数据密集型科学的问题求解能力的演进中看,它可概括为第五范式,即 AI 协作范式。

阅读更多

JavaScript 教程(1) JS 基础

JavaScript 是一种运行在浏览器中的脚本语言,也是现代 Web 开发中不可或缺的核心技术之一。JavaScript 最初被设计用于为网页添加简单的交互效果;随着技术的发展,JavaScript 已从一个“页面增强工具”演变为一门生态繁荣、功能强大的通用编程语言。

阅读更多