在总结、分析信息科技领域综述性论文基础上,本书提出了如表 3-2 所示的综述论文 结构。
| 结构元素 | 内 容 | 备 注 |
|---|---|---|
| 题目 | 论文标题 | 必有 |
| 署名 | 作者姓名、联系方式 | 必有 |
| 摘要 | 扼要介绍论文的主要内容和贡献 | |
| 关键词 | 用于论文检索的词汇 | |
| 引言 | 综述的可象(如某个研究方向、技术或理论)、问题、目的、价值、背景、技 术简史、应用需求 | 必有 |
| 概念体系 | 涉及的核心概念、框架结构、分类体系等 | 必有 |
| 问题与挑战 | 综述对象面临的主要问题和挑战 | |
| 现有工作 | 对现有工作、知识的介绍,对研究现状的分析、比较、评价 | 必有 |
| 应用情况 | 应用需求、应用分类、应用现状分析 | |
| 讨论与方向 | 讨论并指出没有解决的问题及未来的研究方向 | |
| 结论 | 简短总结,指出论文的贡献 | |
| 作者简介 | 介绍作者的学术经历、主要研究方向等 | |
| 致谢 | 感谢对本文做出贡献,但不足以列入作者名单的人或机构 | |
| 参考文献 | 论文引用过的文献信息源 |
表 3-2 给出了综述性论文的组成元素。在写作时,作者可根据需要灵活调整、组合 这些元素,确定各小节标题。
调研性综述、评论性综述和指南性综述的内容各有侧重。除了必须要有的共同结构 元素(如题目、引言等)之外,它们的实际结构略有差异。
与评论性综述和指南性综述不同,调研性综述通常不针对某一个具体技术、理论或 系统,而是针对某一问题或领域。评论性综述和指南性综述可以评价、介绍针对某一领 域或问题的一组成果,也可以评价、介绍某一个具体的成果、技术。有时候,调研性综 述、评论性综述中会根据需要增加与已经发表的类似综述的比较。指南性综述则一般不 会有这样的比较。
显然模块化、格式化的结构便于作者合理、轻松地组织、表述论文内容。同样地, 规范、清晰的结构对论文阅读也有很大益处。
| 研究类型 | 论文案例 | 问题定义特点 | 核心问题 |
|---|---|---|---|
| 实验性研究 | InstructGPT (2022) | 从现有技术缺陷出发 | 如何让语言模型从 "预测文本 "变成 "执行任务 "的智能体? |
| 原创性研究 | AlexNet (2012) | 从技术瓶颈突破出发 | 如何在大规模数据集上有效训练深度神经网络? |
| 集成性研究 | DenseNet (2017) | 从现有方法局限出发 | 如何让特征在层间高效传递和复用? |
| 基础研究 | GNN Power (2019) | 从理论空白出发 | GNN 的表达能力到底有多强,如何做到最强? |
| 应用研究 | COVID Track (2021) | 从实际需求出发 | 如何实现疫情的近实时监测和预测? |
从现有技术的明显缺陷出发 ,通过对比 "现状 vs 理想 "来凸显问题的紧迫性。
如何让语言模型从 "预测文本 "变成 "听懂任务、执行任务 "的智能体?
核心问题描述 : "Large language models (LMs) can be 'prompted' to perform a range of natural language processing (NLP) tasks, given some examples of the task as input. However, these models often express unintended behaviors such as making up facts, generating biased or toxic text, or simply not following user instructions."
问题根源 : "This is because the language modeling objective used for many recent large LMs—predicting the next token on a webpage from the internet—is different from the objective 'follow the user's instructions helpfully and safely'. Thus, we say that the language modeling objective is misaligned."
RLHF 三步训练流程详细数据 :
核心技术创新 :
实验设计特点 :
从技术瓶颈和计算限制出发 ,强调突破现有技术边界的必要性。
如何在大规模数据集上有效训练深度神经网络,使其泛化性能足够好?
核心挑战 : "To learn about thousands of objects from millions of images, we need a model with a large learning capacity. However, the immense complexity of the object recognition task means that this problem cannot be specified even by a dataset as large as ImageNet, so our model should also have lots of prior knowledge to compensate for all the data we don't have."
计算瓶颈 : "Despite the attractive qualities of CNNs, and despite the relative efficiency of their local architecture, they have still been prohibitively expensive to apply in large scale to high-resolution images."
网络架构详细设计 :
性能突破数据 :
技术创新要点 :
创新模式特征 :
从现有先进方法的局限性出发 ,寻求进一步的改进和优化。
如何构建一种网络,让特征能在层与层之间高效传递和复用,从而提升信息流动性与参数利用率?
深度网络的核心问题 : "As CNNs become increasingly deep, a new research problem emerges: as information about the input or gradient passes through many layers, it can vanish and 'wash out' by the time it reaches the end (or beginning) of the network."
DenseNet 的创新思路 : "Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output."
核心数学公式 :
传统 CNN:$x_l = H_l(x_{l-1})$
DenseNet:$x_l = H_l([x_0, x_1, x_2, \ldots, x_{l-1}])$
关键技术参数 :
技术创新要点 :
创新模式特征 :
从理论理解的空白出发 ,强调基础理论研究的重要性。
GNN 的表达能力(即区分不同图的能力)到底有多强,以及如何做到最强?
理论理解的缺失 : "However, despite GNNs revolutionizing graph representation learning, there is limited understanding of their representational properties and limitations."
设计缺乏理论指导 : "The design of new GNNs is mostly based on empirical intuition, heuristics, and experimental trial-and-error. There is little theoretical understanding of the properties and limitations of GNNs, and formal analysis of GNNs' representational capacity is limited."
核心理论贡献 :
GIN 更新公式 : \(h_v^{(k)} = \text{MLP}^{(k)} \Big( (1+\epsilon^{(k)})\cdot h_v^{(k-1)} + \sum_{u\in N(v)} h_u^{(k-1)} \Big)\)
理论等价性证明 :
设计原则 :
创新模式特征 :
从实际应用需求出发 ,强调解决现实问题的迫切性。
如何借助数字化的、近实时的人口流动 / 接触代理指标,来 "提前 "估计传播强度 Rt,并对未来疫情进行短期预测?
实时追踪的挑战 : "Tracking the spread of COVID-19 infection in real time has been an elusive goal, given the necessary delay between infection and reporting. This delay consists of the incubation period (around 6 days), time between symptom onset and diagnosis (around 3 days), and the duration between confirmation and reporting (around half day). Therefore, there is around 9 days of delay even with instantaneous updating of case reports."
迫切需求 : "Taken together, it remains an urgent priority to develop new analytics that would allow truly real-time monitoring of transmissibility, thus the application of timely public health interventions in mitigation."
数据来源与规模 :
模型框架 :
实际应用效果 :
创新模式特征 :
| 研究类型 | 实验设计特点 | 验证方法 | 数据规模 |
|---|---|---|---|
| 实验性研究 | 对照实验 + 人类评估 | 人类偏好排序 | 13k SFT + 33k RM |
| 原创性研究 | 基准测试 + 消融实验 | 标准数据集评估 | 120 万图片,1000 类 |
| 集成性研究 | 参数效率对比 | 多数据集验证 | CIFAR + ImageNet |
| 基础研究 | 理论证明 + 实验验证 | 构造性证明 | 图分类基准 |
| 应用研究 | 实地验证 + 回溯测试 | 相关性分析 | 实时交易数据 |