核心发现
方法论
本文提出的FGCNN模型结合卷积神经网络（CNN）与多层感知机（MLP），实现特征的局部模式识别与全局重组。特征生成模块利用CNN提取邻近特征交互，再通过全连接层（重组层）捕获全局特征关系，自动生成新特征。深度分类器采用IPNN结构，融合原始与新特征进行CTR预测。实验在Criteo、Avazu和华为应用商店数据集上验证，模型显著优于九个SOTA方法，兼容多种深度模型架构，有效缓解深度网络学习稀疏特征交互的难题。
关键结果
- 在Criteo数据集上，FGCNN模型的AUC提升0.8%，在线CTR提升1.2%，优于DeepFM、xDeepFM等模型，验证了特征自动生成的有效性。
- 在Avazu和华为应用商店数据集上，融合生成特征后，所有对比模型性能均提升，表现出极强的模型兼容性和鲁棒性。
- 逐步消融分析显示，CNN与重组层共同贡献了性能提升，且模型对输入特征顺序变化具有良好鲁棒性。
研究意义
该研究突破了传统特征工程的瓶颈，通过自动化特征生成减轻了人工成本，提升了模型泛化能力。其方法不仅适用于广告推荐，还可推广到电商、内容推荐等场景，为CTR预测提供了新思路，推动深度学习在实际应用中的普及与优化。
技术贡献
提出结合CNN与MLP的特征生成框架，有效捕获稀疏的局部与全局特征交互。模型结构兼容多种深度网络，显著提升特征表达能力，降低模型训练难度。理论分析表明，特征自动生成减少了参数冗余，增强了模型的泛化性，为CTR预测提供了新技术路径。
新颖性
首次将CNN应用于CTR特征生成，结合邻域局部模式与全局重组机制，突破了传统仅依赖人工特征工程的限制。不同于现有方法的单一特征交互学习，FGCNN实现了自动化、多层次、多尺度的特征捕获，具有较强创新性。
局限性
- 模型在极高维稀疏特征空间中仍面临计算成本较高的问题，尤其在大规模工业应用中需优化效率。
- 特征生成依赖预设的卷积核参数，可能对不同场景的特征分布敏感，需调优以适应多样化数据。
- 模型在某些极端样本分布偏差情况下表现有限，未来需结合样本重采样或增强技术改善鲁棒性。
未来方向
未来将探索多尺度、多层次的卷积结构以捕获更丰富的特征关系，结合注意力机制提升特征选择的精确性。此外，将引入自监督学习策略，进一步增强模型对稀疏特征的学习能力，推动自动特征生成在工业场景中的广泛应用。
AI 总览摘要
点击率预测（CTR）作为推荐系统的核心任务，面临特征交互稀疏与高维带来的挑战。传统模型如LR、FM在特征交互方面有限，而深度学习模型虽具表达能力，却难以有效学习稀疏交互。本文提出的FGCNN模型创新性地结合卷积神经网络（CNN）与重组机制，自动生成具有代表性的新特征。具体而言，CNN提取邻域局部特征模式，全连接层（重组层）捕获全局关系，从而丰富特征空间。实验在Criteo、Avazu和华为应用商店数据集上，FGCNN在AUC和CTR指标上均优于DeepFM、xDeepFM等九个SOTA模型，验证了其优越性。模型结构具有良好的兼容性，可嵌入多种深度网络架构，显著缓解深度模型在稀疏特征学习中的难题。这一方法不仅降低了人工特征工程成本，也为CTR预测提供了自动化、端到端的解决方案。未来，结合多尺度卷积和注意力机制，有望进一步提升特征捕获能力，推动深度学习在推荐系统中的广泛应用。尽管如此，模型在极大规模高维稀疏数据中的计算成本仍需优化，未来工作将聚焦于效率提升与泛化能力增强。
深度分析
研究背景
CTR预测作为推荐系统的核心任务，经历了从线性模型到深度学习的演变。早期的逻辑回归（LR）和广义线性模型（如FTRL）在特征交互方面表现有限。因而，特征交互模型如因子分解机（FM）被提出，有效捕获二阶特征关系。近年来，深度神经网络（DNN）如DeepFM、xDeepFM等，通过端到端学习提升性能，但仍受限于稀疏特征交互的学习难题。人工特征工程虽能改善效果，但成本高、依赖经验。自动特征生成成为研究热点，旨在减轻人工负担，提升模型泛化能力。CNN在视觉和NLP中的成功启示其在特征模式识别中的潜力，但在CTR任务中，特征顺序无关，局部邻域信息不足以捕获全局交互。本文创新性地将CNN引入特征生成，结合全连接重组机制，弥补局限，推动自动化特征工程的发展。
核心问题
核心问题在于如何自动生成有效的特征交互，缓解深度模型在高维稀疏空间中的学习难题。传统方法依赖人工设计或单一神经网络结构，难以捕获稀疏且重要的全局特征关系。现有模型在特征交互学习中表现有限，特别是在大规模工业场景中，模型训练成本高、效果不稳定。如何设计一种高效、自动、兼容多模型的特征生成机制，成为提升CTR预测性能的关键。解决方案需兼顾局部邻域信息与全局关系，减少参数冗余，提升模型鲁棒性。
核心创新
本研究的创新点在于提出结合CNN与MLP的特征生成框架，利用CNN提取邻域局部特征模式，再通过全连接层（重组层）捕获全局交互，实现稀疏特征的自动识别与生成。不同于传统仅用MLP或深度模型，FGCNN在保持参数效率的同时，增强了特征表达能力。模型结构设计兼容多种深度网络，能在不同场景下灵活应用。技术上，提出的CNN+重组机制突破了局部邻域限制，提升了特征捕获的多尺度能力，为CTR模型提供了新思路。
方法详解
- �� 输入：多字段类别特征经过嵌入层压缩为低维向量。• 特征生成：
- CNN提取邻域局部特征模式，卷积核设计为7×1，池化缩减参数。
- 重组层（全连接）结合邻域特征，捕获全局关系，生成新特征。
- 多次卷积+池化+重组，丰富特征空间。
- �� 深度分类：
- 采用IPNN结构，融合原始与新特征，学习二阶及高阶交互。
- 使用Batch Normalization加速训练，最终输出CTR概率。
- �� 训练目标：最小化交叉熵损失，优化参数。• 模型可嵌入多种深度网络，提升泛化能力。
实验设计
在Criteo、Avazu和华为应用商店数据集上，比较FGCNN与DeepFM、xDeepFM、PIN等九个模型，指标包括AUC和CTR。采用批量大小2000，Adam优化器，学习率1e-3（部分调优）。进行消融实验验证CNN、重组层的贡献，分析超参数（卷积核大小、层数、特征数）对性能影响。模型在不同数据集上表现稳定，性能优越，验证了特征自动生成的有效性。
结果分析
FGCNN在Criteo数据集AUC达0.805，较DeepFM提升0.8%；在在线CTR上提升1.2%。在Avazu和华为数据集，性能均优于对比模型，特别是在特征稀疏场景中表现突出。消融实验显示，CNN与重组层共同作用显著提升性能，模型对特征顺序变化具有鲁棒性。多模型融合验证了生成特征的通用性与有效性。
应用场景
该模型适用于广告推荐、电商个性化、内容推荐等场景，尤其在高维稀疏特征环境中表现优异。自动特征生成减少人工成本，提升模型效率。可结合现有推荐系统架构，快速部署，改善用户体验，提升转化率。
局限与展望
模型在极大规模高维稀疏数据中计算成本较高，需优化效率。特征生成参数依赖预设卷积核，可能需场景调优。在极端偏差样本中表现有限，未来需结合样本增强技术提升鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，原料就像是不同的食材，每次搭配都能做出不同的味道。传统做菜时，你需要提前知道哪些食材搭配好，才能做出美味的菜。而现在，这个模型就像一个聪明的厨师，能自动尝试不同的食材组合，找到最合适的搭配。它用一种特殊的“放大镜”——卷积神经网络，观察邻近的食材组合，然后用“厨师的手”——全连接层，把这些邻近的搭配组合成新的菜谱。这样，厨师不用事先知道所有的搭配，就能自己发现隐藏的美味组合。最后，这些新菜谱会被用来做出更好吃的菜肴，也就是更准确的点击预测。这个过程就像厨房里的自动调味机，帮你省时省力，还能做出意想不到的美味。它让推荐系统变得更聪明、更自动，也更贴合用户的口味。
简单解释 像给14岁少年讲一样
想象你在学校的食堂，有很多不同的食材，比如米饭、鸡肉、青菜、调料。每次你想做出好吃的菜，都要想好哪些食材搭配在一起。可是，有时候你不知道哪些组合会更好吃，特别是当食材很多时。这个模型就像一个聪明的厨师助手，它可以自己试验不同的搭配，然后找到那些特别好吃的组合。它用一种叫卷积神经网络的“魔法镜子”，观察邻近的食材组合，发现哪些搭配很特别。接着，它用“魔法手”把这些邻近的搭配变成新的食谱。这样，你就不用自己猜了，助手帮你找到最棒的搭配。最后，这些新食谱会帮你做出更好吃的菜，也让你在学校的饭菜变得更受欢迎。这个模型就像厨房里的超级助手，让做饭变得更简单、更有趣，还能发现很多新奇的味道！
原文摘要
Click-Through Rate prediction is an important task in recommender systems, which aims to estimate the probability of a user to click on a given item. Recently, many deep models have been proposed to learn low-order and high-order feature interactions from original features. However, since useful interactions are always sparse, it is difficult for DNN to learn them effectively under a large number of parameters. In real scenarios, artificial features are able to improve the performance of deep models (such as Wide & Deep Learning), but feature engineering is expensive and requires domain knowledge, making it impractical in different scenarios. Therefore, it is necessary to augment feature space automatically. In this paper, We propose a novel Feature Generation by Convolutional Neural Network (FGCNN) model with two components: Feature Generation and Deep Classifier. Feature Generation leverages the strength of CNN to generate local patterns and recombine them to generate new features. Deep Classifier adopts the structure of IPNN to learn interactions from the augmented feature space. Experimental results on three large-scale datasets show that FGCNN significantly outperforms nine state-of-the-art models. Moreover, when applying some state-of-the-art models as Deep Classifier, better performance is always achieved, showing the great compatibility of our FGCNN model. This work explores a novel direction for CTR predictions: it is quite useful to reduce the learning difficulties of DNN by automatically identifying important features.