asp.net 做网站实例东莞企业网站建设设计

asp.net 做网站实例,东莞企业网站建设设计,湛江论坛网,wordpress 第三性摘要 现有生成式推荐多采用两阶段范式#xff1a;先离线构造语义标识#xff08;Semantic ID#xff09;#xff0c;再以固定标识训练生成器#xff0c;导致分词器与生成器目标失配、分布不一致。ETEGRec 将 RQ-VAE 物品分词器与 T5 式生成器统一到一个端到端…摘要现有生成式推荐多采用两阶段范式先离线构造语义标识Semantic ID再以固定标识训练生成器导致分词器与生成器目标失配、分布不一致。ETEGRec 将 RQ-VAE 物品分词器与 T5 式生成器统一到一个端到端框架中并引入两类推荐导向对齐SIA、PSA通过交替优化稳定地联动两模块学习。在 Amazon-2023 三个子集上ETEGRec 相比传统序列模型与主流生成式基线均取得稳定提升消融实验验证了对齐与交替优化的有效性。1. 背景与问题定义1.1 两阶段生成式推荐的局限解耦训练分词器构造语义 ID与生成器自回归预测相互独立优化目标不一致难以互相适配。分布失配与模式单一固定的 token 序列使生成器面对单一的模式易过拟合语义空间与偏好空间缺乏耦合。长度偏置不等长标识会引入预测偏好偏差需固定长度缓解。1.2 任务设定与符号给定用户历史交互序列目标是预测下一物品。每个物品以固定长度的层级 token 表示生成式推荐将任务转化为自回归地生成下一物品的语义 ID2. 方法总览image双 Encoder–Decoder 架构分词器采用 RQ-VAE将连续语义嵌入量化为层 token生成器采用 T5 式 Seq2Seq对历史 token 进行编码并自回归生成目标 token。两类推荐导向对齐SIASequence-Item Alignment对齐编码器的下一物品语义预测与真实物品在码本空间上的分布PSAPreference-Semantic Alignment对齐解码器的用户总体偏好表示与物品重构语义。交替优化周期性冻结/更新与的参数稳定推进端到端联合学习。3. 方法细节输入→运算→输出3.1 物品协同嵌入来源以已训练的 SASRec 的物品嵌入作为协同语义输入。该兼具协同信号与部分语义信息是分词器的输入。3.2 物品分词器RQ-VAE输入编码多层残差量化码本层数每层大小设第层码本令。逐层选择残差更新量化表示解码与重构损失其中为停止梯度为平衡系数。输出层级语义 ID、量化向量、重构语义直观第 1 层捕获粗粒度语义后续层在残差上逐层细化固定长度减少长度偏置。3.3 生成式推荐器T5 式 Seq2Seq输入将历史序列中的每个物品经token 化得到查表嵌入并加位置编码得编码器多层自注意力与前馈后输出解码器以 [BOS] 起始掩蔽自注意力保证自回归跨注意力以为键值K、V。输出隐藏态聚合了对的全局关注可视为用户总体偏好摘要。逐层预测第个解码位置对应第层码本分类训练目标Teacher Forcing推理固定步长的 beam search自回归生成经唯一映射反查物品。3.4 推荐导向对齐核心创新SIA序列-物品分布对齐从汇聚得到将与分别送入同一分词器得到各层分布、用对称 KL 对齐作用迫使编码器在码本空间直接预测与目标物品一致的分布避免解码器绕过编码器。PSA偏好-语义向量对齐以与为正样本对采用双向 InfoNCE批内负样本其中为余弦相似度为温度为 mini-batch。作用将用户总体偏好锚定到物品语义空间保持两空间同构。3.5 交替优化与损失—参数—梯度映射阶段 A优化分词器冻结生成器更新及 SIA 的 MLP。仅影响分词器通过的分布与的分布对齐反向至码本与分词器将拉向的方向更新分词器使重构语义更贴合偏好。阶段 B优化生成器冻结分词器更新及 SIA 的 MLP。反向经解码器→编码器更新编码器与 MLP使的分布靠近的分布将拉向主要更新解码器。收敛策略循环数个周期直至分词器收敛后固定再充分训练生成器。4. 复杂度与推理分词器单物品 token 化复杂度约为。生成器序列建模主耗时为自注意力与前馈逐层分类与 SIA 为PSA 为为批内负样本数。总体量级与 TIGER、LETTER 相当。推理阶段可预缓存语义 ID生成步长固定为。5. 实验与结果要点imageimageimageimage5.1 整体表现Overall Performance我们在三个公共推荐基准上评估了 ETEGRec。表 3 给出了总体结果主要观察如下传统序列推荐模型。 FDSA 在三个数据集上整体表现更优主要得益于其引入了额外的文本特征嵌入。FMLP-Rec 与 SASRec、BERT4Rec 的表现大致相当说明全 MLP 架构同样能够有效建模行为序列。生成式推荐模型。 TIGER 与 TIGER-SAS 在三个数据集上稳定优于 CID 和 SID即便后者采用了参数规模更大的预训练 T5。其性能差异主要来自物品分词策略的不同SID 使用数值型 token 索引物品缺乏语义信息CID 基于物品共现图的启发式分词难以有效捕获物品相似性。相比之下TIGER 与 TIGER-SAS 通过 RQ-VAE 从粗到细地学习层级文本或协同语义更有利于推荐任务。值得注意的是TIGER-SAS 与 TIGER 表现接近表明协同与文本语义均对效果有重要贡献。LETTER 在多数场景下最佳因为其有效融合了协同与文本语义信息。我们的方法。 与所有基线相比ETEGRec 在全部数据集上持续取得最优结果验证了方法的有效性。我们将性能提升归因于通过面向推荐的对齐实现的物品分词器与生成式推荐器的相互增强。SIA 使编码器在码本空间的预测与目标一致PSA 将解码器的偏好表示锚定到物品语义交替优化缓解两模块的相互干扰并稳定收敛。5.2 消融实验Ablation Study为评估 ETEGRec 中各个技术组件的影响我们在三个数据集上进行了消融研究四个变体的结果见表w/o LSIA 去除序列—物品对齐SIA式(15)。该变体在各数据集上均劣于完整 ETEGRec表明在码本空间中对齐序列表示与物品表示有助于生成式推荐。w/o LPSA 去除偏好—语义对齐PSA式(16)同样导致性能下降说明 PSA 损失能够增强用户偏好建模。w/o LSIA LPSA 同时去除两种对齐效果劣于只去除其中一种进一步表明 SIA 与 PSA 均有正向贡献且二者叠加可带来更好的性能。w/o AT 直接联合优化框架内所有目标不采用交替训练策略。结果显示性能显著下降说明在训练过程中对分词器的频繁更新会干扰推荐器的学习采用交替训练可在保持组件协同对齐的同时实现稳定且有效的训练。w/o ETE 不进行端到端联合优化而是使用 ETEGRec 最终得到的物品 token 重新训练一个生成式推荐器。结果表明ETEGRec 的改进不仅来源于更优的物品标识符还得益于将分词器中编码的先验知识与生成式推荐器进行一体化融合。6. 小结