深度学习各子领域略览及术语列表

诸神缄默不语-个人CSDN博文目录

最近更新时间：2023.1.5 最早更新时间：2023.1.5

有监督supervised / 无监督unsupervised分类 多分类multi-class多标签multi-label极限多标签文本分类XMTC（NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类 NLP课题入门 | 极限多标签文本分类）虚假新闻检测（NLP课题入门 day 4 虚假新闻检测） 回归generative / discrimination支持向量机SVM隐马尔科夫模型HMM（隐马尔科夫模型HMM）条件随机场CRF（条件随机场CRF（持续更新ing…））朴素贝叶斯分类器NBC（朴素贝叶斯Naive Bayesian分类器 (NBC) ）MLP卷积神经网络CNN循环神经网络RNN（都可以双向Bi-） LSTMGRU 置信度传播belief propagationn-gramtoken池化表示学习误差传播耦合 / 解耦剪枝优化optimization 凸优化convex optimization梯度下降反向传播back propagation (BP)weight decaymomentumSGDAdamEM（变分推断（variational inference）/variational EM） attention（你给我解释解释，什么TMD叫TMD attention（持续更新ing…））transformers（Transformer/Bert）TF-IDF模型词袋模型BoWword2vec预训练语言模型pretrained language model BertSciBertRPTNEZHAERNIE-百度ERNIE-清华DistilledBertBartCPTPegasus预训练语言模型概述（持续更新ing…）[CLS][SEP] 微调finetuneprompt / 提示学习prompt learning小样本学习（N-way就表示每类能看到几个训练集样本）零样本学习分词tokenization BPE 远程监督序列标注 命名实体识别NER关系抽取relation extraction 事件检测/事件抽取 博文 NLP基础知识 | 常见任务类型 | 事件检测 信息检索information retrieval (IR) 召回-重排rerank文本匹配 句子相似度算法：BM25 NLP基础知识 | 常见任务类型 | 信息检索向量检索/向量相似性计算方法（持续更新ing…） 图神经网络graph neural networks (GNN) transductive learning / inductive learning节点分类链路预测（图学习中的链路预测任务（持续更新ing…））图分类子图学习node2vecGCNGraphSAGEGATGINAPPNPC&S异质图神经网络HGNN（异质图神经网络（持续更新ing…）） metapathmeta-graphmetapath-based neighborhoodmeta-path neighbor graph / metapath-based graphnetwork schemametapath及其相关概念（持续更新ing…）metapath2vecHANGTNMAGNNHGTRGCNGATNEG2GDEAL subgraph neural networks（reading list：NLP课题入门 | day 20） 关系学习relational learning（relational learning关系学习）度量学习metric learning对比学习contrastive learning数据增强data augmentation数据抽样sampling对抗攻击对抗防御黑盒模型 / 白盒模型可解释性rationale鲁棒性robustnessGAN多任务学习multi-task learning：就是在训练多种任务时共用一部分模型参数关键词提取（常用的Python3关键词提取方法）主题分类文本生成natural language generation (NLG) 文本摘要text summarization 抽取式摘要extractive summarization / 生成式摘要abstractive summarization文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing…） 机器翻译machine translationparaphrase generation：生成输入文本的同义文本（相当于转述）PPT生成问答QA创新度noveltyencoder-decoder架构seq2seq任务 自然语言理解NLU 蕴含识别entailment槽填充slot filling（reading list：NLP基础知识 | 常见任务类型 | 槽填充 NLP课题入门 | day 15 | 槽填充）意图识别（reading list：NLP课题入门 | day 14 | 意图分类 知识图谱knowledge graph 实体对齐 本体对齐ontology alignment推荐系统 协同过滤 阅读理解Machine Reading Comprehension (MRC)归一化 / 正则化 最大最小规范化min-max scalarZ Score正则化batch normalizationlayer normalizationdropout深度学习中的trick | 先BN后dropout：同时使用有争议 强化学习reinforcement learning模型量化quantization上下文学习in-context learning：看起来意思就是用相关样本来预测目标样本。你是transductive learning！！！ 博文 上下文学习（in-context learning），检索和OOD外推 - 知乎 综述 A Survey for In-context Learning graph un-learning：理念是从模型中去掉已学习的部分训练集（想要保护隐私，所以要删除指定用户数据，这种scenario）out-of-distribution (OOD)元学习meta-learning因果推理讽刺检测sarcasm detection（reading list：NLP课题入门 | day 9 | 讽刺检测）NLP其他 跨语言cross-language