词向量笔记 （CS224N-1）
传统方式 先探讨一个问题，我们怎么获取一个词语有用的含义？ 以前常用的NLP解决方法，使用WordNet，这是一个包含同义词和上位词列表的同义词库 传统NLP中，我们用独热向量作为特征，这导致需要...
Transformer 笔记 (CS224N-7)
模型回顾 问题：RNN需要经过k步才能对远距离的单词进行交互，例如 这里的was是chef的谓语，二者的关系十分紧密，但是使用线性顺序分析句子会导致如果was和chef的距离较远，它们会难以交互（因为...
MM-LLM 数据侧论文速读
LAION-5B 提出 CLIP 得分来计算文本图像 embedding 之间的余弦相似度的筛选方法 使用 CLIP 筛选图像文本对，过滤相似度得分低于0.28的数据 DataComp 多模态数据集作为 MM-LLM 发展的关键组成部...
LLM 数据侧论文速读
MAYBE ONLY 0.5% DATA IS NEEDED 更少的数据可以省掉训练时间和训练的成本，并且很容易保证数据的高质量，很简单很直觉的想法 Coreset Selection 目标是使用尽可能少的样本找到一个接近完整数据...
依存结构与依存分析笔记 (CS224N-3)
依存结构 与编译器中的解析树类似，NLP中的解析树是用于分析句子的句法结构。使用的结构主要有两种类型——短语结构和依存结构。短语结构文法使用短语结构语法将词组织成嵌套成分。后面的内容会...
