引言
本文档用于记录自己读过的学术论文和亲自翻译的论文内容。每篇论文包含简要说明和个人理解,部分论文附有飞书文档或doi链接
翻译论文记录
P´olya’s Random Walk Theorem
当时是为了随机过程的pre,然后翻译并推了一遍polya随机游走定理,记录一下。
原文标题:P´olya’s Random Walk Theorem
作者:Jonathan Novak
出处:The American Mathematical Monthly, 2014•Taylor & Francis
doi号:点此查看全文
飞书链接:点此查看翻译版
MDS/TSNE/UMAP
longlongago之前把生物信息里比较常用的三种降维算法都学和推了一遍,分别是MDS(multidimensional scaling)多维尺度分析、t-SNE(t-distributed Stochastic Neighbor Embedding)和UMAP(Uniform Manifold Approximation and Projection),记录一下翻译版。
飞书链接:点此查看整合的笔记
MDS
Multidimensional scaling,简称MDS,中文翻译成多维尺度分析。其原理是利用成对样本间的相似性,去构建合适的低维空间,使得样本在此空间的距离和在高维空间中的样本间的相似性尽可能的保持一致。我们可以用这种方式来可视化数据分布,PCA是MDS中特殊的一种。
感觉有点像层次分析法,比较早用于心理学&社会科学上的一些相似性分析。以下公式为简单的优化思想,理论上可以从欧式距离推广到各种距离如曼哈顿、马氏等等。
原始文献有点太古老了,所以看的是csdn上的专栏:https://blog.csdn.net/u010705209/article/details/53518772?utm_source=itdadao&utm_medium=referral
- Kruskal, J. B. (1964). “Multidimensional Scaling by Optimizing Goodness of Fit to a Nonmetric Hypothesis.” Psychometrika, 29(1), 1-27.
- Shepard, R. N. (1962). “The Analysis of Proximities: Multidimensional Scaling with an Unknown Distance Function.” Psychometrika, 27(2), 125-140.
TSNE
t-sne感觉是比较fashion的概率方法,很有意思。找了一篇论文https://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf
原文标题:Visualizing Data using t-SNE
作者:Laurens van der Maaten, Geoffrey Hinton
出处:Journal of Machine Learning Research 9 (2008) 2579-2605
doi号:点此查看全文
UMAP
UMAP没有看太懂,主要是我没学过拓扑,但是其中模糊数学的部分很有意思,这篇论文刚刚发预印本的时候模糊数学还挺火的,现在不行了。
原文标题:Uniform manifold approximation and projection
作者:John Healy, Leland McInnes
出处:Nature Reviews Methods Primers volume 4, Article number: 82 (2024)
doi号:点此查看全文
注意力机制相关
包括注意力机制到transformer的自注意力及其后续的变体,还有ESM3几何注意力机制、rfdiffusion的IGSO3等等。
注意力机制的发展
longlongago之前学深度学习补的:
飞书链接:点此查看整合的笔记
几何注意力机制
ESM3有用到,ESM3模型处理蛋白质结构信息的两种主要方法:几何注意力(Geometric Attention)和结构标记(Structure Tokens)。
飞书链接:点此查看整合的笔记
IGSO3
当时看rfdiffusion被吓坏了,这个证明真的很吓人
飞书链接:点此查看整合的笔记
倾向性得分在观察性研究中因果效应分析的核心作用
文理学院统计系汇报的pre,看完了之后连统计学都不想学了,数学和统计完全是两个学科啊!感觉自己喜欢的是统计计算而不是数理统计和传统的统计inference,润了润了润去计算了
原文标题:The central role of the propensity score in observational studies for causal effect
作者:PAUL R. ROSENBAUM, DONALD B. RUBIN
出处:Biometrilca (1083), 70, 1, pp. 41-55
doi号:点此查看全文
飞书链接:点此查看翻译版