几何深度学习作为一种新兴的研究领域,专注于处理结构化数据,相较传统的深度学习方法,几何深度学习能够有效地处理具有复杂结构和拓扑特性的非欧几里得数据,如点云、网格、图谱、流形等。近年来,几何深度学习在多个领域,特别是科学智能(AIforScience)领域取得了显著进展,展现了其理解复杂系统与预测、生成复杂结构的巨大潜力。
报名参与读书会
为确保专业性和讨论的聚焦,本读书会谢绝脱离读书会主题和复杂科学问题本身的空泛的哲学和思辨式讨论;不提倡过度引申在社会、人文、管理、政治、经济等应用层面的讨论。我们将对参与人员进行筛选,如果出现讨论内容不符合要求、经提醒无效者,会被移除群聊并对未参与部分退费,解释权归集智俱乐部所有。
每周进行线上会议,与会者可以广泛参与讨论,会后可以获得视频回放持续学习。
第一步:扫码填写报名信息。
扫码报名
第二步:填写信息后,付费299元。
参与共创任务,共建学术社区:
读书会笔记:在交互式播放器上记录术语和参考文献
集智百科词条:围绕读书会主题中重要且前沿的知识概念梳理成词条。例如:
论文摘要翻译:翻译社区推荐论文中的摘要和图注
阅读材料
参考文献
推荐语:牛津大学教授MichaelBronstein、图灵奖得主YannLecun等人于2017年提出几何深度学习这一概念,结合几何学(或拓扑学)与深度学习,以便处理具有复杂结构和拓扑特性的非欧几里得数据,如点云、网格、图谱、流形等。
Bronstein,MichaelM.,etal."Geometricdeeplearning:goingbeyondeuclideandata."IEEESignalProcessingMagazine34.4(2017):18-42.
推荐语:美国GenerateBiomedicines公司提出了一种新颖的等变图扩散模型Chroma,创造了自然界中以前未发现的具有可编程特性的新型蛋白质。
Ingraham,JohnB.,etal."Illuminatingproteinspacewithaprogrammablegenerativemodel."Nature623.7989(2023):1070-1078.
推荐语:谷歌DeepMind公司基于图神经网络构建了一种晶体材料稳定性预测模型GNoME,发现了多达220万种理论上稳定的新型材料。
Merchant,Amil,etal."Scalingdeeplearningformaterialsdiscovery."Nature624.7990(2023):80-85.
推荐语:2023年图灵奖得主YoshuaBengio与数十位人工智能专家在顶级学术期刊《Nature》上发表综述论文,指出几何深度学习是科学智能研究的重要工具之一。
Wang,Hanchen,etal."Scientificdiscoveryintheageofartificialintelligence."Nature620.7972(2023):47-60.
Chami,I.,Ying,R.,Ré,C.,&Leskovec,J.(2019)."HyperbolicGraphConvolutionalNeuralNetworks."NeurIPS(2019).
Bodnar,Cristian,etal."Weisfeilerandlehmangotopological:Messagepassingsimplicialnetworks."ICML(2021).
Papamarkou,Theodore,etal."PositionPaper:ChallengesandOpportunitiesinTopologicalDeepLearning."arXivpreprintarXiv:2402.08871(2024).
Hajij,Mustafa,etal."Topologicaldeeplearning:Goingbeyondgraphdata."arXivpreprintarXiv:2206.00606(2022).
Papillon,Mathilde,etal."Architecturesoftopologicaldeeplearning:Asurveyontopologicalneuralnetworks."Arxiv.SubmittedtoTransactionsonPatternAnalysisandMachineIntelligence(2023).
Papillon,Mathilde,etal."Icml2023topologicaldeeplearningchallenge:Designandresults."Topological,AlgebraicandGeometricLearningWorkshops2023.PMLR,2023.
CohenT,WellingM.Groupequivariantconvolutionalnetworks[C]//Internationalconferenceonmachinelearning.PMLR,2016:2990-2999.
ThomasN,SmidtT,KearnesS,etal.Tensorfieldnetworks:Rotation-andtranslation-equivariantneuralnetworksfor3dpointclouds[J].arXivpreprintarXiv:1802.08219,2018.
SatorrasVG,HoogeboomE,WellingM.E(n)equivariantgraphneuralnetworks[C]//Internationalconferenceonmachinelearning.PMLR,2021:9323-9332.
推荐语:这是一篇综述性论文(两个版本),从数据结构、模型、任务等多个维度总结了几何图神经网络的发展历程和重要应用例子。
HanJ,CenJ,WuL,etal.ASurveyofGeometricGraphNeuralNetworks:DataStructures,ModelsandApplications[J].arXivpreprintarXiv:2403.00485,2024.
HanJ,RongY,XuT,etal.Geometricallyequivariantgraphneuralnetworks:Asurvey[J].arXivpreprintarXiv:2202.07230,2022.
推荐语:这篇论文针对2D分子设计了具备亿级参数的图神经网络GROVER,在千万级无标签分子数据上进行了预训练,是分子图大模型的开创性工作之一。
RongY,BianY,XuT,etal.Self-supervisedgraphtransformeronlarge-scalemoleculardata[J].Advancesinneuralinformationprocessingsystems,2020,33:12559-12571.
推荐语:这篇论文设计了能同时处理分子的图Transformer模型Graphormer,在OGB、OpenCatalyst等著名榜单上取得了很好的实验结果。
YingC,CaiT,LuoS,etal.Dotransformersreallyperformbadlyforgraphrepresentation[J].Advancesinneuralinformationprocessingsystems,2021,34:28877-28888.
推荐语:这篇论文设计了能处理3D分子的预训练图神经网络Uni-Mol,在分子性质预测、蛋白质性质预测、蛋白质-小分子对接等下游任务上取得了良好效果。
ZhouG,GaoZ,DingQ,etal.Uni-mol:Auniversal3dmolecularrepresentationlearningframework[J].2023.
JiaoR,HanJ,HuangW,etal.Energy-motivatedequivariantpretrainingfor3dmoleculargraphs[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2023,37(7):8096-8104.
推荐语:这篇论文将生成式模型VAE与图神经网络了进行结合,并且提出了一种主子图的概念,实现了分子图的有效生成。
KongX,HuangW,TanZ,etal.Moleculegenerationbyprincipalsubgraphminingandassembling[J].AdvancesinNeuralInformationProcessingSystems,2022,35:2550-2563.
推荐语:这篇论文将生成式模型Diffusion与等变图神经网络进行结合,实现了3D分子构象的多样性生成。
XuM,YuL,SongY,etal.Geodiff:Ageometricdiffusionmodelformolecularconformationgeneration[C]//InternationalConferenceonLearningRepresentations(ICLR),2022.
推荐语:这篇论文将生成式模型BFN与等变图神经网络进行进行结合,实现了3D分子的高效生成。
SongY,GongJ,ZhouH,etal.UnifiedGenerativeModelingof3DMoleculeswithBayesianFlowNetworks[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2023.
推荐语:这篇论文利用等变图神经网络CDVAE实现了晶体生成,是该方向的开创性工作之一。
XieT,FuX,GaneaOE,etal.Crystaldiffusionvariationalautoencoderforperiodicmaterialgeneration[J].arXivpreprintarXiv:2110.06197,2021.
推荐语:这篇论文将扩散模型与等变图神经网络进行结合,很好建模了晶体的对称性,实现了晶体3D结构的精准生成。
JiaoR,HuangW,LinP,etal.Crystalstructurepredictionbyjointequivariantdiffusion[J].AdvancesinNeuralInformationProcessingSystems,2024,36.
推荐语:这篇论文基于图神经网络构建了一种晶体材料稳定性预测模型GNoME,发现了多达220万种理论上稳定的新型材料。
MerchantA,BatznerS,SchoenholzSS,etal.Scalingdeeplearningformaterialsdiscovery[J].Nature,2023,624(7990):80-85.
推荐语:这篇论文提出了一种多通道等变图神经网络MEAN,有效实现了抗体CDR区域的设计与优化。
KongX,HuangW,LiuY.Conditionalantibodydesignas3dequivariantgraphtranslation[J].ICLR,2023.
推荐语:这篇论文提出了一种新颖的等变图扩散模型Chroma,创造了自然界中以前未发现的具有可编程特性的新型蛋白质。
IngrahamJB,BaranovM,CostelloZ,etal.Illuminatingproteinspacewithaprogrammablegenerativemodel[J].Nature,2023,623(7989):1070-1078.
推荐语:这篇论文提出了一种全原子建模方法RoseTTAFoldAll-Atom,利用等变图神经网络实现了蛋白质、小分子、核酸、共价修饰等多种分子的结构预测与设计。