Daily Study

深度学习（DL/ML）学习路径前言最近几年，尤其是自从2016年Alpha Go打败李世石事件后，人工智能技术受到了各行业极大关注。其中以机器学习技术中深度学习最受瞩目。主要原因是这些技术在科研领域和工业界的应用效果非常好，大幅提升了算法效率、降低了成本。因而市场对相关技术有了如此大的需求。 我在思考传统行业与这些新兴技术结合并转型的过程中，亦系统的回顾了深度学习及其相关技术。本文正是我在学习过程中所作的总结。我将按照我所理解的学习路径来呈现各部分内容，希望对你亦有帮助。欢迎一起交流。 主要分为如下几个部分： 数学基础：包括微积分、线性代数、概率论等对理解机器学习算法有帮助的基本数学。 Python：Python提供了非常丰富的工具包，非常适合学习者实现算法，也可以作为工业环境完成项目。主流的深度学习框架，例如当前最流行的两个AI框架TensorFlow、PyTorch都以Python作为首选语言。此外，主流的在线课程（比如Andrew Ng在Coursera的深度学习系列课程）用Python作为练习项目的语言。在这部分，我将介绍包括Python语言基础和机器学习常用的几个 ...

机器学习视频教程前言机器学习方面的视频教程 链接网易版吴恩达机器学习课程 https://www.bilibili.com/video/BV1LE411h7P4/?vd_source=b9c5bfe87527051f73cd5ccc7880600e 吴恩达21版Deeplearning.ai深度学习 https://www.bilibili.com/video/BV12E411a7Xn/ 李宏毅2021/2022春机器学习课程 https://www.bilibili.com/video/BV1Wv411h7kN/ 浙大胡浩基机器学习 https://www.bilibili.com/video/BV1qf4y1x7kB/

机器学习绪论绪论机器学习技术的分类人工智能主要包括感知智能（比如图像识别、语言识别和手势识别等）和认知智能（主要是语言理解知识和推理）。它的核心是数据驱动来提升生产力、提升生产效率。 机器学习相关技术属于人工智能的一个分支。其理论主要分为如下三个方面： 传统的机器学习：包括线性回归、逻辑回归、决策树、SVM、贝叶斯模型、神经网络等等。 深度学习（Deep Learning）：基于对数据进行表征学习的算法。好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。 强化学习（Reinforcement Learning）：强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。和标准的监督式学习之间的区别在于，它并不需要出现正确的输入/输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。 在现实生活中，机器学习技术主要体现在以下几个部分： 数据挖掘（Data ...

数据分析入门活动赛事，利用Pandas分析美国选民总统1、赛前准备1.1 前言本次赛事由开源学习组织Datawhale主办，主要带领学习者利用Python进行数据分析以及数据可视化，包含数据集的处理、数据探索与清晰、数据分析、数据可视化四部分，利用pandas、matplotlib、wordcloud等第三方库带大家玩转数据分析～还有丰富礼品等你来领取哦～学习赛事地址：https://tianchi.aliyun.com/competition/entrance/531837/introduction 1.2 数据集来源介绍所有候选人信息该文件为每个候选人提供一份记录，并显示候选人的信息、总收入、从授权委员会收到的转账、付款总额、给授权委员会的转账、库存现金总额、贷款和债务以及其他财务汇总信息。数据字段描述详细:https://www.fec.gov/campaign-finance-data/all-candidates-file-description/关键字段说明 CAND_ID 候选人ID CAND_NAME 候选人姓名 CAND_PTY_AFFILIATION 候选人党派 ...

如何在服务器上搭建jupyter notebook1. 准备一台Linux云服务器我准备的是一台centos的服务器 2. 新建一个用户新建一个jupyter的用户用于运行服务: 1adduser jupyter 然后切换到此用户 1su jupyter 3. 安装 Anaconda下载Anaconda最新安装程序 https://www.anaconda.com/products/individual#Downloads 1wget https://repo.anaconda.com/archive/Anaconda3-2021.05-Linux-x86_64.sh 运行安装程序: 1sh Anaconda3-2021.05-Linux-x86_64.sh 安装过程中敲回车和输入yes同意许可即可 安装完成重新登录即可  4. 搭建 Jupyter Notebook 环境 ...

大语言模型的涌现能力：现象与解释前言在学习大语言模型的时候，接触到了大佬的分享，前沿的知识，感觉很有帮助，特此记录，只是简单记录，文章来源会在后面的参考资料标注出来 问答注释1：有人问了，既然很多自然现象也体现出涌现能力，那么大语言模型的涌现现象需要解释吗？我个人认为是需要的。毕竟，说大语言模型的某个特殊现象属于“涌现现象”，也是被个别研究提出来，未有确切证明或证据，是否它和自然现象中出现的涌现现象内在机制是类似或一样的，其实可以存疑。而且我认为大模型的这个现象，背后应该有些我们可以理解的原因。如果我们不追求现象背后的解释，仅仅把目前解释不了的现象统一归类为涌现或者其它什么概念，就此了之。那么，其实我们也可以把大模型的目前理解不了的很多现象，统一归类为这是一种“神迹”，那世界上很多事情就简单多了。另另，用Grokking解释涌现现象，尽管我把它称为”用玄学解释玄学“，但是觉得还是值得深入探索的方向，也许可以把上面的说法，优化为”用含玄量较低的玄学解释另外一个含玄量较高的玄学“。 注释2：如果仔细分析的话，大语言模型的这个所谓“涌现现象”，如果仅仅把现象归因于模型规模，目前看大概率是把问 ...

大模型（Foundation Models）综述大模型的定义“大模型”通常是指参数数量庞大、计算资源要求高的机器学习模型。这些模型通常具有大量的参数，通过训练过程来学习数据的特征和模式，以实现各种任务，如自然语言处理、计算机视觉、推荐系统等。大模型的典型例子包括深度神经网络（如深度学习模型）、大型树模型（如梯度提升树）、大规模线性模型等。 以下是大模型的一些特点： 参数数量庞大：大模型通常包含数百万到数十亿个参数，这些参数用于捕获输入数据的复杂关系和模式。 计算资源要求高：由于参数数量众多，训练大模型通常需要大量的计算资源，包括高性能的GPU、TPU（谷歌（Google）开发的一种专用于机器学习加速的处理器）等硬件设备。 复杂的结构：大模型往往具有复杂的网络结构或模型结构，包括多层神经网络、多个隐藏层、大规模的树结构等。 高度的泛化能力：由于拥有庞大的参数空间，大模型通常具有较强的泛化能力，能够在广泛的任务和数据集上表现良好。 需要大规模的训练数据：为了训练大模型，通常需要大规模的训练数据集，以确保模型能够学习到充分的特征和模式。 大模型在各种领域和任务中都有广泛的应用，但由于其训 ...

基础论文汇总知识前言对于人工智能等大数据方向的东西，还是得多看论文，了解更多前沿知识和基本情况，下面是一些AI大模型的论文，利用文心一言提纯的简介 A Survey of Large Language Models（大型语言模型综述）汇总信息这是一篇关于大型语言模型的综述性文章。自图灵测试提出以来，人类一直在探索机器如何掌握语言智能。近年来，预训练语言模型（PLM）通过在大规模语料库上预训练Transformer模型，成为语言理解和生成的主要方法，并在各种自然语言处理（NLP）任务中展现出强大的能力。随着模型规模的增加，模型能力也在不断提高。当模型规模超过一定阈值时，大模型不仅在性能上取得了显著的提升，还展现出小模型不具备的特殊能力，如in-context学习。 大型语言模型（LLM）在学术界和工业界中受到了广泛的关注。LLM的技术发展不断取得进展，例如基于LLM的ChatGPT等AI聊天机器人吸引了社会的广泛关注。本文综述了LLM的最新进展，介绍了LLM的背景、主要技术、主流方法以及开发LLM所需的资源，并讨论了未来需要解决的问题。LLM的综述对于研究人员和工程师非常有用。 综上所述 ...

为什么模型训练次数越多，准确率反而越低了前言，在做模型训练数据的时候，我以为训练次数越久，准确率会更高，但是实际上，就算我训练了几个小时，准确率也没提高，甚至比几分钟的都低，很疑惑 解释当模型训练次数增多而准确率反而下降，这种现象可能由几个原因引起，主要包括过拟合、不适当的训练迭代、或是数据本身的问题。以下是一些可能的解释和建议： 1. 过拟合过拟合是最常见的原因之一，特别是在复杂的模型（如深度学习模型）或数据量相对较少的情况下。过拟合发生时，模型学习到了训练数据中的噪声和细节，而这些特征并不适用于未见过的测试数据。 解决方案： 增加数据量：使用更多的训练数据可以帮助模型学习更通用的特征。 简化模型：减少模型的复杂度，比如减少随机森林中的树的数量或是深度学习模型中的层数。 使用正则化技术：如 L1 或 L2 正则化，这可以惩罚模型的复杂度。 早停（Early Stopping）：在训练过程中，如果在验证集上的性能开始下降，则停止训练。 2. 不适当的训练迭代在某些算法中（如梯度下降），如果训练迭代次数过多，模型可能会开始适应训练数据中的特定样本，从而忽略了整体数据的模式。 解决方案 ...

人工智能概述概述 “ 人工智能（英语：artificial intelligence，缩写为 AI ）亦称 机器智能 ，指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通计算机程序来呈现人类智能的技术。该词也指出研究这样的智能系统是否能够实现，以及如何实现。同时，通过医学、神经科学、机器人学及统计学等的进步，常态预测则认为人类的很多职业也逐渐被其取代。”–维基百科 人工智能这个词的出现最早可以追溯至1956年的达特茅斯会议。1956年8月，在美国汉诺斯小镇的达特茅斯学院，以约翰·麦卡锡（John McCarthy）、马文·明斯基（Marvin Minsky）、克劳德·香农（Claude Shannon）、艾伦·纽厄尔（Allen Newell）、赫伯特·西蒙（Herbert Simon）等为首的科学家们相聚在一起，讨论如何让机器模拟人类的学习能力，并在此次会议中正式提出了“人工智能”这个概念。 事实上，直到现在人工智能都没有一个非常明确且统一的定义。如果让我用一两句话来描述，我会说：“让机器明白人类的世界，或者我的意思是，让思想可以被数学描述。”（哦我的上帝这该死的翻译 ...