开发者必备:基于Linux生态的十大AI开源框架盘OSCHINA

本文将从开发者的角度出发,特别是针对开发者中为数众多的Linux系统和Mac系统用户,奉上一篇针对泛Linux生态的顶级人工智能开源工具盘点(当然,有些工具也并非只兼容Linux)。

Deeplearning4j(DeepLearningForJava)是Java和Scala环境下的一个开源分布式的深度学习项目,由总部位于美国旧金山的商业智能和企业软件公司Skymind牵头开发,并得到了腾讯的投资。正如它的命名,Deeplearning4j的运行需要Java虚拟机JVM的支持。

Deeplearning4j团队在官网表示,他们希望通过一些深度学习算法的开发,将商业带入智能化数据的时代。也正是为了实现这一理想,惠及更多的用户,因此选择了移植性更好的Java环境来实现这些算法。目前,Deeplearning4j的这些算法已经在谷歌、Facebook和微软等平台得到了广泛应用。

值得一提的是,为了便于开发者自由定制,Deeplearning4j已经开放了尽可能多的算法调节接口,并对接口参数做出了详尽解释。同时,Deeplearning4j团队还开发了针对矩阵运算的ND4J和ND4S库(N-DimensionalArraysforJava/Scala),同样需要JVM的支持。

Deeplearning4j遵循Apache2.0开源协议,提供了基于AWS云服务的GPU运算支持,以及微软服务器框架的支持。

Caffe的全称是“ConvolutionArchitectureForFeatureExtraction”,意为“用于特征提取的卷积架构”,主要开发者来自伯克利大学的视觉与学习中心(BerkeleyVisionandLearningCenter,BVLC),基于BSD2-Clause开源许可协议发布。

H2O(即水的化学式)是一个开源、快速、可扩展的分布式机器学习框架,同时提供了大量的算法实现。它支持深度学习、梯度推进(GradientBoosting)、随机森林(RandomForest)、广义线性模型(即逻辑回归,弹性网络)等各种机器学习算法。

H2O框架的核心代码由Java编写,数据和模型通过分布式的key/value存储在各个集群节点的内存中,算法使用Map/Reduce框架实现,并使用了Java中的Fork/Join机制来实现多线程。

根据H2O官方的数据,目前已经有超过7万名数据科学家和8万家组织机构成为了H2O平台的忠实拥趸。

按照官网的描述,MLlib的主要特点是易用(天生兼容Spark框架的API接口和Python、Java、Scala等多种语言)、高性能(依靠Spark的数据管理能力,运行迭代和逻辑回归算法时比Hadoop框架快100倍)和易于部署(可以直接在现有的Hadoop数据集群上运行)。

MLlib目前支持分类、回归、推荐、聚类、生存分析等多种机器学习算法。

ApacheMahout同样也是一个Apache开源项目,与MLlib相对应,Mahout是应用在Hadoop平台下的机器学习开源框架。

Mahout有如下三个主要特点:

1)提供简单、可扩展的编程环境和框架;

2)同时为Scala+ApacheSpark、H2O以及ApacheFlik平台提供打包好的算法实现;

3)支持R语言的语法规则进行矩阵计算。

OpenNN的全称为“OpenNeuralNetworksLibrary”,即开源神经网络库,其核心代码由C++编写,从名字就可以看出,其主要面向深度学习领域,助力于用户构建各种不同的神经网络模型。

据官方描述,OpenNN可用于实现监督学习场景中任何层次的非线性模型,同时还支持各种具有通用近似属性的神经网络设计。

除了模型的多层支持外,OpenNN最主要优势还在于强大的性能表现。具体来说就是,OpenNN能够通过C++语言实现的核心代码高效地调节内容使用,通过OpenMP库很好地平衡多线程CPU调用,以及通过CUDA工具对GPU进行加速。

Oryx2是Oryx项目的2.0版,前身名为Myrrix,后来被大数据公司Cloudera收购,才改名为Oryx。

2.0版相比之前实现了更多算法,包括ALS协同过滤、随机森林、以及K-means++等。

OpenCyc是Cycorp公司推出的一个基于Cyc的开源版本,而Cyc是目前全球最庞大、最完备的通用型知识库与常识推理引擎。

OpenCyc包含数十万个精心组织的Cyc词条。Cycorp公司不但免费提供OpenCyc,同时也鼓励开发者基于OpenCyc开发针对于特定应用领域的分支版本。

目前,OpenCyc已经被成功应用在大数据建模、语言数据整合、智能文本理解、特定领域的专家系统建模和人工智能游戏。

SystemML是一个利用机器学习算法进行大数据分析的开源AI平台,其主要特点是支持R语言和Python的语法,专注于大数据分析领域,以及专门为高阶数学计算设计。

按照官网的介绍,ApacheSystemML基于ApacheSpark框架运行,其最大的特点就是能够自动、逐行地评估数据,并根据评估结果确定用户的代码应该直接运行在驱动器上还是运行在ApacheSpark集群上。

除了ApacheSpark之外,SystemML还支持ApacheHadoop、Jupyter和ApacheZeppelin等多个平台。目前,SystemML技术已经成功应用在交通、航空和金融等多个领域。

NuPIC关键的功能特性包括:

1)持续的在线学习:NuPIC模型可以持续根据快速变化的数据流进行实时调整;

3)实时的数据流分析:智能化的数据分析不会随着数据量的增加而改变;

4)预测和建模:通过通用性的大脑皮层算法,对数据进行预测、建模和学习;

5)强大的异常检测能力:实时检测数据流的扰动,不依靠僵化的阈值设置和过时的算法;

6)层级实时存储算法:支持全新的HTM计算架构。

由于2016仅仅是人工智能走向主流的元年,未来随着技术的进一步发展和革新,势必会出现更多、更丰富的开发工具。这里值得注意的一点是:工具的意义不仅在于解决了日常研发中遇到的各种问题,更在于降低了开发的难度,引导了更多人投入到人工智能的研发之中。

THE END
1.《机器学习实战指南:CSDN经验集成》数据收集:在机器学习实战中,数据收集是至关重要的第一步。可以通过多种方式获取数据,例如从数据库中提取已有的结构化数据,利用 API 从外部数据源获取特定格式的数据,或者使用爬虫技术从网页上抓取所需的数据。数据库提供了稳定且结构化的数据来源,适合大规模数据的存储和检索。API 则允许我们与各种在线服务进行交互,https://blog.csdn.net/beautifulmemory/article/details/144353490
2.人工智能算法工程师进阶指南:从机器学习基础到深度学习模型部署全深度学习是机器学习的一个分支,其特点是通过构建深层神经网络来学习数据的表示和特征。深度学习模型可以自动学习数据的抽象特征,对于复杂的非线性问题有很好的处理能力。 深度学习模型类型 常见的深度学习模型包括卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)等。这些模型在图像处理、自然语言处理等领域https://www.jianshu.com/p/cf7a6f9a964c
3.Microsoft机器学习产品和技术概述ML.NET是一个开源的跨平台机器学习框架。 使用 ML.NET,可以构建自定义机器学习解决方案并将其集成到 .NET 应用程序中。 ML.NET 提供了与 TensorFlow 和 ONNX 等常用框架的不同级别的互操作性,用于对机器学习模型和深度学习模型进行训练和评分。 对于资源密集型任务(例如训练图像分类模型),可以利用 Azure 在云中https://docs.microsoft.com/zh-cn/azure/machine-learning/service/overview-more-machine-learning
4.转载:AI系统自动微分引言腾讯云开发者社区这一篇幅里面主要是围绕 AI 框架、或者训练平台的自动微分功能。AI 框架中关于自动微分的一个重要性不言而喻,实际上自动微分是贯穿整个 AI 框架的全流程。没有了自动微分,也就没有了 AI 框架最核心的功能。为什么这么说呢?可以想象一下,假设在实现一个神经网络模型的时候,一般开发者只会使用 Pytorch 的API实现一https://cloud.tencent.com/developer/article/2476374
5.年达特茅斯会议与人工智能的起源TensorFlow:这是由谷歌开发的开源机器学习框架,广泛应用于深度学习领域。 PyTorch:这是由Facebook开发的开源机器学习框架,具有动态神经网络的特点,广泛应用于强化学习和自然语言处理等领域。 Keras:这是基于TensorFlow和Theano的开源高级神经网络API,提供了简洁的接口和丰富的预训练模型。 https://blog.51cto.com/universsky/12693430
6.2020届计算机科学方向毕业设计(论文)阶段性汇报探究将Focal loss应用于轻量化目标检测框架中的目标框回归,已经在SSD目标检测框架上通过实验发现了相对于IOU loss明显的性能提升,并且这一提升不需要任何的计算量和模型大小的提升。事实上,这一方法可以应用于一般的通用目标检测框架。 冯思远 面向机器学习算法的中间语言设计第二次阶段性汇报 https://zhiyuan.sjtu.edu.cn/html/zhiyuan/announcement_view.php?id=3709
7.cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台机器学习框架ray-sklearn分布式job-template/job/ray_sklearn/README.md 机器学习算法random_forest单机job-template/job/random_forest/README.md 机器学习算法lr单机job-template/job/lr/README.md 机器学习算法lightgbm单机job-template/job/lightgbm/README.md https://github.com/tencentmusic/cube-studio
8.九章云极DataCanvas方磊:Hypernets——自动化机器学习的基打架在WAIC 2021 AI 开发者论坛上,九章云极 DataCanvas 董事长方磊发表主题演讲《Hypernets:自动化机器学习的基础框架》,在演讲中,他主要介绍了 Hypernets 的概念模型和两个具体实例。他认为,好的 AutoML 框架一定要具备富有表现力的搜索空间描述语言、支持高维空间的高效搜索算法和高性能的评估策略。 https://m.thepaper.cn/baijiahao_13676597
9.13种主流机器学习的框架Apache Spark 最为人所知的是它是Hadoop家族的一员,但是这个内存数据处理框架却是脱胎于Hadoop之外,也正在Hadoop生态系统以外为自己获得了名声。Hadoop 已经成为可供使用的机器学习工具,这得益于其不断增长的算法库,这些算法可以高速度应用于内存中的数据。 http://www.360doc.com/content/19/0322/20/32167373_823462051.shtml
10.pytorch开源机器学习框架Install PyTorch Get Started Choose Your Path: Install PyTorch Locally or Launch Instantly on Supported Cloud Platforms Get started Blog Stay up-to-date on the latest news and technical topics from the PyTorch Foundation. Read more PyTorch 2.5https://pytorch.org/
11.第四范式先知平台的整体架构和实现细节架构胡时伟为此,我们的算法工程团队开发了一系列的基础设施组件,组成了大规模分布式机器学习框架 GDBT(General Distributed Brain Technology)。GDBT 是一个由 C++ 编写的,完全分布式的适合于机器学习计算场景的计算框架,可以运行在单机、MPI、Yarn、Mesos 等多个分布式环境。https://www.infoq.cn/article/the-fourth-paradigm-prophet-platform
12.关于机器学习,这可能是目前最全面最无痛的入门路径和资源!但是,各位童鞋,不要慌也不要怕李杰克有自信这应该是目前你在网上能够读到的最全面、最良心、最友好的关于机器学习入门路径和资源分享的文章了。 说它“全面”是因为我为大家梳理了Python及常用库、机器学习算法、深度学习框架的学习路径和资源,就算你不打算根据推荐的资源进入更深的学习,读完文章后,你也应该大https://www.36kr.com/p/5109465.html
13.FCS前沿综述:音乐情感识别—论文—科学网现有的基于机器学习的MER工作包括三个部分,即领域定义、特征提取和情绪识别。整体框架如图1所示。从图1中可以看出,在域定义阶段选择了情绪模型和数据集,在特征提取阶段提取了有用的特征,在情绪识别阶段对情绪标签进行了预测。 图1. MER框架 情感模型和数据集 https://news.sciencenet.cn/htmlpaper/2022/6/20226231124191573739.shtm
14.《零基础学机器学习》(黄佳)简介书评在线阅读人工智能教程籍,深入浅出神经网络与深度学习入门,基于python框架算法,机器学习入门小白书,与小冰一起课堂培训丰富的实战案例赠送全书实例源代码、案例数据集。 作者:黄佳出版社:人民邮电出版社出版时间:2020年12月 手机专享价 ¥ 当当价降价通知 ¥85.30 http://product.dangdang.com/29159728.html
15.阿里云机器学习AutoML引擎介绍与应用PAI 架构中最下面是基础硬件层、分布式的优化、调度层,基于此构建了各类计算引擎的框架,比如深度学习框架 TensorFlow 、Pytorch,流式机器学习框架 Alink 等。AutoML 引擎则是构建在计算引擎之上,为更上层的算法、产品和业务提供服务,起到了承上启下的作用。 https://blog.itpub.net/70024924/viewspace-2936628/
16.数科专业《Python机器学习课程设计》作品展课程设计第一部分,基于PyTorch框架的机器学习开发环境 实验学时:2学时 实验目的:掌握PyTorch的开发环境安装 实验硬件:任意独立的NVIDIA GPU 实验软件:Anaconda3、PyTorch 实验要求:1)在教师演示后独立完成环境安装 2)测试环境并运行示例代码 第二部分PyTorch开发机器学习应用 https://www.cdutetc.cn/c/6940646a-9e49-4fa4-87a3-c504b0b21f03.html
17.机器学习案例实战教学PPT498.pptx免费在线预览全文 根据教材制作,可作为授课教师的参考资料和从业人员的自学资料。 机器学习案例实战(第2版) ——机器学习基础 机器学习平台 一个功能强大且易学、易用的机器学习平台对于开展机器学习项目非常重要。良好的机器学习框架提供了丰富的预制组件,可以方便机器学习模型的设计和实现。 目前存在以下几类基本的机https://max.book118.com/html/2022/0918/6223000133004240.shtm
18.一周AI最火论文模型是否遗忘了我删除的数据?这个算法可以评估一个面向API的图无监督学习开源Python框架 本文介绍了Karate Club,它是一个结合了30多种先进的图形挖掘算法的Python框架,可以解决无人监督的机器学习任务。该框架由Karate Club设计,有着一致的应用程序界面、可伸缩性、易用性、合理的即用型模型行为、标准化的数据集提取和输出生成等特性。该研究还通过实际示例讨论了https://news.hexun.com/2020-04-27/201164779.html