`

有了这个神器,轻松用 Python 写 APP !

阅读更多

本文转自机器之心,作者:Adrien Treuille,机器之心编译,参与:魔王、一鸣,如有侵权,则可删除。

机器学习开发者想要打造一款 App 有多难?事实上,你只需要会 Python 代码就可以了,剩下的工作都可以交给一个工具。近日,Streamlit 联合创始人 Adrien Treuille 撰文介绍其开发的机器学习工具开发框架——Streamlit,这是一款专为机器学习工程师创建的免费、开源 app 构建框架。这款工具可以在你写 Python 代码的时候,实时更新你的应用。目前,Streamlit 的 GitHub Star 量已经超过 3400,在 medim 上的热度更是达到了 9000+。

Streamlit 网站:https://streamlit.io/ GitHub地址:https://github.com/streamlit/streamlit/

用 300 行 Python 代码,编程一个可实时执行神经网络推断的语义搜索引擎

以我的经验,每一个不平凡的机器学习项目都是用错误百出、难以维护的内部工具整合而成的。这些工具通常用 Jupyter Notebooks 和 Flask app 写成,很难部署,需要对客户端服务器架构(C/S 架构)进行推理,且无法与 Tensorflow GPU 会话等机器学习组件进行很好的整合。

我第一次看到此类工具是在卡内基梅隆大学,之后又在伯克利、Google X、Zoox 看到。这些工具最初只是小的 Jupyter notebook:传感器校准工具、仿真对比 app、激光雷达对齐 app、场景重现工具等。

当一个工具越来越重要时,项目经理会介入其中:进程和需求不断增加。这些单独的项目变成代码脚本,并逐渐发展成为冗长的「维护噩梦」……

机器学习工程师创建 app 的流程(ad-hoc)

而当一个工具非常关键时,我们会组建工具团队。他们熟练地写 Vue 和 React,在笔记本电脑上贴满声明式框架的贴纸。他们的设计流程是这样式的:

工具团队构建 app 的流程(干净整洁,从零开始)

这简直太棒了!但是所有这些工具都需要新功能,比如每周上线新功能。然而工具团队可能同时支持 10 多个项目,他们会说:「我们会在两个月内更新您的工具。」

我们返回之前自行构建工具的流程:部署 Flask app,写 HTML、CSS 和 JavaScript,尝试对从 notebook 到样式表的所有一些进行版本控制。我和在 Google X 工作的朋友 Thiago Teixeira 开始思考:如果构建工具像写 Python 脚本一样简单呢?

我们希望在没有工具团队的情况下,机器学习工程师也能构建不错的 app。这些内部工具应该像机器学习工作流程的副产品那样自然而然地出现。写此类工具感觉就像训练神经网络或者在 Jupyter 中执行点对点分析(ad-hoc analysis)!同时,我们还想保留强大 app 框架的灵活性。我们想创造出令工程师骄傲的好工具。

我们希望的 app 构建流程如下:

Streamlit app 构建流程

与来自 Uber、Twitter、Stitch Fix、Dropbox 等的工程师一道,我们用一年时间创造了 Streamlit,这是一个针对机器学习工程师的免费开源 app 框架。不管对于任何原型,Streamlit 的核心原则都是更简单、更纯粹。

Streamlit 的核心原则如下:

  1. 拥抱 Python

Streamlit app 是完全自上而下运行的脚本,没有隐藏状态。你可以利用函数调用来处理代码。只要你会写 Python 脚本,你就可以写 Streamlit app。例如,你可以按照以下代码对屏幕执行写入操作:

import streamlit as stst.write('Hello, world!')

  1. 把 widget 视作变量

Streamlit 中没有 callback!每一次交互都只是自上而下重新运行脚本。该方法使得代码非常干净:

import streamlit as stx = st.slider('x')
st.write(x, 'squared is', x * x)

3 行代码写成的 Streamlit 交互 app

  1. 重用数据和计算

如果要下载大量数据或执行复杂计算,怎么办?关键在于在多次运行中安全地重用信息。Streamlit 引入了 cache primitive,它像一个持续的默认不可更改的数据存储器,保障 Streamlit app 轻松安全地重用信息。例如,以下代码只从 Udacity 自动驾驶项目(https://github.com/udacity/self-driving-car)中下载一次数据,就可得到一个简单快速的 app:

使用 st.cache,在 Streamlit 多次运行中保存数据。代码运行说明,参见:https://gist.github.com/treuille/c633dc8bc86efaa98eb8abe76478aa81#gistcomment-3041475

运行以上 st.cache 示例的输出

简而言之,Streamlit 的工作流程如下:

  1. 每次用户交互均需要从头运行全部脚本。

  2. Streamlit 根据 widget 状态为每个变量分配最新值。

  3. 缓存保证 Streamlit 重用数据和计算。

如下图所示:

用户事件触发 Streamlit 从头开始重新运行脚本。不同运行中仅保留缓存

感兴趣的话,你可以立刻尝试!只需运行以下行:

网页浏览器将自动打开,并转向本地 Streamlit app。如果没有出现浏览器窗口,只需点击链接。

这些想法很简洁,但有效,使用 Streamlit 不会妨碍你创建丰富有用的 app。我在 Zoox 和 Google X 工作时,看着自动驾驶汽车项目发展成为数 G 的视觉数据,这些数据需要搜索和理解,包括在图像数据上运行模型进而对比性能。我看到的每一个自动驾驶汽车项目都有整支团队在做这方面的工具。

在 Streamlit 中构建此类工具非常简单。以下 Streamlit demo 可以对整个 Udacity 自动驾驶汽车照片数据集执行语义搜索,对人类标注的真值标签进行可视化,并在 app 内实时运行完整的神经网络(YOLO)。

这个 300 行代码写成的 Streamlit demo 结合了语义视觉搜索和交互式神经网络推断

整个 app 只有 300 行 Python 代码,其中大部分是机器学习代码。事实上,整个 app 里只有 23 次 Streamlit 调用。你可以试试看:

我们与机器学习团队合作,为他们的项目而努力时,逐渐意识到这些简单的想法会带来大量重要的收益:

Streamlit app 是纯 Python 文件。你可以使用自己喜欢的编辑器和 debugger。

我用 Streamlit 构建 app 时喜欢用 VSCode 编辑器(左)和 Chrome(右)

纯 Python 代码可与 Git 等源码控制软件无缝对接,包括 commits、pull requests、issues 和 comment。由于 Streamlit 的底层语言是 Python,因此你可以免费利用这些协作工具的好处。

Streamlit app 是 Python 脚本,因此你可以使用 Git 轻松执行版本控制

Streamlit 提供即时模式的编程环境。当 Streamlit 检测出源文件变更时,只需点击 Always rerun 即可。

点击「Always rerun」,保证实时编程

缓存简化计算流程。一连串缓存函数自动创建出高效的计算流程!你可以尝试以下代码:

Streamlit 中的简单计算流程。运行以上代码,参见说明:https://gist.github.com/treuille/ac7755eb37c63a78fac7dfef89f3517e#gistcomment-3041436

基本上,该流程涉及加载元数据到创建摘要等步骤(load_metadata → create_summary)。该脚本每次运行时,Streamlit 仅需重新计算该流程的子集即可。

为了保证 app 的可执行性,Streamlit 仅计算更新 UI 所必需的部分

Streamlit 适用于 GPU。Streamlit 可以直接访问机器级原语(如 TensorFlow、PyTorch),并对这些库进行补充。例如,以下 demo 中,Streamlit 的缓存存储了整个英伟达 PGGAN。该方法可使用户在更新左侧滑块时,app 执行近乎即时的推断。

该 Streamlit app 使用 TL-GAN 展示了英伟达 PGGAN 的效果

Streamlit 是免费开源库,而非私有 web app。你可以本地部署 Streamlit app,不用提前联系我们。你甚至可以在不联网的情况下在笔记本电脑上本地运行 Streamlit。此外,现有项目也可以渐进地使用 Streamlit。

渐进地使用 Streamlit 的几种方式。

以上只是 Streamlit 功能的冰山一角而已。它最令人兴奋的一点是,这些原语可以轻松组成复杂 app,但看起来却只是简单脚本。这就要涉及架构运作原理和功能了,本文暂不谈及。

Streamlit 组件图示。

我们很高兴与社区分享 Streamlit,希望它能够帮助大家轻松将 Python 脚本转化为美观实用的机器学习 app。

原文链接:https://towardsdatascience.com/coding-ml-tools-like-you-code-ml-models-ddba3357eace

参考文献:

[1] J. Redmon and A. Farhadi, YOLOv3: An Incremental Improvement (2018), arXiv.

[2] T. Karras, T. Aila, S. Laine, and J. Lehtinen, Progressive Growing of GANs for Improved Quality, Stability, and Variation (2018), ICLR.

[3] S. Guan, Controlled image synthesis and editing using a novel TL-GAN model (2018), Insight Data Science Blog.

分享到:
评论

相关推荐

    基于Python实现的恋爱神器,Python实现自动向女朋友微信发送关心问候示爱信息

    本项目“基于Python实现的恋爱神器”就是这样一个创新的应用,利用Python的便利性来为情侣间的互动增添科技色彩。通过自动向女朋友的微信发送关心、问候以及示爱的信息,它能够帮助忙碌的恋人保持情感的连结,即使在...

    python三大神器之fabric使用教程

    ### Python三大神器之Fabric使用教程 #### 一、Fabric简介 Fabric是一款强大的Python包,它主要作为基于SSH的部署工具而被广泛使用。通过利用Python的特性与SSH协议的便捷性,Fabric能够轻松实现对多台服务器上的...

    安卓专项测试 - Python篇实战视频(Android)

    3-2 准备一个被测APP 3-3 工欲善其事必先利其器-自动化测试环境准备 3-4 Android App自动化测试(一) 3-5 Android App自动化测试(二) 3-6 Android App自动化测试(三) 3-7 UnitTest框架之TestFixture简介 3-8 ...

    PyPI 官网下载 | plone.app.upgrade-1.1.3.tar.gz

    《PyPI官网下载 | plone.app.upgrade-1.1.3.tar.gz——Python库升级神器》 在Python的世界里,PyPI(Python Package Index)是最重要的软件仓库,它为全球开发者提供了海量的Python库,方便他们管理和分享自己的...

    Kite.app.zip

    今天我们要讨论的主角便是“Kite.app”,一个专为Mac用户设计的超级代码补全工具,甚至连Python之父Guido van Rossum都对其赞不绝口。 Kite,这个轻巧而强大的应用,致力于为开发者提供智能的代码完成功能。它不...

    支持大麦网,淘票票、缤玩岛等多个平台,演唱会演出抢票脚本

    支持大麦网,淘票票、缤玩岛等多个平台,演唱会演出抢票脚本

    美团新一代打包神器 walle

    【美团新一代打包神器 walle】是一款由美团公司开发的高效多渠道打包工具,旨在解决移动应用开发者在构建和管理多渠道应用包时所面临的繁琐工作。传统的打包方式往往需要在应用内部进行各种渠道配置,而walle则通过...

    塞班sis游戏编辑神器hanhuafengbao及其软件包for s60v3平台

    针对这个平台,开发者们创造了一系列工具来满足用户需求,其中“hanhuafengbao”是一款为塞班S60v3平台特别设计的游戏编辑神器,它包含了四款重要的软件工具,分别是hanhuafengbao、智能解包、sis编辑器以及基础套件...

    表白神器

    5. **移动应用开发**:除了网页版,表白神器也可能有移动端的应用版本,这可能涉及iOS的Swift或Android的Java/Kotlin编程,以及对应的开发环境如Xcode和Android Studio。 6. **交互设计**:用户体验(UX)和界面...

    动态图二维码制作,七夕表白必备神器

    制作动态图二维码需要使用特定的应用程序,比如"Qart.apk",这是一款适用于安卓系统的app,允许用户轻松创建个性化的动态二维码。通过这个应用,你可以: 1. **添加文字信息**:在二维码中嵌入一段深情的告白或者...

    到梦空间自动报名脚本

    【到梦空间自动报名脚本】是一个利用Python编程语言编写的程序,它的主要功能是帮助用户自动在到梦空间平台上进行活动报名。到梦空间是一个为大学生提供实践、学习和交流机会的平台,通常会有各种活动需要用户手动...

    Dash for Mac 2.0.2 文档查看神器 破解版

    这个分享是Dash的破解,可以自行在App Store下载最新版本的Dash,然后将Dash.app/Contents/MacOS/Dash这个Unix可执行文件用下载的这个文件替换掉。然后再启动程序就会发现已经破解了。10.9.2,Dash2.0.2亲测有效!!...

    抖音幸运福袋机V2.0.1全开源解密版 口红机旁边的新网红 幸运福袋机

    源码描述: 抖音幸运福袋,年底又一吸金奶牛,口红机旁边的新网红,幸运福袋机! 1.成功裂变功能“等级三级分销”,新增公众号分销功能,后台可以关闭开启分销,可以自定义设置分销的层数(一级分销,二级分销,三级...

    Visual Studio Code.app.zip

    微软良心之作——Visual Studio Code 开源免费跨平台代码编辑器   在 Build 2015 大会上,微软除了发布了 Microsoft Edge 浏览器和新的 Windows 10 预览版外...下面,让我们来看一看Visual Studio Code 这个神器吧~

    安卓系统上的Terminal 终端模神器 支持各种软件包 2024最新版

    "安卓系统上的Terminal终端模神器 支持各种软件包 2024最新版"标题所指的是Termux的最新版本,提供了一个强大的平台,用户可以在这里安装和使用各种Linux工具。 Termux的核心特性包括: 1. **多会话支持**:你可以...

    基于HC05制作智能蓝牙防丢定位器(详细制作教程+安卓app工程源码)

    在本项目中,我们将深入探讨如何使用HC05蓝牙模块制作一个智能蓝牙防丢定位器。这个设备可以与智能手机配对,以便在物品丢失时帮助找回。以下是对整个过程的详细解析,包括硬件选择、软件开发和实际应用。 **一、 ...

    wxpython安装包

    10. **版本更新**:尽管这里提供的版本是2.9.5.0,但wxPython已经发展到了更高级的版本,比如wxPython Phoenix,这个版本引入了许多新特性,优化了性能,改进了对Python 3的支持。 总之,wxPython是Python编程中的...

    frida hook的一些尝试

    这篇文章主要是通过自己写个app的demo,然后一步步的hook它。之后会有系列的文章介绍frida对其他app的应用。 知识准备 如何让app不走代理? 如何在子线程中更新ui Handler详解 环境 as android开发工具 pycharm 小米...

    leetcode-editor,在ide中做leetcode练习,支持leetcode.com和leetcode-cn.com,以满足练习的基本需求。理论上支持:intellij idea phpstorm webstorm pycharm rubymine appcode clion goland datagrip rider mps android studio.zip

    editor`正是这样一款神器,它允许你在IDE中直接进行LeetCode的题目练习,支持`leetcode.com`和`leetcode-cn.com`两个站点,涵盖了多种主流的IDE,包括IntelliJ IDEA、PHPStorm、WebStorm、PyCharm、RubyMine、App...

Global site tag (gtag.js) - Google Analytics