JavaScript 是一种流行的高级编程语言,它被世界上的绝大多数网站所使用,也被所有主流浏览器所支持。随着深度学习的火热,越来越多开发者开始探索使用 JavaScript 实现人工智能与机器学习算法。近日,来自德国的 Robin Wieruch 发布了一系列使用 JavaScript 构建机器学习的教程,本文将主要介绍使用 JavaScript 实现神经网络的方法。
JavaScript 是一种流行的高级编程语言,它被世界上的绝大多数网站所使用,也被所有主流浏览器所支持。随着深度学习的火热,越来越多开发者开始探索使用 JavaScript 实现人工智能与机器学习算法。近日,来自德国的 Robin Wieruch 发布了一系列使用 JavaScript 构建机器学习的教程,本文将主要介绍使用 JavaScript 实现神经网络的方法。
有网友对此表示:「我本想写一篇激烈的反驳文,其中阐述如果没有 GPU 的支持,这种做法是毫无意义的……但它可以使用 WebGL 来应用 GPU 的能力。而且,这可能比你在本地桌面上安装 TensorFlow 堆栈要简单一万倍。」
近期,原作者发表了一系列有关在 JavaScript 上实现人工智能和机器学习算法的文章,其中包括:
- 线性回归和梯度下降:https://www.robinwieruch.de/linear-regression-gradient-descent-javascript/
- 正规方程线性回归:https://www.robinwieruch.de/multivariate-linear-regression-normal-equation-javascript/
- 逻辑回归和梯度下降:https://www.robinwieruch.de/logistic-regression-gradient-descent-classification-javascript/
这些机器学习算法的实现是基于 math.js 库的线性代数(如矩阵运算)和微分的,你可以在 GitHub 上找到所有这些算法:
GitHub 链接:https://github.com/javascript-machine-learning
如果你发现其中存在任何缺陷,欢迎对这个资源提出自己的改进,以帮助后来者。我希望不断为 web 开发者们提供更多、更丰富的机器学习算法。
就我个人来说,我发现实现这些算法在某种程度上是一个非常具有挑战性的任务。特别是当你需要在 JavaScript 上实现神经网络的前向和反向传播的时候。由于我自己也在学习神经网络的知识,我开始寻找适用于这种工作的库。希望在不久的将来,我们能够轻松地在 GitHub 上找到相关的基础实现。然而现在,以我使用 JavaScript 的阅历,我选择了谷歌发布的 deeplearn.js 来进行此项工作。在本文中,我将分享使用 deeplearn.js 和 JavaScript 实现神经网络从而解决现实世界问题的方式——在 web 环境上。
首先,我强烈推荐读者先学习一下深度学习著名学者吴恩达的《机器学习》课程。本文不会详细解释机器学习算法,只会展示它在 JavaScript 上的用法。另一方面,该系列课程在算法的细节和解释上有着令人惊叹的高质量。在写这篇文章之前,我自己也学习了相关课程,并试图用 JavaScript 实现来内化课程中的相关知识。
神经网络的目的是什么?
本文实现的神经网络需要通过选择与背景颜色相关的适当字体颜色来改善网页可访问性。比如,深蓝色背景中的字体应该是白色,而浅黄色背景中的字体应该是黑色。你也许会想:首先你为什么需要一个神经网络来完成任务?通过编程的方式根据背景颜色计算可使用的字体颜色并不难,不是吗?我很快在 Stack Overflow 找到了该问题的解决办法,并根据我的需求做了调整,以适应 RGB 空间中的颜色。
function getAccessibleColor(rgb) { let [ r, g, b ] = rgb; let colors = [r / 255, g / 255, b / 255]; let c = colors.map((col) => { if (col <= 0.03928) { return col / 12.92; } returnMath.pow((col + 0.055) / 1.055, 2.4); }); let L = (0.2126 * c[0]) + (0.7152 * c[1]) + (0.0722 * c[2]); return (L > 0.179) ? [ 0, 0, 0 ] : [ 255, 255, 255 ]; }
当已经有一个编程的方法可以解决该问题的时候,使用神经网络对于该现实世界问题价值并不大,没有必要使用一个机器训练的算法。然而,由于可通过编程解决这一问题,所以验证神经网络的性能也变得很简单,这也许能够解决我们的问题。查看该 GitHub 库(https://github.com/javascript-machine-learning/color-accessibility-neural-network-deeplearnjs)中的动图,了解它最终表现如何,以及本教程中你将构建什么。如果你熟悉机器学习,也许你已经注意到这个任务是一个分类问题。算法应根据输入(背景颜色)决定二进制输出(字体颜色:白色或黑色)。在使用神经网络训练算法的过程中,最终会根据输入的背景颜色输出正确的字体颜色。
下文将从头开始指导你设置神经网络的所有部分,并由你决定把文件/文件夹设置中的部分合在一起。但是你可以整合以前引用的 GitHub 库以获取实现细节。
JavaScript 中的数据集生成
机器学习中的训练集由输入数据点和输出数据点(标签)组成。它被用来训练为训练集(例如测试集)之外的新输入数据点预测输出的算法。在训练阶段,由神经网络训练的算法调整其权重以预测输入数据点的给定标签。总之,已训练算法是一个以数据点作为输入并近似输出标签的函数。
该算法经过神经网络的训练后,可以为不属于训练集的新背景颜色输出字体颜色。因此,稍后你将使用测试集来验证训练算法的准确率。由于我们正在处理颜色,因此为神经网络生成输入颜色的样本数据集并不困难。
functiongenerateRandomRgbColors(m) { const rawInputs = []; for (let i = 0; i < m; i++) { rawInputs.push(generateRandomRgbColor()); } return rawInputs; } functiongenerateRandomRgbColor() { return [ randomIntFromInterval(0, 255), randomIntFromInterval(0, 255), randomIntFromInterval(0, 255), ]; } functionrandomIntFromInterval(min, max) { return Math.floor(Math.random() * (max - min + 1) + min); }
generateRandomRgbColors() 函数创建给定大小为 m 的部分数据集。数据集中的数据点是 RGB 颜色空间中的颜色。每种颜色在矩阵中被表征为一行,而每一列是颜色的特征。特征是 RGB 空间中的 R、G、B 编码值。数据集还没有任何标签,所以训练集并不完整,因为它只有输入值而没有输出值。
由于基于已知颜色生成可使用字体颜色的编程方法是已知的,因此可以使用调整后的功能版本以生成训练集(以及稍后的测试集)的标签。这些标签针对二分类问题进行了调整,并在 RGB 空间中隐含地反映了黑白的颜色。因此,对于黑色,标签是 [0,1];对于白色,标签是 [1,0]。
function getAccessibleColor(rgb) { let [ r, g, b ] = rgb; let color = [r / 255, g / 255, b / 255]; let c = color.map((col) => { if (col <= 0.03928) { return col / 12.92; } returnMath.pow((col + 0.055) / 1.055, 2.4); }); let L = (0.2126 * c[0]) + (0.7152 * c[1]) + (0.0722 * c[2]); return (L > 0.179) ? [ 0, 1 ] // black : [ 1, 0 ]; // white }
现在你已经准备好一切用于生成(背景)颜色的随机数据集(训练集、测试集),它被分类为黑色或白色(字体)颜色。
functiongenerateColorSet(m) { const rawInputs = generateRandomRgbColors(m); const rawTargets = rawInputs.map(getAccessibleColor); return { rawInputs, rawTargets }; }
使神经网络中底层算法更好的另一步操作是特征缩放。在特征缩放的简化版本中,你希望 RGB 通道的值在 0 和 1 之间。由于你知道最大值,因此可以简单地推导出每个颜色通道的归一化值。
functionnormalizeColor(rgb) { return rgb.map(v => v / 255); }
你可以把这个功能放在你的神经网络模型中,或者作为单独的效用函数。下一步我将把它放在神经网络模型中。
JavaScript 神经网络模型的设置阶段
现在你可以使用 JavaScript 实现一个神经网络了。在开始之前,你需要先安装 deeplearn.js 库:一个适合 JavaScript 神经网络的框架。官方宣传中说:「deeplearn.js 是一个开源库,将高效的机器学习构造块带到 web 中,允许在浏览器中训练神经网络或在推断模式下运行预训练模型。」本文,你将训练自己的模型,然后在推断模式中运行该模型。使用该库有两个主要优势:
- 首先,它使用本地电脑的 GPU 加速机器学习算法中的向量计算。这些机器学习计算与图解计算类似,因此使用 GPU 的计算比使用 CPU 更加高效。
- 其次,deeplearn.js 的结构与流行的 TensorFlow 库类似(TensorFlow 库也是谷歌开发的,不过它使用的是 Python 语言)。因此如果你想在使用 Python 的机器学习中实现飞跃,那么 deeplearn.js 可提供通向 JavaScript 各领域的捷径。
现在回到你的项目。如果你想用 npm 来设置,那么你只需要在命令行中安装 deeplearn.js。也可以查看 deeplearn.js 项目的官方安装说明文档。
npm install deeplearn
我没有构建过大量神经网络,因此我按照构建神经网络的一般实践进行操作。在 JavaScript 中,你可以使用 JavaScript ES6 class 来推进它。该类可以通过定义神经网络特性和类方法为你的神经网络提供完美的容器。例如,你的颜色归一化函数可以在类别中找到一个作为方法的点。
classColorAccessibilityModel{ normalizeColor(rgb) { return rgb.map(v => v / 255); } } export default ColorAccessibilityModel;
或许那也是你的函数生成数据集的地方。在我的案例中,我仅将类别归一化作为分类方法,让数据集生成独立于类别之外。你可以认为未来有不同的方法来生成数据集,不应该在神经网络模型中进行定义。不管怎样,这只是一个实现细节。
训练和推断阶段都在机器学习的涵盖性术语会话(session)之下。你可以在神经网络类别中设置会话。首先,你可以输入来自 deeplearn.js 的 NDArrayMathGPU 类别,帮助你以计算高效的方式在 GPU 上进行数学运算。
import { NDArrayMathGPU, } from 'deeplearn'; const math = new NDArrayMathGPU(); classColorAccessibilityModel{ ... } export default ColorAccessibilityModel;
第二,声明分类方法类设置会话。其函数签名使用训练集作为参数,成为从先前实现的函数中生成训练集的完美 consumer。第三步,会话初始化空的图。之后,图将反映神经网络的架构。你可以随意定义其特性。
import { Graph, NDArrayMathGPU, } from 'deeplearn'; classColorAccessibilityModel{ setupSession(trainingSet) { const graph = new Graph(); } .. } export default ColorAccessibilityModel;
第四步,你用张量的形式定义图中输入和输出数据点的形态。张量是具备不同维度的数组,它可以是向量、矩阵,或更高维度的矩阵。神经网络将这些张量作为输入和输出。在我们的案例中,有三个输入单元(每个颜色通道有一个输入单元)和两个输出单元(二分类,如黑白)。
classColorAccessibilityModel{ inputTensor; targetTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); } ... } export default ColorAccessibilityModel;
第五步,神经网络包含隐藏层。奇迹如何发生目前仍是黑箱。基本上,神经网络提出自己的交叉计算参数(在会话中经过训练)。不过,你可以随意定义隐藏层的维度(每个单元大小、层大小)。
classColorAccessibilityModel{ inputTensor; targetTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); let connectedLayer = this.createConnectedLayer(graph, this.inputTensor, 0, 64); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 1, 32); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 2, 16); } createConnectedLayer( graph, inputLayer, layerIndex, units, ) { ... } ... } export default ColorAccessibilityModel;
根据层的数量,你可以变更图来扩展出更多层。创建连接层的分类方法需要图、变异连接层(mutated connected layer)、新层的索引,以及单元数量。图的层属性可用于返回由名称确定的新张量。
classColorAccessibilityModel{ inputTensor; targetTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); let connectedLayer = this.createConnectedLayer(graph, this.inputTensor, 0, 64); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 1, 32); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 2, 16); } createConnectedLayer( graph, inputLayer, layerIndex, units, ) { return graph.layers.dense( `fully_connected_${layerIndex}`, inputLayer, units ); } ... } export default ColorAccessibilityModel;
神经网络中的每一个神经元必须具备一个定义好的激活函数。它可以是 logistic 激活函数。你或许已经从 logistic 回归中了解到它,它成为神经网络中的 logistic 单元。在我们的案例中,神经网络默认使用修正线性单元。
classColorAccessibilityModel{ inputTensor; targetTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); let connectedLayer = this.createConnectedLayer(graph, this.inputTensor, 0, 64); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 1, 32); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 2, 16); } createConnectedLayer( graph, inputLayer, layerIndex, units, activationFunction ) { return graph.layers.dense( `fully_connected_${layerIndex}`, inputLayer, units, activationFunction ? activationFunction : (x) => graph.relu(x) ); } ... } export default ColorAccessibilityModel;
第六步,创建输出二分类的层。它有两个输出单元,每一个表示一个离散的值(黑色、白色)。
classColorAccessibilityModel{ inputTensor; targetTensor; predictionTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); let connectedLayer = this.createConnectedLayer(graph, this.inputTensor, 0, 64); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 1, 32); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 2, 16); this.predictionTensor = this.createConnectedLayer(graph, connectedLayer, 3, 2); } ... } export default ColorAccessibilityModel;
第七步,声明一个代价张量(cost tensor),以定义损失函数。在这个案例中,代价张量是均方误差。它使用训练集的目标张量(标签)和训练算法得到的预测张量来计算代价。
classColorAccessibilityModel{ inputTensor; targetTensor; predictionTensor; costTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); let connectedLayer = this.createConnectedLayer(graph, this.inputTensor, 0, 64); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 1, 32); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 2, 16); this.predictionTensor = this.createConnectedLayer(graph, connectedLayer, 3, 2); this.costTensor = graph.meanSquaredCost(this.targetTensor, this.predictionTensor); } ... } export default ColorAccessibilityModel;
最后但并非不重要的一步,设置架构图的相关会话。之后,你就可以开始准备为训练阶段导入训练集了。
import { Graph, Session, NDArrayMathGPU, } from 'deeplearn'; classColorAccessibilityModel{ session; inputTensor; targetTensor; predictionTensor; costTensor; setupSession(trainingSet) { const graph = new Graph(); this.inputTensor = graph.placeholder('input RGB value', [3]); this.targetTensor = graph.placeholder('output classifier', [2]); let connectedLayer = this.createConnectedLayer(graph, this.inputTensor, 0, 64); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 1, 32); connectedLayer = this.createConnectedLayer(graph, connectedLayer, 2, 16); this.predictionTensor = this.createConnectedLayer(graph, connectedLayer, 3, 2); this.costTensor = graph.meanSquaredCost(this.targetTensor, this.predictionTensor); this.session = new Session(graph, math); this.prepareTrainingSet(trainingSet); } prepareTrainingSet(trainingSet) { ... } ... } export default ColorAccessibilityModel;
不过目前在准备神经网络的训练集之前,设置还没完成。首先,你可以在 GPU 数学计算环境中使用回调函数(callback function)来支持计算,但这并不是强制性的,可自主选择。
import { Graph, Session, NDArrayMathGPU, } from 'deeplearn'; const math = new NDArrayMathGPU(); classColorAccessibilityModel{ session; inputTensor; targetTensor; predictionTensor; costTensor; ... prepareTrainingSet(trainingSet) { math.scope(() => { ... }); } ... } exportdefault ColorAccessibilityModel;
其次,你可以解构训练集的输入和输出(标签,也称为目标)以将其转换成神经网络可读的格式。deeplearn.js 的数学计算使用内置的 NDArrays。你可以把它们理解为数组矩阵中的简单数组或向量。此外,输入数组的颜色被归一化以提高神经网络的性能。
import { Array1D, Graph, Session, NDArrayMathGPU, } from 'deeplearn'; const math = new NDArrayMathGPU(); classColorAccessibilityModel{ session; inputTensor; targetTensor; predictionTensor; costTensor; ... prepareTrainingSet(trainingSet) { math.scope(() => { const { rawInputs, rawTargets } = trainingSet; const inputArray = rawInputs.map(v => Array1D.new(this.normalizeColor(v))); const targetArray = rawTargets.map(v => Array1D.new(v)); }); } ... } exportdefault ColorAccessibilityModel;
第三,shuffle 输入和目标阵列。shuffle 的时候,deeplearn.js 提供的 shuffler 将二者保存在 sync 中。每次训练迭代都会出现 shuffle,以馈送不同的输入作为神经网络的 batch。整个 shuffle 流程可以改善训练算法,因为它更可能通过避免过拟合来实现泛化。
import { Array1D, InCPUMemoryShuffledInputProviderBuilder, Graph, Session, NDArrayMathGPU, } from 'deeplearn'; const math = new NDArrayMathGPU(); classColorAccessibilityModel{ session; inputTensor; targetTensor; predictionTensor; costTensor; ... prepareTrainingSet(trainingSet) { math.scope(() => { const { rawInputs, rawTargets } = trainingSet; const inputArray = rawInputs.map(v => Array1D.new(this.normalizeColor(v))); const targetArray = rawTargets.map(v => Array1D.new(v)); const shuffledInputProviderBuilder = new InCPUMemoryShuffledInputProviderBuilder([ inputArray, targetArray ]); const [ inputProvider, targetProvider, ] = shuffledInputProviderBuilder.getInputProviders(); }); } ... } exportdefault ColorAccessibilityModel;
最后,馈送条目(feed entries)是训练阶段中神经网络前馈算法的最终输入。它匹配数据和张量(根据设置阶段的形态而定义)。
import { Array1D, InCPUMemoryShuffledInputProviderBuilder Graph, Session, NDArrayMathGPU, } from 'deeplearn'; const math = new NDArrayMathGPU(); classColorAccessibilityModel{ session; inputTensor; targetTensor; predictionTensor; costTensor; feedEntries; ... prepareTrainingSet(trainingSet) { math.scope(() => { const { rawInputs, rawTargets } = trainingSet; const inputArray = rawInputs.map(v => Array1D.new(this.normalizeColor(v))); const targetArray = rawTargets.map(v => Array1D.new(v)); const shuffledInputProviderBuilder = new InCPUMemoryShuffledInputProviderBuilder([ inputArray, targetArray ]); const [ inputProvider, targetProvider, ] = shuffledInputProviderBuilder.getInputProviders(); this.feedEntries = [ { tensor: this.inputTensor, data: inputProvider }, { tensor: this.targetTensor, data: targetProvider }, ]; }); } ... } exportdefault ColorAccessibilityModel;
这样,神经网络的设置就结束了。神经网络的所有层和单元都实现了,训练集也准备好进行训练了。现在只需要添加两个配置神经网络行为的超参数,它们适用于下个阶段:训练阶段。
import { Array1D, InCPUMemoryShuffledInputProviderBuilder, Graph, Session, SGDOptimizer, NDArrayMathGPU, } from 'deeplearn'; const math = new NDArrayMathGPU(); classColorAccessibilityModel{ session; optimizer; batchSize = 300; initialLearningRate = 0.06; inputTensor; targetTensor; predictionTensor; costTensor; feedEntries; constructor() { this.optimizer = new SGDOptimizer(this.initialLearningRate); } ... } export default ColorAccessibilityModel;
第一个参数是学习速率(learning rate)。学习速率决定算法的收敛速度,以最小化成本。我们应该假定它的数值很高,但实际上不能太高了。否则梯度下降就不会收敛,因为找不到局部最优值。
第二个参数是批尺寸(batch size)。它定义每个 epoch(迭代)里有多少个训练集的数据点通过神经网络。一个 epoch 等于一批数据点的一次正向传播和一次反向传播。以批次的方式训练神经网络有两个好处:第一,这样可以防止密集计算,因为算法训练时使用了内存中的少量数据点;第二,这样可以让神经网络更快地进行批处理,因为每个 epoch 中权重会随着每个批次的数据点进行调整——而不是等到整个数据集训练完之后再进行改动。
训练阶段
设置阶段结束后就到了训练阶段了。不需要太多实现,因为所有的基础都已在设置阶段完成。首先,训练阶段可以用分类方法来定义。然后在 deeplearn.js 的数学环境中再次执行。此外,它还使用神经网络实例所有的预定义特性来训练算法。
class ColorAccessibilityModel {
... train() { math.scope(() => { this.session.train( this.costTensor, this.feedEntries, this.batchSize, this.optimizer ); }); } } exportdefault ColorAccessibilityModel;
训练方法是 1 个 epoch 的神经网络训练。因此,从外部调用时,调用必须是迭代的。此外,训练只需要 1 个 epoch。为了多批次训练算法,你必须将该训练方法进行多次迭代运行。
这就是基础的训练阶段。但是根据时间调整学习率可以改善训练。学习率最初很高,但是当算法在每一步过程中逐渐收敛时,学习率会出现下降趋势。
classColorAccessibilityModel{ ... train(step) { let learningRate = this.initialLearningRate * Math.pow(0.90, Math.floor(step / 50)); this.optimizer.setLearningRate(learningRate); math.scope(() => { this.session.train( this.costTensor, this.feedEntries, this.batchSize, this.optimizer ); } } } exportdefault ColorAccessibilityModel;
在我们的情况中,学习率每 50 步下降 10%。下面,我们需要获取训练阶段的损失,来验证它是否随着时间下降。损失可在每一次迭代时返回,不过这样会导致较低的计算效率。神经网络每次请求返回损失,就必须通过 GPU 才能实现返回请求。因此,我们在多次迭代后仅要求返回一次损失来验证其是否下降。如果没有请求返回损失,则训练的损失下降常量被定义为 NONE(之前默认设置)
import { Array1D, InCPUMemoryShuffledInputProviderBuilder, Graph, Session, SGDOptimizer, NDArrayMathGPU, CostReduction, } from 'deeplearn'; classColorAccessibilityModel{ ... train(step, computeCost) { let learningRate = this.initialLearningRate * Math.pow(0.90, Math.floor(step / 50)); this.optimizer.setLearningRate(learningRate); let costValue; math.scope(() => { const cost = this.session.train( this.costTensor, this.feedEntries, this.batchSize, this.optimizer, computeCost ? CostReduction.MEAN : CostReduction.NONE, ); if (computeCost) { costValue = cost.get(); } }); return costValue; } } exportdefault ColorAccessibilityModel;
最后,这就是训练阶段。现在仅需要在训练集上进行会话设置后从外部进行迭代执行。外部的执行取决于训练方法是否返回损失。
推断阶段
最后一个阶段是推断阶段,该阶段使用测试集来验证训练算法的性能。输入是背景颜色中的 RGB 颜色,输出是算法为字体颜色是黑是白进行的 [ 0, 1 ] 或 [ 1, 0 ] 分类预测。由于输入数据点经过归一化,因此不要忘记在这一步也对颜色进行归一化。
classColorAccessibilityModel{ ... predict(rgb) { let classifier = []; math.scope(() => { const mapping = [{ tensor: this.inputTensor, data: Array1D.new(this.normalizeColor(rgb)), }]; classifier = this.session.eval(this.predictionTensor, mapping).getValues(); }); return [ ...classifier ]; } } exportdefault ColorAccessibilityModel;
该方法在数学环境中再次运行性能关键部分,需要定义一个映射,该映射最终可作为会话评估的输入。记住,预测方法不是一定得在训练阶段后运行。它可以在训练阶段中使用,来输出测试集的验证。至此,神经网络已经经历了设置、训练和推断阶段。
在 JavaScript 中可视化学习神经网络
现在是时候使用神经网络进行训练和验证/测试了。简单的过程为建立一个神经网络,使用一个训练集运行训练阶段,代价函数取得最小值之后,使用一个测试集进行预测。所有的过程只需要使用网页浏览器上的开发者控制台的几个 console.log statements 就可以完成。然而,由于该神经网络是关于颜色预测的,并且 deeplearn.js 是在浏览器上运行,从而可以轻松地对神经网络的训练阶段和测试阶段进行可视化。
至此,你可以自主决定你运行中的神经网
相关推荐
内容概要:本文详细探讨了在Simulink环境中构建的风火水储联合调频系统中,储能系统的荷电状态(SOC)对区域控制偏差(ACE)的影响。文中通过具体案例和MATLAB代码展示了储能系统在不同SOC水平下的表现及其对系统稳定性的作用。同时,文章比较了储能单独调频与风火水储联合调频的效果,强调了储能系统在应对风电波动性和提高系统响应速度方面的重要作用。此外,作者提出了针对SOC变化率的参数整定方法以及多电源协同工作的优化策略,旨在减少ACE波动并确保系统稳定运行。 适合人群:从事电力系统调频研究的专业人士,尤其是熟悉Simulink仿真工具的研究人员和技术人员。 使用场景及目标:适用于希望深入了解储能系统在电力系统调频中作用的研究者和技术人员,目标是通过合理的SOC管理和多电源协同工作,优化调频效果,提高系统稳定性。 其他说明:文章提供了详细的MATLAB代码片段,帮助读者更好地理解和应用所讨论的概念。同时,文中提到的实际案例和仿真结果为理论分析提供了有力支持。
内容概要:本文深入探讨了欧姆龙PLC NJ系列中大型程序中结构化编程与面向对象编程的结合及其应用。首先介绍了结构化编程作为程序框架的基础,通过功能块(FB)实现清晰的程序结构和流程控制。接着阐述了面向对象编程的理念,将现实世界的对象映射到程序中,利用类的概念实现模块化和可扩展性。两者结合提高了程序的容错率,增强了程序的稳定性和可维护性。文中通过多个实际案例展示了如何在工业自动化领域中应用这两种编程方法,如电机控制、设备类的创建、异常处理机制、接口实现多态性、配方管理和报警处理等。 适合人群:从事工业自动化领域的工程师和技术人员,尤其是那些希望提升PLC编程技能的人群。 使用场景及目标:适用于需要优化PLC程序结构、提高程序可靠性和可维护性的场合。目标是帮助工程师掌握结构化编程和面向对象编程的技巧,从而写出更加高效、稳定的PLC程序。 其他说明:文章强调了在实际项目中灵活运用两种编程方法的重要性,并提醒读者注意实时性要求高的动作控制应采用结构化编程,而工艺逻辑和HMI交互则更适合面向对象编程。
matlab与聚类分析。根据我国历年职工人数(单位:万人),使用有序样品的fisher法聚类。
卡尔曼滤波生成航迹测量程序
内容概要:本文详细介绍了利用格子玻尔兹曼方法(LBM)对多孔电极浸润特性的模拟研究。首先阐述了LBM的基本原理,包括碰撞和迁移两个关键步骤,并提供了相应的Python伪代码。接着讨论了如何处理多孔介质中的固体边界,特别是通过随机算法生成孔隙结构以及结合CT扫描数据进行三维重构的方法。文中还探讨了表面张力、接触角等因素对浸润过程的影响,并给出了具体的数学表达式。此外,文章提到了并行计算的应用,如使用CUDA加速大规模网格计算,以提高模拟效率。最后,作者分享了一些实用技巧,如通过调整松弛时间和润湿性参数来优化模拟效果,并强调了LBM在处理复杂几何结构方面的优势。 适合人群:从事电池研发、材料科学领域的研究人员和技术人员,尤其是关注多孔电极浸润性和电解液扩散机制的人群。 使用场景及目标:适用于希望深入了解多孔电极内部流体动力学行为的研究者,旨在帮助他们更好地理解和预测电极材料的浸润特性,从而改进电池设计和性能。 其他说明:尽管LBM在处理多孔介质方面表现出色,但在某些极端条件下仍需引入额外的修正项。同时,参数的选择和边界条件的设定对最终结果有着重要影响,因此需要谨慎对待。
内容概要:本文详细介绍了在Zynq扩展口上使用FPGA和W5500实现TCP网络通信的过程。作者通过一系列实验和技术手段,解决了多个实际问题,最终实现了稳定的数据传输。主要内容包括:硬件搭建(SPI接口配置)、数据回环处理、压力测试及优化、多路复用扩展以及上位机测试脚本的编写。文中提供了大量Verilog代码片段,展示了如何通过状态机控制SPI通信、优化数据缓存管理、处理中断等问题。 适合人群:对FPGA开发和网络通信感兴趣的工程师,尤其是有一定Verilog编程基础的研发人员。 使用场景及目标:适用于需要在嵌入式系统中实现高效、稳定的TCP通信的应用场景。目标是帮助读者掌握FPGA与W5500结合进行网络通信的具体实现方法和技术细节。 其他说明:文章不仅提供了详细的代码实现,还分享了许多实践经验,如硬件连接注意事项、信号完整性问题的解决方案等。此外,作者还提到了未来的工作方向,如UDP组播和QoS优先级控制的实现。
python3.10以上 可安装pyside6(类似pyqt),具体安装操作步骤
内容概要:本文详细介绍了利用有限差分时域法(FDTD)进行可调谐石墨烯超材料吸收体的设计与仿真。文中解释了石墨烯超材料的基本结构(三层“三明治”结构)、关键参数(如化学势、周期、厚度等)及其对吸收性能的影响。同时展示了如何通过调整石墨烯的化学势来实现吸收峰的位置和强度的变化,以及如何优化结构参数以获得最佳的吸收效果。此外,还提供了具体的代码示例,帮助读者理解和重现相关实验结果。 适合人群:从事纳米光子学、超材料研究的专业人士,尤其是对石墨烯基超材料感兴趣的科研工作者和技术开发者。 使用场景及目标:适用于希望深入了解石墨烯超材料的工作原理及其潜在应用场景的研究人员;旨在探索新型可调谐光学器件的设计思路和发展方向。 其他说明:文中不仅分享了理论知识,还包括了许多实践经验,如避免常见错误、提高仿真相关效率的小技巧等。对于想要将研究成果应用于实际产品的团队来说,这些细节非常有价值。
随机生成2字,3字,4字,5字,6字,7字,8字,9字,10字的中文词组20个
内容概要:本文详细探讨了智能座舱域控设计的发展历程和技术趋势。首先介绍了智能座舱从被动式交互到主动式交互的技术演变,包括硬件和交互方式的进步。随后,文章重点讨论了智能座舱功能发展趋势,涵盖车载显示技术的多屏化、大屏化和高端化,以及SoC芯片的多核异构架构和算力融合,强调了其在智能座舱中的核心作用。此外,还阐述了电子电气架构从分布式向集成化的转型,分析了其面临的挑战和未来趋势。最后,基于当前智能座舱的发展需求,提出了一种基于双片龍鷹一号芯片的新域控平台设计方案,详细描述了其硬件设计实现方案,旨在提供高性能、高可靠性的智能座舱解决方案。 适合人群:汽车电子工程师、智能座舱研发人员及相关领域的技术人员。 使用场景及目标:①帮助读者理解智能座舱的技术发展历程及其未来发展方向;②为智能座舱域控平台的设计和开发提供参考和技术支持;③探讨电子电气架构的转型对汽车行业的影响及应对策略。 其他说明:文章结合实际案例和技术数据,深入浅出地解释了智能座舱的各项技术细节,不仅提供了理论指导,还具有较强的实践意义。通过对智能座舱域控平台的全面剖析,有助于推动智能座舱技术的创新发展,提升用户体验。
内容概要:本文详细介绍了多智能体协同编队控制的技术原理及其应用实例。首先通过生动形象的例子解释了编队控制的核心概念,如一致性算法、虚拟结构法和Leader-Follower模式。接着深入探讨了如何用Python实现基础的一致性控制,以及如何通过调整参数(如Kp、Ka)来优化编队效果。文中还讨论了实际工程中常见的问题,如通信延迟、避障策略和动态拓扑变化,并给出了相应的解决方案。最后,强调了参数调试的重要性,并分享了一些实用技巧,如预测补偿、力场融合算法和分布式控制策略。 适合人群:对多智能体系统、无人机编队控制感兴趣的科研人员、工程师和技术爱好者。 使用场景及目标:适用于希望深入了解多智能体协同编队控制理论并能够将其应用于实际项目的研究人员和开发者。目标是帮助读者掌握编队控制的关键技术和实现方法,提高系统的稳定性和可靠性。 其他说明:文章不仅提供了详细的理论讲解,还附有具体的代码示例,便于读者理解和实践。同时,作者结合自身经验分享了许多宝贵的调试技巧和注意事项,有助于读者在实际应用中少走弯路。
评估管线钢环焊缝质量及其对氢脆的敏感性.pptx
C盘清理bat脚本自动清理C盘垃圾文件
GBT21266-2007 辣椒及辣椒制品中辣椒素类物质测定及辣度表示方法
弹跳球 XNA 游戏项目。演示如何使用 C# 在 Visual Studio XNA 中构建类似 arkanoiddx-ball 的游戏。
内容概要:文章全面解析了宇树科技人形机器人的发展现状、技术实力、市场炒作现象及其应用前景和面临的挑战。宇树科技成立于2016年,凭借春晚舞台的惊艳亮相和社交媒体的热议迅速走红,其人形机器人具备先进的运动控制算法、传感器技术和仿生结构设计。然而,市场炒作现象如高价租赁、二手市场炒作和虚假宣传等影响了市场秩序。尽管存在炒作,人形机器人在工业、服务和家庭领域仍具广阔前景,但也面临技术升级、成本控制、安全性和政策监管等挑战。 适合人群:对机器人技术、人工智能以及科技发展趋势感兴趣的读者,包括科技爱好者、投资者和相关行业的从业者。 使用场景及目标:①帮助读者了解宇树科技人形机器人的技术特点和发展历程;②揭示市场炒作现象及其影响;③探讨人形机器人的应用前景和面临的挑战。 其他说明:文章强调了宇树科技人形机器人在技术上的突破和市场上的表现,同时也提醒读者关注市场炒作现象带来的风险,呼吁各方共同努力推动人形机器人产业健康发展。
msvcp140.dll丢失怎样修复
超透镜是一种将具有特殊电磁特性的纳米结构、按照一定方式进行排列的二维平面透镜,可实现对入射光振幅、相位、偏振等参量的灵活调控,在镜头模组、全息光学、AR/VR等方面具有重要应用,具有颠覆传统光学行业的潜力。 目前,超透镜解决方案的市场处于起步阶段,企业根据客户的具体需求和应用场景为其定制专用超透镜或超透镜产品。 根据QYResearch最新调研报告显示,预计2031年全球超透镜解决方案市场规模将达到29.26亿美元,未来几年年复合增长率CAGR为79.55%。 全球范围内,超透镜解决方案主要生产商包括Metalenz, Inc., Radiant Opto-Electronics (NIL Technology),迈塔兰斯、纳境科技、山河元景等,其中前五大厂商占有大约77.84%的市场份额。 目前,全球核心厂商主要分布在欧美和亚太地区。 就产品类型而言,目前红外超透镜解决方案是最主要的细分产品,占据大约96.76%的份额。 就产品类型而言,目前消费电子是最主要的需求来源,占据大约36.27%的份额。 主要驱动因素: 独特性能优势:超透镜解决方案具有更轻薄、成本更低、成像更好、更易集成、更高效及更易自由设计等优势。能以微米级厚度实现传统厘米级透镜功能,还可集多个光学元件功能于一身,大幅减小成像系统体积、重量,简化结构并优化性能。 技术创新推动:超透镜解决方案技术不断取得进步,设计技术和工艺水平持续提升,其性能和稳定性得以不断提高。制造工艺方面,电子束光刻等多种技术应用到超透镜解决方案生产中,推动超透镜解决方案向更高分辨率、更高产量、更大面积、更高性能的方向发展。 市场需求增长:消费电子、汽车电子、医疗、工业等众多领域快速发展,对高精度、高性能光学器件需求不断增加。如在手机摄像头中可缩小模组体积、提升成像分辨率和降低成本;在汽车电子领域能提高车载摄像头、激光雷达等传感器性能。
内容概要:本文详细介绍了基于MATLAB和优化工具Gurobi/Cplex实现的新能源并网电力市场调度模型。该模型通过IEEE30节点系统进行仿真,重点探讨了风电接入对传统火电调度的影响。文中展示了关键决策变量如机组启停状态、实时出力以及风电出力的定义方法,并深入解析了目标函数的设计,特别是总成本函数中燃料成本、启停成本、备用成本和弃风惩罚之间的权衡。此外,文章还讨论了直流潮流约束的作用,以及节点电价计算背后的经济学原理。最后,通过对不同情景的模拟实验,验证了模型的有效性和实用性。 适用人群:适用于从事电力系统研究、电力市场运营管理和新能源并网调度的专业人士和技术人员。 使用场景及目标:①帮助理解和掌握新能源并网对电力市场调度的具体影响;②为制定合理的电力市场规则和政策提供理论依据和技术支持;③指导实际电力系统的调度操作,提高系统运行效率和经济效益。 其他说明:文中提供的代码片段和具体实现细节有助于读者更好地理解模型的构造和求解过程。同时,强调了在实际应用中需要注意的问题,如弃风惩罚系数的选择、备用容量的配置等。
用Python开发的爬取二手车网站数据及其分析的程序,爬取的时候采用selenium驱动google浏览器进行数据的抓取,抓取的网页内容传入lxml模块的etree对象HTML方法通过xpath解析DOM树,不过二手车的关键数据比如二手车价格,汽车表显里程数字采用了字体文件加密。据的展示采用pyecharts,它是一个用于生成 Echarts 图表的类库。爬取的数据插入mysql数据库和分析数据读取mysql数据库表都是通过pymysql模块操作。