文章列表
微调
#阿尔法 "learning_rate": 3e-5, #学习率衰减 "weight_decay": 0.1,// "weight_decay": 0.01, "clip_grad": 2, "batch_size": 30, "epoch_num": 1, "min_epoch_num": 1, "patience": 0.02, "pati ...
https://zhuanlan.zhihu.com/p/46997268
NLP突破性成果 BERT 模型详细解读
章鱼小丸子
不懂算法的产品经理不是好的程序员
关注她
82 人赞了该文章
Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，提到的B ...
ipykernel_launcher.py: error: unrecognized arguments: -f /Users/apple/Library/Jupyter/runtime/kernel
当在jupyter下使用parser.parse_args()出错则改换为parser.parse_known_args()[0]其效用是差不多的，至于为什么出现错误，我也不知道…
期望的公式扩展
一阶矩就是期望值，换句话说就是平均数(离散随机变量很好理解，连续的可以类比一下)。举例：xy坐标系中，x取大于零的整数，y1, y2, ...,yn 对应x=1, 2,..., n的值，现在我要对y求期望，就是所有y累加除以n，也就是y的均值。
此时y的均值我可以在坐标系中画一条线，我会发现所有的点都在这条线的两边。如果是中心矩我就会用每个值减去均值z=yn-y均作为一个新的序列z1, z2, ..., zn，再对z求期望，这时我会发现均值为零(即在坐标轴y上)。一阶矩只有一阶非中心矩，因为一阶中心矩永远等于零。
二阶(非中心)矩就是对变量的平方求期望，二阶中心矩就是对 ...
在命令行中使用python时，python支持在其后面添加可选参数。
python命令的可选参数有很多，例如：使用可选参数h可以查询python的帮助信息；
可选参数m
下面我们来说说python命令的另一个可选参数m
首先我们可以使用 python -h来看看python自带的帮助信息是怎么描述m的
1 ➜ ~ python -h
2 usage: python [option] ... [-c cmd | -m mod | file | -] [arg] ...
3 Options and arguments (and corresponding environment v ...
import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
config = tf.ConfigProto(allow_soft_placement=True)config.gpu_options.per_process_gpu_memory_fraction =1 # 占用40%显存# sess = tf.Session(config=config)# with tf ...
概要 Torch Script中的核心数据结构是ScriptModule。 它是Torch的nn.Module的类似物，代表整个模型作为子模块树。 与普通模块一样，ScriptModule中的每个单独模块都可以包含子模块，参数和方法。 在nn.Modules中，方法是作为Python函 ...
pip 将 某包指定到某目录 安装：
pip install --target=d:\somewhere\other\than\the\default package_name
先上开源地址：
https://github.com/huggingface/pytorch-transformers#quick-tour
官网：
https://huggingface.co/pytorch-transformers/index.html
PyTorch-Transformers（正式名称为 pytorch-pretrained-bert）是一个用于自然语言处理（NLP）的最先进的预训练模型库。
该库目前包含下列模型的 PyTorch 实现、预训练模型权重、使用脚本和下列模型的转换工具：
BERT （来自 Google）：作者 Jacob Devlin、Ming- ...
目录
一 tf.contrib.layers中的具体函数介绍
1.tf.contrib.layers.conv2d()函数的定义如下：
2.tf.contrib.layers.max_pool2d()函数的定义如下：
3.tf.contrib.layers.avg_pool2d()函数定义
4.tf.contrib.layers.fully_connected()函数的定义如下：
二 改写cifar10分类
这一节，介绍TensorFlow中的一个封装好的高级库，里面有前面讲过的很多函数的高级封装，使用这个高级库来开发程序将会提高效率。
我们改写第十三节的程序，卷积函数我们使用t ...
pop()函数一般用来删除list列表的末尾元素，同样，kwargs.pop()用来删除关键字参数中的末尾元素，比如：kwargs = {'Michael': 95, 'Bob': 75, 'Tracy': 85}kwargs.pop()= {'Michael': 95, 'Bob': 75}
1. tf.nn.embedding_lookup(W, X) W的维度为[len(vocabulary_list), 128]， X的维度为[?, 8]，组合后的维度为[?, 8, 128]
代码说明一下：即根据每一行X中的一个数，从W中取出对应行的128个数据，比如X[1, 3]个数据是3062，即从W中的第3062行取出128个 ...
最近在研究学习TensorFlow，在做识别手写数字的demo时，遇到了tf.nn.conv2d这个方法，查阅了官网的API 发现讲得比较简略，还是没理解。google了一下，参考了网上一些朋友写得博客，结合自己的理解，差不多整明白了。
方法定义tf.nn.conv2d (input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)
参数：**input : ** 输入的要做卷积的图片，要求为一个张量，shape为 [ batch, in_height, in_weight, i ...
tf.variable_scope(name_or_scope,default_name=None,values=None,initializer=None,regularizer=None,caching_device=None,partitioner=None,custom_getter=None,reuse=None,dtype=None)
返回一个用于定义创建variable（层）的op的上下文管理器。
该上下文管理器验证（可选）值来自同一图形，确保图形是默认图形，并推送名称范围和variable范围。
如果name_or_scope不为None，则按原样使用。 如果范围为No ...