Instruct learning/prompt learning
Reinforcement Learning from Human Feedback
Prompt Engineering from Microsoft
https://learn.microsoft.com/en-us/semantic-kernel/prompt-engineering/
https://zhuanlan.zhihu.com/p/605451419
实现对话模型的第一步就需要依赖SFT(Supervised FineTune),技术上是对GPT-3进行有监督的微调,本质目的是「对数据集进行优化」,用人类喜欢的答案作为训练数据,机器才能生成人类更喜欢的内容。
Supervised FineTune: 靠人工标注
RM:靠人工打分
Proximal Policy Optimization: SFT +RM
How to Train Really Large Models on Many GPUs
https://lilianweng.github.io/posts/2021-09-25-train-large/#:~:text=How%20to%20Train%20Really%20Large%20Models%20on%20Many,to%20push%20the%20limit%20of%20model%20size.%20
Training Parallelism:
Data Parallelism
Model Parallelism
Pipeline Parallelism
Tensor Parallelism:partition the computation for one tensor operation across multiple devices
State of GPT:大神Andrej揭秘OpenAI大模型原理和训练过程
https://mp.weixin.qq.com/s/zmEGzm1cdXupNoqZ65h7yg
超大语言模型LLM发展历程
https://zhuanlan.zhihu.com/p/612181615
GPT-2: 由transformer解码器块构建,并在非常大的文本语料库上进行训练,以预测段落中的下一个单词
T5: 用于回答问题、总结、翻译和分类
语料: 顾名思义就是我们平时所说的文本,带有文字描述性的文本都可以归类于语料
语料预处理方法: 主要包括数据清洗、分词、词性标注(每个词标注正确的词性,即确定每个词是名词、动词、形容词或其他词性的过程)、去停用词等。
数据标注
https://www.v7labs.com/blog/data-labeling-guide#what-is-data-labeling
https://docs.v7labs.com/docs
Conda Commands:
conda info -e: list all envs
conda create -n johnson --clone glm6b_ljz
conda remove -n johnson --all
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --show channels
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn
示例
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
proxy_servers:
https: http://proxy.huawei.com:8080
virtualenv:
1. pip install virtualenv(if not installed)
2. mkdir -p {virtualPath}
3. cd {virtualPath}
4. virtualenv {virtualName}
5. {virtualPath}/{virtualName}/Scripts/activate.bat
or {virtualPath}/{virtualName}/Scripts/deactivate.bat
Types of evaluations:
1. Metrics
A metric measures the performance of a model on a given dataset.
Examples of metrics include: Accuracy, Exact Match, Mean Intersection over union (IoUO)
2. Comparisons
3. Measurements
LangChain:
https://mp.weixin.qq.com/s/KrWM3cMywMvYUiawRZ94Gg
Build the prompt with RAG
https://learn.deeplearning.ai/building-applications-vector-databases/lesson/3/retrieval-augmented-generation-(rag)
Building Agentic RAG with LlamaIndex
https://www.deeplearning.ai/short-courses/building-agentic-rag-with-llamaindex/
building your own database agent
https://www.deeplearning.ai/short-courses/building-your-own-database-agent/
补充参考:
Pip package installing ways:
https://packaging.python.org/en/latest/tutorials/installing-packages/#installing-from-local-archives
CUDA与Pytorch适配版本列表:
https://blog.csdn.net/weixin_44842318/article/details/127492491
快速了解 OpenAI 的 fine-tune 和 Embedding 能力
https://zhuanlan.zhihu.com/p/609359047
python:
https://www.runoob.com/python3/python3-tutorial.html
分享到:
相关推荐
在本资源包“人工智能相关读物(AI_Related_Tutorials)”中,涵盖了人工智能领域的多个重要主题,包括人工智能程序设计语言、逻辑编程语言以及优化算法等。这些内容对于理解和研究人工智能有着至关重要的作用。以下...
"人工智能行业从CHAT-GPT到生成式AI(Generative AI):人工智能新范式,重新定义生产力" 本报告介绍了人工智能行业的最新发展趋势,从CHAT-GPT到生成式AI(Generative AI),探讨了人工智能新范式对生产力的重新...
美国尖端人工智能视频教程 人工智能AI课程视频教程 785集 英文带字幕.part1.rar 2G 美国尖端人工智能视频教程 人工智能AI课程视频教程 785集 英文带字幕.part2.rar 1.02G
人工智能概览 56 了解人工智能基本定义、发展历史、技术架构、落地挑战、发展趋势、华为全栈全场景AI解决方案 人工智能应用集成需求分析 31 了解人工智能应用开发需求分析过程 华为云EI-API服务介绍 124 掌握华为云...
### 中国人工智能 (AI)2024.各行业应用研究报告 #### 一、引言 随着科技的进步,人工智能(AI)技术在全球范围内迅速发展,成为推动经济社会变革的关键力量之一。在中国,人工智能不仅被视为国家战略的重要组成...
近几年,随着人工智能的迅速发展,人工智能对各行各业也产生...所以,今天专知小编给大家带来的是Google可解释人工智能白皮书《AI Explainability Whitepaper》,总共27页pdf,主要介绍谷歌的AI平台上的AI的可解释性。
标题中的“人工智能行业从CHAT-GPT到生成式AI(GenerativeAI):人工智能新范式,重新定义生产力”揭示了当前AI领域的热点话题,即从对话式AI模型如CHAT-GPT到更广泛的生成式AI技术的发展,以及这些技术对生产力的深远...
人工智能产品经理:AI时代PM修炼手册 本书旨在帮助读者成为合格的产品经理,掌握时代的产品研发和管理技能。在时代,人工智能技术的发展和应用对产品经理的要求也发生了深刻的变化。产品经理需要掌握人工智能技术的...
给大家分享一套课程——【完结31周】AI人工智能算法工程师
OpenAI 是一个非营利组织,致力于研究、开发和应用友善的人工智能技术。这个人工智能工具包,正如其名,提供了丰富的资源和库,使开发者能够探索、构建和部署AI模型。OpenAI 的核心目标是确保高级人工智能技术的利益...
人工智能——机器学习概述AI人工智能+区块链+物联网人工智能——机器学习概述AI人工智能+区块链+物联网人工智能——机器学习概述AI人工智能+区块链+物联网人工智能——机器学习概述AI人工智能+区块链+物联网人工智能...
【清华大学AI人工智能概论课程】全面涵盖了人工智能领域的基础知识和核心概念,旨在为学生提供一个全面了解AI的平台。课程从AI的起源和发展历程入手,详细讲述了AI从20世纪40年代至今的波折起伏,其中包括重要的里程...
这一章节介绍了人工智能的基本概念,包括人工智能的定义、分类(如弱AI与强AI)以及它在各个领域的应用。同时,会讨论AI系统的工作原理和组成,以便测试工程师理解如何进行有效的测试。 ### 2. AI质量特征 本章深入...
标题中的"AI人工智能:54份行业重磅报告汇总"表明这是一个关于人工智能领域的综合资源包,其中包含了54份重要的行业报告。这些报告通常由专业机构或权威专家编写,旨在深入剖析AI技术的发展趋势、市场状况、应用案例...
《HCIA-AI(人工智能)H13-311培训教材V3.0》是华为认证体系中针对人工智能领域的初级认证课程,旨在为学员提供全面的人工智能基础知识和技术实践。该培训教材涵盖了大量的理论知识和实践操作,帮助学员理解和掌握AI...
人工智能-从CHAT-GPT到生成式AI(Generative AI):人工智能新范式,重新定义生产力.rar
人工智能(Artificial Intelligence,简称AI)是现代科技领域的热门话题,它涉及计算机科学、机器学习、神经网络、自然语言处理等多个交叉学科。本资料旨在为人工智能初学者提供一个全面且深入的入门指引,帮助你...