`

Data ETL tools for hadoop ecosystem Morphlines

 
阅读更多

 

when i use

there is a error

java.lang.NoClassDefFoundError: org/kitesdk/morphline/api/MorphlineCompilationException
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:190)
	at org.apache.flume.sink.solr.morphline.MorphlineSink.start(MorphlineSink.java:93)
	at org.apache.flume.sink.DefaultSinkProcessor.start(DefaultSinkProcessor.java:46)
	at org.apache.flume.SinkRunner.start(SinkRunner.java:79)
	at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
	at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)

 

solution:

* clone flume from git 
* cd flume 
* edit flume-ng-sinks/flume-ng-morphline-solr-sink/pom.xml, in there do the following: 

** make cdk-morphlines-all required by commenting out this blurb: <optional>true</optional> 
** add the following mvn blurb to the <build> element in order to copy the dependency jars into the target/lib dir: 

      <plugin> 
        <groupId>org.apache.maven.plugins</groupId> 
        <artifactId>maven-dependency-plugin</artifactId> 
        <executions> 
          <execution> 
            <phase>package</phase> 
            <goals> 
              <goal>copy-dependencies</goal> 
            </goals> 
            <configuration> 
              <outputDirectory>${project.build.directory}/lib</outputDirectory> 
              <includeScope>runtime</includeScope> <!-- excludes test jars; see http://jira.codehaus.org/browse/MDEP-128 --> 
              <excludeScope>provided</excludeScope> 
            </configuration> 
          </execution> 
        </executions> 
      </plugin> 

* mvn -Dhadoop.profile=2 clean package -pl flume-ng-sinks/flume-ng-morphline-solr-sink 

* find flume-ng-sinks/flume-ng-morphline-solr-sink/target -name '*.jar' 

* copy the jars printed out by the above find command into the flume lib dir 

 

 

see : https://groups.google.com/a/cloudera.org/forum/#!msg/cdk-dev/7T4pTebdWN4/sBHGkoS70LkJ

 

---------

solr server's version is 4.10.1

 

error



 

 solution:

find solr's lib

ls /home/tomcat/solr/WEB-INF/lib/
antlr-runtime-3.5.jar                hadoop-hdfs-2.2.0.jar                  lexicon                               lucene-suggest-4.10.1.jar
asm-4.1.jar                          hppc-0.5.2.jar                         log4j-1.2.16.jar                      mahout-collections-1.0.jar
asm-commons-4.1.jar                  httpclient-4.3.1.jar                   lucene-analyzers-common-4.10.1.jar    mahout-math-0.6.jar
attributes-binder-1.2.2.jar          httpcore-4.3.jar                       lucene-analyzers-kuromoji-4.10.1.jar  noggit-0.5.jar
carrot2-core-3.10.0-SNAPSHOT.jar     httpmime-4.3.1.jar                     lucene-analyzers-phonetic-4.10.1.jar  org.restlet-2.1.1.jar
commons-cli-1.2.jar                  inok-solr-dataimportscheduler-1.1.jar  lucene-analyzers-smartcn-4.10.1.jar   org.restlet.ext.servlet-2.1.1.jar
commons-codec-1.9.jar                jackson-core-asl-1.9.13.jar            lucene-codecs-4.10.1.jar              protobuf-java-2.5.0.jar
commons-configuration-1.6.jar        jackson-mapper-asl-1.9.13.jar          lucene-core-4.10.1.jar                simple-xml-2.7.jar
commons-fileupload-1.2.1.jar         jcl-over-slf4j-1.6.6.jar               lucene-expressions-4.10.1.jar         slf4j-api-1.6.6.jar
commons-io-2.3.jar                   jcseg-analyzer-1.9.5.jar               lucene-grouping-4.10.1.jar            slf4j-log4j12-1.6.6.jar
commons-lang-2.6.jar                 jcseg-core-1.9.5.jar                   lucene-highlighter-4.10.1.jar         solr-core-4.10.1.jar
concurrentlinkedhashmap-lru-1.2.jar  jcseg-core-1.9.5.jar.old               lucene-join-4.10.1.jar                solr-solrj-4.10.1.jar
dom4j-1.6.1.jar                      jcseg.properties                       lucene-memory-4.10.1.jar              spatial4j-0.4.1.jar
guava-14.0.1.jar                     jcseg-solr-1.9.5.jar                   lucene-misc-4.10.1.jar                wstx-asl-3.2.7.jar
hadoop-annotations-2.2.0.jar         jcseg-solr-1.9.5.jar.old               lucene-queries-4.10.1.jar             zookeeper-3.4.6.jar
hadoop-auth-2.2.0.jar                joda-time-2.2.jar                      lucene-queryparser-4.10.1.jar
hadoop-common-2.2.0.jar              jul-to-slf4j-1.6.6.jar                 lucene-spatial-4.10.1.jar

 

#cp  /home/tomcat/solr/WEB-INF/lib/lucene-*-4.10.1.jar   /root/aflume/lib/

#cp /home/tomcat/solr/WEB-INF/lib/solr-*-4.10.1.jar    /root/aflume/lib/

#cp /home/tomcat/solr/WEB-INF/lib/http*-4.3.1.jar   /root/aflume/lib/

 

delete old related jars in /root/aflume/lib/  such as lucene-*-4.3.0.jar  solr-*-4.3.0.jar   http*-4.2.1.jar

 

-------

when run

#flume-ng agent -c ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n a1

 

flume/conf/flume.conf

# Define a memory channel called ch1 on agent1
a1.channels.ch1.type = memory

# Define an Avro source called avro-source1 on agent1 and tell it
# to bind to 0.0.0.0:41414. Connect it to channel ch1.
a1.sources.mysqlbinlog.channels = ch1
a1.sources.mysqlbinlog.type = com.inoknok.mysqlbinlog.source.InokMysqlBinlogSource
a1.sources.mysqlbinlog.user=zhaohj
a1.sources.mysqlbinlog.password=zhaohj111
a1.sources.mysqlbinlog.host=192.168.0.135
a1.sources.mysqlbinlog.port=3306
a1.sources.mysqlbinlog.serverId=2
a1.sources.mysqlbinlog.autoReconnect=false


# Define a logger sink that simply logs all events it receives
# and connect it to the other end of the same channel.
a1.sinks.k1.channel = ch1
a1.sinks.k1.type = org.apache.flume.sink.solr.morphline.MorphlineSolrSink
a1.sinks.k1.morphlineFile = /root/aflume/conf/morphline.conf

# Finally, now that we've defined all of our components, tell
# agent1 which ones we want to activate.
a1.channels = ch1
a1.sources = mysqlbinlog
a1.sinks = k1

 

flume/conf/morphile.conf

morphlines : [
    {
        id : morphline1
        importCommands : ["org.kitesdk.**", "com.cloudera.**", "org.apache.solr.**"]

        commands : [
          {
             readClob {
              charset : UTF-8
             }
          }

          {

             split {
                inputField : message
                outputFields : ["", "", "",user_id, username, age]
                separator : "\u0001"
                isRegex : false
                addEmptyStrings : false
                trim : true
             }
          }

          {
              sanitizeUnknownSolrFields {
                 solrLocator : {
                        solrUrl : "192.168.10.204:8983"
                        solrHomeDir : "/home/tomcat/solrHome/test.inok_user"
                        #collection : "@${tablename}"
                        #zkHost: "192.168.10.204:8983"
                 }
              }
          }
          {
             logDebug {
                format : "xxxxxxxxx   xxxxxx My output record: {}"
                args : ["@{}"]
             }
          }


            # load the record into a Solr server or MapReduce Reducer
          {
             loadSolr {
                solrLocator : {
                        solrUrl : "192.168.10.204:8983"
                        solrHomeDir : "/home/tomcat/solrHome/test.inok_user"
                   #collection : "@${tablename}"       # Name of solr collection
                   #zkHost : "192.168.10.204:8983" # ZooKeeper ensemble
                }
             }
          }

        ]
    }
]

 

 

error:



 

Solution:

 

        solrUrl : "http://192.168.10.204:8983/test.inok_user"
        solrHomeDir : "/home/tomcat/solrHome/test.inok_user"

 

----------

Morphline - Choose collection for loadSolr at run time

 https://groups.google.com/a/cloudera.org/forum/#!topic/search-user/z9A_Xe5FviM

 http://kitesdk.org/docs/current/morphlines/morphlines-reference-guide.html#Implementing_your_own_Custom_Command

Use case: I want to dynaic set solrLocator at run time, but faild. The replacement way is to use tryRule command, but the solrLocator must be setted hardcode.

 

morphlines : [
    {
        id : morphline1
        importCommands : ["org.kitesdk.**", "com.cloudera.**", "org.apache.solr.**"]

        commands : [
          {
             readClob {
              charset : UTF-8
             }
          }


         {
              tryRules {
              catchExceptions : false
              throwExceptionIfAllRulesFailed : true
            rules : [
            {
              //test.inok_user
              commands : [
                {contains {tablename : [test.inok_user]} }
                {logDebug { format : "YYYYYYYYY 1111 My output record: {}, talbename={}",args : ["@{}","@{tablename}"]} }
                {split {inputField : message, outputFields : [updatetime,"","",user_id, username, age],separator : "\u0001",
                        isRegex : false,addEmptyStrings : false, trim : true} }
                {convertTimestamp {
                        field : updatetime
                        inputFormats : ["unixTimeInMillis"]
                        inputTimezone : UTC
                        outputFormat : "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"
                        outputTimezone : PRC
                        }
                }
                {sanitizeUnknownSolrFields {
                            solrLocator : {
                                solrUrl :"http://192.168.10.204:8983/test.inok_user/"
                                solrHomeDir : "/home/tomcat/solrHome/test.inok_user"
                             }
                         }}
                {logDebug { format : "xxxxxxxxx 1111 My output record: {}, talbename={}",args : ["@{}","@{tablename}"]}  }
                 # load the record into a Solr server or MapReduce Reducer
                {loadSolr { solrLocator : {
                                    solrUrl : "http://192.168.10.204:8983/test.inok_user"
                                    solrHomeDir : "/home/tomcat/solrHome/test.inok_user"
                                    batchSize : 1
                             }  }  }
                ]
            }//end rule1
            #test.inoktest
            {
              //test.inoktest
              commands : [
                {contains {tablename : [test.inoktest]} }
                {logDebug {format : "YYYYYYYYY 2222 My output record: {}, talbename={}",args : ["@{}","@{tablename}"] } }
                {split {inputField : message, outputFields : [updatetime,"","",id, content],separator : "\u0001",
                        isRegex : false,addEmptyStrings : false, trim : true} }
                {convertTimestamp {
                        field : updatetime
                        inputFormats : ["unixTimeInMillis"]
                        inputTimezone : UTC
                        outputFormat : "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"
                        outputTimezone : PRC
                        }
                }
                {sanitizeUnknownSolrFields {solrLocator : {
                                              solrUrl :"http://192.168.10.204:8983/test.inoktest/"
                                              solrHomeDir : "/home/tomcat/solrHome/test.inoktest"
                                              }
                                           }}
                {logDebug { format : "xxxxxxxxx 2222 My output record: {}, talbename={}",args : ["@{}","@{tablename}"]} }
                 # load the record into a Solr server or MapReduce Reducer
                {loadSolr { solrLocator : {
                                    solrUrl : "http://192.168.10.204:8983/test.inoktest"
                                    solrHomeDir : "/home/tomcat/solrHome/test.inoktest"
                                    batchSize : 1
                             }
                           } }
             ]
            }//end rule2

        ]
       }//end rules

     }

  ]
 }
]

 

--------------------

when I configure avro source in agent a while an avro sink in agent b in different hosts.

flume.conf in host a

# Define a memory channel called ch1 on agent1
a1.channels.ch1.type = memory

# Define an Avro source called avro-source1 on agent1 and tell it
# to bind to 0.0.0.0:41414. Connect it to channel ch1.
a1.sources.mysqlbinlog.channels = ch1
a1.sources.mysqlbinlog.type = com.inoknok.mysqlbinlog.source.InokMysqlBinlogSource
a1.sources.mysqlbinlog.user=zhaohj
a1.sources.mysqlbinlog.password=zhaohj111
a1.sources.mysqlbinlog.host=192.168.0.135
a1.sources.mysqlbinlog.port=3306
a1.sources.mysqlbinlog.serverId=2
a1.sources.mysqlbinlog.autoReconnect=false


#sink to solr
a1.sinks.k1.channel = ch1
a1.sinks.k1.type = org.apache.flume.sink.solr.morphline.MorphlineSolrSink
a1.sinks.k1.morphlineFile = /root/aflume/conf/morphline.conf


#sink to avro
a1.sinks.k3.type = avro
a1.sinks.k3.channel = ch1
a1.sinks.k3.hostname = 192.168.0.135
a1.sinks.k3.port = 4545


# Finally, now that we've defined all of our components, tell
# agent1 which ones we want to activate.
a1.channels = ch1
a1.sources = mysqlbinlog
a1.sinks =  k3

 

 

flume.conf in host b

# Define a memory channel called ch1 on agent1
a1.channels.ch1.type = memory

#source avro
a1.sources.s1.channels = ch1
a1.sources.s1.type = avro
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 4545

#sink to hdfs
a1.sinks.k1.channel = ch1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /user/flume/mysqlbinlog/%{tablename}
a1.sinks.k1.hdfs.filePrefix = %{tablename}-
a1.sinks.k1.hdfs.round = false
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.batchSize = 100
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.useLocalTimeStamp = true


# Finally, now that we've defined all of our components, tell
# agent1 which ones we want to activate.
a1.channels = ch1
a1.sources = s1
a1.sinks = k1

 

There is a error



 

 

 

--------------------

1. install    flume in the same machine with solr

2. add zookeeper-3.4.6.jar to flume/lib dir

3. put plugin in plugins.d dir

plugins.d/
└── mysqlbinlog
    ├── lib
    │   └── mysqlbinlog-sources.jar
    └── libext
        └── open-replicator-1.0.7.jar

 

4. set mysql to master/salve replication set and start up master and slave mysql daemons

5. start up solr

6. test by use command

flume-ng agent -c ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n a1

 

 

 

 

 

 

 

 

 

References

http://flume.apache.org/FlumeUserGuide.html#morphlinesolrsink

http://cloudera.github.io/cdk/docs/current/cdk-morphlines/index.html

http://cloudera.github.io/cdk/docs/current/cdk-morphlines/morphlinesReferenceGuide.html

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/search_flume_morphline_solr_sink_config_options.html

http://www.slideshare.net/cloudera/using-morphlines-for-onthefly-etl

http://kitesdk.org/docs/current/morphlines/morphlines-reference-guide.html#Implementing_your_own_Custom_Command

http://kitesdk.org/docs/current/morphlines/morphlines-reference-guide.html

  • 大小: 62.4 KB
  • 大小: 178.5 KB
  • 大小: 195 KB
分享到:
评论

相关推荐

    Big Data Made Easy - A Working Guide To The Complete Hadoop Toolset

    This chapter covers tools and techniques for moving data into and out of Hadoop clusters: - **Hadoop Commands**: Basic commands for managing files and directories in HDFS. - **Sqoop**: A tool for ...

    Modern Big Data Processing with Hadoop

     · Get an in-depth view of the Apache Hadoop ecosystem and an overview of the architectural patterns pertaining to the popular Big Data platform  · Conquer different data processing and analytics ...

    基于模糊故障树的工业控制系统可靠性分析与Python实现

    内容概要:本文探讨了模糊故障树(FFTA)在工业控制系统可靠性分析中的应用,解决了传统故障树方法无法处理不确定数据的问题。文中介绍了模糊数的基本概念和实现方式,如三角模糊数和梯形模糊数,并展示了如何用Python实现模糊与门、或门运算以及系统故障率的计算。此外,还详细讲解了最小割集的查找方法、单元重要度的计算,并通过实例说明了这些方法的实际应用场景。最后,讨论了模糊运算在处理语言变量方面的优势,强调了在可靠性分析中处理模糊性和优化计算效率的重要性。 适合人群:从事工业控制系统设计、维护的技术人员,以及对模糊数学和可靠性分析感兴趣的科研人员。 使用场景及目标:适用于需要评估复杂系统可靠性的场合,特别是在面对不确定数据时,能够提供更准确的风险评估。目标是帮助工程师更好地理解和预测系统故障,从而制定有效的预防措施。 其他说明:文中提供的代码片段和方法可用于初步方案验证和技术探索,但在实际工程项目中还需进一步优化和完善。

    风力发电领域双馈风力发电机(DFIG)Simulink模型的构建与电流电压波形分析

    内容概要:本文详细探讨了双馈风力发电机(DFIG)在Simulink环境下的建模方法及其在不同风速条件下的电流与电压波形特征。首先介绍了DFIG的基本原理,即定子直接接入电网,转子通过双向变流器连接电网的特点。接着阐述了Simulink模型的具体搭建步骤,包括风力机模型、传动系统模型、DFIG本体模型和变流器模型的建立。文中强调了变流器控制算法的重要性,特别是在应对风速变化时,通过实时调整转子侧的电压和电流,确保电流和电压波形的良好特性。此外,文章还讨论了模型中的关键技术和挑战,如转子电流环控制策略、低电压穿越性能、直流母线电压脉动等问题,并提供了具体的解决方案和技术细节。最终,通过对故障工况的仿真测试,验证了所建模型的有效性和优越性。 适用人群:从事风力发电研究的技术人员、高校相关专业师生、对电力电子控制系统感兴趣的工程技术人员。 使用场景及目标:适用于希望深入了解DFIG工作原理、掌握Simulink建模技能的研究人员;旨在帮助读者理解DFIG在不同风速条件下的动态响应机制,为优化风力发电系统的控制策略提供理论依据和技术支持。 其他说明:文章不仅提供了详细的理论解释,还附有大量Matlab/Simulink代码片段,便于读者进行实践操作。同时,针对一些常见问题给出了实用的调试技巧,有助于提高仿真的准确性和可靠性。

    基于西门子S7-200 PLC和组态王的八层电梯控制系统设计与实现

    内容概要:本文详细介绍了基于西门子S7-200 PLC和组态王软件构建的八层电梯控制系统。首先阐述了系统的硬件配置,包括PLC的IO分配策略,如输入输出信号的具体分配及其重要性。接着深入探讨了梯形图编程逻辑,涵盖外呼信号处理、轿厢运动控制以及楼层判断等关键环节。随后讲解了组态王的画面设计,包括动画效果的实现方法,如楼层按钮绑定、轿厢移动动画和门开合效果等。最后分享了一些调试经验和注意事项,如模拟困人场景、防抖逻辑、接线艺术等。 适合人群:从事自动化控制领域的工程师和技术人员,尤其是对PLC编程和组态软件有一定基础的人群。 使用场景及目标:适用于需要设计和实施小型电梯控制系统的工程项目。主要目标是帮助读者掌握PLC编程技巧、组态画面设计方法以及系统联调经验,从而提高项目的成功率。 其他说明:文中提供了详细的代码片段和调试技巧,有助于读者更好地理解和应用相关知识点。此外,还强调了安全性和可靠性方面的考量,如急停按钮的正确接入和硬件互锁设计等。

    CarSim与Simulink联合仿真:基于MPC模型预测控制实现智能超车换道

    内容概要:本文介绍了如何将CarSim的动力学模型与Simulink的智能算法相结合,利用模型预测控制(MPC)实现车辆的智能超车换道。主要内容包括MPC控制器的设计、路径规划算法、联合仿真的配置要点以及实际应用效果。文中提供了详细的代码片段和技术细节,如权重矩阵设置、路径跟踪目标函数、安全超车条件判断等。此外,还强调了仿真过程中需要注意的关键参数配置,如仿真步长、插值设置等,以确保系统的稳定性和准确性。 适合人群:从事自动驾驶研究的技术人员、汽车工程领域的研究人员、对联合仿真感兴趣的开发者。 使用场景及目标:适用于需要进行自动驾驶车辆行为模拟的研究机构和企业,旨在提高超车换道的安全性和效率,为自动驾驶技术研发提供理论支持和技术验证。 其他说明:随包提供的案例文件已调好所有参数,可以直接导入并运行,帮助用户快速上手。文中提到的具体参数和配置方法对于初学者非常友好,能够显著降低入门门槛。

    基于单片机的鱼缸监测设计(51+1602+AD0809+18B20+UART+JKx2)#0107

    包括:源程序工程文件、Proteus仿真工程文件、论文材料、配套技术手册等 1、采用51单片机作为主控; 2、采用AD0809(仿真0808)检测"PH、氨、亚硝酸盐、硝酸盐"模拟传感; 3、采用DS18B20检测温度; 4、采用1602液晶显示检测值; 5、检测值同时串口上传,调试助手监看; 6、亦可通过串口指令对加热器、制氧机进行控制;

    风电领域双馈永磁风电机组并网仿真及短路故障分析与MPPT控制

    内容概要:本文详细介绍了双馈永磁风电机组并网仿真模型及其短路故障分析方法。首先构建了一个9MW风电场模型,由6台1.5MW双馈风机构成,通过升压变压器连接到120kV电网。文中探讨了风速模块的设计,包括渐变风、阵风和随疾风的组合形式,并提供了相应的Python和MATLAB代码示例。接着讨论了双闭环控制策略,即功率外环和电流内环的具体实现细节,以及MPPT控制用于最大化风能捕获的方法。此外,还涉及了短路故障模块的建模,包括三相电压电流特性和离散模型与phasor模型的应用。最后,强调了永磁同步机并网模型的特点和注意事项。 适合人群:从事风电领域研究的技术人员、高校相关专业师生、对风电并网仿真感兴趣的工程技术人员。 使用场景及目标:适用于风电场并网仿真研究,帮助研究人员理解和优化风电机组在不同风速条件下的性能表现,特别是在短路故障情况下的应对措施。目标是提高风电系统的稳定性和可靠性。 其他说明:文中提供的代码片段和具体参数设置有助于读者快速上手并进行实验验证。同时提醒了一些常见的错误和需要注意的地方,如离散化步长的选择、初始位置对齐等。

    空手道训练测试系统BLE106版本

    适用于空手道训练和测试场景

    【音乐创作领域AI提示词】AI音乐提示词(deepseek,豆包,kimi,chatGPT,扣子空间,manus,AI训练师)

    内容概要:本文介绍了金牌音乐作词大师的角色设定、背景经历、偏好特点、创作目标、技能优势以及工作流程。金牌音乐作词大师凭借深厚的音乐文化底蕴和丰富的创作经验,能够为不同风格的音乐创作歌词,擅长将传统文化元素与现代流行文化相结合,创作出既富有情感又触动人心的歌词。在创作过程中,会严格遵守社会主义核心价值观,尊重用户需求,提供专业修改建议,确保歌词内容健康向上。; 适合人群:有歌词创作需求的音乐爱好者、歌手或音乐制作人。; 使用场景及目标:①为特定主题或情感创作歌词,如爱情、励志等;②融合传统与现代文化元素创作独特风格的歌词;③对已有歌词进行润色和优化。; 阅读建议:阅读时可以重点关注作词大师的创作偏好、技能优势以及工作流程,有助于更好地理解如何创作出高质量的歌词。同时,在提出创作需求时,尽量详细描述自己的情感背景和期望,以便获得更贴合心意的作品。

    linux之用户管理教程.md

    linux之用户管理教程.md

    基于单片机的搬运机器人设计(51+1602+L298+BZ+KEY6)#0096

    包括:源程序工程文件、Proteus仿真工程文件、配套技术手册等 1、采用51/52单片机作为主控芯片; 2、采用1602液晶显示设置及状态; 3、采用L298驱动两个电机,模拟机械臂动力、移动底盘动力; 3、首先按键配置-待搬运物块的高度和宽度(为0不能开始搬运); 4、按下启动键开始搬运,搬运流程如下: 机械臂先把物块抓取到机器车上, 机械臂减速 机器车带着物块前往目的地 机器车减速 机械臂把物块放下来 机械臂减速 机器车回到物块堆积处(此时机器车是空车) 机器车减速 蜂鸣器提醒 按下复位键,结束本次搬运

    基于下垂控制的三相逆变器电压电流双闭环仿真及MATLAB/Simulink/PLECS实现

    内容概要:本文详细介绍了基于下垂控制的三相逆变器电压电流双闭环控制的仿真方法及其在MATLAB/Simulink和PLECS中的具体实现。首先解释了下垂控制的基本原理,即有功调频和无功调压,并给出了相应的数学表达式。随后讨论了电压环和电流环的设计与参数整定,强调了两者带宽的差异以及PI控制器的参数选择。文中还提到了一些常见的调试技巧,如锁相环的响应速度、LC滤波器的谐振点处理、死区时间设置等。此外,作者分享了一些实用的经验,如避免过度滤波、合理设置采样周期和下垂系数等。最后,通过突加负载测试展示了系统的动态响应性能。 适合人群:从事电力电子、微电网研究的技术人员,尤其是有一定MATLAB/Simulink和PLECS使用经验的研发人员。 使用场景及目标:适用于希望深入了解三相逆变器下垂控制机制的研究人员和技术人员,旨在帮助他们掌握电压电流双闭环控制的具体实现方法,提高仿真的准确性和效率。 其他说明:本文不仅提供了详细的理论讲解,还结合了大量的实战经验和调试技巧,有助于读者更好地理解和应用相关技术。

    光伏并网逆变器全栈开发资料:硬件设计、控制算法及实战经验

    内容概要:本文详细介绍了光伏并网逆变器的全栈开发资料,涵盖了从硬件设计到控制算法的各个方面。首先,文章深入探讨了功率接口板的设计,包括IGBT缓冲电路、PCB布局以及EMI滤波器的具体参数和设计思路。接着,重点讲解了主控DSP板的核心控制算法,如MPPT算法的实现及其注意事项。此外,还详细描述了驱动扩展板的门极驱动电路设计,特别是光耦隔离和驱动电阻的选择。同时,文章提供了并联仿真的具体实现方法,展示了环流抑制策略的效果。最后,分享了许多宝贵的实战经验和调试技巧,如主变压器绕制、PWM输出滤波、电流探头使用等。 适合人群:从事电力电子、光伏系统设计的研发工程师和技术爱好者。 使用场景及目标:①帮助工程师理解和掌握光伏并网逆变器的硬件设计和控制算法;②提供详细的实战经验和调试技巧,提升产品的可靠性和性能;③适用于希望深入了解光伏并网逆变器全栈开发的技术人员。 其他说明:文中不仅提供了具体的电路设计和代码实现,还分享了许多宝贵的实际操作经验和常见问题的解决方案,有助于提高开发效率和产品质量。

    机器人轨迹规划中粒子群优化与3-5-3多项式结合的时间最优路径规划

    内容概要:本文详细介绍了粒子群优化(PSO)算法与3-5-3多项式相结合的方法,在机器人轨迹规划中的应用。首先解释了粒子群算法的基本原理及其在优化轨迹参数方面的作用,随后阐述了3-5-3多项式的数学模型,特别是如何利用不同阶次的多项式确保轨迹的平滑过渡并满足边界条件。文中还提供了具体的Python代码实现,展示了如何通过粒子群算法优化时间分配,使3-5-3多项式生成的轨迹达到时间最优。此外,作者分享了一些实践经验,如加入惩罚项以避免超速,以及使用随机扰动帮助粒子跳出局部最优。 适合人群:对机器人运动规划感兴趣的科研人员、工程师和技术爱好者,尤其是有一定编程基础并对优化算法有初步了解的人士。 使用场景及目标:适用于需要精确控制机器人运动的应用场合,如工业自动化生产线、无人机导航等。主要目标是在保证轨迹平滑的前提下,尽可能缩短运动时间,提高工作效率。 其他说明:文中不仅给出了理论讲解,还有详细的代码示例和调试技巧,便于读者理解和实践。同时强调了实际应用中需要注意的问题,如系统的建模精度和安全性考量。

    【KUKA 机器人资料】:kuka机器人压铸欧洲标准.pdf

    KUKA机器人相关资料

    光子晶体中BIC与OAM激发的模拟及三维Q值计算

    内容概要:本文详细探讨了光子晶体中的束缚态在连续谱中(BIC)及其与轨道角动量(OAM)激发的关系。首先介绍了光子晶体的基本概念和BIC的独特性质,随后展示了如何通过Python代码模拟二维光子晶体中的BIC,并解释了BIC在光学器件中的潜在应用。接着讨论了OAM激发与BIC之间的联系,特别是BIC如何增强OAM激发效率。文中还提供了使用有限差分时域(FDTD)方法计算OAM的具体步骤,并介绍了计算本征态和三维Q值的方法。此外,作者分享了一些实验中的有趣发现,如特定条件下BIC表现出OAM特征,以及不同参数设置对Q值的影响。 适合人群:对光子晶体、BIC和OAM感兴趣的科研人员和技术爱好者,尤其是从事微纳光子学研究的专业人士。 使用场景及目标:适用于希望通过代码模拟深入了解光子晶体中BIC和OAM激发机制的研究人员。目标是掌握BIC和OAM的基础理论,学会使用Python和其他工具进行模拟,并理解这些现象在实际应用中的潜力。 其他说明:文章不仅提供了详细的代码示例,还分享了许多实验心得和技巧,帮助读者避免常见错误,提高模拟精度。同时,强调了物理离散化方式对数值计算结果的重要影响。

    C#联合Halcon 17.12构建工业视觉项目的配置与应用

    内容概要:本文详细介绍了如何使用C#和Halcon 17.12构建一个功能全面的工业视觉项目。主要内容涵盖项目配置、Halcon脚本的选择与修改、相机调试、模板匹配、生产履历管理、历史图像保存以及与三菱FX5U PLC的以太网通讯。文中不仅提供了具体的代码示例,还讨论了实际项目中常见的挑战及其解决方案,如环境配置、相机控制、模板匹配参数调整、PLC通讯细节、生产数据管理和图像存储策略等。 适合人群:从事工业视觉领域的开发者和技术人员,尤其是那些希望深入了解C#与Halcon结合使用的专业人士。 使用场景及目标:适用于需要开发复杂视觉检测系统的工业应用场景,旨在提高检测精度、自动化程度和数据管理效率。具体目标包括但不限于:实现高效的视觉处理流程、确保相机与PLC的无缝协作、优化模板匹配算法、有效管理生产和检测数据。 其他说明:文中强调了框架整合的重要性,并提供了一些实用的技术提示,如避免不同版本之间的兼容性问题、处理实时图像流的最佳实践、确保线程安全的操作等。此外,还提到了一些常见错误及其规避方法,帮助开发者少走弯路。

Global site tag (gtag.js) - Google Analytics