提问者:小点点

Apache Nifi:我想摄取我的数据CSV到Elasticsearch,而不使用apache nifi将其流式传输到其他处理器


我试图设置一个简单的过程来修改我的CSV文件,并使用Apache Nifi将其摄取到elasticsearchDB。我不想在Stdout上流式传输我的CSV文件,同时将我的文件从一个处理器传递到另一个处理器。

我已经做了两个流。

我的第一个流程得到我的CSV文件使用GetFile处理器,使用ExecuteStreamCommand自定义它,我运行我的python脚本读取,修改和保存我的CSV文件本地。

我的第二个流程再次使用GetFile处理器读取修改后的CSV文件,并直接将其摄取到我的ElasticSearchDB。

现在,为了完成这个任务,我分别运行这两个流。

我可以将我的第一个流的ExecuteStreamCommand和我的第二个流的GetFile连接在一起,这样我就可以将它们作为一个单独的流一起运行。

是否有其他选项可以在不流式传输的情况下读取由ExecuteStreamCommand本地写入的文件??


共1个答案

匿名用户

ExecuteStreamCommand执行的命令的输出将被写入传输到“输出流”关系的流文件中。您应该能够将ExecuteStreamCommand“输出流”直接连接到PutElasticSearch。

相关问题