Cinchoo ETL——将巨大的JSON文件解析为流1.简介2. 要求3. 如何使用

63 阅读 0 评论 42 点赞

我是靠谱客的博主感性故事，最近开发中收集的这篇文章主要介绍Cinchoo ETL——将巨大的JSON文件解析为流1.简介2. 要求3. 如何使用，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1.简介

2. 要求

3. 如何使用

3.1 样本数据

3.2 快速解析

3.3 使用POCO对象

下载 Cinchoo ETL 源码
下载 Cinchoo ETL 二进制文件
工作示例 1（.NET Fiddle）
工作示例 2 (.NET Fiddle)

1.简介

ChoETL是一个用于.NET的开源ETL（提取、转换和加载）框架。它是一个基于代码的库，用于在.NET环境中从多个来源提取数据、转换并加载到您自己的数据仓库中。您可以立即在数据仓库中获取数据。

本文讨论使用Cinchoo ETL框架解析非常大的JSON文件。使用非常简单，几行代码就可以完成解析。您可以将大文件解析为基于流的、非常快且内存占用少的文件。

2. 要求

该框架库是使用.NET 4.5/.NET Core 3.x框架用C#编写的。

3. 如何使用

3.1 样本数据

让我们从查看下面的JSON输入文件开始。假设文件非常大（100+MB），包含相同的对象。目标是一次从流中读取一个对象。这将消除将数据的全部内容作为对象加载到RAM中的需要。

清单 3.1.1 示例JSON数据输入文件(sample.json)

[
{
"id": 1,
"value": "hello",
"another_value": "world",
"value_obj": {
"name": "obj1"
},
"value_list": [
1,
2,
3
]
},
{
"id": 2,
"value": "foo",
"another_value": "bar",
"value_obj": {
"name": "obj2"
},
"value_list": [
4,
5,
6
]
}
]

首先要做的是安装ChoETL.JSON/ChoETL.JSON.NETStandard nuget包。为此，请在包管理器控制台中运行以下命令。

.NET Framework

Install-Package ChoETL.JSON

.NET Core

Install-Package ChoETL.JSON.NETStandard

现在将ChoETL命名空间添加到程序中：

using ChoETL;

3.2 快速解析

这种方法展示了如何用少量代码解析大型JSON文件。不需要设置/POCO类。

清单 3.2.1 快速JSON到YAML文件转换

private static void QuickParse()
{
using (var r = new ChoJSONReader("sample.json"))
{
foreach (var rec in r)
Console.WriteLine(rec.Dump());
}
}

创建一个用于加载json(sample.yaml)文件的ChoJSONReader实例。Cinchoo ETL库一次解析json文件一项并将它们作为流生成。

Fiddle示例：https ://dotnetfiddle.net/PQz3ck

3.3 使用POCO对象

这种方法向您展示了如何定义POCO实体类并将它们用于解析过程。这种方法更安全，并且可以更好地控制转换过程，例如进行属性验证、使用回调机制等。

首先，创建属性匹配JSON文件的类：

清单 3.3.1 映射类

public class SampleObject
{
[JsonProperty("id")]
public int Id { get; set; }
[JsonProperty("value")]
public string Value { get; set; }
[JsonProperty("another_value")]
public string AnotherValue { get; set; }
[JsonProperty("value_obj")]
public ValueObject ValueObject { get; set; }
[JsonProperty("value_list")]
public int[] ValueList { get; set; }
}
public class ValueObject
{
[JsonProperty("name")]
public string Name { get; set; }
}

然后如下使用它们来解析文件。

清单 3.3.2 使用POCO对象解析JSON文件

private static void UsingPOCO()
{
using (var r = new ChoJSONReader<SampleObject>("sample.json"))
{
foreach (var rec in r)
Console.WriteLine(rec.Dump());
}
}

Fiddle示例：https ://dotnetfiddle.net/7gN02f

https://www.codeproject.com/Tips/5315195/Cinchoo-ETL-Parsing-Huge-JSON-File-as-Stream