写点什么

「Go 工具箱」GoCSV 包:一个能将结构体和 csv 内容互转的工具

作者:Go学堂
  • 2023-03-13
    北京
  • 本文字数:3229 字

    阅读完需:约 11 分钟

「Go工具箱」GoCSV包:一个能将结构体和csv内容互转的工具

大家好,我是渔夫子。本号新推出「Go 工具箱」系列,意在给大家分享使用 go 语言编写的、实用的、好玩的工具。同时了解其底层的实现原理,以便更深入地了解 Go 语言。


大家在开发中一定遇到过将数据导出成 csv 格式文件的需求。go 标准库中的 csv 包是只能写入字符串类型的切片。而在 go 中一般都是将内容写入到结构体中。所以,若使用标准的 csv 包,就需要将结构体先转换成对应的字符串类型,再写入文件。那可不可以将结构体对象直接输出成 csv 格式内容呢?


今天给大家推荐的就是一个能将结构体和 csv 内容进行快速互转的工具包:gocsv

gocsv 小档案

gocsv 的基本功能

gocsv 包的最基本的作用就是能够方便的将 csv 内容转换到对应的结构体上,或者将结构体的内容快速的转换成 csv 格式(包括写入文件)。


gocsv.UnmarshalFile 函数:csv 内容转成结构体

假设文件中的内容如下:


client_id,client_name,client_age1,Jose,422,Daniel,263,Vincent,32
复制代码


然后从文件中读取出内容,并直接转换到结构体 Client 上,如下:


package main
import ( "fmt" "os"
"github.com/gocarina/gocsv")
type NotUsed struct { Name string}
type Client struct { // Our example struct, you can use "-" to ignore a field Id string `csv:"client_id"` Name string `csv:"client_name"` Age string `csv:"client_age"` NotUsedString string `csv:"-"` NotUsedStruct NotUsed `csv:"-"` }
func main() { clientsFile, err := os.OpenFile("clients.csv", os.O_RDWR|os.O_CREATE, os.ModePerm) if err != nil { panic(err) } defer clientsFile.Close()
clients := []*Client{}
if err := gocsv.UnmarshalFile(clientsFile, &clients); err != nil { // Load clients from file panic(err) } for _, client := range clients { fmt.Println("Hello", client.Name) }}
复制代码

gocsv.MarshalFile 函数:结构体转成 csv 文件

package main
import ( "fmt" "os"
"github.com/gocarina/gocsv")
type NotUsed struct { Name string}
type Client struct { // Our example struct, you can use "-" to ignore a field Id string `csv:"client_id"` Name string `csv:"client_name"` Age string `csv:"client_age"` NotUsedString string `csv:"-"` NotUsedStruct NotUsed `csv:"-"` }
func main() { clientsFile, err := os.OpenFile("clients.csv", os.O_RDWR|os.O_CREATE, os.ModePerm) if err != nil { panic(err) } defer clientsFile.Close()
clients := []*Client{}
clients = append(clients, &Client{Id: "12", Name: "John", Age: "21"}) // Add clients clients = append(clients, &Client{Id: "13", Name: "Fred"}) clients = append(clients, &Client{Id: "14", Name: "James", Age: "32"}) clients = append(clients, &Client{Id: "15", Name: "Danny"}) err = gocsv.MarshalFile(&clients, clientsFile) // Use this to save the CSV back to the file if err != nil { panic(err) }
}
复制代码

自定义类型转换器

gocsv 包还可以给自定义的结构体类型定义 csv 和结构体的互转函数。只要自定义的类型实现如下接口即可:


type TypeMarshaller interface {  MarshalCSV() (string, error)}
// TypeUnmarshaller is implemented by any value that has an UnmarshalCSV method// This converter is used to convert a string to your value representation of that stringtype TypeUnmarshaller interface { UnmarshalCSV(string) error}
复制代码


或者将结构体转换成 csv 字符串时,需要实现如下接口:


// MarshalText encodes the receiver into UTF-8-encoded text and returns the result.type TextMarshaler interface {  MarshalText() (text []byte, err error)}
type TextUnmarshaler interface { UnmarshalText(text []byte) error}
复制代码


例如,我们定义了一个结构体 DateTime,里面有一个 time.Time 类型的属性。并且 DateTime 类型实现了 TypeMarshaller 接口的 MarshalCSV 函数和 TypeUnmarshaller 接口的 UnmarshalCSV 函数。如下:


type DateTime struct {  time.Time}
// Convert the internal date as CSV stringfunc (date *DateTime) MarshalCSV() (string, error) { return date.Time.Format("20060201"), nil}
// You could also use the standard Stringer interface func (date *DateTime) String() (string) { return date.String() // Redundant, just for example}
// Convert the CSV string as internal datefunc (date *DateTime) UnmarshalCSV(csv string) (err error) { date.Time, err = time.Parse("20060201", csv) return err}
type Client struct { // Our example struct with a custom type (DateTime) Id string `csv:"id"` Name string `csv:"name"` Employed DateTime `csv:"employed"`}
func main() {
client := []Client{ { Id: "001", Name: "Go学堂", Employed: DateTime{time.Now()}, }, }
csvContent, _ := gocsv.MarshalString(client) fmt.Println("csv:", csvContent) //输出内容是 001,Go学堂,20231003}
复制代码


当我们运行上述代码,最终的输出内容是:


001,Go学堂,20231003
复制代码


最后的日期就是按 DateTime 的 MarshalCSV 函数格式输出的。

自定义 CSV 的 Reader/Writer

在开头处我们提到,csv 文件中的分隔符默认是逗号。但也可以是其他字符。这就要求我们在读取或写入之前指定好内容的分隔号。那么就可以通过自定义的 Reader/Writer 来覆盖默认的 Reader/Writer 的选项。如下:


  • 指定读取内容的分割符是 "|"


gocsv.SetCSVReader(func(in io.Reader) gocsv.CSVReader {    r := csv.NewReader(in)  r.Comma = '|'    return r // Allows use pipe as delimiter})
复制代码


  • 指定写入的内容是用 分割符 "|" 进行分割的


gocsv.SetCSVWriter(func(out io.Writer) *gocsv.SafeCSVWriter {  writer := csv.NewWriter(out)    writer.Comma = '|'    return gocsv.NewSafeCSVWriter(writer)})
复制代码

gocsv 包的特点总结

1、结构体切片和 csv 内容互转。能够将结构体切片(或数组)直接输出成 csv 内容或输出到文件。反之亦然。


2、csv 标签。其转换过程是通过结构体上的“csv”标签进行关联的。


3、csv 标签对应 csv 内容表头。当结构体和 csv 格式互转时,结构体中的 csv 标签对应的就是 csv 表格的表头,结构体中的字段顺序对应的就是 csv 文件列的顺序。


4、底层依然是使用标准库中的 csv。在写入 csv 文件时,底层实际上用的还是 go 标准库中的 encoding/csv/Writer 结构体的 Write(row []string)方法。


5、自动将结构体字段的类型转换成字符串:大家看到标准 csv 包中的 Write 方法的入参是 string 类型的切片,而在要转换的结构体上的字段可以是各种类型。这里就是 gocsv 包中的一个特点:可以将字段中的非 string 类型转换成 string 类型,最终写入到 csv 文件中。


6、可自定义类型转换器。可以通过实现 TypeMarshaller 接口或 TypeUnMarshaller 接口对自定义类型的内容按对应的格式输出成 csv 内容。


7、可自定义 CSV 的 Reader/Writer 来覆盖默认参数。比如 csv 格式的内容默认使用逗号分隔内容。通过该功能我们可以指定使用其他分隔符的 csv 内容。比如使用"|"或";"等。


这里需要注意的是 将 csv 文件的内容一定是解析到结构体类型的切片数组中。同样,也只有是结构体类型的切片数组才能直接写入到 csv 文件中。


以上,就是今天我们要分享的工具包。如需了解更多内容,请关注「Go 学堂」。


---特别推荐---


特别推荐:一个专注 go 项目实战、项目中踩坑经验及避坑指南、各种好玩的 go 工具的公众号,「Go 学堂」,专注实用性,非常值得大家关注。点击下方公众号卡片,直接关注。关注送《100 个 go 常见的错误》pdf 文档。

发布于: 刚刚阅读数: 5
用户头像

Go学堂

关注

微信公众号:Go学堂 2019-08-06 加入

专注Go编程知识、案例、常见错误及原理分析。意在通过阅读更多优秀的代码,提高编程技能。同名公众号「Go学堂」期待你的关注

评论

发布
暂无评论
「Go工具箱」GoCSV包:一个能将结构体和csv内容互转的工具_Go_Go学堂_InfoQ写作社区