写点什么

带你揭开神秘的 javascript AST 面纱之 AST 基础与功能

  • 2023-04-10
    北京
  • 本文字数:3979 字

    阅读完需:约 13 分钟

带你揭开神秘的javascript AST面纱之AST 基础与功能

作者:京东科技 周明亮

AST 基础与功能

在前端里面有一个很重要的概念,也是最原子化的内容,就是 AST ,几乎所有的框架,都是基于 AST 进行改造运行,比如:React / Vue /Taro 等等。 多端的运行使用,都离不开 AST 这个概念。


在大家理解相关原理和背景后,我们可以通过手写简单的编译器,简单实现一个 Javascript 的代码编译器,编译后在浏览器端正常运行。


创建数字小明,等于六加一。创建数字小亮,等于七减二。输出,小明乘小亮。
复制代码


通过实现一个自定义的编译器,我们发现我们自己也能写出很多新的框架。最终目标都是通过编译转换,翻译为浏览器识别的 Javascript + CSS + HTML。


没错!翻译翻译~



当然我们也可以以这个为基础,去实现跨端的框架,直接翻译为机器码,跑到各种硬件上。当然一个人肯定比较困难,你会遇到各种各样的问题需要解决,不过没关系,只要你有好的想法,拉上一群人,你就能实现。


大家记得点赞,评论,收藏,一键三连啊~

分析器

说到这个代码语义化操作前,我们先说说分析器,其实就是编译原理。当你写了一段代码,要想让机器知道,你写了啥。


那机器肯定是要开始扫描,扫描每一个关键词,每一个符号,我们将进行词法分析的程序或者函数叫作词法分析器(Lexical analyzer),通过它的扫描可以将字符序列转换为单词(Token)序列的过程。


扫描到了关键词,我们怎么才能把它按照规则,转换为机器认识的特定规则呢?比如你扫描到:


const a = 1
复制代码


机器怎么知道要创建一个 变量 a 并且等于 1 呢?


所以,这时候就引入一个概念:语法分析器(Syntactic analysis,Parser)。通过语法分析器,不断的调用词法分析器,进行语法检查、并构建由输入的单词组成的数据结构(一般是语法分析树、抽象语法树等层次化的数据结构)。


在 JS 的世界里,这个扫描后得到的数据结构抽象语法树 【AST】。可能很多人听过这个概念,但是具体没有深入了解。机缘巧合,刚好我需要用到这个玩意,今天就简单聊聊。

抽象语法树 AST

AST 是 Abstract Syntax Tree 的缩写,也就是:抽象语法树。在代码的世界里,它叫这个。在语言的世界里面,他叫语法分析树。


语言世界,举个栗子:


我写文章。
复制代码


语法分析树:


主语:我,人称代词。


谓语:写,动词。


宾语:文章,名词。


长一点的可能会有:主谓宾定状补。是不是发现好熟悉,想当年大家学语文和英语,那是一定要进行语法分析,方便你理解句子要表达的含义。


PS:对我来说,语法老难了!!!哈哈哈,大家是不是找到感觉了~


接下来我们讲讲代码里面的抽象语法树。


const me = "我"function write() {  console.log("文章")}
复制代码


那我们用来进行语法分析,能够得到什么内容了?这时候我们可以借助已有的工具,将他们进行分析,进行一个初级入门。


其实我们也可以完全自己进行分析,不过这样就不容易入门,定义的语法规则很多,如果只是看,很容易就被劝退了。而通过辅助工具,我们可以很快接受相关的概念。


常用的工具有很多,比如:Recast 、Babel、Acorn 等等


也可以使用在线 AST 解析:AST Explorer,左上角菜单可以切换到各种解析工具,并且支持各类编程语言的解析,强大好用,可以用来学习,帮助你理解 AST。



为了帮助大家理解,我们一点点的进行解析,并且去掉了部分属性,留下主干部分,完整的可以通过在线工具查看。【不同解析器,对于根节点或者部分属性稍有区别,但是本质是一样的。


{  "type": "Program",  "body": [    {      "type": "VariableDeclaration",      "declarations": [        {          "type": "VariableDeclarator",          "id": {            "type": "Identifier",            "name": "me"          },          "init": {            "type": "Literal",            "value": "我",            "raw": "\"我\""          }        }      ],      "kind": "const"    },    {      "type": "FunctionDeclaration",      "id": {        "type": "Identifier",        "name": "write"      },      "params": [],      "body": {        "type": "BlockStatement",        "body": [          {            "type": "ExpressionStatement",            "expression": {              "type": "CallExpression",              "callee": {                "type": "MemberExpression",                "object": {                  "type": "Identifier",                  "name": "console"                },                "property": {                  "type": "Identifier",                  "name": "log"                }              },              "arguments": [                {                  "type": "Literal",                  "value": "文章",                  "raw": "\"文章\""                }              ]            }          }        ]      }    }  ],  "sourceType": "module"}
复制代码


接下来,我们一个一个节点看,首先是第一个节点 Program


{  "type": "Program",  "body": [    {      "type": "VariableDeclaration",      "kind": "const"      ...    },    {      "type": "FunctionDeclaration",      "id": {        "type": "Identifier",        "name": "write"      },      ....    }  ],  "sourceType": "module"}
复制代码


Program 是代码程序的根节点,通过它进行节点一层一层的遍历操作。 上面我们看出它有两个节点,一个是变量声明节点,另外一个是函数声明节点。


如果我们再定义一个变量或者函数,这时候 body 就又会产生一个节点。我们要扫描代码文件时,我们就是基于 body 进行层层的节点扫描,直到把所有的节点扫描完成。


    {      "type": "VariableDeclaration",      "declarations": [        {          "type": "VariableDeclarator",          "id": {            "type": "Identifier",            "name": "me"          },          "init": {            "type": "Literal",            "value": "我",            "raw": "\"我\""          }        }      ],      "kind": "const"    },
复制代码


上面对应的代码,就是 const me = "我",这个节点告诉我们。 声明一个变量,使用类型是:VariableDeclaration, 他的唯一标识名是:me,初始化值:"我"。


后续的函数分析,也是一样的。


{      "type": "FunctionDeclaration",      "id": {        "type": "Identifier",        "name": "write"      },      "params": [],      "body": {        "type": "BlockStatement",        "body": [          {            "type": "ExpressionStatement",            "expression": {              "type": "CallExpression",              "callee": {                "type": "MemberExpression",                "object": {                  "type": "Identifier",                  "name": "console"                },                "property": {                  "type": "Identifier",                  "name": "log"                },              },              "arguments": [                {                  "type": "Literal",                  "value": "文章",                  "raw": "\"文章\""                }              ],            }          }        ]      }    }
复制代码


这个节点,清楚的告诉我们,这个函数名是什么,他里面有哪些内容,入参是什么,调用了什么函数对象。


我们发现,通过语法分析器的解析,我们可以把代码,变成一个对象。这个对象将代码分割为原子化的内容,很容易能够帮助机器或者我们去理解它的组成。


这个就是分析器的作用,我们不再是一大段一大段的看代码逻辑,而是一小段一小段的看节点。


有了这个我们可以干什么呢?

AST 在 JS 中的用途

1. 自定义语法分析器,写一个新的框架。

通过对现有的 AST 理解,我们可以依葫芦画瓢,写出自定义的语法分析器,转成自定义的抽象语法树,再进行解析转为浏览器可识别的 Javascript 语言,或者其他硬件上能识别的语言。


比如:React / Vue 等等框架。其实这些框架,就是自定义了一套语法分析器,用他们特定的语言,进行转换,翻译翻译,生成相关的 DOM 节点,操作函数等等 JS 函数。

2. 利用已有语法分析器,实现多端运行。

通过已有的 AST,我们将代码进行翻译翻译,实现跨平台多端运行。我们将得到代码进行语法解析,通过遍历所有的节点,我们将他们进行改造,使得它能够运行在其他的平台上。


比如:Taro / uni-app 等等框架。我们只要写一次代码,框架通过分析转换,就可以运行到 H5 / 小程序等等相关的客户端。

3. 进行代码改造,预编译增强处理。

依旧是通过已有的 AST,我们将代码进行分析。再进行代码混淆,代码模块化处理,自动进行模块引入,低版本兼容处理。


比如:Webpack / Vite 等等打包工具。我们写完代码,通过他们的处理,进行增强编译,增强代码的健壮性。

AST 的应用实践

我们在进行框架的改造或者适配时,我们可能才会用到这个。常规的方法,可能有两种:


  • 按照特定的写法,通过正则表达式,直接进行大段代码替换。

  • /** mingliang start */consta=1/** mingliang end */


如,我们找到这段代码注释,直接通过 code.replace(/mingliang/g, 'xxxx')类似这种方式替换。


  • 通过引入运行,改造相关的变量,再重新写入。


// a.jscost config = { a: 1 }return config
复制代码


我们可能先 let config = require(a.js)运行这个文件,我们就得到了这个 config 这个变量值。


之后我们改写变量 config.a = 2,


最后,重新通过 fs.writeSync('a.js', 'return ' + JSON.stringify(config, null, 2))写入。


现在,我们就可以掌握新的方法,进行代码改造。

发布于: 刚刚阅读数: 2
用户头像

拥抱技术,与开发者携手创造未来! 2018-11-20 加入

我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者,提供技术干货、行业技术内容、技术落地实践等文章内容。京东云开发者社区官方网站【https://developer.jdcloud.com/】,欢迎大家来玩

评论

发布
暂无评论
带你揭开神秘的javascript AST面纱之AST 基础与功能_JavaScript_京东科技开发者_InfoQ写作社区