《前端算法系列》数组去重

关注

发布于: 2020 年 12 月 09 日

虽然算法在前端开发中很少会得以使用，但是了解常用的算法，熟悉各种算法的性能和优劣，将会让你在前端的道路上走的更远。
前言文中所有代码位于位于此代码仓库中，大家可以下载代码进行学习、推敲和改进。另，如果觉得这些用心推敲的代码对你有帮助的话，欢迎 star 一下代码仓库，众筹博主的小星星。
另外，本文中使用如下函数对代码进行性能测试：
module.exports = async function getFnRunTime(fn) {
    let startTime = Date.now(), endTime;
    let result = await fn();
    endTime = Date.now();
    console.log(`total time:${endTime-startTime}ms`,
                'test array\'length:' + len, 
                result.length
    );
}
复制代码
为了衡量性能，我们引入代码时间复杂度的概念，用大写O()来表现算法时间复杂度的记法，我们称之为大O记法。一般情况下，随着n的增大，T(n)增长最慢的算法为最优算法。
1.双重for循环去重如果有相同的值则跳过，不相同则push进数组
function distinct1(arr = testArr) {
    let result = [],
           len = arr && arr.length;
    for (let i=0; i< len; i++) {
        for (let j=i+1; j< len; j++) {
            if (arr[i] === arr[j]) {
                j = ++i;
            }
        }
        result.push(arr[i])
    }
    return result
}
复制代码
由于使用了双层for循环，根据代码可知时间复杂度为O(n^2),用测试函数测的19815条数据的去重时间为：7-8ms；
2.利用indexOf和forEach/for循环去重
function distinct2(arr = testArr) {
    let result = [];
    arr.forEach((v, i, array) => {
        array.indexOf(v, i+1) === -1 && result.push(v)
    });
    return result
}
复制代码
可以看到该方法的代码很简洁，时间复杂度为O(n),但是indexOf会进行额外的性能消耗，测试相同的数据耗时为：4-5ms
3.对象法通过利用对象建名的唯一性去去重
function distinct3(arr = testArr) {
    let result = [], resultObj = {}, len = arr.length;
    for(let i=0; i< len; i++) {
        let val = arr[i],
           type = typeof val;
        if(!resultObj[val]) {
            result.push(val);
            resultObj[val] = [type];
        } else if(!resultObj[val].indexOf(type) < 0) {
            result.push(val);
            resultObj[val] = [type];
        }
    }
    return result
}
复制代码
该方法很快，时间复杂度为O(n),但是由于会多创建一个对象，会带来额外的内存开销，尤其是数据量大的情景下，测试相同的数据耗时为：5ms
4.filter去重方法一利用filter和indexOf来查询
function distinct4(arr = testArr) {
    return arr.filter((v, i, array) => array.indexOf(v, i+1) < 0)
}
复制代码
该方法也很简洁，测试相同的数据耗时为：4-5ms，关键优化点是利用indexOf的第二个参数去避免不必要的查询。
5.filter去重方法二和方法4的区别是利用数组的索引的唯一性来去重
function distinct5(arr = testArr) {
    return arr.filter((v, i, array) => array.indexOf(v) === i)
}
复制代码
该方法同4，但是性能远不如方法4，因为数组每次调用indexOf都会重新查找整个数组，但这是必须要做的操作，否则就不能利用数组索引的唯一性了。耗时：16ms（小伙伴们都惊呆了）
6.利用es6的set方法
function distinct6(arr = testArr) {
    return [...new Set(arr)]
}
复制代码
此方法耗时1ms，但是局限性很大，针对相同类型的数据很快，但是不同类型的数据去重，将非常慢，这涉及到js相关的底层知识，这里就先不介绍了，后期需要的话可以专门上一篇文章介绍～
好啦，其实数组去重有很多种方法，只有你想不到的，没有实现不了的，如果你有更好更快的方法，欢迎一起交流探讨哦～
﻿
觉得有用 ？喜欢就收藏，顺便点个赞吧，你的支持是我最大的鼓励！微信搜 “趣谈前端”，发现更多有趣的H5游戏, webpack，node，gulp，css3，javascript，nodeJS，canvas数据可视化等前端知识和实战.
﻿

发布于: 2020 年 12 月 09 日阅读数: 20

原文链接:【http://xie.infoq.cn/article/2a66aae10a12ea4952f99194d】。文章转载请联系作者。

徐小夕

关注

前端架构师，致力于前端工程化，可视化 2020.08.08 加入

公众号《趣谈前端》.喜欢coding, 开源, 擅长领域react, vue, nodejs, 小程序, 小游戏, 热爱旅游, 健身, 微信Mr_xuxiaoxi

发布

暂无评论

创作场景

《前端算法系列》数组去重

前言

1.双重for循环去重

2.利用indexOf和forEach/for循环去重

3.对象法

4.filter去重方法一

5.filter去重方法二

6.利用es6的set方法

徐小夕

评论