关于 Java 序列化你不知道的 5 件事

2022-10-08,,,

作者:topthink
www.topthink.com/topic/11361.html

您觉得自己懂 java 编程?事实上,大多数程序员对于 java 平台都是浅尝则止,只学习了足以完成手头上任务的知识而已。在本系列 中,ted neward 深入挖掘 java 平台的核心功能,揭示一些鲜为人知的事实,帮助您解决最棘手的编程挑战。

关于本系列

大约一年前,一个负责管理应用程序所有用户设置的开发人员,决定将用户设置存储在一个 hashtable中,然后将这个 hashtable 序列化到磁盘,以便持久化。当用户更改设置时,便重新将 hashtable 写到磁盘。

这是一个优雅的、开放式的设置系统,但是,当团队决定从 hashtable 迁移到 java collections 库中的hashmap 时,这个系统便面临崩溃。

hashtable 和 hashmap 在磁盘上的格式是不相同、不兼容的。除非对每个持久化的用户设置运行某种类型的数据转换实用程序(极其庞大的任务),否则以后似乎只能一直用hashtable 作为应用程序的存储格式。

团队感到陷入僵局,但这只是因为他们不知道关于 java 序列化的一个重要事实:java 序列化允许随着时间的推移而改变类型。当我向他们展示如何自动进行序列化替换后,他们终于按计划完成了向 hashmap 的转变。

本文是本系列的第一篇文章,这个系列专门揭示关于 java 平台的一些有用的小知识 — 这些小知识不易理解,但对于解决 java 编程挑战迟早有用。

将 java 对象序列化 api 作为开端是一个不错的选择,因为它从一开始就存在于 jdk 1.1 中。本文介绍的关于序列化的 5 件事情将说服您重新审视那些标准 java api。

java 序列化简介

java 对象序列化是 jdk 1.1 中引入的一组开创性特性之一,用于作为一种将 java 对象的状态转换为字节数组,以便存储或传输的机制,以后,仍可以将字节数组转换回 java 对象原有的状态。

实际上,序列化的思想是 “冻结” 对象状态,传输对象状态(写到磁盘、通过网络传输等等),然后 “解冻” 状态,重新获得可用的 java 对象。所有这些事情的发生有点像是魔术,这要归功于 objectinputstream/objectoutputstream 类、完全保真的元数据以及程序员愿意用serializable 标识接口标记他们的类,从而 “参与” 这个过程。

清单 1 显示一个实现 serializable 的 person 类。

清单 1. serializable person

package com.tedneward;

public class person
    implements java.io.serializable
{
    public person(string fn, string ln, int a)
    {
        this.firstname = fn; this.lastname = ln; this.age = a;
    }

    public string getfirstname() { return firstname; }
    public string getlastname() { return lastname; }
    public int getage() { return age; }
    public person getspouse() { return spouse; }

    public void setfirstname(string value) { firstname = value; }
    public void setlastname(string value) { lastname = value; }
    public void setage(int value) { age = value; }
    public void setspouse(person value) { spouse = value; }

    public string tostring()
    {
        return "[person: firstname=" + firstname +
            " lastname=" + lastname +
            " age=" + age +
            " spouse=" + spouse.getfirstname() +
            "]";
    }

    private string firstname;
    private string lastname;
    private int age;
    private person spouse;

}

将 person 序列化后,很容易将对象状态写到磁盘,然后重新读出它,下面的 junit 4 单元测试对此做了演示。

清单 2. 对 person 进行反序列化

public class sertest
{
    @test public void serializetodisk()
    {
        try
        {
            com.tedneward.person ted = new com.tedneward.person("ted", "neward", 39);
            com.tedneward.person charl = new com.tedneward.person("charlotte",
                "neward", 38);

            ted.setspouse(charl); charl.setspouse(ted);

            fileoutputstream fos = new fileoutputstream("tempdata.ser");
            objectoutputstream oos = new objectoutputstream(fos);
            oos.writeobject(ted);
            oos.close();
        }
        catch (exception ex)
        {
            fail("exception thrown during test: " + ex.tostring());
        }

        try
        {
            fileinputstream fis = new fileinputstream("tempdata.ser");
            objectinputstream ois = new objectinputstream(fis);
            com.tedneward.person ted = (com.tedneward.person) ois.readobject();
            ois.close();

            assertequals(ted.getfirstname(), "ted");
            assertequals(ted.getspouse().getfirstname(), "charlotte");

            // clean up the file
            new file("tempdata.ser").delete();
        }
        catch (exception ex)
        {
            fail("exception thrown during test: " + ex.tostring());
        }
    }
}

到现在为止,还没有看到什么新鲜的或令人兴奋的事情,但是这是一个很好的出发点。我们将使用 person 来发现您可能不知道的关于 java 对象序列化的 5 件事。

1. 序列化允许重构

序列化允许一定数量的类变种,甚至重构之后也是如此,objectinputstream 仍可以很好地将其读出来。

java object serialization 规范可以自动管理的关键任务是:

  • 将新字段添加到类中

  • 将字段从 static 改为非 static

  • 将字段从 transient 改为非 transient

取决于所需的向后兼容程度,转换字段形式(从非 static 转换为 static 或从非 transient 转换为 transient)或者删除字段需要额外的消息传递。

重构序列化类

既然已经知道序列化允许重构,我们来看看当把新字段添加到 person 类中时,会发生什么事情。

如清单 3 所示,personv2 在原先 person 类的基础上引入一个表示性别的新字段。

清单 3. 将新字段添加到序列化的 person 中

enum gender
{
    male, female
}

public class person
    implements java.io.serializable
{
    public person(string fn, string ln, int a, gender g)
    {
        this.firstname = fn; this.lastname = ln; this.age = a; this.gender = g;
    }

    public string getfirstname() { return firstname; }
    public string getlastname() { return lastname; }
    public gender getgender() { return gender; }
    public int getage() { return age; }
    public person getspouse() { return spouse; }

    public void setfirstname(string value) { firstname = value; }
    public void setlastname(string value) { lastname = value; }
    public void setgender(gender value) { gender = value; }
    public void setage(int value) { age = value; }
    public void setspouse(person value) { spouse = value; }

    public string tostring()
    {
        return "[person: firstname=" + firstname +
            " lastname=" + lastname +
            " gender=" + gender +
            " age=" + age +
            " spouse=" + spouse.getfirstname() +
            "]";
    }

    private string firstname;
    private string lastname;
    private int age;
    private person spouse;
    private gender gender;
}

序列化使用一个 hash,该 hash 是根据给定源文件中几乎所有东西 — 方法名称、字段名称、字段类型、访问修改方法等 — 计算出来的,序列化将该 hash 值与序列化流中的 hash 值相比较。

为了使 java 运行时相信两种类型实际上是一样的,第二版和随后版本的 person 必须与第一版有相同的序列化版本 hash(存储为 private static final serialversionuid 字段)。

因此,我们需要 serialversionuid 字段,它是通过对原始(或 v1)版本的 person 类运行 jdk serialver命令计算出的。

一旦有了 person 的 serialversionuid,不仅可以从原始对象 person 的序列化数据创建 personv2 对象(当出现新字段时,新字段被设为缺省值,最常见的是“null”),还可以反过来做:即从 personv2 的数据通过反序列化得到 person,这毫不奇怪。点击这里看下序列化你应该知道的一切

2. 序列化并不安全

让 java 开发人员诧异并感到不快的是,序列化二进制格式完全编写在文档中,并且完全可逆。实际上,只需将二进制序列化流的内容转储到控制台,就足以看清类是什么样子,以及它包含什么内容。

这对于安全性有着不良影响。例如,当通过 rmi 进行远程方法调用时,通过连接发送的对象中的任何 private 字段几乎都是以明文的方式出现在套接字流中,这显然容易招致哪怕最简单的安全问题。

幸运的是,序列化允许 “hook” 序列化过程,并在序列化之前和反序列化之后保护(或模糊化)字段数据。可以通过在 serializable 对象上提供一个 writeobject 方法来做到这一点。

模糊化序列化数据

假设 person 类中的敏感数据是 age 字段。毕竟,女士忌谈年龄。 我们可以在序列化之前模糊化该数据,将数位循环左移一位,然后在反序列化之后复位。(您可以开发更安全的算法,当前这个算法只是作为一个例子。)

为了 “hook” 序列化过程,我们将在 person 上实现一个 writeobject 方法;为了 “hook” 反序列化过程,我们将在同一个类上实现一个readobject 方法。重要的是这两个方法的细节要正确 — 如果访问修改方法、参数或名称不同于清单 4 中的内容,那么代码将不被察觉地失败,person 的 age 将暴露。

清单 4. 模糊化序列化数据

public class person
    implements java.io.serializable
{
    public person(string fn, string ln, int a)
    {
        this.firstname = fn; this.lastname = ln; this.age = a;
    }

    public string getfirstname() { return firstname; }
    public string getlastname() { return lastname; }
    public int getage() { return age; }
    public person getspouse() { return spouse; }

    public void setfirstname(string value) { firstname = value; }
    public void setlastname(string value) { lastname = value; }
    public void setage(int value) { age = value; }
    public void setspouse(person value) { spouse = value; }

    private void writeobject(java.io.objectoutputstream stream)
        throws java.io.ioexception
    {
        // "encrypt"/obscure the sensitive data
        age = age << 2;
        stream.defaultwriteobject();
    }

    private void readobject(java.io.objectinputstream stream)
        throws java.io.ioexception, classnotfoundexception
    {
        stream.defaultreadobject();

        // "decrypt"/de-obscure the sensitive data
        age = age << 2;
    }

    public string tostring()
    {
        return "[person: firstname=" + firstname +
            " lastname=" + lastname +
            " age=" + age +
            " spouse=" + (spouse!=null ? spouse.getfirstname() : "[null]") +
            "]";
    }

    private string firstname;
    private string lastname;
    private int age;
    private person spouse;
}

如果需要查看被模糊化的数据,总是可以查看序列化数据流/文件。而且,由于该格式被完全文档化,即使不能访问类本身,也仍可以读取序列化流中的内容。

3. 序列化的数据可以被签名和密封

上一个技巧假设您想模糊化序列化数据,而不是对其加密或者确保它不被修改。当然,通过使用 writeobject 和 readobject 可以实现密码加密和签名管理,但其实还有更好的方式。

如果需要对整个对象进行加密和签名,最简单的是将它放在一个 javax.crypto.sealedobject 和/或 java.security.signedobject 包装器中。两者都是可序列化的,所以将对象包装在 sealedobject 中可以围绕原对象创建一种“包装盒”。必须有对称密钥才能解密,而且密钥必须单独管理。同样,也可以将 signedobject 用于数据验证,并且对称密钥也必须单独管理。

结合使用这两种对象,便可以轻松地对序列化数据进行密封和签名,而不必强调关于数字签名验证或加密的细节。很简洁,是吧?点击这里看下序列化你应该知道的一切

4. 序列化允许将代理放在流中

很多情况下,类中包含一个核心数据元素,通过它可以派生或找到类中的其他字段。在此情况下,没有必要序列化整个对象。可以将字段标记为 transient,但是每当有方法访问一个字段时,类仍然必须显式地产生代码来检查它是否被初始化。

如果首要问题是序列化,那么最好指定一个 flyweight 或代理放在流中。为原始 person 提供一个 writereplace 方法,可以序列化不同类型的对象来代替它。类似地,如果反序列化期间发现一个 readresolve 方法,那么将调用该方法,将替代对象提供给调用者。

打包和解包代理

writereplace 和 readresolve 方法使 person 类可以将它的所有数据(或其中的核心数据)打包到一个 personproxy 中,将它放入到一个流中,然后在反序列化时再进行解包。

清单 5. 你完整了我,我代替了你

class personproxy
    implements java.io.serializable
{
    public personproxy(person orig)
    {
        data = orig.getfirstname() + "," + orig.getlastname() + "," + orig.getage();
        if (orig.getspouse() != null)
        {
            person spouse = orig.getspouse();
            data = data + "," + spouse.getfirstname() + "," + spouse.getlastname() + ","
              + spouse.getage();
        }
    }

    public string data;
    private object readresolve()
        throws java.io.objectstreamexception
    {
        string[] pieces = data.split(",");
        person result = new person(pieces[0], pieces[1], integer.parseint(pieces[2]));
        if (pieces.length > 3)
        {
            result.setspouse(new person(pieces[3], pieces[4], integer.parseint
              (pieces[5])));
            result.getspouse().setspouse(result);
        }
        return result;
    }
}

public class person
    implements java.io.serializable
{
    public person(string fn, string ln, int a)
    {
        this.firstname = fn; this.lastname = ln; this.age = a;
    }

    public string getfirstname() { return firstname; }
    public string getlastname() { return lastname; }
    public int getage() { return age; }
    public person getspouse() { return spouse; }

    private object writereplace()
        throws java.io.objectstreamexception
    {
        return new personproxy(this);
    }

    public void setfirstname(string value) { firstname = value; }
    public void setlastname(string value) { lastname = value; }
    public void setage(int value) { age = value; }
    public void setspouse(person value) { spouse = value; }

    public string tostring()
    {
        return "[person: firstname=" + firstname +
            " lastname=" + lastname +
            " age=" + age +
            " spouse=" + spouse.getfirstname() +
            "]";
    }

    private string firstname;
    private string lastname;
    private int age;
    private person spouse;
}

注意,personproxy 必须跟踪 person 的所有数据。这通常意味着代理需要是 person 的一个内部类,以便能访问 private 字段。有时候,代理还需要追踪其他对象引用并手动序列化它们,例如 person 的 spouse。

这种技巧是少数几种不需要读/写平衡的技巧之一。例如,一个类被重构成另一种类型后的版本可以提供一个 readresolve 方法,以便静默地将被序列化的对象转换成新类型。类似地,它可以采用 writereplace 方法将旧类序列化成新版本。

5. 信任,但要验证

认为序列化流中的数据总是与最初写到流中的数据一致,这没有问题。但是,正如一位美国前总统所说的,“信任,但要验证”。

对于序列化的对象,这意味着验证字段,以确保在反序列化之后它们仍具有正确的值,“以防万一”。为此,可以实现 objectinputvalidation接口,并覆盖 validateobject() 方法。如果调用该方法时发现某处有错误,则抛出一个 invalidobjectexception。

结束语

java 对象序列化比大多数 java 开发人员想象的更灵活,这使我们有更多的机会解决棘手的情况。

幸运的是,像这样的编程妙招在 jvm 中随处可见。关键是要知道它们,在遇到难题的时候能用上它们。

推荐去我的博客阅读更多:

1.java jvm、集合、多线程、新特性系列教程

2.spring mvc、spring boot、spring cloud 系列教程

3.maven、git、eclipse、intellij idea 系列工具教程

4.java、后端、架构、阿里巴巴等大厂最新面试题

觉得不错,别忘了点赞+转发哦!

《关于 Java 序列化你不知道的 5 件事.doc》

下载本文的Word格式文档,以方便收藏与打印。