Übung macht den Meister

Permissions 0644 for 'xxx.pem' are too open

Posted on 2021-07-10 Word count in article: 575 Reading time ≈ 1 mins.

使用 SSH 连接到 Azure 的虚拟机时遇到错误：

➜  ~ ssh -i /path/to/some.pem xxx@x.x.x.x
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@         WARNING: UNPROTECTED PRIVATE KEY FILE!          @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Permissions 0644 for '/path/to/some.pem' are too open.
It is required that your private key files are NOT accessible by others.
This private key will be ignored.
Load key "/path/to/some.pem": bad permissions
xxx@x.x.x.x: Permission denied (publickey).

这是因为创建虚拟机时从 Azure 下载的私钥默认权限太大，需要将其权限改为只读且仅当前用户可见：

1	chmod 400 some.pem

参考：

Trying to SSH into an Amazon Ec2 instance - permission error

为什么1不是质数

Posted on 2021-07-04 Word count in article: 241 Reading time ≈ 1 mins.

如果一个数除了1和它本身外，没有其他约数，我们称这个数为质数，但在这个定义下，1却不是质数。要回答这个问题需要先了解质数的作用，质数的主要作用在于构建欧几里得的算数基本定理：

任何一个大于1的自然数都可以唯一分解成有限个质数的乘积。

如果把1列为质数，就会破坏这种唯一性，因为在这种情况下每个自然数都有无限种分解方式，即在原有分解的基础上再乘以任意个数的1，所以1不作为质数。

参考：

如何修改 AppVeyor 的 JDK 版本

Posted on 2020-10-24 Word count in article: 271 Reading time ≈ 1 mins.

使用 AppVeyor 的Visual Studio 2019 镜像构建 Java 项目时默认使用的是 JDK 1.8（这里说明了 AppVeyor 各个镜像下默认使用的 JDK 版本，虽然表格里写着 Visual Studio 2019 镜像下的默认 JDK 是1.7，不过实际是1.8），如果想更换 JDK 版本，比如更换为 JDK 11，可以重新设置 JAVA_HOME 和 PATH：

1
2
3

before_test:
  - SET JAVA_HOME=C:\Program Files\Java\jdk11
  - SET PATH=%JAVA_HOME%\bin;%PATH%

完整的代码可参考 GitHub。

如何使用 JUnit 测试异常信息

Posted on 2020-09-26 Word count in article: 1.5k Reading time ≈ 3 mins.

假设有如下的 SumService：

public class SumService {
    public static int sum(int a, int b) {
        if (a <= 0) {
            throw new IllegalArgumentException("a must be positive");
        }

        if (b <= 0) {
            throw new IllegalArgumentException("b must be positive");
        }
        
        return a + b;
    }
}

当 a 或者 b 非正数时会抛出 IllegalArgumentException 异常，由于两者抛出的是同一个异常，所以无法直接使用 expected = IllegalArgumentException.class 进行区分测试，故需要测试具体的异常信息。

使用 try/catch

用一个 try/catch 包裹测试的方法，判断抛出的异常信息：

@Test
public void shouldAssertExceptionMessageByAssertThrows() {
    IllegalArgumentException illegalArgumentException = 
            Assert.assertThrows(IllegalArgumentException.class, () -> SumService.sum(0, 1));

    Assert.assertEquals("a must be positive", illegalArgumentException.getMessage());
}

使用 assertThrows

借助 Assert.assertThrows 执行测试方法返回一个异常，然后判断返回的异常信息：

@Test
public void shouldAssertExceptionMessageByAssertThrows() {
    IllegalArgumentException illegalArgumentException = Assert.assertThrows(IllegalArgumentException.class, () -> SumService.sum(0, 1));

    Assert.assertEquals("a must be positive", illegalArgumentException.getMessage());
}

使用 ExpectedException

借助 ExpectedException 预先设定预期抛出的异常和异常信息，然后执行测试方法：

@Rule
public ExpectedException expectedException = ExpectedException.none();

@Test
public void shouldAssertExceptionMessageByRule() {
    expectedException.expect(IllegalArgumentException.class);
    expectedException.expectMessage("a must be positive");

    SumService.sum(0, 1);
}

完整的代码可参考 GitHub。

参考

How do I assert my exception message with JUnit Test annotation?

如何使用 JUnit 测试异步代码

Posted on 2020-09-13 Word count in article: 1.9k Reading time ≈ 3 mins.

问题

对于以下的异步代码：

public class DemoService {
    public CompletableFuture<String> hello() {
        return CompletableFuture.supplyAsync(() -> "hello");
    }
}

我们为其编写一个测试用例，并在 CompletableFuture#whenComplete 中判断返回值是否与预期相符，然而即使返回值与预期不符，该测试也不会抛出异常：

@Test
public void exceptionWontBeCaptured() {
    DemoService demoService = new DemoService();

    demoService.hello()
            .whenComplete((result, e) -> {
                Assert.assertEquals("wrongValue", result);
            });
}

解决

CompletableFuture#get()

我们可以借助 CompletableFuture#get() 阻塞主线程等待结果的特点，将异步代码转成同步：

@Test
public void blockMainThreadByGet() throws ExecutionException, InterruptedException {
    DemoService demoService = new DemoService();

    Assert.assertEquals("hello", demoService.hello().get());
}

CountDownLatch

上述方案依赖了一个具体的异步类方法，如果实际的异步类不提供相应的同步方法，上述方案则不适合。针对这种情况，可以借助 CountDownLatch，初始化一个计数为1的 CountDownLatch 的实例，在测试方法中调用 CountDownLatch#await() 方法进行等待，当异步方法执行成功后在其回调中调用 CountDownLatch#countDown() 使计数器减1变为0，从而继续执行后续的测试判断：

@Test
public void waitOnCountDown() throws InterruptedException {
    CountDownLatch countDownLatch = new CountDownLatch(1);
    DemoService demoService = new DemoService();
    AtomicReference<String> actualValue = new AtomicReference<>("");

    demoService.hello()
            .whenComplete((result, e) -> {
                actualValue.set(result);
                countDownLatch.countDown();
            });

    countDownLatch.await();

    Assert.assertEquals("hello", actualValue.get());
}

Awaitility

Awaitility 让测试异步代码变得简单明了：

@Test
public void poweredByAwaitility() {
    DemoService demoService = new DemoService();
    AtomicReference<String> actualValue = new AtomicReference<>("");

    demoService.hello()
            .whenComplete((result, e) -> {
                actualValue.set(result);
            });

    await().atMost(5, SECONDS).untilAsserted(() -> {
        Assert.assertEquals("hello", actualValue.get());
    });
}

完整的代码可参考 GitHub。

参考

How to use JUnit to test asynchronous processes

如何减小 Docker 镜像的大小

Posted on 2020-08-04 Word count in article: 2.5k Reading time ≈ 4 mins.

问题

首先来看一个例子，构建一个 C 语言版的 hello world 镜像：

/* hello.c */
int main () {
  puts("Hello, world!");
  return 0;
}

对应的 Dockerfile 为：

FROM gcc
COPY hello.c .
RUN gcc -o hello hello.c
CMD ["./hello"]

然后执行 docker build -t hello-world . 构建一个名为 hello-world 的镜像，然而以这种方式构建的镜像的大小竟然有1.19 GB：

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest b11e170bd1d2 6 minutes ago 1.19GB

因为这种构建方式生成的镜像会同时包含 gcc 镜像的内容，查看 gcc 镜像大小发现达到了1.19 GB：

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE gcc latest 21f378ba43ec 11 days ago 1.19GB

如果我们把基础镜像换成 Ubuntu 并安装 gcc 编译 hello.c 重新构建镜像，最后的镜像大小为213 MB：

FROM ubuntu
COPY hello.c .
RUN apt-get update && apt-get install gcc -y
RUN gcc -o hello hello.c
CMD ["./hello"]

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest 42f17d1d12a5 About a minute ago 213MB

虽然新镜像相比1.19 GB有大幅减少，但相比于 hello-world 程序本身的大小（17k）来说，213 MB依然是个庞大的数字：

1 2	$ ls hello -hl -rwxr-xr-x 1 root root 17K Aug 4 13:54 hello

解决

Multi-stage

对于 hello-world 这个镜像来说，我们真正需要的只是最终的可执行程序，而并不关心中间的编译过程，如果能将编译阶段作为一个临时阶段而并不包含在最终的镜像中，则可有效减少最终的镜像大小。针对此，Docker 在 17.05 版本开始提供了名为 multi-stage 构建的功能。我们将原来的 Dockerfile 稍作修改，将原来的编译阶段抽取为一个 stage，然后将编译好的可执行文件复制到最终的 stage 中：

FROM gcc AS mybuildstage
COPY hello.c .
RUN gcc -o hello hello.c
FROM ubuntu
COPY --from=mybuildstage hello .
CMD ["./hello"]

最终的镜像大小只有73.9 MB：

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest 7dd2b51c53b2 7 minutes ago 73.9MB

`FROM scratch`

在上一步中，我们使用 Ubuntu 作为基础镜像来运行 hello-world，相比于一个可执行程序，Ubuntu 依然过于庞大，有没有比 Ubuntu 更轻量的镜像呢？有，那就是 scratch，这表示一个空的镜像，继续将 Dockerfile 稍作修改：

FROM gcc AS mybuildstage
COPY hello.c .
RUN gcc -o hello hello.c
FROM scratch
COPY --from=mybuildstage hello .
CMD ["./hello"]

最终的镜像大小只有16.4 KB：

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest 676253b0e9c4 31 minutes ago 16.4kB

不过在运行该镜像时却提示错误：

1	standard_init_linux.go:211: exec user process caused "no such file or directory"

这是因为这种方式构建出的镜像缺少 hello-world 运行时依赖的库。我们可以在编译 hello-world 时通过指定 -static 参数将依赖的库包含到最后的可执行文件中来解决这个问题：

FROM gcc AS mybuildstage
COPY hello.c .
RUN gcc -o hello hello.c -static
FROM scratch
COPY --from=mybuildstage hello .
CMD ["./hello"]

不过包含了依赖的库后最终镜像的大小也上涨为945 KB：

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest e6a1fccc2de7 9 seconds ago 945kB

另外，如果不想将依赖的库包含到最终的镜像中，可以使用 busybox:glibc 这个基础镜像，该镜像包含了 C 语言的标准库，有了这个镜像在编译 hello-world 时则无需指定 -static 参数：

FROM gcc AS mybuildstage
COPY hello.c .
RUN gcc -o hello hello.c
FROM busybox:glibc
COPY --from=mybuildstage hello .
CMD ["./hello"]

不过由于该镜像本身有一定大小，最终镜像的大小达到了5.22 MB：

1 2	REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest e2f2c0544800 7 seconds ago 5.22MB

总结

通过 multi-stage 构建可以有效的减少 Docker 镜像的大小，而基础镜像的选择则要具体情况分析，在满足需求的情况下选择合理的基础镜像。

参考

Docker Images : Part I - Reducing Image Size

如何解决 ModuleNotFoundError: No module named 'distutils.util' 错误

Posted on 2020-08-02 Word count in article: 164 Reading time ≈ 1 mins.

Ubuntu 下安装 pip 时遇到 ModuleNotFoundError: No module named 'distutils.util' 错误，执行以下命令即可：

1	sudo apt-get install python3-distutils

参考：

Issue with “python3 get-pip.py --user” with python 3.6.7

如何解决 add-apt-repository: not found 错误

Posted on 2020-08-01 Word count in article: 204 Reading time ≈ 1 mins.

Ubuntu 下执行 add-apt-repository 添加第三方仓库时遇到 add-apt-repository: not found 错误，执行以下命令即可：

1 2	sudo apt-get update sudo apt-get install software-properties-common

参考：

How To Fix ‘Add-Apt-Repository Command Not Found’ On Ubuntu & Debian

如何在 Finder 中显示隐藏文件

Posted on 2020-07-26 Word count in article: 167 Reading time ≈ 1 mins.

Finder 默认并不显示隐藏文件，可以通过如下两种方式开启：

在终端中输入 defaults write com.apple.finder AppleShowAllFiles YES，然后重启 Finder
在 Finder 中使用快捷键 Shift + Command + "."

参考：

How to reveal dot files in finder?