Build docker image #1602

gongweibao · 2017-03-12T14:02:29Z

关于dockerimage的讨论：
背景讨论：
"PR 1599"
"PR 1598"

wangkuiyi · 2017-03-12T18:38:14Z

Travis CI 的log https://travis-ci.org/PaddlePaddle/Paddle/jobs/210259946#L586 里说pre-commit没通过。

需要在本机上执行

pip install -U pre-commit
cd paddle
pre-commit install
pre-commit run -a
git commti -a -m 'Update pre-commit changes'
git push

gangliao · 2017-03-13T01:34:25Z

paddle/scripts/docker/README.md

+   ```  
+   注意，这里的 `-v ` 参数把host上的源码目录里的内容映射到了container里的`/paddle` 目录；而container里的 `/paddle/build.sh` 就是源码目录里的 `build.sh`。上述命令调用了本地源码中的 bulid.sh 来build了本地源码，结果在container里的 `/paddle/build` 目录里，也就是本地的源码目录里的 `build` 子目录。
+
+1. 我们希望上述 `build.sh` 脚本在 `build` 子目录里生成一个Dockerfile，使得我们可以运行：


有个问题， build.sh脚本生成Dockerfile，是否变得可读性太差。。 @gongweibao @wangkuiyi

感觉可读性应该还好。因为，估计生成Dockerfile的方式应该使用的是模板或者宏(jinja2, m4等)来做。

是的。我理解可读性应该可以。

typhoonzero

是没有必要使用脚本生成Dockerfile，从源码目录cp过去即可。生成Dockerfile，的确会让源码可读性变差

reyoung · 2017-03-13T02:09:52Z

paddle/scripts/docker/README.md

+
+1. development image：不包括源码，但是包括开发环境（预先安装好各种工具），也就是说Dockerfile.dev里既不需要  COPY 也不需要 RUN git clone。虽然这个image和源码无关，但是不同版本的源码需要依赖不同的第三方库，所以这个image的tag里还是要包含git branch/tag name，比如叫做 `paddlepaddle/paddle:dev-0.10.0rc1`，这里的0.10.0.rc1是一个branch name，其中rc是release candidate的意思。正是发布之后就成了master branch里的一个tag，叫做0.10.0。
+
+1. production image： 不包括编译环境，也不包括源码，只包括build好的libpaddle.so和必要的Python packages，用于在Kubernetes机群上跑应用的image。比如叫做 `paddlepaddle/paddle:0.10.0rc1`。


production image不包括libpaddle.so等二进制，

而是将在development image里面编译出来的Paddle deb包安装上，即可。

有道理，建议修改。

https://github.com/PaddlePaddle/Paddle/blob/develop/cmake/package.cmake#L1
当前的CMAKE支持生成deb包 @reyoung @wangkuiyi @gongweibao @Yancey1989 @typhoonzero

cpack -D CPACK_GENERATOR='DEB' ..

production image只需要安装development images生成的deb包就行了。。。

luotao1 · 2017-03-13T02:44:24Z

文档需要都放在doc目录下吧，这样能显示在www.paddlepaddle.org上。

typhoonzero · 2017-03-13T03:51:22Z

paddle/scripts/docker/README.md

+
+我们可能需要两个 Docker images：
+
+1. development image：不包括源码，但是包括开发环境（预先安装好各种工具），也就是说Dockerfile.dev里既不需要  COPY 也不需要 RUN git clone。虽然这个image和源码无关，但是不同版本的源码需要依赖不同的第三方库，所以这个image的tag里还是要包含git branch/tag name，比如叫做 `paddlepaddle/paddle:dev-0.10.0rc1`，这里的0.10.0.rc1是一个branch name，其中rc是release candidate的意思。正是发布之后就成了master branch里的一个tag，叫做0.10.0。


还想到一点：

我们还需要把book+jupyter也作为一个单独的image

为什么？这个不是应该在production image 里面吗？

wangkuiyi

Approve and merge this design. We can edit it if necessary.

wangkuiyi · 2017-03-15T05:47:25Z

paddle/scripts/docker/README.md

+
+我们可能需要两个 Docker images：
+
+1. development image：不包括源码，但是包括开发环境（预先安装好各种工具），也就是说Dockerfile.dev里既不需要  COPY 也不需要 RUN git clone。虽然这个image和源码无关，但是不同版本的源码需要依赖不同的第三方库，所以这个image的tag里还是要包含git branch/tag name，比如叫做 `paddlepaddle/paddle:dev-0.10.0rc1`，这里的0.10.0.rc1是一个branch name，其中rc是release candidate的意思。正是发布之后就成了master branch里的一个tag，叫做0.10.0。


为什么？这个不是应该在production image 里面吗？

wangkuiyi · 2017-03-15T05:48:05Z

paddle/scripts/docker/README.md

+
+1. development image：不包括源码，但是包括开发环境（预先安装好各种工具），也就是说Dockerfile.dev里既不需要  COPY 也不需要 RUN git clone。虽然这个image和源码无关，但是不同版本的源码需要依赖不同的第三方库，所以这个image的tag里还是要包含git branch/tag name，比如叫做 `paddlepaddle/paddle:dev-0.10.0rc1`，这里的0.10.0.rc1是一个branch name，其中rc是release candidate的意思。正是发布之后就成了master branch里的一个tag，叫做0.10.0。
+
+1. production image： 不包括编译环境，也不包括源码，只包括build好的libpaddle.so和必要的Python packages，用于在Kubernetes机群上跑应用的image。比如叫做 `paddlepaddle/paddle:0.10.0rc1`。


wangkuiyi · 2017-03-15T05:48:29Z

paddle/scripts/docker/README.md

+   ```  
+   注意，这里的 `-v ` 参数把host上的源码目录里的内容映射到了container里的`/paddle` 目录；而container里的 `/paddle/build.sh` 就是源码目录里的 `build.sh`。上述命令调用了本地源码中的 bulid.sh 来build了本地源码，结果在container里的 `/paddle/build` 目录里，也就是本地的源码目录里的 `build` 子目录。
+
+1. 我们希望上述 `build.sh` 脚本在 `build` 子目录里生成一个Dockerfile，使得我们可以运行：


是的。我理解可读性应该可以。

gongweibao added 3 commits March 12, 2017 21:57

add README.md

b07d95d

add READM.md

824b193

del some

289d2e2

This was referenced Mar 12, 2017

modify dockerfile to autobuild on dockerhub #1599

Closed

Thinner docker image #1598

Merged

gongweibao requested review from wangkuiyi, helinwang, gangliao, typhoonzero and Yancey1989 March 12, 2017 14:20

wangkuiyi approved these changes Mar 12, 2017

View reviewed changes

precommit check

b7a5d27

gangliao reviewed Mar 13, 2017

View reviewed changes

typhoonzero approved these changes Mar 13, 2017

View reviewed changes

gangliao approved these changes Mar 13, 2017

View reviewed changes

pre-commit check

815b491

reyoung reviewed Mar 13, 2017

View reviewed changes

typhoonzero reviewed Mar 13, 2017

View reviewed changes

reyoung changed the title ~~Builddockerimage~~ Build docker image Mar 13, 2017

Yancey1989 approved these changes Mar 14, 2017

View reviewed changes

wangkuiyi approved these changes Mar 15, 2017

View reviewed changes

wangkuiyi merged commit 56fcf9c into PaddlePaddle:develop Mar 15, 2017

gongweibao deleted the builddockerimage branch January 17, 2021 07:42

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Build docker image #1602

Build docker image #1602

gongweibao commented Mar 12, 2017 •

edited

Loading

wangkuiyi commented Mar 12, 2017

gangliao Mar 13, 2017

reyoung Mar 13, 2017

wangkuiyi Mar 15, 2017

typhoonzero left a comment

reyoung Mar 13, 2017

gangliao Mar 13, 2017

gangliao Mar 13, 2017

wangkuiyi Mar 15, 2017

luotao1 commented Mar 13, 2017

typhoonzero Mar 13, 2017

wangkuiyi Mar 15, 2017

wangkuiyi left a comment

wangkuiyi Mar 15, 2017

wangkuiyi Mar 15, 2017

wangkuiyi Mar 15, 2017


		1. development image：不包括源码，但是包括开发环境（预先安装好各种工具），也就是说Dockerfile.dev里既不需要 COPY 也不需要 RUN git clone。虽然这个image和源码无关，但是不同版本的源码需要依赖不同的第三方库，所以这个image的tag里还是要包含git branch/tag name，比如叫做 `paddlepaddle/paddle:dev-0.10.0rc1`，这里的0.10.0.rc1是一个branch name，其中rc是release candidate的意思。正是发布之后就成了master branch里的一个tag，叫做0.10.0。

		1. production image：不包括编译环境，也不包括源码，只包括build好的libpaddle.so和必要的Python packages，用于在Kubernetes机群上跑应用的image。比如叫做 `paddlepaddle/paddle:0.10.0rc1`。


		我们可能需要两个 Docker images：

		1. development image：不包括源码，但是包括开发环境（预先安装好各种工具），也就是说Dockerfile.dev里既不需要 COPY 也不需要 RUN git clone。虽然这个image和源码无关，但是不同版本的源码需要依赖不同的第三方库，所以这个image的tag里还是要包含git branch/tag name，比如叫做 `paddlepaddle/paddle:dev-0.10.0rc1`，这里的0.10.0.rc1是一个branch name，其中rc是release candidate的意思。正是发布之后就成了master branch里的一个tag，叫做0.10.0。

Build docker image #1602

Build docker image #1602

Conversation

gongweibao commented Mar 12, 2017 • edited Loading

wangkuiyi commented Mar 12, 2017

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

typhoonzero left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

luotao1 commented Mar 13, 2017

Choose a reason for hiding this comment

Choose a reason for hiding this comment

wangkuiyi left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

gongweibao commented Mar 12, 2017 •

edited

Loading