• NOTED DIM'ENSIONS
  • ARCHIVE
  • RSS
  • BLOG
  • BLOG.MOE
  • BOOK
  • BOOK.MOE
  • NOTE
  • 安装 ElasticSearch 7.17.4 与 Logstash / Kibana 到 Apple Silcon (M1 Arm) macOS

    Oct 11, 2023

    由于软件协议问题, brew 官方删除了 es 的源,改为 es 官方自行维护的 tap 。另外,这些 tap 默认都使用包自带的 jdk ,然后会由于 macOS 的权限问题无法运行,因此需要通过 brew 安装 openjdk 后手动指定环境变量。

    安装 ElasticSearch

    1
    2
    brew tap elastic/tap
    brew install elastic/tap/elasticsearch-full

    这个时候应该会报错:

    1
    2
    3
    Error: elastic/tap/elasticsearch-full: Calling plist_options is disabled! Use service.require_root instead.
    Please report this issue to the elastic/tap tap (not Homebrew/brew or Homebrew/homebrew-core), or even better, submit a PR to fix it:
    /opt/homebrew/Library/Taps/elastic/homebrew-tap/Formula/elasticsearch-full.rb:68

    不用担心,根据 这个 issue ,只需要找到提示的这个 .rb 文件的对应行,修改并替换:

    ...more
  • 使用 lerna 配合 npm workspace 进行大型全栈项目的 monorepo 包管理

    Aug 18, 2023

    npm workspaces 是 npm v7 中引入的一个新功能,允许开发者在一个单一的顶层项目中管理多个子项目或包。其主要特点包括:

    • 使得多个子项目能够共享一个 node_modules,从而提高安装效率。
    • 提供了本地依赖链接,使得在子项目之间引用变得容易。

    尽管 npm workspaces 提供了一些相同的功能,Lerna 仍然有其独特的价值和使用场景。下面是一些使用 Lerna 的原因:

    • 更复杂的发布流程: Lerna 是为管理 monorepo 并自动处理包版本和发布流程而构建的。通过 lerna publish,它可以智能地确定哪些包发生了变化,为它们版本化,并逐一发布。它还可以处理跨包的版本依赖。
    • 版本管理策略: Lerna 允许您选择固定或独立的版本管理策略。在固定模式下,所有包共享一个版本号。而在独立模式下,每个包可以有自己的版本号。
    • 跨包脚本执行: lerna run 和 lerna exec 允许您在所有子包或特定的子包上执行脚本和命令。这使得执行跨包任务变得容易。

    新建项目

    1. 初始化项目和配置 Lerna
    ...more
  • 在 Windows 下使用 PyTorch 运行 DMPFold2 进行蛋白质折叠预测

    May 26, 2023

    使用 Anaconda 之前配置好的 PyTorch 环境,这里不再赘述,可以自行寻找相关教程。

    1
    pip install dmpfold

    安装后直接运行 dmpfold 会提示 'dmpfold' 不是内部或外部命令,也不是可运行的程序或批处理文件。。最后发现的解决方案是通过 python C:\Users\myccy\anaconda3\envs\pytorch\Scripts\dmpfold 的方式运行。

    ...more
  • 动捕方案分析

    Mar 17, 2023

    目前可行的动捕方案如下:

    方案一 OptiTrack Motion Lab

    不赘述

    方案二 Move.ai 四机位AI识别

    每个人准备:

    • 一个 iPhone 升级到 iOS 16 ,有 30G-50G 以上空余存储空间
    • iPhone 里安装 Protake 和 Move.ai 两个 App
    • 尽可能带充电宝
    ...more
  • 将 OptiTrack Motive 导出的 FBX mocap 动作捕捉骨骼动画利用 IK (FK) Retargeting 重映射绑定到 Unreal Metahuman 上

    Mar 13, 2023

    拿到 FBX 格式的动捕导出动画,通过 VSCode 暴力打开二进制查看头部信息发现如下字样:

    1
    2
    3
    Document	Motive Scene
    Title Motive Scene
    Subject Exported from Motive

    调查后发现这是一个商业收费动捕软件。

    向场景中新增 Metahuman

    新建一个空游戏项目。在左上角 Add 找到 Quixel Bridge 。找到左侧列表的头像按钮,选中 MetaHuman Presets ,找一个合适的模型。

    ...more
  • 将带动作捕捉绑定的 Unreal 5 Metahuman 导入 Marvelous Designer 进行布料模拟

    Mar 13, 2023

    前提:已经制作好了一个通过 IK Retargeting 重定向绑定好骨骼动画的 metahuman 模型。

    考虑到除了衣服布料之外还需要做场景布料模拟,调研了 UE 一些场景的布料解决方案。

    1. UE 原生的 Niagara 引擎中有自己的布料系统,但是都非常的菜。或许足以用在游戏场景中,但是对影视效果来说有点太过不真实。
    2. NVIDIA 提供了 Apex Cloth 和 NvCloth 两个插件,但前者主要是做衣服模拟,后者比较通用但是十分底层。

    目前看,场景布料模拟最好的方案反而是直接用 Houdini 完成后导出 ABC 。同理,调研结果是 Marvelous Designer 是公认最好的布料模拟系统,所以这里最好的工作流是:

    1. 在 UE5 中完成 metahuman 的骨骼绑定,并导出 FBX
    2. 在 MD 中导入 metahuman FBX ,完成衣服贴片和动作导出
    3. 在 UE5 中再次导入

    以下是踩坑详情。

    UE5 Metahuman 导出

    ...more
  • 0202 年,在单分区 Proxmox 中安装 macOS Catalina (Hackintosh) 并直通硬件实现多系统

    Jun 23, 2020

    促使我现在坐在这里生无可恋并心如死灰的撰写这篇文章的唯一原因,是我又手贱炸掉了 Proxmox 的 grub 引导。在如此接近胜利的黎明曙光,以至于我都用 GeekBench 在虚拟的 Hackintosh macOS 中都已经跑完了 CPU 多核和 GPU 直通的分数之后,就在我正愉快的准备修好 iService 以便享受 Apple Store 时,一次小小的崩溃和重启,配合遭天杀的 os-prober ,一切努力变成了屏幕上白花花的 GRUB > 。

    人不作死,就不会死。

    前戏

    今晚恰好是 WWDC 的发布会,变得更像 iPadOS 的 ARM 版 macOS 的发布似乎正提前宣告着 AMD Mac 末日以及 Hackintosh 的死刑。尽管 Telegram 上难得的又一次几乎每个群都在因为同一个话题而热火朝天,而我却在因为 Sketch 和 MarginNote 和 OmniFocus 和 Logic X Pro 和下略的各种无关紧要的独占 App 开始严重的怀念起 macOS ,并决定把 Hackintosh 付诸实践以对得起当初下决心买 Radeon VII 并含泪折腾 ROCm 的日日夜夜。当我辛辛苦苦完成了 OpenCore 的 Gathering Files 并用 ProperTree 调教好了 config.plist ,瑟瑟发抖并战战兢兢的尝试从安装盘启动的时候,满怀期待的我看到了一行 ……

    1
    nvme: Fatal error occurred

    接下来的对话是这样的:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    > NVMEFix有了吗
    - 有啊
    > 忘了一件很重要的事 中途C2000Pro换成了Intel Intel不行 装MX500?
    - 不是 我这 我难道得把 intel 拔掉?
    > 不,屏蔽掉
    - 。。。那我的 macos 永远不能访问这个 intel ssd ?
    > 不能
    - 东西都在里边诶。。。 我现在换一块硬盘来得及吗(
    > 你可以换sn750 2t,不过一块要3000+
    - 我这块多少钱来着。。
    > 1700好像
    - 啥原理,死刑?么有什么 patch ?
    > 死刑 Intel家的基本都不行 mac pro那个群有阵子提到过

    是的,我想起来了, P4510 不被 macOS 原生支持 …… 虽然我还有一块 1TB 的 Curcial MX550 SSD 从空间上来说是足够的,但是显然我没法接受在使用 macOS 的时候完全无法访问另外 2TB 的常用数据,更不要说这块硬盘中间有 512GB 的未使用分区已经为 macOS 预留了很久很久了。于是,诞生了一个非常奇葩的解决方案:

    在这个分区安装 debian 。然后把 debian 升级成 Proxmox 。然后,在里面创建一个占满全盘(当然,还有全部内存)的 Hackintosh 虚拟机。然后,再依次进行各种硬件的直通。

    那么下文的记录献给和我一样在错误的时间(指发布 ARM macOS 的 WWDC 深夜)用奇怪的组合(指单分区 debian 升级 Proxmox)进行迷惑操作(指在双 AMD 平台进行 OpenCore 硬件直通 Hackintosh)的你。

    ...more
  • 部署 ROCm 和 tensorflow-rocm 到 Ubuntu 18.04 (Radeon VII)

    Apr 22, 2020

    ROCm 实在是太多坑了 …… 用剩下的最后一口气吐槽+写文记录。晒一张最终跑分:

    前因

    (这些都是废话,技术目的阅读请直接跳过)

    因为一开始就计划要 Hackintosh 然后给 itx (机器名 madoka) 选装了 Radeon VII 。 HIS 公版,方方铁盒子信仰小红灯外加三个风扇,看起来就很生猛。这个价位可以买到的性价比最高的算力。更重要的是 macOS 可以免驱直插。 Mac Pro 同款。 7nm 制程(并没有什么卵用), 16GB 显存富得流油(相对真正的实力来说根本不算什么)。隔壁 NIVIDA ,就算是 MacBook 官方提供的型号,更新 Mojave 之后一样驱动凉凉, N 卡用户没人权。再说我也没什么游戏需求, 3DMark 跑分看起来也七七八八,除了不限制电压的话风扇火力全开 4k rpm 噪音直接航天飞机起飞,其他一切都看起来很完美。

    ……直到我想搞深度学习(暴露了这家伙以前都没好好跑过几个网络的事实)。

    人类回想起了被老黄 CUDA 统治的恐惧和你 AI 届 A 卡用户没人权的事实。 AMD 一点也不 Yes 。 ROCm 支持框架屈指可数,支持的还有一半在 in development ,完全不支持 Windows ,嗯 …… (科研人员:我们都是工费拨款,买来一块 Titan XP 插上就好了!

    我烦恼了很久很久因为我真的很想一边跑 Tensorflow 一边开着 DAW 或者非编软件尤其是可爱的 Touch Designer 折腾可视化啊!事实已经证明了我的灵魂是媒体工作者,虽然我想搞 Deep Learning 但我很确信我大部分时间会拿现成网络倒腾倒腾跑应用,并且输入输出大概率全是媒体文件。不知道,其实我是瞎说的。所以我非常希望能够在本地跑,第一时间预览加调试,外加也许会有大量尺寸不小的数据集(比如自己整的动画或者一时兴起爬了个 exhentai ),实在不想必须提交云算力、或者把调试网络的系统环境与其他工作完全分开,每次想跑 AI 就必须停下手头全部其他事情然后重启进系统专注调参一发入魂 ……

    以上这些毫无根据的执著以及自己钱太多的幻觉(信用卡警告)以至于此人花费超过半天时间研究雷蛇和技嘉的显卡盒以及DIY显卡核的可操作性和性能影响、发现itx上双显卡主板是完全不存在的伪需求、发现SLI双卡交火完全没什么意义更不要说A/N双卡打架以及自己的 MacBook Pro mid 2014 是雷电2会让外接速率雪上加霜。甚至还考虑相信 12 核 24 线程的 3900x 并使用 CPU 跑了一下 tensorflow benchmark ,结果 …… 速度是 VII 参考性能的 1/40 ( http://ai-benchmark.com/ranking_deeplearning.html > Desktop GPUs and CPUs)。最后认真考虑了乖乖接受 NAS + wireguard 虚拟 NAT 使用云算力的方案之后,打算随便本地再开个系统装个 ROCm 跑通跑个分备用了事了。

    然后, Elementary OS 拯救了我。它太美了。

    (以下正文)

    ROCm 安装

    官方文档:https://rocm-documentation.readthedocs.io/en/latest/Installation_Guide/Installation-Guide.html

    这里是本机直接安装, ROCm 驱动并不会影响正常显示使用,如果是 docker 安装则需要屏蔽原有驱动并导致分辨率降低,若需要 docker 教程请另行寻找。

    首先更新系统然后安装基础依赖:

    1
    2
    3
    4
    sudo apt update
    sudo apt dist-upgrade
    sudo apt install libnuma-dev
    sudo reboot

    重启了吗?然后添加 ROCm 的 ppa repo :

    1
    2
    wget -q -O - http://repo.radeon.com/rocm/apt/debian/rocm.gpg.key | sudo apt-key add -
    echo 'deb [arch=amd64] http://repo.radeon.com/rocm/apt/debian/ xenial main' | sudo tee /etc/apt/sources.list.d/rocm.list

    这里有个很微妙的点,看到那里写的 xenial 了吗?千万不要像我一样自作聪明觉得可以改成 bionic 。这个 repo 里面根本没有 bionic 目录。至少现在还没有。

    接下来更新源并安装:

    ...more
  • 部署 Hexo 博客到 Github Pages

    Apr 11, 2020

    Hexo 官方的文档地址:https://hexo.io/docs/github-pages.html 这个文档有一堆问题,评论区有提到。

    建议使用 Travis CI 来部署。

    创建 Repo 和安装 Hexo

    首先创建一个自己用户名的 repo dimpurr.github.io 。

    随意要不要 Initialize ,然后把 Hexo 的文件丢进去。 .gitignore 可以选 Node 的,记得从里面去掉 public 一行的注释。 Hexo 自带 .gitignore 所以不用选。

    如果和我一样还没有安装 Hexo 的话, clone repo 然后去新建 hexo 分支:

    ...more

© 2020 - 2023 Dimpurr, powered by Hexo and hexo-theme-apollo.