美文网首页
LLVM

LLVM

作者: 浅墨入画 | 来源:发表于2021-10-16 15:41 被阅读0次

什么是编译器

编译器就是将我们写的程序，比如用C, Jave, C++, 汇编等语言写的程序，经过编译器的转换，把这些语言转换成计算机或者微型处理器能够识别的机器代码，它是由0和1组成的序列，说白了，就是相当于英语翻译成中文的工具一样。

编译型语言和解释型语言的区别？

  • 编译型语言
    需通过编译器（compiler）将源代码编译成机器码，之后才能执行的语言。一般需经过编译（compile）、链接（linker）这两个步骤。编译是把源代码编译成机器码，链接是把各个模块的机器码和依赖库串连起来生成可执行文件。
    代表语言：C、C++、Pascal、Object-C以及最近很火的苹果新语言swift
  • 解释性语言的程序不需要编译，相比编译型语言省了道工序，解释性语言在运行程序的时候才逐行翻译。
    代表语言：JavaScript、Python、Erlang、PHP、Perl、Ruby

LLVM概述

LLVM是架构编译器的框架系统，以C++编写而成，用于优化任意程序语言编写的程序的编译时间（compile-time）、链接时间（link-time）、运行时间（run-time）以及空闲时间（idle-time）。对开发者保持开放，并兼容已有脚本

LLVM计划启动于2000年，最初由美国UIUC大学的Chris Lattner博士主持开展。2006年Chris Lattner加盟Apple Inc，并致力于LLVM在Apple开放体系中的应用。
Apple也是LLVM计划的主要自助者。
目前LLVM已经被苹果iOS开发工具、Xilinx Vivado、Facebook、Google等各大公司采用

传统编译器设计

源码Source Code + 前端 Frontend + 优化器 Optimizer + 后端 Backend（代码生成器 CodeGenerator）+ 机器码 Machine Code

传统编译器设计
iOS的编译器架构

OC、C、C++使用的编译器前端是Clang，Swift是swift，后端都是LLVM，如下图所示

ios的编译器架构

模块职责

  • 编译器前端（Frontend）
    编译器前端的任务是解析源代码。它会进行：词法分析、语法分析、语义分析，检查源代码是否存在错误，然后构建抽象语法树（Abstract Syntax Tree, AST）；
    LLVM的前端还会生成中间代码（intermediate representation, IR）。
  • 优化器（Optimizer）
    优化器负责进行各种优化。改善代码的运行时间，例如：消除冗余计算等。
  • 后端（Backend）/代码生成器（Code Generator）
    将代码映射到目标指令集。生成机器代码，并进行机器代码的相关优化。
LLVM的设计

LLVM设计的最重要方面是，使用通用的代码表示形式（IR），它是用来在编译器中表示代码的形式，所有LLVM可以为任何编程语言独立编写前端，并且可以为任意硬件架构独立编写后端

LLVM的设计

LLVM的设计是前后端分离的，无论前端还是后端发生变化，都不会影响另一个

Clang

clang是LLVM项目中的一个子项目，它是基于LLVM架构图的轻量级编译器，诞生之初是为了替代GCC，提供更快的编译速度，它是负责C、C++、OC语言的编译器，属于整个LLVM架构中的编译器前端，对于开发者来说，研究Clang可以给我们带来很多好处。

编译流程上：词法&语法&IR

创建main.m文件，编写代码如下

#import <Foundation/Foundation.h> 
int main(int argc, const char * argv[]) { 
    return 0;
}

通过命令clang -ccc-print-phases main.m，打印源码的编译阶段

//输出以下内容： 
                +- 0: input, "main.m", objective-c 
             +- 1: preprocessor, {0}, objective-c-cpp-output 
         +- 2: compiler, {1}, ir 
      +- 3: backend, {2}, assembler 
   +- 4: assembler, {3}, object 
+- 5: linker, {4}, image 
6: bind-arch, "x86_64", {5}, image
  • 0：输入文件，找到源文件
  • 1：预处理阶段，这个过程包括宏的替换，头文件的导入
  • 2：编译阶段，进行词法分析、语法分析、检测语法是否正确，最终生成IR
  • 3：后端，LLVM会通过一个一个的Pass去优化，每个Pass做一些事情，最终生成汇编代码
  • 4：生成.o目标文件
  • 5：链接，链接需要的动态库和静态库，生成可执行文件
  • 6：通过不同的架构，生成对应的可执行文件
预处理阶段

将宏和导入的头文件进行替换，main.m文件修改代码如下

#import <stdio.h> 
#define C 30 
int main(int argc, const char * argv[]) {
    int a = 10; 
    int b = 20;
    printf("%d",a + b + C); 
    return 0; 
}

通过命令，打印预处理阶段

//在终端直接查看替换结果
clang -E main.m

//生成对应的文件查看替换后的源码，-E做预处理生成预处理后的文件 
clang -E main.m >> main1.m

//输出以下内容：
# 1 "main.m" 
# 1 "<built-in>" 1 
# 1 "<built-in>" 3 
# 378 "<built-in>" 3 
# 1 "<command line>" 1 
# 1 "<built-in>" 2 
# 1 "main.m" 2
......
int main(int argc, const char * argv[]) {
    int a = 10; 
    int b = 20; 
    printf("%d",a + b + 30);
    return 0; 
}

展开宏和stdio头文件，main函数中原本+ C变为+ 30

使用define和typedef的区别：
  • define：宏定义，在预处理阶段会被替换
    可用来做代码混淆，将App中核心代码，用系统相似的名称进行取别名，然后在预处理阶段就被替换，以此达到代码混淆的目的
  • typedef：对数据类型取别名，在预处理阶段不会被替换掉。typedef不是预处理指令
编译阶段

编译阶段可划分为三个部分：词法分析、语法分析、生成IR中间代码。

  • 词法分析
    预处理完成后，就会进行词法分析，这里会把代码切成一个个Token，例如：大小括号，等于号，还有字符串等
// 查看词法分析结果命令
clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
// 如果头文件找不到，指定sdk
clang -isysroot （自己SDK路径） -fmodules -fsyntax-only -Xclang -dump-tokens main.m
clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.1.sdk/ -fmodules -fsyntax-only -Xclang -dump-tokens main.m
词法分析之后的结果
  • 语法分析
    词法分析完成后就是语法分析，它的任务是验证语法是否正确，在词法分析的基础上将单词序列组合成各类语法短语，如程序、语句、表达式等等，然后将所有节点组成抽象语法树（Abstract Syntax Tree , AST），语法分析程序判断程序在结构上是否正确
// 查看语法分析结果命令
clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
// 如果导入头文件找不到，可以指定SDK
clang -isysroot （自己SDK路径） -fmodules -fsyntax-only -Xclang -ast-dump main.m
clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.1.sdk/ -fmodules -fsyntax-only -Xclang -ast-dump main.m
语法分析之后的结果1

重点关键字的介绍：FunctionDecl：函数、ParmVarDecl：参数、CallExpr：函数调用、BinaryOperator：运算符

  • 生成IR中间代码
    完成以上步骤后，就会开始生成IR中间代码，代码生成器（Code Generator）会将语法树自顶向下遍历，逐步翻译成LLVM IR

main.m文件修改代码如下

int test(int a,int b){
    return a + b + 3;
}

int main(int argc, const char * argv[]) {
    int a = test(1, 2);
    printf("%d",a);
    return 0;
}

通过下面命令生成.ll的文本文件查看IR代码。OC代码在这一步会进行runtime桥接，：property合成、ARC处理等

clang -S -fobjc-arc -emit-llvm main.m

查看IR中间代码

image.png 
//以下是IR基本语法
@ 全局标识
% 局部标识
alloca 开辟空间
align 内存对齐
i32 32bit，4个字节
store 写入内存
load 读取数据
call 调用函数
ret 返回
  • IR的优化
    Xcode中找到Target→Build Setting→Optimization Level，可以对当前项目设置优化等级

在LLVM中，优化级别分别是-O0、-O1、-O2、-O3、-Os（第一个是大写英文字母O）。

通过以下命令，可设置优化等级，并生成IR代码：
clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll

查看优化后的IR代码

image.png

xcode7以后开启bitcode，苹果会做进一步优化，生成.bc的中间代码，我们通过优化后的IR代码生成.bc代码

clang -emit-llvm -c main.ll -o main.bc

小结：编译阶段流程
输入代码 -> 展开预处理 -> 词法分析(token) -> 语法分析(AST语法树) -> IR代码 -> IR代码优化

编译流程下：生成可执行文件

什么是Bitcode？

Bitcode是被编译程序的一种中间形式的代码。包含Bitcode并上传到App Store Connect的App，会在App Store上编译和链接。包含Bitcode可以在不提交新版本App的情况下，允许Apple在将来的时候再次优化你的App二进制文件。
在Xcode中，默认开启Bitcode设置。如果你的App支持Bitcode，App使用到的其他二进制形式也要支持Bitcode，否则就会报错。

解决Bitcode报错只有两种方案：

  • 将不支持Bitcode的SDK移除掉，或等待第三方更新
  • 将使用Bitcode的选项设置为NO
生成汇编代码
  • 通过最终的.ll或.bc代码，生成汇编代码
// 命令如下
clang -S -fobjc-arc main.ll -o main.s 
clang -S -fobjc-arc main.bc -o main.s

查看汇编代码

image.png
  • 生成汇编代码也可以进行优化
clang -Os -S -fobjc-arc main.m -o main.s
生成目标文件（汇编器）

目标文件的生成，是汇编器以汇编代码作为插入，将汇编代码转换为机器代码，最后输出目标文件（object file）

// 命令
clang -fmodules -c main.s -o main.o

通过nm命令，查看main.o中的符号

xcrun nm -nm main.o 
 
//输出以下内容： 
             (undefined) external _printf 
0000000000000000 (__TEXT,__text) external _main
  • _printf函数被标记为undefined 、external
  • undefined表示在当前文件暂时找不到符号_printf
  • external表示这个符号是外部可以访问的
生成可执行文件（链接）

链接主要是链接需要的动态库和静态库，生成可执行文件，其中

  • 静态库会和可执行文件合并
  • 动态库是独立的

链接器把编译生成的.o文件和 .dyld .a文件链接，生成一个mach-o可执行文件

clang main.o -o main

查看链接后可执行文件的符号

xcrun nm -nm main 

//输出以下内容：
             (undefined) external _printf (from libSystem)                
             (undefined) external dyld_stub_binder (from libSystem)
0000000100000000 (__TEXT,__text) [referenced dynamically] external __mh_execute_header 
0000000100003f77 (__TEXT,__text) external _main 
0000000100008008 (__DATA,__data) non-external __dyld_private
  • 链接后_printf符号可以找到所属的动态库，但依然被标记为undefined。因为libSystem属于系统动态库，在运行时进行动态绑定。
  • 链接后还多了dyld_stub_binder符号，它在运行时用于符号的重绑定：
  1. 以printf函数为例，printf函数存在于libSystem系统库中，它存在于懒加载符号表中。它的函数地址在运行时，首次对printf函数进行调用，才会通过dyld_stub_binder进行重绑定。
  2. dyld_stub_binder函数地址的绑定时机：当dyld加载主程序时，符号被dyld直接绑定。
总结
LLVM的编译流程

创建Clang插件

由于国内的网络限制，我们需要借助镜像下载LLVM的源码
https://mirror.tuna.tsinghua.edu.cn/help/llvm/

  • 下载llvm项目
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/llvm.git
  • 在LLVM的tools目录下下载Clang 
cd llvm/tools 
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang.git
  • 在LLVM的projects目录下下载compiler-rt、libcxx、libcxxabi 
cd ../projects 
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/compiler-rt.g 
it
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxx.git 
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxxabi.git
  • 在Clang的tools下安装extra工具
cd ../tools/clang/tools 
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang-tools-extra.git
LLVM编译

由于最新的LLVM只支持cmake来编译，所以需要安装cmake

安装cmake

  • 查看brew是否安装cmake，如果已经安装，则跳过下面步骤
brew list
  • 通过brew安装cmake
brew install cmake
通过Xcode编译LLVM
  • cmake编译成Xcode项目：
mkdir build_xcode 
cd build_xcode 
cmake -G Xcode ../llvm
  • 使用Xcode编译Clang
  1. 选择自动创建Schemes
image.png
  1. 编译（CMD + B），选择ALL_BUILD Secheme进行编译，预计1+小时
image.png
通过ninja编译LLVM
  • 使用ninja进行编译则还需要安装ninja，使用$ brew install ninja命令即可安装ninja
  • 在LLVM源码根目录下新建一个build_ninja目录，最终会在build_ninja目录下生成build.ninja
  • 在LLVM源码根目录下新建llvm_release目录，最终编译文件会在llvm_release文件夹路径下
$ cd llvm_build
//注意DCMAKE_INSTALL_PREFIX后面不能有空格
$ cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX= 安装路径（本机为/ Users/xxx/xxx/LLVM/llvm_release）
  • 依次执行编译，安装指令
$ ninja
$ ninja install
创建Clang插件
  • 在/llvm/tools/clang/tools目录下，新建插件HKPlugin
image.png
  • 修改/llvm/tools/clang/tools目录下的CMakeLists.txt文件
image.png
  • 新增add_clang_subdirectory(HKPlugin)
image.png
  • 在HKPlugin目录下，新建HKPlugi.cpp和CMakeLists.txt文件
image.png
  • 打开CMakeLists.txt文件写入以下内容
add_llvm_library( HKPlugin MODULE BUILDTREE_ONLY 
    HKPlugin.cpp 
)
  • 接下来利用cmake重新生成Xcode项目，在build_xcode目录下执行以下命令
cmake -G Xcode ../llvm
  • 最后在LLVM的Xcode项目中，Loadable modules目录下找到自定义Plugin目录，就可以在里面编写插件代码了
image.png

课后总结

LLVM概述

  • LLVM编译器（重点）：
  1. 编译型语言 && 解释型语言
  2. 编译器
    前端：读取代码，词法分析，语法分析，生成AST（LLVM：IR）
    优化器：根据一个又一个Pass进行优化
    后端：生成汇编代码，根据不同的架构生成不同的可执行文件
  3. llvm的好处是啥？
    前后端分离，扩展性非常强。
  • LLVM编译流程（重点）：
  • Clang插件
  1. 编译LLVM工程
  2. 创建插件

相关文章

  • LLVM

    LLVM 什么是LLVM？ 官网：https://llvm.org/ The LLVM Project is a ...

  • iOS_LLVM

    LLVM 官网:https://llvm.org/[https://llvm.org/] The LLVM Pro...

  • iOS 逆向 day 18 GCC LLVM Clang

    一、LLVM 1. 什么是 LLVM 官网：https://llvm.org/ The LLVM Project ...

  • 浅谈LLVM

    何为LLVM 在LLVM的官网(https://llvm.org/[https://llvm.org/])中写到T...

  • iOS逆向-day10：LLVM 编译器

    一、LLVM的简单介绍 1.1、什么是LLVM官网：https://llvm.org/LLVM官网解释：The L...

  • 初识LLVM&Clang-开发Xcode插件

    初识LLVM&Clang-开发Xcode插件 LLVM Xcode现在使用的编译器就是LLVM。LLVM比以前使用...

  • LLVM 初始 ①

    什么是LLVM 官网：https://llvm.org/ The LLVM Project is a collec...

  • LLVM 工具

    llvm-dis llvm-dis 是一个反汇编工具，通过 LLVM 字节码文件(.bc)得到 LLVM 汇编文件...

  • LLVM(1)LLVM了解

    一、什么是LLVM 1、官网:https://llvm.org/The LLVM Project is a col...

  • llvm 编译

    1,下载llvm 源码git clone https://git.llvm.org/git/llvm.git/2，...

网友评论

      本文标题：LLVM

      本文链接：https://www.haomeiwen.com/subject/lfrvoltx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|LLVM|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！