UE4在Android调用Project Tango

　　Project Tango应该说是Google一试水AR的设备,其中Project Tango主要二个功能，一个是获取深度信息，如MS的Kinect,有相当多的设备都有这个功能，二是第一人称相对定位，这个就没那么常见了，如果对这个设备有更深的兴趣，可以看知乎上的这二个链接。

　　Google Project Tango获取深度信息的原理是什么？

　　Project tango是如何仅凭自身摄像头实现位置追踪的？

　　在这就不仔细来说这个东东了，上面二个链接比我自己再来说篇好多了，Project Tango本身有Unity3D的包(googlesamples/tango-examples-unity)如果在Unity3D下开发，相应的东东都已经提供，还有一些实例，能够很容易就开发基于Project Tango的功能出来。

　　UE4下就比较麻烦了，google没有针对UE4做相应的包，不过，google提供针对安卓开发的项目，一种是Android Studio项目，一个是供JNI调用的C语言项目。

　　googlesamples/tango-examples-java

　　googlesamples/tango-examples-c

　　UE4针对移动平台感觉还是不那么友好，如Unity调用Android项目，大家顺便一搜，都能搞定，而在UE4下引用安卓项目，如下是一个添加针对Android支持Google Play功能的committed。

　　UE4 Google Play support on Android

　　可以看到，有些复杂，特别针对我这种UE4与Android都不熟的人，只有想别办法，首先我的需求并不复杂，只是在一个模型与现实重叠的空间利用Project Tango的Motion tracking功能行走，旋转等，简单来说，我现在的办公室环境，利用3D建模做一个和办公室一样的模型，长宽都要对上，这样利用Project Tango 的Tracking,我能只看屏幕也知道我在办公室的那个位置，前面是否有障碍物，就如HTV vive的那二个像个小音箱的东东来检测可活动区域一样。

　　UE4本身的脚本就是C++语言，自然我就想到利用上面的tango c来做开发，如下主要记录本文实践这种方法遇到的一些问题。

　　首先安装UE4的安卓开发相关所有软件，UE4已经帮你差不多都搞好。安装安卓软件开发工具包（SDK） ，然后对照这个链接下的UE4安卓快速入门自己测试，一个简单的UE4 安卓程序发出来就没问题了。

　　tango-examples-c里很简单，一个so文件,相当于win平台中的动态链接库文件，二是一个头文件tango_client_api.h.现在就很简单了，相当于平常我们写C++程序一样，引入动态链接库，然后添加头文件就可，但是UE4中，编译都是靠对应目录下的cs文件编译，我们需要让UE4的规则来引入库与头文件。

　　按照UE4大家默认的一些目录位置与命名，先把相应头文件与库放入一个ThirdParth文件夹，然后放入UE4工程文件件，与Source,Binaries等目录平行，如下：

　　

　　然后打开工程名.Build.cs文件，告诉编译器我们需要引入的库与文件。 

public class Office_05 : ModuleRules
{
public Office_05(TargetInfo Target)
{
PublicDependencyModuleNames.AddRange(new string[] { "Core", "CoreUObject", "Engine", "InputCore", "Launch", "UMG" });
//PrivateDependencyModuleNames.AddRange(new string[] { "" });
//PublicIncludePaths.Add("Runtime/Launch/Public");
//PrivateIncludePaths.Add("Runtime/Launch/Private/Android");
if (Target.Platform == UnrealTargetPlatform.Android)
{
PublicIncludePaths.AddRange(new string[] { "Core" });
PublicIncludePaths.Add("C:/NVPACK/android-ndk-r10e/platforms/android-19/arch-arm/usr/include");
LoadBobsMagic(Target);
}
}
private string ModulePath
{
get { return Path.GetDirectoryName(RulesCompiler.GetModuleFilename(this.GetType().Name)); }
}
private string ThirdPartyPath
{
get { return Path.GetFullPath(Path.Combine(ModulePath, "../../ThirdParty/")); }
}
public bool LoadBobsMagic(TargetInfo Target)
{
bool isLibrarySupported = false;
if (Target.Platform == UnrealTargetPlatform.Android)
{
isLibrarySupported = true;
string LibrariesPath = Path.Combine(ThirdPartyPath, "tango_client_api", "lib");
PublicAdditionalLibraries.Add(Path.Combine(LibrariesPath, "libtango_client_api.so"));
}
if (isLibrarySupported)
{
// Include path
PublicIncludePaths.Add(Path.Combine(ThirdPartyPath, "tango_client_api", "include"));
}
//Definitions.Add(string.Format("WITH_LIBZPLAY_BINDING={0}", isLibrarySupported ? 1 : 0));
return isLibrarySupported;
}
}

 　　PublicDependencyModuleNames我们新添加Launch与UMG，因为我们需要引用这二个库，不然后面引用#include "Android/AndroidJNI.h"里的功能会告诉你没有实现,还有一点特别注意，安卓的功能一定要包含预处理定义PLATFORM_ANDROID当中，当初特别二的以为编译选项选择Android后，就可以直接写NDK代码了，当然现在的编译是由UE4来控制的，所以不用看VS中的错误列表，只需要看VS中的输出，如果提示生成成功，没有error,就可以在设备上发布了。

　　然后我们包装一下tango_client_api.h里的功能，演示如何在安卓环境下调用JNIEnv，当前active等。

#pragma once
#include "Components/TextRenderComponent.h"
#include "Office_05.h"
#include "MyCharacter.h"
#include "TangoApp.h"
#include "Engine/TextRenderActor.h"
#include "Components/TextRenderComponent.h"
#if PLATFORM_ANDROID
#include "tango_client_api.h"
#include "Android/AndroidApplication.h"
#include "Android/AndroidJava.h"
#include "Android/AndroidJNI.h"
#endif
/**
*
*/
class OFFICE_05_API TangoApp
{
private:
static class UTextRenderComponent* textRender;
static FVector translation;
static FQuat quat;
public:
TangoApp();
~TangoApp();
static FVector& GetTranslation()
{
return translation;
}
static FQuat& GetQuat()
{
return quat;
}
static void SetTextRender(class UTextRenderComponent* tRender)
{
textRender = tRender;
appendText(textRender, TEXT("VV"));
}
static void appendText(UTextRenderComponent* textCompent, const FString& value, bool overrid = false)
{
if (textCompent == nullptr)
return;
if (!overrid)
{
FText text = textCompent->Text;
FString newText = text.BuildSourceString();
newText.Append(" ");
newText.Append(value);
textCompent->SetText(FText::FromString(newText));
}
else
{
textCompent->SetText(FText::FromString(value));
}
}
#if PLATFORM_ANDROID
static void InitTango()
{
JNIEnv* Env = FAndroidApplication::GetJavaEnv();
jint VersionJint = Env->GetVersion();
int8 Version = (int8)VersionJint;
TangoApp::appendText(textRender, FString::FromInt(Version));
jobject currentActive = FAndroidApplication::GetGameActivityThis();
TangoErrorType type = TangoService_initialize(Env, currentActive);
TangoApp::appendText(textRender, FString::FromInt((int)type));
//type = TangoService_setBinder(Env, currentActive);
TangoApp::appendText(textRender, TEXT("A"));
TangoApp::appendText(textRender, FString::FromInt((int)type));
auto tangoConfig = TangoService_getConfig(TANGO_CONFIG_DEFAULT);
type = TangoConfig_setBool(tangoConfig, "config_enable_motion_tracking", true);
TangoApp::appendText(textRender, FString::FromInt((int)type));
if (type == TANGO_SUCCESS)
{
TangoApp::appendText(textRender, TEXT("B"));
}
type = TangoConfig_setBool(tangoConfig, "config_enable_auto_recovery", true);
TangoApp::appendText(textRender, FString::FromInt((int)type));
if (type == TANGO_SUCCESS)
{
TangoApp::appendText(textRender, TEXT("C"));
}
type = TangoConfig_setBool(tangoConfig, "config_enable_learning_mode", true);
TangoApp::appendText(textRender, FString::FromInt((int)type));
if (type == TANGO_SUCCESS)
{
TangoApp::appendText(textRender, TEXT("D"));
}
//TangoApp::Launch();
//TangoApp::appendText(text->GetTextRender(), TangoApplication::getPackageName());
//uuid得不到，相应权限申请不成功，请看TangoApplication::Launch
char* uuidList = NULL;
type = TangoService_getAreaDescriptionUUIDList(&uuidList);
TangoApp::appendText(textRender, FString::FromInt((int)type));
if (type == TANGO_SUCCESS)
{
int lenght = 0;
for (int i = 0; i < 1000; i++)
{
if (uuidList[i] != 0)
++lenght;
else
{
break;
}
}
FString suuidList(uuidList);
TangoApp::appendText(textRender, FString::FromInt(lenght));
}
TangoCoordinateFramePair pair;
pair.base = TANGO_COORDINATE_FRAME_START_OF_SERVICE;
pair.target = TANGO_COORDINATE_FRAME_DEVICE;
//用来验证相应数据
//TangoPoseData* poseData = new TangoPoseData();
//pair.base = TANGO_COORDINATE_FRAME_IMU;
//pair.target = TANGO_COORDINATE_FRAME_CAMERA_COLOR;
//TangoService_getPoseAtTime(0, pair, poseData);
//type = TangoService_connectOnTangoEvent(&TangoApp::onTangoConnectEvent);
//TangoApp::appendText(textRender), TEXT("E"));
//TangoApp::appendText(textRender, FString::FromInt((int)type));
type = TangoService_connectOnPoseAvailable(1, &pair, &TangoApp::TangoService_onPoseAvailable);
TangoApp::appendText(textRender, TEXT("F"));
TangoApp::appendText(textRender, FString::FromInt((int)type));
//FAppEventManager::GetInstance()->PauseRendering();
type = TangoService_connect(nullptr, tangoConfig);
TangoApp::appendText(textRender, FString::FromInt((int)type));
//FAppEventManager::GetInstance()->ResumeRendering();

}
static FString getPackageName()
{
if (JNIEnv* Env = FAndroidApplication::GetJavaEnv(true))
{
auto getPackageMethod = FJavaWrapper::FindMethod(Env, FJavaWrapper::GameActivityClassID, "getPackageName", "()Ljava/lang/String;", false);
jstring jsString = (jstring)FJavaWrapper::CallObjectMethod(Env, FJavaWrapper::GameActivityThis, getPackageMethod);
check(jsString);
const char * nativeName = Env->GetStringUTFChars(jsString, 0);
FString ResultName = FString(nativeName);
Env->ReleaseStringUTFChars(jsString, nativeName);
Env->DeleteLocalRef(jsString);
return ResultName;
}
return FString();
}
static void Launch()
{
if (JNIEnv* Env = FAndroidApplication::GetJavaEnv(true))
{
//申请ADF权限
auto intentClass = Env->FindClass("android/content/Intent");
auto Constructor = Env->GetMethodID(intentClass, "<init>", "()V");
auto intentObject = Env->NewObject(intentClass, Constructor);
auto intentMethod = FJavaWrapper::FindMethod(Env, intentClass, "setClassName", "(Ljava/lang/String;Ljava/lang/String;)V", false);
//auto putExtraMethod = FJavaWrapper::FindMethod(Env, intentClass, "putExtra", "(Ljava/lang/String;Ljava/lang/String;)V", false);
/*
FJavaWrapper::CallVoidMethod(Env, intentObject, intentMethod, "com.projecttango.tango", "com.google.atap.tango.RequestPermissionActivity");
FJavaWrapper::CallVoidMethod(Env, intentObject, putExtraMethod, "PERMISSIONTYPE", "ADF_LOAD_SAVE_PERMISSION");
auto startAMehtod = FJavaWrapper::FindMethod(Env, FJavaWrapper::GameActivityClassID, "startActivity", "(android/content/Intent;)V", false);
*/
//FJavaWrapper::CallVoidMethod(Env, currentActive, startAMehtod, intentObject);
//check(object);
//auto intentObject = Env->NewGlobalRef(object);
Env->DeleteLocalRef(intentObject);
}
//auto intentMethod = FJavaWrapper::FindMethod(Env, intentClass, "setClassName", "(Ljava/lang/String;Ljava/lang/String;)V", false);
//auto putExtraMethod = FJavaWrapper::FindMethod(Env, intentClass, "putExtra", "(Ljava/lang/String;Ljava/lang/String;)V", false);
/*
FJavaWrapper::CallVoidMethod(Env, intentObject, intentMethod, "com.projecttango.tango", "com.google.atap.tango.RequestPermissionActivity");
FJavaWrapper::CallVoidMethod(Env, intentObject, putExtraMethod, "PERMISSIONTYPE", "ADF_LOAD_SAVE_PERMISSION");
auto startAMehtod = FJavaWrapper::FindMethod(Env, FJavaWrapper::GameActivityClassID, "startActivity", "(android/content/Intent;)V", false);
*/
//FJavaWrapper::CallVoidMethod(Env, currentActive, startAMehtod, intentObject);
//FJavaClassObject intentObject(FName("android/content/Intent"), "()V");
//auto intentMethod = intentObject.GetClassMethod("setClassName", "(Ljava/lang/String;Ljava/lang/String;)V");
//auto putExtraMethod = intentObject.GetClassMethod("putExtra", "(Ljava/lang/String;Ljava/lang/String;)V");
//intentObject.CallMethod(intentMethod, "com.projecttango.tango", "com.google.atap.tango.RequestPermissionActivity");
//intentObject.CallMethod(intentMethod, "PERMISSIONTYPE", "ADF_LOAD_SAVE_PERMISSION");
//auto startAMehtod = FJavaWrapper::FindMethod(Env, FJavaWrapper::GameActivityClassID, "startActivity", "(android/content/Intent;)V", false);
//FJavaWrapper::CallVoidMethod(Env, currentActive, startAMehtod, intentObject.GetJObject());
//auto tangoClass = Env->GetObjectClass(currentActive);
//auto tangoMethod = FJavaWrapper::FindMethod(FAndroidApplication::GetJavaEnv(true), FJavaWrapper::GameActivityClassID, "launchIntent", "(Ljava/lang/String;Ljava/lang/String;[Ljava/lang/String;I)V", false);
//auto tangoMethod = FJavaWrapper::FindMethod(Env, tangoClass, "launchIntent", "(Ljava/lang/String;Ljava/lang/String;[Ljava/lang/String;I)V", false);
//if (tangoMethod != nullptr)
//{
//
TangoApplication::appendText(text->GetTextRender(), TEXT("C"));
//
//使用方法请看AndroidJNI.cpp ->AndroidThunkCpp_Iap_QueryInAppPurchases
//
jobjectArray tArgs = (jobjectArray)Env->NewObjectArray(1, FJavaWrapper::JavaStringClass, NULL);
//
jstring StringValue = Env->NewStringUTF(TCHAR_TO_UTF8("PERMISSIONTYPE:ADF_LOAD_SAVE_PERMISSION"));
//
Env->SetObjectArrayElement(tArgs, 0, StringValue);
//
Env->DeleteLocalRef(StringValue);
//
FJavaWrapper::CallVoidMethod(Env, currentActive, tangoMethod, "com.projecttango.tango",
//
"com.google.atap.tango.RequestPermissionActivity", tArgs, 43);
//}

}
static void onTangoConnectEvent(void* context, const TangoEvent* event)
{
appendText(textRender, TEXT("Connect"), true);
appendText(textRender, FString::SanitizeFloat(event->timestamp));
}
//Unity x左右，y上下，z前后 左手
//https://developers.google.com/project-tango/overview/coordinate-systems#project_tango_coordinate_frames
//Tango START_OF_SERVICE x左右，y前后，z上下 右手
//Tango Device_Frame x左右，y上下，z前后 右手
//UE4 x前后，y左右，z上下 左手
static void TangoService_onPoseAvailable(void* context, const TangoPoseData* pose)
{
if (pose->status_code == TANGO_POSE_VALID &&
pose->frame.base == TANGO_COORDINATE_FRAME_START_OF_SERVICE &&
pose->frame.target == TANGO_COORDINATE_FRAME_DEVICE
)
{
translation[0] = pose->translation[0] * 100;
translation[1] = pose->translation[1] * 100;
translation[2] = pose->translation[2] * 100;
quat.X = pose->orientation[0];
quat.Y = pose->orientation[1];
quat.Z = pose->orientation[2];
quat.W = pose->orientation[3];
}
else
{
}
}
#endif
};
"C++文件"
#include "Office_05.h"
#include "TangoApp.h"
class UTextRenderComponent* TangoApp::textRender = nullptr;
FVector TangoApp::translation = FVector::ZeroVector;
FQuat TangoApp::quat = FQuat::Identity;
TangoApp::TangoApp()
{
}
TangoApp::~TangoApp()
{
}

　　在这里有个失败的尝试，我想通过NDK来申请ADF(区域文件相关权限)，见上面的Launch方法，总是在调用CallVoidMethod时失败，而上面的getPackageName又没有问题，想不出来是啥问题。

　　通过工具Android Device Monitor,一般来说如果按照UE4的安卓工具包的流程来安装，这个工具在目录C:NVPACKandroid-sdk-windowstoolsmonitor.bat下，打开Android Device Monitor，一般来说，我们新建一个Filters，如下图设置。

　　如上图设置后，我们得到错误信息是FindMethod得到的方法为空，到这一步后，相关参数应该没有问题，可能是还要引入新的库，总之，在这我们得不到区域文件，那么我们不能通过区域文件来定义，只能通过设备开始位置来定位了，这样我们需要在特定的位置，特定的方向打开这个程序才能正确tracking现实与模型，这样限制太大，所以我们需要提供一UI可以自己修改位置与方向，这样，在开始时，我们先调到我们本身的位置与方向与项目的位置与方向重合。还好，这个东东并不需要我们多花费时间，UE4里本身的功能与内容包里，就有一个C++功能First Person，我们添加到项目中，这个在安卓下就提供二个圈给我们，一个圈调整水平位置，一个调整视角方向，刚好满足我们的需求，现在我们结合First Person与Tango，让Tango本身的路径追踪来替代First Person里的行走，如下是主要的修改位置。

void AFP_FirstPersonCharacter::BeginPlay()
{
Super::BeginPlay();
text = FindActor<ATextRenderActor>(TEXT("TextRenderActor2"));
text1 = FindActor<ATextRenderActor>(TEXT("TextRenderActor3"));
TangoApp::SetTextRender(text->GetTextRender());
#if PLATFORM_ANDROID

TangoApp::InitTango();
//TangoApp::Launch();
#endif
TangoApp::appendText(text->GetTextRender(), TEXT("T"), true);
TangoApp::appendText(text1->GetTextRender(), TEXT("R"), true);
}
void AFP_FirstPersonCharacter::Tick(float DeltaTime)
{
Super::Tick(DeltaTime);
#if PLATFORM_ANDROID
//Tango Device_Frame/OpenGL
x左右，y上下，z前后 右手
//UE4
x前后，y左右，z上下 左手
//Tango START_OF_SERVICE
x左右，y前后，z上下 右手
//Unity
x左右，y上下，z前后 左手
////Device_Frame (Unreal camera to Drive)
//FMatrix ucTd(-FVector::UpVector, FVector::ForwardVector, FVector::RightVector, FVector::ZeroVector);
////(Drive to START_SERVICE)
//FTransform dTss(TangoApp::GetQuat(), TangoApp::GetTranslation(), FVector(1, 1, 1));
////X,Y互换 (START_SERVICE to Unreal world)
//FMatrix ssTuw(FVector::RightVector, -FVector::ForwardVector, FVector::UpVector, FVector::ZeroVector);
////ucTd * dTss * ssTuw
//FTransform dTuw = FTransform(ucTd) * dTss * FTransform(ssTuw);
//SetActorRelativeLocation(dTuw.GetLocation());
//auto rotator = dTuw.Rotator();// (dTuw.GetRotation() * FQuat::FQuat(FVector::ForwardVector, -PI / 2.0f)).Rotator(); //dTuw.Rotator();//

auto ToConvert = TangoApp::GetQuat();
auto translation = TangoApp::GetTranslation();
FQuat TangoToUnrealQuat(ToConvert.Z, -ToConvert.X, -ToConvert.Y, ToConvert.W);
//0.7071(rad/2) angle = 90 axis = (0,1,0)
FQuat ConvertedQuat = (FQuat(0.0, 0.7071, 0.0, 0.7071) * TangoToUnrealQuat);
if (WeaponRange < 0 || WeaponRange >100)
{
WeaponRange = 0;
}
FVector ConvertedFVector = 1 * cRotaror.RotateVector(FVector(translation[1], translation[0], translation[2] + WeaponRange)) + cPostion;
SetActorRelativeLocation(ConvertedFVector);
FRotator rotator = ConvertedQuat.Rotator() + cRotaror;
if (Controller != nullptr)
{
Controller->SetControlRotation(rotator);
}
//if (GEngine)
//{
//
auto quat = ConvertedQuat; //dTuw.GetRotation();//
//
GEngine->AddOnScreenDebugMessage(0, 30.f, FColor::Red, "X:" + FString::SanitizeFloat(quat.X)
//
+ " Y:" + FString::SanitizeFloat(quat.Y)
//
+ " Z:" + FString::SanitizeFloat(quat.Z));
//}
#endif
if (GEngine)
{
GEngine->AddOnScreenDebugMessage(0, 30.f, FColor::Red, "H:" + FString::SanitizeFloat(WeaponRange));
}
}
void AFP_FirstPersonCharacter::MoveForward(float Value)
{
if (Value != 0.0f)
{
// Add movement in that direction

AddMovementInput(GetActorForwardVector(), Value);
cPostion += GetActorForwardVector()*Value;
}
}
void AFP_FirstPersonCharacter::MoveRight(float Value)
{
if (Value != 0.0f)
{
// Add movement in that direction

AddMovementInput(GetActorRightVector(), Value);
cPostion += GetActorRightVector()*Value;
}
}
void AFP_FirstPersonCharacter::TurnAtRate(float Rate)
{
// Calculate delta for this frame from the rate information
AddControllerYawInput(Rate * BaseTurnRate * GetWorld()->GetDeltaSeconds());
cRotaror.Yaw += Rate * BaseTurnRate * GetWorld()->GetDeltaSeconds();
}
void AFP_FirstPersonCharacter::LookUpAtRate(float Rate)
{
// Calculate delta for this frame from the rate information
AddControllerPitchInput(Rate * BaseLookUpRate * GetWorld()->GetDeltaSeconds());
cRotaror.Pitch += Rate * BaseLookUpRate * GetWorld()->GetDeltaSeconds();
}

　　Tango里需要注意，每个摄像机，还有设备本身都采用不同的坐标系，如下图。

　　想看更完全的介绍，请看 coordinate-systems  这个链接，如果不能打开，提示二个字，红杏。

　　嗯，在这差不多了，一个简单利用Tango tracking，漫游办公室的小程序就有了，是不是有点AR的感觉。Tango这部分就差不多完了，但是有个小问题，UI能调整水平方向，高度不能调整，我们增加一个调整高度的UI，顺便演练下蓝图调用C++的API的方法。

　　首先我们创建一个基于GameMode的我们自己的MyGameMode.

　　然后和上面一样，创建一个基于HUD的自己的MyHUD,在MyGameMode中的HUD选择MyHUD,在蓝图中，我们选择添加用户控件里的用户蓝图，名字设为MyGUI.

　　在MyHUD中，添加MyGUI到视图中，相应蓝图设置如下。

 　　在MyGUI中添加一个Slider,其中OnValueChanged中设置如下：

　　其中FP_FirstPersonCharacter添加如下方法。

UFUNCTION(BlueprintCallable, Category = "Game")
void SetHeight(float height);

　　特性声明BlueprintCallable，其中Category是在蓝图中添加方法的分组名。

　　差不多完了，最后想起一个问题，在从 Unity 到 UE4 的快速上手与迁移 里的一个API，FindObject<T>，使用不成功，在AActor里使用反正得不到结果，同样的参数，传入如下函数就可以。

template< class T >
T* FindActor(FString name)
{
for (TActorIterator<T> It(GetWorld()); It; ++It)
{
T* actor = *It;
if (It->GetName() == name)
{
return actor;
}
}
return nullptr;
}

　　有知道的同学可以说下。